RAID Controller für SSDs

NiclasM

NiclasM

Enthusiast
Thread Starter
Mitglied seit
06.02.2007
Beiträge
4.331
Ort
Dortmund
Hi,

ich habe das Gefühl das der Onboard RAID Controller von meinem X10SLL-F mit SSDs nicht umgedingt so Perfomant ist.
Ich habe momentan zwei Samsung 256 GB 840er Pro im RAID0 für VMs. Ich habe etwa 13-18 VM's auf den SSDs laufen. Mir ist Klar dass das schon Ordentlich ist, aber denke ansich sollten SSDs auch mehr aushalten können oder?

Ich überlege das RAID zu Vergrößern auf 3 oder 4 im RAID10 / RAID0 und weiterhin Backups aufs SAN zu machen. Welche RAID Controller könnt ihr empfehlen?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Weil ich die Performance kenne wenn keine VMs drauf sind, und wenn 15 VMs laufen und ich neue erstelle. CPU Auslastung ist zwischen 3-18%.

Der Controller sollte wenn möglich nicht 800€ kosten, bis 250€ vllt.
 
Nein. Beim Koppieren von großen Daten habe ich bei den ersten GB eine schnelle Übertragung, die dann aber schnell auf 0 MB/s abbricht weil der RAM(Cache) kein Platz mehr hat. Dann wird erst alles auf die Platten vom Cache geschrieben und dann geht's langsam... Weiter.
Ich denke der chipset ist nicht dafür ausgelegt und ist nicht all zu intelligent bei seiner Arbeit.
 
Kann mir irgendwie nicht vorstellen, dass der Onboard Controller das Problem ist, eher die SSDs... Das ist ein Intel Server Chipsatz auf dem Board und kein schlechter.

Wenn die Performance nicht reicht, dann auf stripped Mirror wechseln. DAS könnte dann evtl. ein Problem für den Controller werden, wenn es nicht unterstützt wird.

Edit: Ich sehe gerade der kann auch 10, sollte also auch kein Problem für den Controller sein!
 
Zuletzt bearbeitet:
Versuche das ganze einfach nochmal wenn nur die beteiligten VMs laufen.
Ich könnte mir vorstellen das hier wirklich die Hintergrundaktivität der anderen VMs begrenzt.
 
Das Grundproblem ist eigentlich bei Virtualisierungslösungen allgemein bekannt.

Es gibt sehr viele gleichzeitige kleine Lese- und Schreibvorgänge. Je mehr VMs auf einem Pool liegen, desto dramatischer macht sich das Ganze natürlich bemerkbar. Es gibt neben den normalen HDs für den Enterprise Bereich spezielle Platten, die extra auf diesen speziellen Umstand ausgelegt sind. Genauso ist es bei den SSDs auch. Wenn eine Platte welcher Art auch immer ein gute sequentielle Performance beim kopieren einer grösseren Datei hat, muss diese gute Performance noch lange nicht auf das spezielle VM Anforderungsszenario übertragbar sein.

Wenn also die Performance nicht reicht, professionelle SSDs einsetzen z.B. aus der Intel S3500/S3700 Serie oder einfach mehr "Consumer" Platten auf mehrere (evtl. stripped) Pools aufteilen oder VMs auf mehrere Platten (intelligent nach Anforderungen der VMs) optimal verteilen.
 
Zuletzt bearbeitet:
Zum Großteil laufen da Windows Server Core Versionen ohne große Last. Dazu noch eine VDI mit 4-5 Usern, Exchange und 1-2 Linux Web Server. Alles in allem sehr gemischt aber im Alltag ohne großartige Anforderungen. Mal abgesehen vom RAM.

RAID10 wär eine Idee, müsste dazu allerdings noch zwei SSDs kaufen. Und hätte dann dennoch nur die hälfte an Speicherplatz...
Hmpf...

Edit: kannst du mir Fach Artikel zum Thema Consumer SSD vs Enterprise SSD mit ordentlich Hintergrund Wissen geben ? Wär sehr dran interessiert mehr darüber zu wissen!
 
Zuletzt bearbeitet:
Moin!

Fachartikel zu dem Thema habe ich aus dem Stehgreif nicht, aber dazu müsste Google einiges liefern.

Bei SSDs dürfte natürlich wie auch bei normalen Festplatten der Hauptunterschied die Firmware sein. Die ist im Enterprise Segment speziell darauf optimiert viele gleichzeitige Zugriffe zu verarbeiten, Stichwort IOPS. Dazu sicherlich auch noch andere Chips, die mehr Lese-, Schreibvorgänge vertragen und speziell fehlergeprüft sowie schneller sind. Des weiteren haben die SSDs mehr RAM in der Regel.

Es ist immer schwer abzuschätzen wie hoch die Belastung der VMs ist, wenn man das System des anderen nicht genau kennt. Aber was du geschrieben hast, hört sich wirklich nicht sonderlich wild an. Ich hatte bei mir vorher eine alte 1 TB Seagate Enterprise Platte als Datastore drin mit ähnlicher Konstellation, allerdings nur 10 VMs. Die Geschwindigkeit war für mich jetzt kein Problem zu Hause, damit konnte ich gut leben und langsam kam mir das auch nicht vor. Aber 18 VMs bei dir ist fast das Doppelte...

Seit ca. einem Jahr habe ich mein Konzept aber umgestellt und binde meinen VM Pool per NFS über einen ZFS Fileserver ein. Ich habe bei mir auch keine SSDs als VM Pool Platten verbaut, sondern nur billige WD Red 1 TB im Raid1, weil mir passende SSDs im Moment einfach noch zu teuer sind. Ich betreibe immer noch ca. 10 VMs im Dauerbetrieb, die auch wie bei dir nicht sonderlich gefordert werden, da nur drei Personen das Netzwerk nutzen. Meine VMs gehen ab wie eine Rakete ;) Das liegt aber auch daran, dass ich durch das ZFS Konzept und entsprechend verbauten RAM ca. 10 GB schnellen Arbeitsspeicher als Schreib-, Lese-Cache habe, da werden die WD Reds natürlich nicht sonderlich gefordert, da ein Grossteil der Zugriffe aus dem RAM bedient wird.

Grüße

Edit: Wenn ich bei mir jetzt natürlich dazu noch z. B. eine grosse 5 TB ISO Datei zwischen den VMs kopiere, kann ich keine grossen Übertragunsraten mehr erwarten, aber das ist ganz normal. Die Festplatten leisten einfach nicht mehr, wenn ich zwischen den VMs kopiere ca. 50 MB/s und Fileserver zu VM ca. 80-100 MB/s. Aber solche Kopiervorgänge, wann braucht man die schon mal? ISOS kann man auch direkt in VM Ware in die VMs einbinden.
 
Zuletzt bearbeitet:
Moin!

Dass bei Betriebssystem es eher auf die vielen kleinen Dateien ankommt ist mir erstmal klar. D.h. mir ist die Problematik bewusst. Allerdings hatte ich pauschal ohne große Recherche mir zwei 256 GB Pro von Samsung gekauft weil ich wusst das die immer noch Flagschiffe sind. Darüber hinaus habe ich ein RAID6 mit 8x 3TB WD RED Platten an einem HW RAID Controller. LSI irgendwas. Die Performance ist definitv nicht schlecht. D.h. wenn ich ISOs oder große Zusammenhängende Daten übertrage komme ich auf 300-450 MB/s. Bei kleinen Dateien ist das natürlich was anders, aber VMs sind nicht grottig lahm drauf. Mein Exchange und einen DC habe ich beispielsweise auf das RAID ausgelagert aufgrund von Sicherheit, und die Performance geht klar. Aber auch dort habe ich das Problem - welches ich noch nicht verstanden habe. Wenn ich eine 50GB große VM von den SSDs auf das RAID6 koppiere, dann sind die ersten GB schnell und dannach 20-50 MB/s. Write Cache ist aktiviert, allerdings selbst mit Deaktiviertem im RAID Controller und in Windows ändert sich nichts. Das kann ich nicht so ganz nachvollziehen.

Bei den SSDs tendiere ich eher auf ein RAID10 umzusteigen, da ich schon die hälfte der Platten habe und mich jede weitere 180 kostet. Bei den Intel S3700er zahle ich mal ebend 400 Euro für ein 200 GB Laufwerk. Klar, bei der S3500 bin ich bei ähnlichen 200 Euro für 250 GB.
Hoffe ihr könnt mich erstmal über die Performance sachen aufklären.

Grüße


Edit:

Wobei wenn ich mir die IOPS von der Samsung im 4K Random angucke ist die ja auch nicht schlect :-?
samsung_ssd_840_pro_512gb_4k_randomtransfer_iops.png
 

Anhänge

  • samsung_ssd_840_pro_512gb_4k_randomtransfer_mb.png
    samsung_ssd_840_pro_512gb_4k_randomtransfer_mb.png
    28,4 KB · Aufrufe: 59
Zuletzt bearbeitet:
Generell ist es schon mal nicht clever VMs auf einen Raid5 oder 6 zu legen, da theoretisch gleichzeitig die Köpfe ALLER Festplatten bei jedem Schreib-, Lese Vorgang positioniert werden müssen, das kostet Zeit und ist somit extrem langsam im Vergleich zu anderen Konzepten. Einen Teil davon fängt der Cache deines Hardwarecontrollers ab, trotzdem ist und bleibt das Konzept suboptimal, das solltest du auf jeden Fall ändern.

Ich kann mich nur nochmal wiederholen, Schreibperformance von grossen zusammenhängenden Dateien ist keine Aussage, wie sich das System bei vielen kleinen parallelen Zugriffen verhält. Bei deiner Konstellation kann ich nur vermuten, dass die Problemeverluste entweder durch die Belastung des RAIDs durch die VMs kommt. Andere Theorie, es hängt weder an den Platten noch an dem Controller oder am RAID, sondern am Netzwerk.

Welche ESXi Version, welche Windows Server Version und welche Adapter werden in den VMs genutzt (Intel oder VMXNET3)? Was laufen da für Betriebssysteme genau auf den VMs zwischen denen kopiert wird?
 
Zuletzt bearbeitet:
Welcher Hypervisor kommt denn überhaupt zum Einsatz?
 
Ich verwenden einen Windows Server 2012 R2 mit Hyper-V ;)

VDI Basiert auf Windows 8.1 und Fileserver ist auf dem Hyper-V Host drauf.
 
Zuletzt bearbeitet:
Ok, dann bin ich raus. Kenne mich mit Hyper-V nicht aus und kenne dessen evtl. Schwachstellen und Eigenheiten nicht.

Aber die Tipps bleiben, VMs vom RAID5,6 runter und woanders hin verlagern und evtl. die Fehler nicht nur bei den SSDs/Controller suchen, sondern den Horizont erweitern und RAID oder was anderes in Betracht ziehen.
 
Anbindung über FC per Dezidiertem SAN mit ZFS wäre auch eine Idee. Allerdings denke ich gehe ich voher auf RAID10 und lager dann dort alle VMs.
 
Ja Heimsetup ;)
Bin grade dabei ein Openfiler HA SAN mit FC und iSCSI Anbindung zu bauen, bzw. experimentiere damit herum. Später könnte ich mir vorstellen Storage komplett aufs SAN auszulagern, doch müsste ich die beiden Server komplett neue Hardware einbauen und und und :d kostet halt...
 
Da bei dir ja zwei SSDs vorhanden sind würde ich an deiner Stelle wahrscheinlich folgendes machen:

VMs aufs Raid sichern, RAID von 0 auf 1 ändern. Soviele VMs auf die SSDs machen, wie nur möglich, notfalls Neuinstallation mit kleineren VMs, gibst sowas wie Thin Provision bei Hyper-V? Performance Test machen, ist das zufriedenstellend. Zwei weitere SSDs kaufen und auf RAID 10 umstellen, wenn nicht weitere nach möglichen Ursachen für die Performance Verluste suchen.
 
Ja, VHDX unterstüzt ThinProvision und das verwende ich auch. Da ich anfangs mit einer SSD gearbeitet hatte und auf zwei gegangen bin wegen dem Speicherplatz, glaub ich kaufe ich einfach noch zwei 840er und bau ein RAID10. Mit weniger als 400 GB komme ich nicht aus.

Gibt es denn irgendwelche Faktoren zu Berücksichtigen bei der Formatierung? Formatiere eig ganz normal mit NTFS oder ReFS mit Standartsektorgröße
 
Bevor du kaufst teste doch erst, nachher ärgerst du dich wenn es nicht daran gelegen hat.

Btw, wenn du schon in Zukunft mit ZFS liebäugelst würde ich bei deinen Anforderungen kein FC machen, viel zu überzogen für ein so kleines Heimnetzwerk.

Da würde ich eher ein All-In-One Konzept machen und alles auf einer Machine laufen lassen bzw. mehrere kleinere wenn eine nicht reicht und einen "billigen" nicht RAID fähigen LSI Controller direkt in die Fileserver VM durchreichen und ZFS einsetzen.
 
Wenn ich dann ein HA SAN im Auge habe, würde ich auch einen HA Cluster mit Hyper-V oder ESXi anstreben. Aber naja. Ich werd mich erstmal mit dem Measuring von Hyper-V im Festplatten IOPS Bereich schlau machen und mal gucken wie viel die VMs wirklich verbrauchen etc.

Bei Measure-VM gibt er mir nicht so detailert die Festplatten wieder, bzw ich kann's nicht deuten.
vmscklu.png
 
Genau der richtige Weg, mit der Brechstange die Hardware oder Konzepte aufbohren ist nicht immer die beste Lösung ;)

Falls ZFS in Zukunft denk an die All-In-One Lösung, das ist für Zuhause und kleine Umgebungen die einfachste und billigste Möglichkeit.
Da kann man mit nur einem Rechner alles haben und wenn ein Cluster her soll dann mit zwei oder mehreren. Es ist dann
immer noch einfacher zwei Hosts in einem Cluster mit 10GB TP direkt zu verbinden oder zwei GB NICs zu bündeln, das reicht für Failover, die VMs liegen in der Regel ja auf dem lokalen Host und agieren im virtuellen Netzwerk, da braucht man kein FC oder sonstiges.
 
Zuletzt bearbeitet:
Viel zu teuer, normaler LSI Controller und ZFS auf die Box. Ausserdem hängt man in der Regel auch das Datengrab an den Controller und das realisiert man mit Sicherheit nicht auf SSDs ;)
 
Hab jez noch zwei SSDs und die Passenden Wechselrahmen bestellt. Wird dann ein RAID10 mit Backups und die Performance wird dann passen schätz ich. Viel mehr kommt da sowieo nicht drauf weil kein RAM mehr frei..
 
Tja so geht es mir auch hier, hab zwar noch RAM frei, aber im Nachhinein würde ich auf die Zukunft gesehen doch gerne mehr als 32 GB haben.

Aktuell gibt es keine Haswell XEON E5, daher würde ich sowieso nicht updaten im Moment und ich habe auch den Server erst Anfang des Jahres erneuert.

Naja beim nächsten Update in ein paar Jahren dann...

- - - Updated - - -

Berichte mal bitte nach dem Umbau, ob das dann alles so passt mit RAID 10...
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh