Enterprise SSD als VM Store

[AliManali]

Hi

Habe einen Konvolut an 1.92 TB Server SSD angeboten bekommen. Mein Kumpel, mein Neffe und ich könnten noch ein paar brauchen. Beim Kumpel und mir würden die an einem LSI 2008i hängen, der an napp-it durchgereicht ist (ZFS). Bei meinem Neffen direkt am ESXi. Auf den SSD sollten dann VM's laufen. Im Moment sind alle VM's auf SM883, bzw. beim Neffen noch auf Platten.

Könnt ihr mir grob sagen, welche von den SSD noch interessant sind als VM Store?

• Intel D3-S4610
• Intel DC S4600
• Intel D3-S4510
• Samsung SM863
• Micron 5200 ECO
• Micron 5100 PRO
• Sandisk CloudSpeed ECO Gen II

Könnt Euch auch gerne nur zu einzelnen Modellen äussern, a la "geht gar nicht", "ist super", "ist halt uralt", oder dergleichen.

Gruss und danke.

 

[Firebl]

Prüfe mal ob der 2008 mit SSDs umgehen kann. War der nicht auch bei DELL verbaut? Da gabs einen H200 (keine SSDs) und einen H310 (Trim-Support)

Ansonsten sollten alle SSDs gut sein. Mit den 4510 und 4610 (DC S4600 ist der Vorgänger der D3 S4610) hab ich hervorragende Erfahrungen gemacht. Es gibt auch eine Generation neuer, die D3 S4x20

 

[Holt]

Da gabs einen H200 (keine SSDs) und einen H310 (Trim-Support)

Wenn da nur die Images der VM Disks drauf liegen, dürfte TRIM egal sein, da man ja solche Images kaum mal löscht und das Löschen von Dateien wohl auch kein TRIM von der VM an den Host durchreichen dürfte. Damit wird also nur überschrieben und dann spielt TRIM keine Rolle.

 

[AliManali]

Ja, bei mir ist ein Perc H310 verbaut. @gea meinte, dass Trim nicht vom HBA, sondern vom Filer (OS) abhängig ist. Habe sie auch nach dem H200 gefragt, weil so einer liegt auch noch rum. Sie meinte, das spielt keinen Rugel. Wobei habe auch schon gehört, dass Trim eben auch vom HBA abhängig ist. Dieser läuft im IT Mode. Da scheint es verschiedene Ansichten zu geben.

Die vmdk liegen auch nicht prelocated auf dem NFS Store. Die sind dynamisch. Funktioniert ganz gut soweit auf der einen SM883 am Perc 310.

Nach was muss ich da googlen, bezüglich den SSD, ob die geeignet sind? Reicht da I/O? Sequenziell ist mir total wumpe. Einfach dass ich einschätzen kann, welche Modelle für VMs geeignet sind, und welche eher für Daten. Viel geschrieben wird da eh nicht btw., zumindest bei mir.

So wie ich jetzt verstanden habe, wären die Intel alle geeignet. Die Samsung sicher auch, da habe ich keine Bedenken. Wie sieht es mit den SSD aus?

• Micron 5200 ECO
• Micron 5100 PRO
• Sandisk CloudSpeed ECO Gen II

 

[Holt]

dass Trim nicht vom HBA, sondern vom Filer (OS) abhängig ist.

Das hängt von beidem ab, das OS muss die TRIM Befehle überhaupt erstmal ausgeben, wenn eine Datei gelöscht wird, also schauen welche LBAs auf der SSD die gelöschte Datei belegt hat und diese Adressen dann trimmen. Der Treiber muss diese Befehle dann durchlassen, denn die Treiber filter ihnen unbekannte Befehle meist aus und genauso muss der Controller diese durchlassen. Beim HBA Modus, wo also kein RAID im Spiel ist, stehen die Chancen höher als wenn es ein RAID Controller wäre.

Wobei habe auch schon gehört, dass Trim eben auch vom HBA abhängig ist.

Ja, der muss die Befehle eben auch an die SSDs durchreichen.

Die vmdk liegen auch nicht prelocated auf dem NFS Store. Die sind dynamisch.

Meines Wissens nach werden die aber nur größer und nie kleiner, aber dies kannst Du ja mal beobachten.

Nach was muss ich da googlen, bezüglich den SSD, ob die geeignet sind?

Wenn man SATA SSDs an SAS RAID Controllern betreibt muss man immer auf den Cache achten, denn die mit einem eigenen DRAM Cache und BBU deaktivieren i.d.R. den Schreibcache der SSDs und dann schreiben SSDs ohne Full-Power-Loss Protection sehr viel langsamer als solche mit.

Reicht da I/O?

Beachte das bei Enterprise SSDs die IOPS Schreibend im Steady State angegeben werden, also im Worst Case und bei Consumer SSDs im Best Case, also bei leerer SSD und oft nur über einem kleinen Adressraum von gerade mal 1GB.

Einfach dass ich einschätzen kann, welche Modelle für VMs geeignet sind, und welche eher für Daten. Viel geschrieben wird da eh nicht btw., zumindest bei mir.

Die Virtuellen Disks von VMs sind für die SSDs auch nur Daten, die sehe da keinen Unterschied.

 

[gea]

Trim in Raid Arrays ist eine Herausforderung. ZFS beispielsweise konnte Trim schon sehr lange, allerdings nur auf Einzelplatten. Erst seit wenigen Jahren kann ZFS Trim auch im Software Raid. Einzig bekanntes Problem ist dass es mit manchen vor allem sehr günstigen SSD nicht sauber funktioniert. Da gab es anfangs sogar Berichte über Datenverlust. Mit Enterprise SSD ist die Wahrscheinlichkeit von Problemen aber extrem gering. Funktionierendes Trim mit Hardwareraid würde ich generell als sehr unwahrscheinlich ansehen. Mit ZFS und HBAs sehe ich von der Seite keine Probleme. Wenn man neu kauft und der Controller idealerweise schnelles 12G kann würde ich nach SAS SSD schauen.

 

[Holt]

Erst seit wenigen Jahren kann ZFS Trim auch im Software Raid.

ZFS hat durch die Verbindung von Filesystem und RAID ja auch den Vorteil das es weiß welche Bereiche belegt sind, was ein klassiches RAID, egal ob HW oder SW, eben nicht weiß. Klassiche RAIDs sind eine Ebene unterhalb des Filesystems und wissen damit nicht welche Bereiche des RAIDs mit Daten belegt sind und welche nicht. Damit kann TRIM allenfalls in RAID 0, RAID 1 oder RAID 10 gehen, aber auch nur bei SSDs mit Deterministic Read Zero after TRIM (RZAT), aber nicht bei RAID 5 oder RAID 6, da sonst die Parity Daten ja nicht stimmen würden und damit das RAID inkonsistent wäre.

Aber da meines Wissens nach die Dateien der VM Images eben nicht schrumpfen, sondern nur wachsen wenn man mehr von der virtuellen Platte belegt und auch wenn man in der VM eine Datei löscht, kein TRIM an den Host und damit die SSD weitergereicht wird, dürfte TRIM hier keine echte Rolle spielen, weil eben fast nur geschrieben oder überschrieben wird und bei beidem gibt es sowieso kein TRIM, sondern eben nur wenn man Dateien löscht.

 

[AliManali]

Naja, lösche da schon auch Dateien. Wenn ich ein Projekt habe oder experimentieren will, lege ich da VMs an, die dann nach einer gewissen Zeit wieder gelöscht werden. Habe mir schon länger abgewöhnt, alles und jedes zu archivieren, oder gar auf der Produktivplatte zu lassen. Wenn ich es dann doch archivieren will, geht es auf eine mechanische Platte. Mit den gewünschten SSDs aus dem ersten Post hätte ich dann aber sehr viel mehr Möglichkeiten. Habe da echt seit jeher einen Engpass bezüglich Storage. Obwohl es weder Videos oder Audio gibt auf meinen Platten, da ist mir der Platz zu schade. Grossteil sind halt VMs, Blech OS und deren Backups.

Hoffe, wir werden uns beim Preis einig. Weil ich weiss noch nicht, wieviel er für die 8 SSDs will. Ausserdem muss man das noch von der EU in die Schweiz schippern, da kommt auch noch Zoll drauf. Mache daher nicht so gerne Einkäufe in DE. Aber bei dem Deal wäre ich echt zu haben. Sofern mein Sackgeld reicht. Kumpel und Neffe haben abgewunken, die wollen keine kaufen.

 

[Holt]

Naja, lösche da schon auch Dateien. Wenn ich ein Projekt habe oder experimentieren will, lege ich da VMs an, die dann nach einer gewissen Zeit wieder gelöscht werden.

Dies dauert dann ggf. etwas länger, wenn kein TRIM aktiv und die SSD recht voll ist. Wobei die Enterprise SSDs ja ab Werk mehr Free Area haben als Consumer SSDs. Ansonten gibt es unter Linux ja auch noch fstrim um ein Offline TRIM auszuführen, dabei wird eben gerschaut welche Cluster frei sind und die entsprechenden Adressen der SSD werden dann getrimmt, dies könntest Du ja, sofern das verwendete Host Filesystem auch fstrim oder einen ähnlichen Befehl hat, dann nach dem Löschen einer VM auch mal ausführen.

 

[gea]

ZFS überschreibt wegen Copy on Write keine Daten sondern legt bei Änderungen immer neue Datenblöcke an und gibt die alten Datenblöcke frei sofern kein Snap die blockiert. Trim wird da schon was bringen, bei Enterprise SSD zwar weniger als bei Desktop SSD aber warum sollte man das nicht nutzen.

Trim kostet allerdings Performance. ZFS kann daher Trim dauerhaft (auto) oder "on demand" zu low activity Zeiten. Weitere OS Tools brauchts dazu nicht.

 

[AliManali]

Hmm, dass so triviale Fragen immer so ausarten müssen bei Euch. Aber werde dabei ja nicht dümmer. Danke mal soweit an die Beteiligten.

 

[AliManali]

Hmm, der Typ hat mir die erst angeboten, mit Foto und allem. Jetzt hat er mich auf igno, keine Ahnung was ich dem getan habe.

Aber die 2 TB Dinger sind für mich eh nicht ideal. Und nagelneue PM893 kosten ja nun auch nicht die Welt.