[Kaufberatung] Lieber eine oder zwei SSD für vm store auf vSAN?

[AliManali]

Hi

Ich habe einen ESXi AiO mit einem durchgereichtem IT mode LSI 2008 HBA an napp-it. Im Moment laufen da alle VMs auf einer einzelnen SM883 2TB. Nun habe ich ein Supermicro SAS Cage bestellt, CPU wird auch gepimt auf eine E5-2697A v4. Die ist auch schon da, bin ganz hibbelig.

Nun wollte ich den NFS vm datastore etwas erweitern. Im Auge habe ich da die PM893 Retail. Die sind ja für einen Appel und ein Ei zu haben. Würdet Ihr da eher eine 8 TB nehmen, oder zwei mal 4 TB? Sequenziell ist mir relativ wumpe. Es wird auch nicht sonderlich viel geschrieben auf die SSD. Es sind halt ein paar Anwendungsserver und ein Hosting Panel. Ab und zu wird auch ein wenig experimentiert, da setze ich dann meist einfach ein paar kleine VMs auf.

Falls das nicht viel ausmacht I/O technisch, würde ich eher zu der einzelnen 8 TB Variante tendieren.

Ich bin halt noch gebrannt von meiner ersten "grossen" Server SSD, das war damals eine sauteure 2 TB Evo 850. Die wurde irgendwann schnarchlangsam. Wenn ich was auf eine VM kopieren wollte, ging das mit 5 MB/s oder so. Auf solche Erfahrungen möchte ich dann mit dem neuen Storage natürlich verzichten. Mit der Performance der SM883 bin ich super zufrieden, da laufen im Moment 16 VMs drauf, und flutscht soweit ganz gut. Aber die war auch teuer.

Vielleicht kann da wer was dazu sagen? @Holt vielleicht?

Gruss und danke

 

[Holt]

Ich bin halt noch gebrannt von meiner ersten "grossen" Server SSD, das war damals eine sauteure 2 TB Evo 850.

Die 850 EVO ist aber keine Server, sondern eine Consumer SSD und wenn die an einem SAS HBA/RAID Controller wie dem LSI 2008 hängt, kann es sein das ihr Schreibcache deaktiviert wurde und sie kein TRIM bekommen hat. Die PM893 ist als Data Center SSD schon viel besser für den Betrieb an so einem SAS Controller geeignet, dies sind eben die Herausforderungen wenn man Enterprise und Consumer Hardware mischt.

 

[AliManali]

Hmm, ich habe ganz viele Consumerhardware im Server ^^. 1x WD Green für den ESXi, 1x Kingston SSDNow UV400 für die Filer, 1x 840 Pro für schnelle Ablage. Schande über mein Haupt.

Ich habe eh grad eins geraucht und kam dabei zur Erkenntnis, dass ich mein Taschengeld anderweitig nutzen werde. Obwohl der Preis verlockend wäre. Aber ist halt nicht angebracht.

Aber würdest Du eher eine oder zwei nehmen für VMs am LSI auf ZFS? Wie gesagt, ich würde auf eine tendieren, gerade auch wegen dem Overhead vom provisioning und so? Wenn Du die Kapazität eher flach brauchen würdest? Organisatorisch würde mir da 1x share besser passen.

 

[Holt]

Hmm, ich habe ganz viele Consumerhardware im Server ^^. 1x WD Green für den ESXi, 1x Kingston SSDNow UV400 für die Filer, 1x 840 Pro für schnelle Ablage. Schande über mein Haupt.

Wenn die nicht an dem LSI 2008 sondern den internen SATA Ports des Mainboards hängen, dann macht es ja nichts das da irgendwo in einem Slot so ein LSI 2008 steckt, gemischt wird ja erst, wenn man sie an den LSI hängt.

Aber würdest Du eher eine oder zwei nehmen für VMs am LSI auf ZFS?

Weder nutze ich UFS noch einen LSI, von daher kann ich Dir da nicht helfen.

ich würde auf eine tendieren, gerade auch wegen dem Overhead vom provisioning und so?

OP sollte bei solchen Enterprise SSDs wie der PM893 nicht so relevant sein, die haben i.d.R. ab Werk mehr als Consumer SSDs und ich würde schon deswegen zu einer tendieren, einfach weil irgendwann auch 4TB nicht mehr viel sein werden und dann wird man mit einer 8TB länger was sinnvolles anfragen können als mit zwei 4TB SSDs.

 

[AliManali]

Ja, die 3 Consumer SSD hängen nicht am HBA. An den Mainboard SATA hängen die.

Und OP an dem Filer macht schon napp-it selbst. Glaube ich zumindest. Das hält einfach 10-15% der Kapazität frei.

Vielleicht kann @gea da was dazu sagen.

 

[Holt]

Und OP an dem Filer macht schon napp-it selbst. Glaube ich zumindest.

Napp-it kenne ich nicht, aber es wäre nicht ungewöhnlich, so kann z.B. unter man Linux auch nur mit root Rechten die letzten 10% der Kapazität einer Partition beschreiben, die normalen Userrechte reichen nur für die ersten 90%. Aber ob dies dann auch für den Controller der SSD wie OP ist, hängt davon ab ob es immer der gleiche Bereich ist, was eher nicht der Fall sein dürfte, denn wenn man Dateien löscht ist ja wieder mehr frei und die meisten Filesysteme überschreiben die Bereiche die eine gelöschte Datei belegt hatte eher nicht sofort wieder und dann ob TRIM funktioniert. Denn für den SSD Controller sind alle Daten die einmal geschrieben wurden so lange gültig bis die Adresse unter der sie geschrieben wurde entweder überschrieben oder getrimmt (oder eben ein Secure Erase ausgeführt) wurde. Das TRIM funktioniert ist bei SATA SSDs an SAS Controllern eher die Ausnahme als die Regel.

 

[gea]

Fres ist eine ZFS Reservierung, kein Overprovisioning da ZFS weiter auf die ganze SSD zugreifen kann und lediglich bei 90% ein Pool full sieht. Für Overprovisioning müsste man entweder bei einer neuen oder sicher gelöschten SSD eine ungenutzte Partition anlegen oder z.B. per hdat2 eine host protected area (je z.B. 10%)

ps
Einen ZFS Pool auf einer single SSD oder ein Slog ohne powerloss protection würde ich nicht machen. Bei einem Mirror hätte man zumindest Redundanz falls beim Schreiben oder Reorganisieren der SSD der Strom ausfällt und dabei Daten verloren gehen könnteh,

 

[Holt]

Für Overprovisioning müsste man entweder bei einer neuen oder sicher gelöschten SSD eine ungenutzte Partition anlegen oder z.B. per hdat2 eine host protected area (je z.B. 10%)

oder man lässt einfach einen Teil unpartitioniert, legt also z.B. die Partition 10% kleiner an als möglich wäre. Auf Adressen außerhalb einer Partition wird ja nicht geschrieben, mit Ausnahme der paar Bytes für die Partitionstabelle. Deswegen also extra eine HPA oder eine sonst nicht genutzte (und auch bitte nicht voll formatierte) Partition anzulegen ist also total unnötig bis unsinnig.

 

[gea]

Viele Wege führen nach Rom

 

[Holt]

Ja, aber muss an denn den beschwerlichsten Weg mit dem uralten hdat2 vorschlagen oder nehmen?