[Kaufberatung] VM-Storage

[vitafit]

Guten Morgen,

ich würde mich über Feedback / eure Gedanken zu meinem Budget-Storage Build freuen.

Hintergrund
Ich besitze bereits aus Sicht der Rechenleistung eine recht potente "VM-Spielwiese", der es eigentlich nur an Speicherplatz / Storage mangelt (kleines Gehäuse, wenig Platz -> 1x PC). Daher würde ich gerne einen weiteren kleinen Budget-Storage Build realisieren. Das System ist nicht für den 24/7 Betrieb gedacht, soll aber dennoch stromsparend sein. Das System soll bei Bedarf eingeschaltet werden.


Hardware
ASRock B250M Pro4, Mainboard
Intel® Celeron G3900, Prozessor
Xilence I250PWM, CPU-Kühler
Mushkin DIMM 8 GB DDR4-2133, Arbeitsspeicher
Chieftec HQ-01B-OP, Tower-Gehäuse
Thermaltake TR2 S 350W, PC-Netzteil
Arctic F12 Silent, Gehäuselüfter
WD Green G2 120 GB, Solid State Drive

Gesamt ca. 292€ brutto

Das Mainboard habe ich bewusst aufgrund der Anzahl der PCIe-Slots (2x) und der 6x SATA-Anschlüsse + M2 gewählt, daher auch die sehr günstige M2-SSD als Boot-Device in Kombination. Der CPU sollte völlig ausreichend sein, da der Storage per iSCSI an meine Spielwiese angebunden wird und keine komplexen Encoding-Aufgaben oder ähnliches übernehmen soll. Das Gehäuse habe ich sowohl aus optischen Gründen wie auch aufgrund der 7x Laufwerksschächte ausgewählt.

Den Storage würde ich mit meiner Spielwiese mittels einem Mellanox ConnectX-2 Kit (10Gigabit NIC) verbinden, welches ich bereits besitze. Außerdem besitze ich noch ausreichend große Festplatten, dementsprechend nur das Boot-Device.

Als Betriebssystem würde ich vermutlich FreeNAS einsetzen, wobei ich das schon fast für Overkill halte. Vielleicht entscheide ich mich auch für ein abgespecktes Linux.

Was sind eure Gedanken / Meinungen zu dem Build?

 

[katzenhai]

FreeNas wird nix mit Mellanox. Da muss es schon eine Intel oder Emulex sein.

 

[vitafit]

FreeNas wird nix mit Mellanox. Da muss es schon eine Intel oder Emulex sein.

Ich denke FreeNas ist overkill, ich würde vermutlich mit einer normalen Linux-Distro vorlieb nehmen. Ich denke zum Beispiel unter Debian sollte ich mit der Karte keine Probleme haben (zumindest sehe ich Treiber auf der Website).

 

[Gelöschtes Mitglied 117520]

Womit virtualisierst du denn? Wenn mit ESXi, dann führt wohl kein Weg an einer (nicht sicheren) Einzel HDD oder SSD vorbei.

Nutz du hingegen Proxmox oder einfach ein Linux mit KVM, dann kannst du natürlich direkt in dem System mit mdadm oder ZFS einen RAID erstellen.

@katzenhai Echt? Gilt das auch für die x3?

 

[konfetti]

wieso sollte FreeNAS overkill sein?
als Storage tut es genau das, was Du willst - man kann ja die Storage-only Version installieren, ohne VM-Overhead.
alternativ vlt. auch Openfiler, NAS4Free (XigmaNAS seit neuestem)...

Du kannst natürlich gern auch einfach irgendein Linux draufpacken, aber früher oder später kommen doch Punke, die an einem dedizierten Storage toll sind und die man nutzen möchte.
Snapshots z.B.

Warum immer iSCSI ? - warum nicht NFS ? zur Anbindung an die Spielwiese?

 

[vitafit]

iSCSI und NFS sind für völlig verschiedene Dinge ausgelegt: NFS ist ein file sharing protocol, ISCSI ist ein block level protocol was dir zum Beispiel im VMware-Umfeld das VMFS-Filesystem ermöglicht. Ich würde also gerade bei VMware iSCSI bevorzugen.
Performance macht keinen gravierenden Unterschied, wobei NFS bei Zugriff auf einzelne Dateien etwas schneller sein soll dafür aber höhere CPU-Anforderungen hat.

 

[konfetti]

- also der Performance Unterschied ist je nach Storage schon gewaltig! - Wir hatten 2008 ne NetApp FASC270 mit 450GB und 1TB Platten, an sich garnicht so träge, aber als Storage für VMware auf iSCSI Basis wie ein Porsche mit angezogener Handbremse...
Beim Umstieg auf NFS als Anbindung war es dann auch performant, volle Schreib- und Lesegeschwindigkeiten...

Mag sein das es sich inzwischen gebessert hat, aber mit nem Selbstbaustorage kommt man mit NFS als Storageanbindung für VMware meines Erachtens besser hin. - kommt sicher auch drauf an, ob man 1GB/10GB oder 2/4/8/16GFC hat...

 

[H_M_Murdock]

Ich hab den Eindruck dass man immer mehr in Richtung NFS geht, die Tintri Kisten z.B. sind speziell für Virtualisierung konzipiert und setzen ausschließlich auf NFS und SMB.
Insofern halte ich die Aussage dass nur blockbasierte Storageprotokolle im Virtualisierungsumfeld was zu suchen haben für falsch.

 

[gea]

Prinzipiell erwarte ich zwischen iSCSI und NFS eine ähnliche Performance - allerdings nur bei vergleichbaren sync write/ Schreibcache Einstellungen. ESXi z.B. möchte gerne syncron über NFS schreiben (ohne Schreibcache). Gerade bei ZFS wird das sehr deutlich weil man da einfach sync verhindern oder per Slog extrem beschleunigen kann. Ein guter Plattenpool hat bei syncronem Schreiben gerne mal Schreibraten von ca 50 MB/s. Deaktiviert man sync kann das gerne z.B. auf 1000 MB/s hochschnellen. Mit einem guten Slog z.B. Intel Optane kommt man dann z.B. auf 700 MB/s.

Bei iSCSI ist sync meist per default deaktiviert (die Einstellung heißt da writeback cache=on). Setzt man da writeback=off so hat man ziemlich exakt die gleiche Performance bzw kann mit einem Slog die gleiche Verbesserung erzielen.

Vor allem genügend RAM vorrausgesetzt ist eine webbasierte virtualisierte ZFS Storage Appliance durchaus sowas wie eine eierlegende Wollmilchsau weil man damit sehr schnellen und sicheren ZFS VM Speicher mit Snaps und einfachem Backup per Replikation erhält und das gepaart mit dem Komfort einer vollwertigen Storage Appliance. Dieses Konzept habe ich vor 10 Jahren als All-in-One auf Basis von Solaris aufgebracht. FreeNAS folgte dann viel später dem gleichen Konzept nachdem die das am Anfang noch verteufelt haben. Mit OmniOS, einem Solaris fork biete ich seither eine kostenlose ready to use ZFS Storage VM mit meinem napp-it als Web-UI an (kann FC/iSCSI, NFS und SMB) siehe https://napp-it.org/doc/downloads/napp-in-one.pdf

 

[myBerg]

Ich hab den Eindruck dass man immer mehr in Richtung NFS geht, die Tintri Kisten z.B. sind speziell für Virtualisierung konzipiert und setzen ausschließlich auf NFS und SMB.
Insofern halte ich die Aussage dass nur blockbasierte Storageprotokolle im Virtualisierungsumfeld was zu suchen haben für falsch.

Meine Erfahrung ist, das man mit NFS Thin-Disks nicht als solche verwenden kann. Die VMDK-Dateien werden immer in Thick-Disks konvertiert, sobald das Ziellaufwerk nicht nativ VMFS ist.

Beispiel: Wenn ich eine 1 TB Thin-Disk die mit 10 GB belegt ist, auf einen iSCSI-Laufwerk habe, dann habe ich 10 GB belegt. Auf einem NFS-Laufwerk 1 TB.

Entsprechend geht ein "vmkfstools -i <srcDisk> -d thin <vmfsTargetPath>" per iSCSI rasend schnell und dauert bei NFS ewig. Oder gibt es da einen Trick?

NFS-Protokolle und ESXi <<< "Virtuelle Festplatten im Thick-Format"

 

[Trambahner]

Die VMDKs auf ein ZFS-Dataset legen, wo LZ4 aktiviert ist. Und dieses Dataset für die NFS-Freigabe verwenden. Dann stört das nicht.
Und da ZFS ja eh ein CoW-System ist, müssen Blöcke bei Änderung derselben so oder so neu geschrieben werden.

Hin und wieder empfiehlt sich halt innerhalb der VM dann ein Secure-Delete, dass der Datenmüll genullt wird; damit reduziert sich dann die Belegung automatisch wieder durch LZ4.
Hab fast meine ganzen VMs daheim so. Womit dann auch einfach Snapshots und Backups oder Cloning per zfs send/recv möglich sind.

Und dank Intel 900p sind NFS-syncwrites kein Problem.

 

[myBerg]

Die VMDKs auf ein ZFS-Dataset legen, wo LZ4 aktiviert ist. Und dieses Dataset für die NFS-Freigabe verwenden. Dann stört das nicht.

Vielleicht stört es in deinem Aufbau zufällig nicht, solange Du statisch auf einem Storage bist. Aber sobald Dinge wie Backup oder vMotion ins Spiel kommen, dann nutzt dir die komprimierte Speicherung allein nichts mehr. Dann bist Du mit den Thick-Daten konfrontiert, die irgendwie über das Netz müssen.

Probiere es aus, mach eine Kopie über das Netzt einmal von ZFS nach ZFS (gezwungenermaßen Thick) und dann als Vergleich von VMFS auf VMFS (Thin). Der Unterschied ist - je nach Belegung - Gewaltig. Eine leere Thin-Disk - egal wie groß - ist bei Nutztung von VMFS in Millisekunden kopiert.

Bei meinem Anwendungsfall liegen die VMs auf einem lokalen Storage und ich benutze iSCSI für das Backup der VMDKs auf einem VMFS Volume. Ich habe auch mit NFS angefangen, aber da habe ich eben kein VMFS, und kann dessen Features nicht nutzen.

Und da ZFS ja eh ein CoW-System ist, müssen Blöcke bei Änderung derselben so oder so neu geschrieben werden.

Hin und wieder empfiehlt sich halt innerhalb der VM dann ein Secure-Delete, dass der Datenmüll genullt wird; damit reduziert sich dann die Belegung automatisch wieder durch LZ4.
Hab fast meine ganzen VMs daheim so. Womit dann auch einfach Snapshots und Backups oder Cloning per zfs send/recv möglich sind.

Und dank Intel 900p sind NFS-syncwrites kein Problem.

Solange du nicht irgendwie das Quiescing innerhalb der VM unterstützt kriegst, würde ich keinen Cent darauf wetten, dass deine Snapshots was wert sind.

 

[vitafit]

Kleines Update:
Der Build funktioniert, ich hab mich nach einigen Tests für FreeNAS entschieden, der Speicher wird per iSCSI angebunden.
Die Mellanox ConnectX-2-Karten funktionierten mit FreeNAS 11 ohne Probleme direkt nach der Installation, ich musste nichts weiter anpassen.

Somit ein voller Erfolg!