Cache SSD Empfehlung für FreeNAS

[janosch1337]

Hey,

ich habe mir ein Supermicro X11SCA-F + Xeon E-2146G besorgt für meinen neuen Proxmox Server. Werde noch 2166mhz Samsung ECC Ram 1x 32gb für den Anfang bestellen. FreeNAS wird virtualisiert mit durchgereichten 4x 4TB WD Red und wahrscheinlich als Raid 5 konfiguriert.

Meine VMs kommen auf 2x 500gb m2 NVME SSDs. Eine Samung ist bereits vorhanden. jetzt stelle ich mir die Frage ob sich eine Cache SSD (sollte ja anscheinend am besten eine Datacenter SSD sein) überhaupt sinnig ist. Was denkt ihr?

Sinn und zweck des FreeNAS ist hauptsächlich Timemachine (clients sind eh nur über 1g angebunden) und mehrere Windows VMs (eine davon ist meine Gaming VM für Streaming - und dann würde ich gerne die Spiele auf dem NAS ablegen). Sonst werden dort noch Sicherungen abgelegt. Macht es sinn sich eine Intel H10 m2 ssd mit 500gb + 32gb zu holen? weil das board kann diese ja trennen und dann könnten die 32gb für FreeNAS cache durchgereicht werden - oder soll ich eine extra Datacenter ssd nehmen oder es besser ganz lassen und einfach mind. 16GB ram geben?

Lg Jan

 

[p4n0]

Wie willst du die Platten durchreichen?
Hast du einen Controller dafuer eingeplant ?

Das Array wird jedenfalls langsam sein, bestehend aus 4 Spindelplatten.
Wenn da jetzt Sync Writes per NFS kommen wird das tragisch langsam werden. Eine Cache SSD wird dir nix bringen. Eher eine fuers LOG. Am besten eine die man nie totschreiben kann und sie sollte permanent schnell sein beim schreiben.

Fuer schnelleres lesen einfach mehr RAM in die Kiste klopfen.

Grueße

 

[Trambahner]

Wenn ein Slog, dann empfiehlt sich da eine Optane 900p/905p für Zuhause.
Achtung, ein Slog braucht nur wenige Gigabyte auf dem Device.

Achtung aber an den TE: Ein Slog-Device ist kein Schreibcache !! Es sichert vereinfacht gesagt nur den im Ram-Schreibcache befindlichen Inhalt auf ein schnelles Device (oder Mirror), wenn Sync-Writes anfallen. Somit kann ZFS die Schreiboperation schnell committen, auch wenn die Daten noch nicht auf dem endgültigen Platz sicher weggeschrieben sind.

Bei Sync-Writes ohne eigenes Slog-Device commited ZFS erst, wenn die Datenblöcke auf den "normalen" Devices, hier also Platten, geschrieben sind. (Im Detail ists dann noch etwas komplizierter).

Ich hoffe, die 4 Platten sind keine "EFAX"-Modelle. Diese sind wegen devicemanaged SMR-Technologie ungeeignet für ZFS. Das kann je nach Nutzung zu exorbitanten Antwort- und Recoveryzeiten führen.

 

[sch4kal]

Wenn ein Slog, dann empfiehlt sich da eine Optane 900p/905p für Zuhause.
Achtung, ein Slog braucht nur wenige Gigabyte auf dem Device.

Achtung aber an den TE: Ein Slog-Device ist kein Schreibcache !! Es sichert vereinfacht gesagt nur den im Ram-Schreibcache befindlichen Inhalt auf ein schnelles Device (oder Mirror), wenn Sync-Writes anfallen. Somit kann ZFS die Schreiboperation schnell committen, auch wenn die Daten noch nicht auf dem endgültigen Platz sicher weggeschrieben sind.

Bei Sync-Writes ohne eigenes Slog-Device commited ZFS erst, wenn die Datenblöcke auf den "normalen" Devices, hier also Platten, geschrieben sind. (Im Detail ists dann noch etwas komplizierter).

Ich hoffe, die 4 Platten sind keine "EFAX"-Modelle. Diese sind wegen devicemanaged SMR-Technologie ungeeignet für ZFS. Das kann je nach Nutzung zu exorbitanten Antwort- und Recoveryzeiten führen.

Bei der heutigen Preislage lohnt sich Optane privat aber auch nur noch bedingt, die sind leider in den letzten 6-8 Monaten viel teurer geworden
Welche sich noch lohnen könnte, wäre die P4801X in der 100GB Variante.

 

[gea]

Eine Cache SSD ist ein L2Arc als Erweiterung des RAM-Lesecache.
Bei einem NVMe Pool oder viel RAM macht das aber so gut wie keinen Sinn (außer read ahead).

Ein Slog als Absicherung des rambasierten Schreibcaches macht bei VM Storage Sinn wenn man keinen Datenverlust/ korruptes Dateisystem beim Absturz haben möchte. Das gilt jedoch nur bei plattenbasierten Pools. Bei einem NVMe Pool ist der Performancegewinn nur minimal. Da einfach sync ohne Slog aktivieren.

Bei einem NVMe Pool muss man aber beachten dass NVMe ohne powerloss protection vor einem Datenverlust nicht schützen können, egal ob mit oder ohne Slog oder der Überlegung ein Datacenter Slog mit powerloss protection als Slog zu nehmen (wie die Optane DC 4801). Deshalb da einfach sync aktivieren, kein Slog kaufen, das Beste hoffen und fleißig Backup machen.

Wenn man sicheres schnelles Schreiben braucht, dann 12G SAS, NVMe oder Optane mit powerloss protection einsetzen (mit sync aktiviert aber ohne slog)

Ansonsten
Unter ZFS gibt es kein Raid-5. Da heißt das zur Unterscheidung Z1 um klarzustellen dass das anders funktioniert und nicht das write hole problem von Raid-5 hat.

Als Storage VM würde ich etwas resourcenschonenders nehmen. Neben meinem bevorzugten OmniOS (Solaris fork) bei dem man auch neue Features wie ZFS Verschlüssellung oder special vdev hätte (und Timemachine Support via SMB out of the box) aber eher besserem Support unter ESXi als ProxMox wäre das XigmaNAS wenn man auf Free-BSD bleiben möchte.

 

[janosch1337]

@p4n0 die platten reiche ich durch indem ich den SATA controller vom Mainboard einfach durchreiche

@Trambahner danke für den tipp. werde mal checken welche platten ich habe

@rest danke für die Tipps. Dann werd ich die Woche einfach mal anfangen zu testen und seh ja dann was bei raus kommt. Als Proxmox/VM SSD hab ich mir juetzt die optane H10 1TB bestellt. die hat ja noch 32gb extra die ich mal zum test als slog nutzen könnte. ansonsten mach ich halt einfach 4x 4TB raid z1 und schau mal was die so leisten - vielleicht reicht mir die leistung ja auch schon.

@gea ja vielleicht schau ich mir OmniOS mal an. FreeNAS hab ich auch noch nie benutzt. Timemachine würd ich ja gern nutzen und verschlüsseln würd ich die platten auch gerne.

 

[Brokk]

Kann dein Board denn mit den H10 umgehen. Die müssen bifurcation auf den M.2 unterstützen. Du siehst sonst nur eine der beiden Platten.

Ich war ganz erstaunt das mein nuc hades das nicht kann....