Moin,
ich überlege gerade ein NAS zu bauen und bin unweigerlich auf das Thema ZFS gekommen.
Der Server soll vor allem 2 Aufgaben übernehmen, bei welchen hohe Geschwindigkeiten nötig sind:
1) Ablage von CAD/CFD Projekten. Hier müssen wenige hundert MB große Projekte mit vielen Dateien in MB Größe in möglichst kurzer Zeit geschrieben/lesen werden
2) Quelle für Videoschnitt. Hier werden wenige hundert GB große Projekte mit mehreren GB großen Dateien (aktuell nutze ich GoPro CineForm als intermediate codec) als streaming load gelesen
Für ZFS sprechen für mich die Datenintegrität (regelmäßige scrubs) und speziell für usecase 2 die lz4 Kompression. Problematisch ist vor allem, dass RaidZ1 nicht erweitert werden können (für OpenZFS zumindest
angekündigt).
Meine Hauptfrage ist, wie viel RAM ich benötige. Aktuelle Idee eines naiven Neulings lautet:
Eine Optane 900P mit 280GB als SLOG/L2ARC und so wenig RAM wie möglich (dieser kann später dann gut aufgerüstet werden, wenn die Preise nicht mehr so verrückt sind).
Ein SLOG möchte ich nutzen, da ich "single points of failure" minimieren möchte und ohne USV die Idee nicht so gut finde, mehrere Sekunden Schreiblast nur im RAM zu haben. Als Kompromiss würde ich dann gerne eine Optane SSD und sync=always nutzen. Hierfür würde ich als Daumenregel 5 Sekunden Schreiblast vorhalten, was (begrenzt durch die 2GB/s Schreibgeschwindigkeit bei Optane) ca 10GB RAM wären. Kommt das hin?
Die verbleibende Kapazität der SSD würde als L2ARC mit einer blocksize von 32kb genutzt, woraus sich ein Mindestbedarf von ca 2GB RAM ergibt (für jeden L2ARC block muss ein 70 byte header im ARC abgelegt werden, max. 30% des ARC werden hierfür genutzt -> 270GB L2ARC / 32kb blocksize = ca 8500 Blöcke -> ca 600MB im ARC -> 2GB ARC). Setze ich dann noch l2arc_noprefetch=0 sollte doch das Laden des Projekts dazu führen, dass die Videodaten im L2ARC vorgehalten werden und ich flüssig durch die Timeline scrollen kann (hoffe ich...)
Als Anbindung nutze ich Connect-X 3 Pro Karten, sprich 40GbE mit RoCE.
Dazu drei Fragen:
- Kommen meine Überlegungen zum Thema RAM hin? Sollte ich also mit nur 16GB RAM dank Optane SSD und lz4 Kompression flüssig arbeiten können?
- Treten bei einem ZFS Storage eher single task Lasten auf, sprich wenige Kerne mit hohem Takt sind gut, oder lässt sich alles gut parallelisieren, wodurch ich auch eine günstigere CPU mit vielen Kernen aber geringerem Takt kaufen könnte?
- Soll ich die Idee verwerfen und einfach Windows mit Storage Spaces nutzen, wo ich die SSD als Cache nutze.
Vielen Dank
