Nach Unraid kommt ZFS - der nächste Server für daheim

[Japanic]

Hallo zusammen,

dank eurer Hilfe läuft seit zwei Jahren das erfolgreiche Experiment mit Unraid, welches stetig erweitert wurde. Backups / NAS / VM / Docker / 24/7 Betrieb/ Steam-In-Home-Streaming / Lightroom / - alles läuft. Wenn was zickt, ist es die Hardware.

Allerdings mit zwei Wermutstropfen:

1. Ich habe damals auf ECC-RAM verzichtet (mein Fehler) und jetzt habe ich keine lust mehr ddr3-ecc-ram zu kaufen.
2. Das Speedlimit von Unraid nervt doch etwas (70-80 MB/sec write bei Setup ohne SSD-Cache), wenn man parallel viele Dateien schaufelt.

Den finalen Anstoß zum neuen Projekt gab mir allerdings das Mainboard (Asrock H97M pro4 von 2015), welches ums verrecken nicht mit meinen neuen 12TB Platten (WD/HGST HUH721212ALN600) starten will. Daher lasse ich den alten Unraid-Server so wie er ist für VMs und Docker bestehen und möchte nun einen zusätzlichen Server einrichten. Dieser soll folgende Anforderungen erfüllen:

1. Datensicherheit - ich denke an ZFS im Mirror-Betrieb + ECC-taugliche Hardware. Da ich eh per Snapshot weitersichern will (Lektüre...), bringt mir Z3 oder mehr keinen Vorteil. Im Falle eines Falles bleibt der Server halt stehen bis das resilvering fertig ist, niemand muss zwangsweise jeden Tag an die Daten ran - sie dürfen nur nicht verloren gehen. Und per Mirror lässt sich der Server wohl am schnellsten, weil am günstigsten, Erweitern.
2. Schnelligkeit - die Auslastung des Gbit-Netzwerk ist Pflicht, Luft nach Oben wäre gut, denn 10gbit per Unifi ist in Planung.
3. Zukunfssicherheit - vorrangig soll der Server lange als reines NAS dienen. Er kann aber auch, Stabilität vorausgesetzt, zum nächsten Gaming-Server werden und den alten komplett ersetzen.
4. Abmessungen - ATX ist das Maximum, da mein 19" Rack nur 45er Gehäusetiefe bietet. Daher kann ich auch keine echte Serverhardware nehmen. Höhe ist allerdings kein Problem.

Folgende Hardware habe ich bislang gefunden, Netzteil und Gehäuse kommen extra:

Premium (700€):

• Asrock Rack X470D4U2-2T (320€) - die AsRock Racks haben anscheinend den höchsten Supportlevel für ECC-Ram und sind sonst auch extrem gut aufgestellt (VGA-GPU onboard, IPMI, dual 10gbit LAN etc.)
• AMD Ryzen 5 3600 (200€)
• 2x Kingston Server Premier DIMM 16GB, DDR4-2666, CL19-19-19, ECC (KSM26ED8/16ME) 180€ /2st.

Mittelklasse (520€):

• ASRock Rack X470D4U (220€) wie oben, nur mit 2x1gbit
• AMD Ryzen 5 2600 (120€)
• 2x Kingston Server Premier DIMM 16GB, DDR4-2666, CL19-19-19, ECC (KSM26ED8/16ME) 180€ /2st.

Budget

• ?

Entscheiden ist, wie weit man bei den Basisanforderungen mit dem Preis runterkommt, s.o. - schnelles und sicheres NAS gegen den eierlegenden VM-Server-Sau mit esxi - Ich lese mich gerade durch diesen und diesen Thread.

Dann noch die nicht ganz unbedeutende Frage nach der Software. ZFS ist ja bei allen beliebten Lösungen (FreeNas, OMV) mehr oder minder "hinzugebastelt" worden. Was wäre denn die nativste Anwendung die ein unstudierter noch nutzen kann? XigmaNAS?

Es wird ein Spaß!
Ich bedanke mich bereits im Voraus für eure Unterstützung und wünsche euch einen schönen Abend!
Japanic

 

[gea]

Man kann das so oder anders sehen, ich seh das so

AMD hat derzeit das beste Preis/Leistungsverhältnis bei CPUs. Der Hauptzielmarkt ist aber Gaming und 3D. Ich habe mir selber gerade 10 Ryzen Systeme für unsere Renderfarm zugelegt. Im Server/Storagebereich fühle ich mich bei Intel aber (noch) besser aufgehoben, speziell mit den SuperMicro Boards mit Intel Serverchipsätzen, ipmi, ECC und Sockel 1151v2 und 3647, idealerweise mit 10G onboard.

Backup bei ZFS sehe ich so.
Externes Backup ist Disasterbackup, also Schutz gegen Feuer oder Diebstahl. Der "Alltagsschutz" ist ZFS mit ausreichender Redundanz und Snapshots/ Versionierung. Solche Snapshots kann man Tausende haben, bis herunter jede Viertelstunde (heute) oder Langzeit (wöchentlich, monatlich, jährlich).Ideal ist es wenn 2 beliebige Platten ohne Datenverlust ausfallen dürfen. Backup ist dagegen ein oder wenige Versionsstände - eben gedacht für den Notfall.

Zum OS
"Heimat" von ZFS ist Solaris mit Original ZFS und dessen freie Forks mit Open-ZFS. Da ist ZFS am Besten integriert, braucht die geringsten Resourcen und "es tut einfach", nicht zuletzt wegen dem kernelbasierten SMB Server in den Solarish Optionen. Mein aktueller Tipp ist OmniOS für einen maximal stabilen FC/iSCSI, NFS und SMB Server mit den allerneuesten ZFS Features wie Verschlüssellung, spezielle Vdev, schnelles Resilvering, System Checkpoints oder Trim, https://omniosce.org/

Free-BSD hat die nächst beste Integration (hat ZFS relativ früh von Solaris übernommen), allerdings ohne aktuelle ZFS Features. Stand ist etwa ein Jahr alt. Aktuelle Open-ZFS Features sind Mitte 2020 zu erwarten.

Linux hat aktuelles Open-ZFS allerdinges ist ZFS da eine Option unter vielen, die Integration ins OS eher schlecht und jedes Update ein Abenteuer.

Die Frage des Web-Management Tools ist unabhängig davon. Bei Solarish gibts mein napp-it, bei Free-BSD FreeNas und XigmaNAS, bei Linux OMV. Der ZFS Support von OMV ist aber eher mäßig.

 

[VirtuGuy]

Kurze Frage, wirst du mehr Platten wie unter Unraid einsetzen? Mit einem simplen Mirror wirst du mit ZFS nicht glücklich werden.

 

[gea]

Warum sollte das so sein. Ich habe viele ZFS Anwender mit einem Filer im 2/3 way mirror. Die sequentielle und random Schreibperformance entspricht zwar nur der einer Platte, dafür skaliert die Leseleistung mit der Anzahl der Platten im Mirror.

Entscheidender sind aber eh die rambasierten Schreib/Lesecaches bei ZFS. Meist bricht die Schreibperformance bei kleinen IO ein. Mit ausreichend RAM gibt es die bei ZFS nicht (außer bei syncwrite=on) da diese im RAM gesammelt werden (Schreibcache default 10%RAM, max 4GB) und als große und schnelle sequentielle writes auf PLatte landen. Mit ausreichend RAM werden beim Lesen dazu gerne mal >80% aller (wiederholten) Lesevorgänge aus dem Arc RAM-Lesecache bedient.

ZFS ist mit ausreichend RAM sehr oft auch im Mirror schneller als andere Dateisysteme. Mit aktuellen Platten kann man auf jeden Fall mit einem einfachen Mirror ein 1G Netzwerk auslasten, selbst bei kleinen Dateigrößen.

 

[VirtuGuy]

Ich beziehe mich auf seine Angaben. Lesecache ist halt so eine Sache wenn er parallel VM´s, Streaming, Recording und Fileservices betreibt und der Pool ggf auch noch deutlich mehr als 50% voll ist. Abhängig vom Design des Pools wird ZFS hier keine Verbesserung bringen.

 

[gea]

Der rambasierte Schreibcache bringt immer eine deutlich bessere Schreibperformance. Beim Lesen beschleunigt der Arc Cache (Re)Reads der Metadaten und kleiner IO. Arc cacht keine Files und keine sequentiellen Daten. Lediglich ein L2Arc kann mit read ahead sequentielles Lesen etwas verbessern.

Videostreaming (lesend) umgeht den Cache. Dafür ist allerdings die sequentielle Performance einer Platte ausreichend (wenn nicht gerade mehrere parallele Streams anfallen), zumal die Metadaten ja gecacht sind und dafür keine Platten io anfallen.

Ungeachtet dessen ist ein High Perfornace Filer natürlich Multi-Mirror oder besser NVMe. Nichtsdestoweniger ist ein einfacher 2/3 way Platten Mirror bei ZFS oft die ideale Konfiguration für Filer und Backup bis ca 12TB besonders @home, eventuell ergänzt durch einen zweiten kleineren SSD/NVMe Pool für VMs (oder special vdevs bei dem man einzelne Performance-sensitive Dateisysteme auf NVMe zwingt)

 

[VirtuGuy]

Alles schön und gut, mir musst du es nicht wirklich erklären

Am Ende zählt was er im Detail nun wirklich machen will. Unraid ist keinesfalls langsam, ganz im Gegenteil. Wenn er aber da schon Probleme hat, wird er mit einem simplen Mirror unter ZFS nicht glücklich werden. Selbst mit 4 Platten bringst du den Pool mit Mischzugriffen (VM, Streaming, Fileshares, Recording,..) schnell ans Limit. Cache ist zwar schön, aber hat seine Grenzen - mit 32Gb Ram hat er im Mischbetrieb mit VM´s auch nicht viel Luft nach oben. Den Hinweis mit extra Pool für VM´s hast du bisher ja ausgelassen. Das sind mMn halt gleich ganz andere Aussagen wie "nimm ZFS und alles wird gut"

Bezüglich Gehäuse würde ich mich mal bei Servercase UK umsehen - https://www.servercase.co.uk/shop/s...bays---eatx-motherboard-support-sc-43400-8hs/

 

[gea]

Das Alleinstellungsmerkmal von Unraid ist die Erweiterbarkeit um beliebige Platten und der Energiesparaspekt da alle Platten bis auf die aktive schlafen können. Auch ist bei einem Plattenausfall nur der Datenbestand dieser Platte verloren.

Mit ausreichend RAM ist ZFS auch mit einer Platte mit rambasiertem Schreib-Lesecache immer schneller als Unraid mit einem SSD/NVMe Cache Laufwerk - ganz unabhängig von der höheren Datensicherheit die ja das besondere Merkmal von ZFS ist.

 

[Japanic]

Guten Abend und danke an euch beiden für die rege Diskussion. Ich versuche mal den Input für mich zu sortieren und ein paar Antworten zu geben:

1. Wegen der Intel-Hardware: Ist ein bisschen wie mit VW... Fahre zwar selber einen, aber nach der Betrügerei noch mal einen Kaufen? Hm. Ich werde es beim PC mit AMD versuchen.
2. Die verschiedenen ZFS-Umsetzungen muss ich mir genauer ansehen, danke für die Aufstellung!
3. Für das NAS schwebt mir folgende HDD-Konstellation vor: als Mirror für die wichtigsten Daten 3x4TB (habe noch eine ungenutzt als Ersatzteil). Hierauf liegen dann die 2TB wichtigsten Daten, Zuwachsrate ca. 0.5 TB/Jahr. Für Multimedia und Unwichtiges ist dann der Mirror 2x12TB. Ist hierbei eine zusätzliche Spiegelung der Daten aus dem ersten Pool möglich? Dann hätte man die Daten bereits im ersten Server auf 5 Platten. 1x Backup im Haus und 1x Backup außerhalb kommen dann noch hinzu.
4. Zur Geschwindigkeit: das aktuelle und zukünftige Worstcase-Szenario ist tatsächlich wie oben beschrieben: Mehrere Full-HD-Streams mit Emby, dazu ein Upload von 60 GB Fotos und Videos und gleichzeitges VM-Spielen. Allerdings geht es in erster Linie um die Datensicherheit und zweitens:
5. Könnte man einen weiteren Pool mit SSDs zusätzlich für die VMs aufbauen. So habe ich das bislang in Unraid auch gelöst. Die 2x1TB SSD sind allerdings Evos von Samsung. Ist das ein Problem?
6. Danke für den Tipp mit den Gehäusen, eines davon habe ich bereits im Einsatz. Dessen Qualität ist allerdings eher Arzt- als Bastlerfreundlich.
7. Und wie ist das mit dem Laufwerk für das System an sich? Hier Lese ich immer wieder über die Intel Optanes welche gute Dienste leisten sollen. Reicht da eine oder müssen die auch im Mirror laufen?

Nochmals Danke und Grüße!

 

[gea]

3.
Ein Pool aus einem dreifach ZFS Mirror mit einer Reihe von regelmäßig erstellten Snapshots hat eine Datensicherheit bei der man nur noch Feuer, Diebstahl oder eine Amokhardware fürchten muss (Disasterfall).

Auf dem 12TB Pool aus einem Mirror kann man den ersten Pool per Replokation sichern. Gerade das schützt aber gerade nicht gegen den Disasterfall. Das muss extern (separater Server, USB Platte) erfolgen. Schaden tuts aber nicht.

4.
Einige wenige Videostreams werden sicher kein Problem. ZFS liest ja auch paralell von beiden Platten.

5.
Ein weiterer SSD pool geht problemlos. Diese Option is die gängigste. Eine ASlternative wären special vdev für einzelne Dateisysteme. Samsung EVO kann man nehmen, ist schneller als eine Platte. Im Server bei konstanterem Schreiben kann die aber heftig in der Performance einbrechen. Für ein Produktivsystem wäre allein schon die fehlende Powerloss Protection ein Nogo Kriterium.

7.
OS Laufwerk z.B. für das Storage OS und eine Virtualisierungsumgebung z.B. ESXi ist unkritisch. Eine kleine billige 100GB SSD ist ok, Optane für OS ist Perlen vor die Säue.. Optane ab 800P wäre der ultimative VM Storage oder aber ist geeignet den rambasierten Schreibcache von ZFS abzusichern (Slog).

Wenn die VM Umgebung und die Storage VM minimalistisch ist z.B: ESXi + OmniOS bei denen man keine Extra Funktionalität installiert, so ist ein Mirror unnötig. Geht die Platte kaputt ist alles in 15 Minuten neu installiert inkl Pool und VM import.

Handelt es sich um eine komplexe Installation die schwierig wiederherzustellen ist (alles auf NAS installiert ohne minimalistischen Type 1 Virtualisierer darunter) ist ein Mirror angesagt.

 

[Japanic]

Danke für die weiteren Antworten, der Plan nimmt langsam Gestalt an.

Bei dem Hypervisor bin ich mir noch nicht sicher. ESXi scheint bislang der Goldstandard zu sein. Allerdings stellt sich mir die Frage, ob das Setup auch mit Proxmox+Omnios funktionieren würde? Dann ziehe ich das Projekt von der Basis gleich komplett Opensource auf.

€: Habe gerade diesen Thread gefunden. Da sprichst Du 2018 davon, dass es bei der Kombination Proxmox+Omnios+Napp-It nur eine ZFS-Basisfunktionalität geben würde. Ist das weiterhin der Fall?

 

[gea]

€: Habe gerade diesen Thread gefunden. Da sprichst Du 2018 davon, dass es bei der Kombination Proxmox+Omnios+Napp-It nur eine ZFS-Basisfunktionalität geben würde. Ist das weiterhin der Fall?

Napp-it ist ein Storageserver Management Tool für ein kommerzielles Enterprise Oracle Solaris sowie die freien Solaris Forks OmniOS and OpenIndiana . Auf diesen Unix Betriebssystemen ist die unterstützte Funktionalität weitgehend gleich.

Es gibt auch eine Version von napp-it für Linux z.B. Proxmox. Da wird aber nur die ZFS Basisfunktionalität unterstützt.

OmniOS läuft perfekt virtualisiert unter ESXi, entweder mit Raw Disk oder HBA Pass-through (beides am Besten mit LSI SAS Controller). Dazu gibt es volle Kontrolle mit vmware Tools und hochoptimierte vnic Treiber. Dafür habe ich auch eine vorkonfigurierte Storage VM die man nur bereitstellen muss. Der freie ESXi Hypervisor ist voll ausreichend.

Diese perfekte Solaris Integration fehlt bei Proxmox. Eine Unix Storage VM unter Proxmox ist daher nicht so optimal. Man nutzt ZFS da meist ohne eine voll umfängliche Storage Appliance Management Software wie FreeNAS oder napp-it..

 

[VirtuGuy]

Danke für die weiteren Antworten, der Plan nimmt langsam Gestalt an.

Bei dem Hypervisor bin ich mir noch nicht sicher. ESXi scheint bislang der Goldstandard zu sein. Allerdings stellt sich mir die Frage, ob das Setup auch mit Proxmox+Omnios funktionieren würde? Dann ziehe ich das Projekt von der Basis gleich komplett Opensource auf.

Bei ESX brauchst du eine Storage Appliance wie Freenas oder Nappit wenn du ZFS verwenden willst. Vmware selbst hat das Konzept der Stroage Appliances wieder begraben und vSAN direkt im Host integriert (für viele Euros). Von daher bleibt dir bei ESX nicht wirklich eine andere Wahl. Bei Proxmox kannst du ohne Umwege ZFS auch direkt nutzen. Eine Storage Appliance ist nicht erforderlich, außer du willst unbedingt eine zusätzliche GUI um auf anderen Hosts iSCSI/NFS/SMB... bereitzustellen.

Storage ist in meinen Augen relativ simpel. Die Frage ist eher mit was du eher zurechtkommst und welchen Aufwand du für die laufende Pflege nutzen möchtest. Bei Proxmox hats du EIN System zu warten, das macht es relativ einfach. Es bringt auch diverse Lösungen für die VM´s mit die dort einfach als schlanke Container laufen können. Auch Hardware Beschleunigung für Plex oder Zoneminder ist unter Proxmox weitaus geschmeidiger als mit ESX. Umgekehrt habe ich mit VM´s und GPU Passthrough unter ESX teils bessere Erfahrungen. Gerade wenn dir Spiele VM´s wichtig sind, wäre dies mMn ein Faktor dem ich weit mehr Bedeutung widmen würde wie die Frage wie du dein Storage verwaltest.

 

[Japanic]

Hallo zusammen und nochmals danke für die Kommentare. Ich werde jetzt die ESXI Lösung durchprobieren. Als Anfänger muss ich bestmöglich Erfahrungen mit der Thematik sammeln und das geht am ehesten mit ESXI, weil es deutlich verbreiteter ist. Auf Proxmox kann ich dann immernoch umschwenken, wenn ich möchte. Ich schreibe dann hier als nächstes meine ersten Ergebnisse hinein, der Ryzen Testserver aus unserem zweit-PC ist soweit aufgebaut.

Grüße
Japanic

 

[mttihu]

Hallo,
ich hab exakt diese Hardware im Einsatz.

• Asrock Rack X470D4U2-2T (320€) - die AsRock Racks haben anscheinend den höchsten Supportlevel für ECC-Ram und sind sonst auch extrem gut aufgestellt (VGA-GPU onboard, IPMI, dual 10gbit LAN etc.)
• AMD Ryzen 5 3600 (200€)
• 2x Kingston Server Premier DIMM 16GB, DDR4-2666, CL19-19-19, ECC (KSM26ED8/16ME) 180€ /2st.

Allerdings habe ich mich für einen Ubuntu 20.04 LTS Selbstbau entschieden und fahre damit sehr gut. Als Pool habe ich 8 mal 4 TB Ironwolf Pro als mirrored vdevs laufen, also quasi RAID10. Damit stehen mir dann rund 14.5 TB Speicherplatz zur Verfügung.

Wie weit bist du gekommen mit ESXI?