[Kaufberatung] Homeserver Proxmox/NAS/ZFS - Speicherkonfiguration

[jeschke]

Hallo zusammen,

ich habe mich ein wenig in ZFS eingelesen, habe aber leider noch keinerlei Erfahrung damit. Vorläufig habe ich mich jetzt mal für folgende Hardware entschieden und benötige nun eure Hilfe bzgl. meiner Speicherkonfiguration:

Hardware:
- mATX Mainboard: Asus P11C-M/4L (inkl. IPMI)
- Gehäuse: Fractal Design Node 804
- Netzteil: be quiet! Pure Power 11 500W CM
- CPU: Intel® Core™ i3-8300
- RAM: 32GB ECC

Mein Usecase: Virtualisierung via Proxmox
- Nextcloud
- PiHole
- NAS
- diverse Testserver
- ...

Was den Speicher betrifft möchte ich möglichst redundant arbeiten. Meine Idee war, OS und den Speicher für die VM's physikalisch zu trennen und jeweils zu spiegeln (Hardware- oder ZFS-mirror):

2x SATA-DOM 32GB - System - Supermicro
1X SSD 512GB - für Cache - ???
2x NVMe/SSD ~1TB - für VM's - ???
diverse 4TB HDD's für die Daten (ZFS-Pool)

Jetzt zu meinen eigentlichen Fragen:
1) Macht mein gesamt-Aufbau grundsätzlich Sinn?
2) Soll ich für das System eher auf ein Hardware-Raid oder ZFS-mirror setzen?
3) Ist die Cache-SSD zu gross?
4) Kann ich alles (ZFS ZIL & SLOG & L2ARC) über die Cache-SSD laufen lassen?
5) Welche SSD empfehlt ihr für Cache? Ich sehe immer wieder bestimmte DataCenter SSD's, die aber recht teuer sind...

Besten Dank schonmal!
Jeschke

 

[Trambahner]

schlechte gehäusewahl. Die HDD hängen an Haltern in der Luft , die durch die Vibrationen schnell zu Schwinggabeln werden können und die Kiste dann brummt .
Wenn Du ein extra ZFS Slog willst, dann nimm ne Intel Optane 800 oder höher. Auf der kannst dann durchaus auch den L2Arc unterbringen, du musst dann aber manuell partitionieren.
Achtung: Ein Slog ist kein allg. Schreibcache! Das hilft nur für Sync writes. SMB/Samba fällt da per default nicht darunter.

 

[asche77]

1. Kein Hardware-RAID! Sondern ZFS.
2. SSD Cache bringt es nicht:
- SLOG braucht nur eine kleine SSD (8GB), will aber nicht mit anderen Zugriffen auf die SSD konkurrieren (vor allem nicht L2ARC!). Übrigens: SLOG = ZIL, das auf separate Partition geschrieben wird (eben das SLOG= Separate [ZFS intention] LOG). Ausnahme: Optane, die ist schnell genug "für alles".
- SLOG vermutlich überflüssig, Wenn Du die VMs ohnehin auf einem separaten SSD pool laufen lässt, brauchst Du auch nicht unbedingt ein SLOG (abhängig was an VMs läuft, das o.g. ist unkritisch). Auf die Datenspeicher wird ja vermutlich mit CIFS/SMB zugegriffen, so dass dort ohnehin keine sync writes anfallen (SLOG als nutzlos rumliegt).
- L2ARC bringt quasi keinen Vorteil in einem home szenario (wenige user = wenige gleichzeitige Zugriffe).
Wenn Du wenig ZFS Erfahrung hast, lass die Cache SSD weg!

 

[Trambahner]

Yup, Cache-SSD und Slog sind daheim nicht immer, aber relativ oft nutzlos.

Abgesehen davon: eine 900p oder 905 kann serwohl als Slog und L2Arc gleichzeitig dienen. Klassische Flash-SSDs sind dafür nicht geeignet.

L2Arc erst einsetzen , wenn der technisch maximale RAM-Ausbau erreicht .

 

[jeschke]

schlechte gehäusewahl. Die HDD hängen an Haltern in der Luft , die durch die Vibrationen schnell zu Schwinggabeln werden können und die Kiste dann brummt .
Wenn Du ein extra ZFS Slog willst, dann nimm ne Intel Optane 800 oder höher. Auf der kannst dann durchaus auch den L2Arc unterbringen, du musst dann aber manuell partitionieren.
Achtung: Ein Slog ist kein allg. Schreibcache! Das hilft nur für Sync writes. SMB/Samba fällt da per default nicht darunter.

Welches Gehäuse würdest du empfehlen?

- - - Updated - - -

1. Kein Hardware-RAID! Sondern ZFS.
2. SSD Cache bringt es nicht:
- SLOG braucht nur eine kleine SSD (8GB), will aber nicht mit anderen Zugriffen auf die SSD konkurrieren (vor allem nicht L2ARC!). Übrigens: SLOG = ZIL, das auf separate Partition geschrieben wird (eben das SLOG= Separate [ZFS intention] LOG). Ausnahme: Optane, die ist schnell genug "für alles".
- SLOG vermutlich überflüssig, Wenn Du die VMs ohnehin auf einem separaten SSD pool laufen lässt, brauchst Du auch nicht unbedingt ein SLOG (abhängig was an VMs läuft, das o.g. ist unkritisch). Auf die Datenspeicher wird ja vermutlich mit CIFS/SMB zugegriffen, so dass dort ohnehin keine sync writes anfallen (SLOG als nutzlos rumliegt).
- L2ARC bringt quasi keinen Vorteil in einem home szenario (wenige user = wenige gleichzeitige Zugriffe).
Wenn Du wenig ZFS Erfahrung hast, lass die Cache SSD weg!

Das heißt:

1. 2x SATADOM als ZFS-mirror für Proxmox
2. keine Cache-SSD da für Homeserver (vorerst) overkill bzw unnötig
3. Gehäuse sollte ein anderes sein

Korrekt?

 

[Trambahner]

Define R4/R5 oder XL R2, wenn es Fractal sein soll.
Das R4 hab ich selber im Einsatz.

 

[martingo]

Die meisten SATA DOMs haben den Ruf, ähnlich schnell zu sterben wie USB Sticks, wenn ein Betriebssystem viel Logs etc schreibt (und das trifft für Proxmox zu). Besser zwei einfache SSDs.

 

[jeschke]

Es muss kein Fractal sein, bin für alle Vorschläge offen!

Ist das genannte Netzteil angemessen oder reichen für mein Setup auch 400W ?

- - - Updated - - -

Die meisten SATA DOMs haben den Ruf, ähnlich schnell zu sterben wie USB Sticks, wenn ein Betriebssystem viel Logs etc schreibt (und das trifft für Proxmox zu). Besser zwei einfache SSDs.

d.h. ich könnte die für Cache gedachte Platte für Logs nutzen um die SATADOM's zu schonen oder macht das keinen Sinn?

 

[martingo]

Würde ich nicht machen. Keep it small and simple und so. Für Proxmox reichen zwei kleine 30€ SSDs.

 

[jeschke]

also...

2x kleine SSD mit ZFS-mirror für OS - würde sowas wie die Kingston A400 120 GB gehen?
2x NVMe/SSD mit ZFS-mirror für VM's
und keine Cache/Log-SSD

 

[martingo]

Ja, würde dafür passen.

Theoretisch könntest Du Dir die OS SSDs auch komplett sparen und Proxmox mit auf den nvme mirror packen. Ist eh Standardeinstellung bei proxmox, dass vms auf dem gleichen Pool angelegt werden.
Voraussetzung wäre nur, dass du von den nvmes booten kannst.

 

[jeschke]

Ja, würde dafür passen.

Theoretisch könntest Du Dir die OS SSDs auch komplett sparen und Proxmox mit auf den nvme mirror packen. Ist eh Standardeinstellung bei proxmox, dass vms auf dem gleichen Pool angelegt werden.
Voraussetzung wäre nur, dass du von den nvmes booten kannst.

das sollte gehen laut Manual - sehr gut, dann habe ich noch 2 Anschlüsse mehr frei!

Gibt es weitere Vorschläge bzgl Case? Habe jetzt 2 zur "Auswahl", höre aber gerne noch weitere Vorschläge:
- Fractal Design Define R5 Black (ATX/mATX)
- Nanoxia Deep Silence 4 (mATX)

Besten Dank schon mal an alle!

 

[gea]

Bei NMVme/SSD Pool und ausreichend RAM braucht man üblicherweise weder Slog noch L2Arc. Wenn man allerdings VMs auf dem Storage hat, sollte man sync aktivieren. Ansonst kann ein Absturz beim Schreiben ein defektes VM Dateisystem bedeuten, auch wenn ZFS selbst valide bleibt.

NVMe/SSD mit Powerloss Protection (die besseren haben das) ist dann aber sinnvoll.

 

[jeschke]

Vielen Dank für eure Hilfe!

mein Setup sollte dann also in etwa so aussehen:

2x 1TB m.2 (Samsung 983 DCT oder Intel DC P4511) für System und VM's im ZFS-Mirror
5x 4TB SATA im ZFS-Pool

Gibt es eine Empfehlung für/gegen die Samsung/Intel?

 

[asche77]

5x 4TB SATA im ZFS-Pool

Falls die 4TB HDDs noch nicht vorhanden sein sollten:

Lieber wenige große Helium-gefüllte Platten kaufen (und als Mirror einbinden). Weniger Strom, mehr Speicherplatz, und vor allem später leichter erweiterbar (2. mirror als weiteres vdev/separaten pool hinzufügen).

 

[jeschke]

Falls die 4TB HDDs noch nicht vorhanden sein sollten:

Lieber wenige große Helium-gefüllte Platten kaufen (und als Mirror einbinden). Weniger Strom, mehr Speicherplatz, und vor allem später leichter erweiterbar (2. mirror als weiteres vdev/separaten pool hinzufügen).

Danke für den Hinweis!
Werde vermutlich mit zwei 10TB WD Red's beginnen...