[Kaufberatung] Neuer Heimserver

[schorsch33]

Hallo zusammen

bei mir wird es Zeit, nach 5 Jahren den Heimserver zu erneuern, langsam wird Platz & Power etwas knapp. Beim Nachlesen bin ich auf dieses Forum gestossen und möchte Euch um Eure Meinung und ggfs Tipps bitten.

Ausgangssituation: Im Moment werkelt da ein i7-4785T mit 32MB RAM auf einem Asus-Board mit H97. Das System (Opensuse) liegt auf einer 256GB SSD und an einem 9650SE-4LPML hängen 4 HDDs zu je 4 TB in einem Raid 5.

Der Einsatzzweck umfasst:

• Owncloud und zentrale Dateiablage im LAN für 10 Benutzer
• Audiobibliothek für 7 Sonos-Geräte
• Videobibliothek für 8 Kodi-Clients incl. Aufnahmepfad für 2 separate RasPi TVHeadend-Server
• Streaming-Server (UMS) mit Transcodierung
• Remotezugang mit Guacamole
• Host für 5 (dauernd laufende) virtuelle Maschinen für verschiedene Zwecke
• Zukünftig evtl auch Domänencontroller mit Roaming Profiles (muss ich noch rausfinden wie das mit Samba 4 und ggfs VPN klappt)

An neuer Hardware habe ich bisher angedacht:

• Gehäuse Nanoxia Deep Silence 6 Rev. B: Viel Platz und nicht zu teuer, das LianLi A75 wäre die Alternative aber kostet das doppelte und scheint es nirgends (mehr?) zu geben.
• Mainboard Supermicro X11SPM-TF: ich will IPMI und viele SATA-Ports
• CPU Xeon Silver 4210: scheint mir der beste Preis/Leistungs-Kompromiss
• Kühler: Supermicro SNK-P0068APS4
• RAM: Entweder 4x16 oder 4x32 GB DDR4-2400 ECC - einerseits müssten total 64 ja reichen, andererseits kann ich die wegtun wenn ich spärer doch aufrüsten will, und wieviel RAM dann fürs ZFS draufgeht ist mir auch noch nicht klar....
• Netzteil Enermax Digifanless 550W
• Datenträger: 2 SSD a 500GB in SW-Raid 1 via Chipsatz für Betriebssystem, 2 SSD a 1TB in SW-Raid 1 via Chipsatz für virtuelle Maschinen, 4 HDDs (mit Option bis auf 8 Stück auszubauen) a 8 TB an SATA
• Auf einen HW-Raidcontroller wollte ich verzichten mit der Idee dass die CPU genug leistet um einen ZFS-Speicherpool zu handeln und dieser letztlich flexibler ist als eine HW-Lösung

Was meint Ihr? Jede Anregung ist willkommen

Viele Grüsse, Schorsch

 

[Haithabu84]

Bloß mal grobe Richtlinie für den RAM bei ZFS: Proxmox und FreeNas haben es in Ihren Dokumentationen ähnlich hinterlegt... pro 1Tb Festplatten-Kapazität 1Gb RAM. Das bedeutet, dass z.B. bei zwei Festplatten mit 8Tb im Raid1, auch mindestens 8Gb RAM zur Verfügung stehen sollten. Dazu dann noch die Belegung für das OS. Wobei das natürlich alles variabel ist, man kann ja den ARC begrenzen. Meist wird empfohlen diesen nicht niedriger als auf 4Gb zusetzen. Generell gilt - mehr Cache gleich mehr Performance.

 

[schorsch33]

Danke Dir! Das heisst dann, wenn ich letztlich bei 8x8 TB lande schon 64GB dafür draufgehen, dazu noch die VMs, also doch besser 128 total

 

[Trambahner]

Die Regel ist viel zu pauschal. Es kommt immer auf die Zugriffsmuster an und auf das Storage-OS. Freenas ist viel fetter als Xigmanas z.B.
Ich hab 60TB Netto (90TB Brutto) in 2 Pools und zwischen 16 und 24 GB RAM der Storage-VM (ich nutze Geas AIO-Konzept mit ESXI) zugewiesen. Je nach Verfügbarkeit und was gerade sonst an VMs rennt. Reicht dicke bei mir und das bei 10Gbit-Anbindung.

Chipsatz-Raid kannst und willst Du Knicken bei ZFS . ESXI Supportet es übrigens auch nicht. => absolutes No Go diesbezüglich.
Für ZFS sind dumme HBAs (ist kein Hw-RAID!) a la SAS2008, SAS2308 und SAS3008 der Goldstandard. Oder ggf. auch pure Sata-Ports wenn Freenas, Xigmanas oder Solarish direkt auf dem Blech laufen sollen.

 

[gea]

Prinzipiell gibt es keinen nachvollziehbaren Zusammenhang zwischen RAM und Poolgröße sondern allenfalls von RAM zu Performance abhängig von Anwendungsfall und Plattenperformance. Man kann bei ZFS allenfalls sagen dass Solarish am wenigsten braucht und z.B. Free-BSD mit FreeNas Gui am meisten. Der Unterschied ist aber allenfalls 1-2 GB.

Oracle gibt z.B. für Solaris (natives ZFS) 2 GB RAM als minimum an, egal welche Poolgröße. Mit ganz schnellen Platten wie Intel Optane gibt es auch Top-Performance mit wenig RAM. Mit ganz langsamen Platten kann die Performance mit wenig RAM übel werden.

Der RAM wird nicht für ZFS benötigt, sondern als Schreib/ Lesecache. Schreibcache ist bei Open-ZFS 10%Ram/max 4GB als default. Der größte Teil des restlichen RAM wird als Lesecache (last accessed/most accessed) für kleine random Lesezugriffe benutzt. Ein User der ein Video ansieht wird kaum von mehr RAM profitieren. Ein Mailserver für hunderte Benutzer kann auch mal 256 GB RAM vertragen. Meist sind 8-16 GB für einen Homeserver und 64-128 GB für einen Produktivserver üblich.

Performance vs Ram siehe auch
https://www.napp-it.org/doc/downloads/optane_slog_pool_performane.pdf

Chipsatzraid wird allenfalls unter Linux unterstützt und ist nicht empfehlenswert um darauf ZFS zu machen. Man verliert dadurch vor allem das ZFS Feature "self-healing" und handelt sich das write hole Problem ein (defektes Dateisystem/Raid bei Crash beim Schreiben)

siehe "Write hole" phenomenon in RAID5, RAID6, RAID1, and other arrays.

 

[schorsch33]

Danke, das klingt entspannter was das RAM anbelangt! Das Chipsatz-Raid habe ich nur für die SSDs für System und VMs gedacht (um das einfach zu spiegeln), die HDDs für ZFS natürlich ohne sowas

 

[Trambahner]

VMs gehören auch auf einen Zpool, da diese dann ebenso von alle ZFS Features profitieren. LZ4-Kompression, Snapshots, Rollback, ZFS Send/Receive für Backups und Cloning, Caching, etc.
Ich hab hierzu einen Zpool aus 3 Mirror-Pärchen mit SSDs.

BSD als auch manche Linuxe und ich meine auch Solarish kann von mirror-Zpools booten. Womit Du dann auch Bootenvironments nutzen kannst.

Oder eben Geas Konzept via ESXI (hab ich seit 2013 im Einsatz )

 

[gea]

BSD als auch manche Linuxe und ich meine auch Solarish kann von mirror-Zpools booten. Womit Du dann auch Bootenvironments nutzen kannst.

Sun hat das vor über 10 Jahr mit Solaris erfunden.

 

[schorsch33]

VMs gehören auch auf einen Zpool,

Da hast Du natürlich absolut recht - ich bin gar nicht auf die Idee gekommen dass ich auch mehrere Pools anlegen kann...
Also kommen die VMs und das BS je in eigenen eigenen kleinen Pool mit je zwei gespiegelten SSDs und das Chipsatz-Raid fällt weg.
Danke!

 

[Trambahner]

Wenn die VMs I/O ein gewisses Maß an I/O haben, solltest Du auch nicht Consumer SSDs nutzen sondern welche für Datacenter.
Wenn nicht ESXI, dann würde ich das OS ferner auf eine eigene kleine SSD packen und sonst nischt drauf. Sprich die VMs und ihre Images extra. Damit bist Du flexibler und kann ein Reinstall schneller vollziehen, weil Du den SSD-Pool und HDD-Pool nur wieder mounten musst und nicht viel umeinanderkopieren.