Software Umgestaltung meines bisherigen Homeservers

[lommodore]

Heyho ihr Lieben,

Erstmal möchte ich meinen bisherigen Homeserver vorstellen:

- i3 2100T
- Asus P8B-X
- 16GB DDR3 ECC 1333
- 4x WD RED 3TB im md RAID5 (Daten)
- SanDisk Cruzer Edge 32GB als Systemdrive
- Mellanox ConnextX-2 SFP 10G NIC
- Corsair VS450
- Fractal Design Define R5

Als Betriebssystem läuft ein OpenMediaVault mit allerhand Plugins. Und das ist mir schon der Dorn im Auge, weshalb ich mein System neu gestalten möchte und deshalb auf eure Empfehlungen hoffe.
OMV ist ja ein Debian, aber ich bin kein Linux Profi. sodass manche Sachen von mir recht hässlich von hinten durch die Brust ins Auge gelöst sind ... ziemlich unschön. Außerdem gefällt es mir nicht, meinen Host mit allerhand Plugin Kladderadatsch vollzuhauen. Deswegen möchte ich das alles umstrukturieren und mit Virtualisierung anfangen.

Vor Ewigkeiten hatte ich schonmal mit ESXi gespielt, davon würde ich gern die freie Version verwenden. Der Server muss folgende Dienste leisten:

- Filer (FTP, SMB, NFS)
- TimeMachine Target
- PiHole
- OwnCloud
- OpenVPN
- Mail (nur im lokalen Netz)
- PXE-Boot Server (Beinhaltet zwangsweise auch einen DHCP-Server)


Was ich so grob geplant hatte im Kopf:
Ich besorg mir noch einen Dell H310 HBA, pack da meine Platten ran und reiche den Controller sowie eine der 2 Onboard 1G NICs sowie die 10G NIC direkt an eine Filer-VM durch, wo ich vermutlich wieder OMV verwenden möchte, allerdings NUR um Samba und FTP Freigaben bereitzustellen und ein Zielordner für meine TimeMachine im Netz darzustellen. Außerdem muss dort eine NFS-Freigabe existieren, wo die OwnCloud, der PXE-Server und der Mail Server ihre Daten ablegen. Die anderen Dienste sollen jeweils als Debian-VM laufen. Meines Verständnisses nach kann ich dort in die fstab Datei die NFS Freigabe eintragen und es wie ein lokales Verzeichnis behandeln. Dann läuft jeder Service in einer eigenen VM und ich hab Ruhe. Bei den anderen Servern, die nicht OMV sind, ist keine 10G Anbindung notwendig, da diese nur an meine Workstation geht, die per Samba zugreift.


Ergibt das so Sinn? Mache ich einen Riesendenkfehler?


LG

Lukas

 

[MisterY]

Wenn virtualisieren: Proxmox.
Sonst: Schau dir Unraid an oder FreeNAS/Nas4free.

 

[besterino]

Warum denn unbedingt Proxmox wenn der Kollege sagt, er will das mit ESXi machen? Ich seh da jetzt nix, was mit ESXi nicht ginge.

Ich würde das wohl auch mit ESXi machen und als Filer-VM dann aber ein Solarish+Nappit statt OMV.

 

[lommodore]

Nappit benutzt aber ZFS oder? Ich habe mal gehört, Faustregel 1GB ECC RAM für 1TB ZFS + 4GB fürs OS. Dann wären meine 16G RAM schon am Anschlag nur durch das Storage ... Außerdem müsste ich dann meinen md RAID Pool auflösen und als ZFS neu bauen oder? Welche Vorteile bringt Napp-IT gegenüber OpenMediaVault?

 

[MisterY]

Warum Proxmox?
-offen und alle Features ohne zu bezahlen dabei.

So schlimm ist ZFS mit dem RAM jetzt nicht. Ich habe ZFS direkt auf meinem Proxmox-Host am laufen (3*1TB) und der belegt im Idle kaum was. Wenn du viel schreibst, dann wird das in den RAM gepackt, aber dafür ist er ja auch da? Ich habe noch keine Performanceeinbußen erlebt.

 

[iceman84]

Warum Proxmox?
-offen und alle Features ohne zu bezahlen dabei.

So schlimm ist ZFS mit dem RAM jetzt nicht. Ich habe ZFS direkt auf meinem Proxmox-Host am laufen (3*1TB) und der belegt im Idle kaum was. Wenn du viel schreibst, dann wird das in den RAM gepackt, aber dafür ist er ja auch da? Ich habe noch keine Performanceeinbußen erlebt.

Bei dir sind es 2 TB, bei TE 9 TB sind zwar nur 7 GB mehr RAM wo er dann braucht aber wenn er in Zukunft aufstocken will.

 

[gea]

Bei den RAM-Anforderungen von ZFS wird viel Unsinn verzapft, meist aus der Ecke eines bestimmten NAS Forums.

Grundsätzlich braucht ZFS als ein Dateisystem so gut wie keinen extra RAM. ausser minimal mehr wegen der Prüfsummenauswertung im RAM. Ansonsten gibt z.B. SmartOS (eine auf Solarish und ZFS basierte Alternative zu ProxMox) als Mindestvorraussetzung 512MB an (zuzüglich das was Dienste und VMs wollen). Oracle setzt für Solaris 11 inkl. grafischer Oberfläche 2 GB an - alles unabhängig von einer Poolgröße.

Richtig ist allenfalls dass ZFS aufgrund der Extra Prüfsummen, CiopyOnWrite und Raidmanagement mit wenig RAM langasam ist. RAM bringt als Schreib/ Lesecache Performance. Es gibt mit Echtzeit-Deduplikation auch eine ZFS Funktion die tatsächlich wenigstens 1 GB RAM pro TB Nutzdaten benötigt oder performancemäßig übel einbricht. Diese Funktion ist allerdings nur in den wenigsten Fällen sinnvoll und aktiviert.

4-8 GB RAM für das OS ist in vielen Fällen ok. Für Solaris etwas weniger, für BSD oder Linux etwas mehr da die ZFS interne RAM Verwaltung (immer noch) auf Solaris basiert.


Ähnliches gilt für ECC. Ist keine Notwendigkeit und ohne ECC ist ZFS immer noch zuverlässiger als andere ältere Dateisysteme. Unerkannte Speicherfehler können aber auch bei ZFS wie bei allen anderen Dateisystemen zu Dateifehlern auf der Platte führen. Wegen der Prüfsummen werden Probleme aber beim Lesen erkannt. Manche wollen einem dann zwar erzählen dass fortgesetzte Lesefehler zu einem kaputtreparierten ZFS Dateisystem führen. Muss man aber nicht glauben. ZFS setzt den Pool oder eine Platte dann auf "zu viele Fehler, offline"

ZFS gibt es außer für Solaris (dafür wurde es entwickerlt) für BSD (da schon recht lange, teilweise ist da ZFS jetzt auch das Default-Dateisystem) und Linux. Bei letzterem ist ZFS Unterstützung recht chaotisch und je nach Distribution auch nur Wahl neben anderen. Die "tut einfach" Erfahrung wie vor allem bei Solarish und weitgehends bei BSD hat ZFS unter Linux nicht.

 

[MisterY]

Kann ich, bis auf den Linux-Part so unterschreiben

Bei mir "tut einfach" ZFS unter Linux ohne Probleme.

 

[gea]

Es gibt halt kein Linux sondern ein Dutzend Distributionen bei denen jeweils vieles anders geht und jedes OS-Update die Funktion von Erweiterungen wie ZFS, die nicht Teil von "Linux" sind, infrage stellen kann. Auch deckt z.B. Solaris selbst alles ab was einen Filer mit ZFS ausmacht wie in ZFS eingebautes NFS und SMB sowie FC/iSCSI oder Netzwerkvirtualisierung. Man braucht dazu keine "Fremd"-Add-Ons für einen Filer wie z.B. SAMBA bei BSD oder Linux die viele Besonderheiten von ZFS nicht unterstützen (out of the Box Unterstützung von Windows ntfs artigen ACL und ZFS Snaps als Windows "vorherige Version" fehlt da einfach) weil die auf jedem XSystem mit jedem Alt-Dateisystem lauffähig sein sollen und diese Features da nicht verfügbar sind.

 

[Elandur]

Ich nutze auch ZFS unter Debian, eingebaut sind 5x 8TB und als RAID-Z eingerichtet. Eingebaut im System sind 8GB RAM und das RAID ist schnell genug um mit voller Geschwindigkeit GBit LAN oder eine externe USB 3 Festplatte auszureizen und die Geschwindigkeit für Tage zu halten. Ich nutze das RAID aber auch nur um Daten zu schreiben und zu lesen, keine Snapshots oder so.
Aber ich musste den RAM manuell zuweisen, ansonsten reserviert sich ZFS standardmäßig zu wenig für das RAID weil relativ wenig Speicher vorhanden ist und das war auch mit 20MB/s ziemlich langsam. War zu mindestens bei mir bei jetzt bei mehreren Installationen so.

Daher habe ich 6GB RAM eingestellt die das ZFS nehmen kann (ARC Parameter ändern. Config erstellen touch /etc/modprobe.d/zfs.conf und dann options zfs zfs_arc_min=6442450944 und options zfs zfs_arc_max=6442450944 einfügen, neu starten).
Wenn man aber noch andere Dienste laufen lassen möchte sollte man etwas mehr RAM einbauen, weil wenn das RAID viel macht nimmt der sich dann auch die 6GB und wenn dann dem System der RAM ausgeht....
Ich weiß aber nicht ob auch vielleicht weniger RAM ausreicht. Sollte ich das RAID-Z irgendwann mal neu befüllen bzw. erstellen, werde ich das einfach mal ausprobieren.

Du könntest zudem auch ein paar Dienste anstatt in einer VM in Container virtualisieren? Mit Docker oder so halt.

 

[lommodore]

Ich probier das ganze mit einem ESXi erstmal auf meinem Testystem (Asus P6T SE, E5620@4GHz, 12GB RAM, 120GB SSD, LSI1068 im IT und ein paar 250GB Platten sowie nem Stapel NICs) aus. Ich werde es aber erstmal mit OMV testen, Napp-IT und ZFS wollte ich mir wann anders nochmal anschauen.

Container / Docker gefallen mir nicht wirklich, das lief bei mir nie stabil, wobei das wahrscheinlich an mir lag.