[Kaufberatung] Planung: Heimserver für Virtualisierung

[Gelöschtes Mitglied 304674]

Hi,

ich spiele schon seit langer Zeit mit dem Gedanken, einen eigenen Heimserver zu betreiben.
Jetzt möchte ich das ganze einfach mal ganz unverbindlich durchplanen, bevor ich eine endgültige Entscheidung treffe.

Ich habe Fragen etc. zur Übersicht mal Blau markiert.
Ist ja doch etwas ausgeartet beim schreiben...

Ziel ist es, möglichst viele Dienste selbst zu betreiben.
In erster Linie für mich selbst, aber auch für Freunde und Familie.

Wenn ich es mache, dann möglichst von Anfang an richtig und ohne Kompromisse.

Folgende Dienste würde ich nach jetziger Einschätzung benötigen, bzw. haben wollen.

• Webserver
• Nextcloud
• Gitea
• PiHole
• UniFi Controller
• Emby/Plex
• NAS (Vermutlich FreeNAS als VM)
• Windows 7/10 (Muss nicht 24/7 laufen)
• Ein paar VMs als "HomeLab" zum experimentieren und lernen (Muss nicht 24/7 laufen)
• In Zukunft (bei Umzug) evtl. "Smart Home" und 3 Kameras
• Da es das Ziel ist, möglichst viele Dienste selbst zu betreiben, wird in Zukunft vermutlich noch mehr dazu kommen.

Ob ich wirklich alles in eine eigene VM packe, oder auch mit Containern arbeite oder diverse Dienste zusammenlege, weiß ich noch nicht.
Grundsätzlich strebe ich aber eine möglichst gute Trennung der Dienste an.

Als Hypervisor würde ich gerne Proxmox nehmen.
Das ist kostenlos, Open Source, kann ZFS und basiert auf Debian.
Alternativen habe ich mir ehrlich gesagt gar nicht großartig angeschaut, da Proxmox eigentlich schon perfekt klingt.

Aufbau
Ich würde Proxmox entweder auf einer einzelnen 2,5 Zoll SATA SSD mit ZFS oder auf einem ZFS-Mirror installieren.
Ist es überhaupt sinnvoll für das Hypervisor OS ZFS zu verwenden? Oder lieber ext4?
Ist ein Mirror sinnvoll oder eher weniger?
Es wären 2x 128GB 2,5 Zoll SATA SSD vorhanden.

Dann würde ich 2x M.2 PCIe NVMe SSDs als ZFS-Mirror für die VMs nehmen.
In dem Szenario wird oft von "PowerLoss-Protection" gesprochen.
Sorgt wohl dafür dass bei Stromausfall o.Ä. die Daten im Puffer noch geschrieben werden können?
Könnte man das auch weglassen und stattdessen mit einer USV ausgleichen?
Oder ist die Kombination USV + PowerLoss-Protection SSD empfehlenswert?
Das ist die Auswahl: Geizhals
Bezahlbar wäre da nur die Kingston DC1000B Data Center Series Boot SSD
Bei den Enterprise Teilen steht ziemlich oft "Boot SSD" dabei.
Was genau steckt da dahinter?

Den HBA würde ich komplett an die NAS-VM (wahrscheinlich FreeNAS) durchreichen.
Daran dann einige HDDs jeweils als ZFS Mirror?
Ich hätte aktuell folgende HDDs zur Verfügung: 2x 6TB WD Red, 1x 12TB Seagate Iron Wolf
Wenn einen Mirror aus 2x 6TB mache und einen weiteren aus 2x12TB, dann könnte ich in Zukunft leicht mit 2x?TB erweitern.
Oder wäre hier ein anderes Layout besser geeignet?
Ich habe mich mit ZFS noch nicht ausreichend beschäftigt, das steht noch auf meiner ToDo Liste bevor es Ernst wird.
Könnte ich die 12TB Platte vorerst einzeln, ohne Redundanz, betreiben und später eine weitere hinzu stecken und daraus nachträglich ein ZFS Mirror machen?
Die Daten darauf (hauptsächlich Filme von DVD/BluRay) sind aktuell nicht so kritisch als dass mir das nochmal 400€+ für die Redundanz wert wäre.

Von der NAS VM würde ich dann einige Shares via NFS(?) als Datenablage an andere VMs weitergeben.
z.B. Daten der Nextcloud, Git Repositories von Gitea, Filme für Plex/Emby.
Oder wäre SMB o.Ä. hierfür besser geeignet? Wenn ja, warum?

Die Daten HDDs als auch die NVMe SSDs für die VMs würde ich gerne verschlüsseln.
Die SSDs wohl einfach über LUKS, da Proxmox ja auch Debian basiert sollte das kein Problem sein, oder?
Wie das bei den HDDs mit ZFS funktioniert bin ich mir noch unklar, da muss ich mich auch noch einlesen.

Hardware
Folgende Komponenten habe ich mir bereits raus gesucht:

Mainboard: Supermicro X11SCH-LN4F
- Kann ECC
- Hat IPMI
- Hat 2x M.2 PCIe x4 Slots
- Hat mehrere RJ45 Anschlüsse. Ich habe einfach ein besseres Gefühl dabei, den internen Verkehr vom öffentlichen auf Hardwareebene zu trennen. Sinnvoll? Oder Sinnlos, da eh alles in VMs auf der gleichen Kiste läuft?

CPU: Intel Xeon E-2146G, 6x 3.50GHz
- Soll recht energieeffizient sein
- Kann ECC
- Hat eine iGPU und Intel Quick Sync Video - Das könnte für Transcoding von Filmen via Plex/Emby ein Vorteil sein. Ob und wie man das allerdings an VMs weitergeben kann, habe ich mich noch nicht schlau gemacht.
- Reicht die von der Leistung her für mein Vorhaben? Habe doch einige VMs geplant, wobei die meisten davon kaum Leistung benötigen.

RAM: ???
Das ist jetzt die Frage. Ich hätte auf jeden Fall gerne ECC.
Soll ich mit 16 oder 32GB Riegeln arbeiten?
Bei 32GB gibt es nicht viel Auswahl (= teuer): Geizhals
Bei 16GB komme ich auf max. 64GB. Ich gehe davon aus, dass das reichen wird.
Allerdings ist ZFS ja auch ziemlich RAM-intensiv und ich habe mit ZFS bisher noch keinerlei Erfahrung.
Und falls ich irgendwann doch mehr als 64 brauchen könnte? Dann habe ich die 16er Riegel rumliegen...
Was meint ihr?

HDDs:
2x 6TB WD Red
1x 12TB Seagate Iron Wolf
sind vorhanden.

NVMe SSDs: ???
Noch nicht ganz klar, siehe oben.

HBA:
Zum durchreichen an die NAS VM benötige ich einen HBA.
Dazu habe ich diesen Blog Beitrag gefunden.
Da hätte ich mal den Broadcom SAS 9300-8i rausgezogen. Ist allerdings ziemlich teuer...
Was würdet ihr empfehlen?
Das umflashen irgendwelcher Karten würde ich mir gerne sparen, wenn möglich.

Netzteil & Gehäuse: ist bereits vorhanden

-- The End --

So, das ist im Volumen leider etwas ausgeartet.
Falls ihr bis hierhin durchgehalten habt, sage ich schon mal: Vielen Dank für die Zeit.

 

[eldiabolo18]

Moin moin,

ich beantworte mal wozu ich mich in der Lage sehe, den Rest muessen andere uebernehmen.

Ist es überhaupt sinnvoll für das Hypervisor OS ZFS zu verwenden? Oder lieber ext4?
Ist ein Mirror sinnvoll oder eher weniger?

Ich weiss nicht was Proxmox mit ZFS (mirrored) damit gross anstellen kann, aber als boot-Partition mirrored zu haben, ist schon nicht schlecht, entweder ext4 und dann mdadm (kann man das bei proxmox auswaehelen?) oder auch LVM, was etwas flexibler ist.

In dem Szenario wird oft von "PowerLoss-Protection" gesprochen.
Sorgt wohl dafür dass bei Stromausfall o.Ä. die Daten im Puffer noch geschrieben werden können?
Könnte man das auch weglassen und stattdessen mit einer USV ausgleichen?
Oder ist die Kombination USV + PowerLoss-Protection SSD empfehlenswert?

Wuerde ich mir nur fuer den Heimserver sparen. Wenn da noch mehr dran haengt wie vllt. Homeautomation, Router, etc dann isses evtl. ganz nett wenn nicht alles gleich sofort ausgeht.
Wenn du nur ZFS verwendest, kann du dir denn kram mit "PowerLoss-Protection" sparen. ZFS ist ein Copy on write Fs, dh es wird nix kaputt gemacht, wenn was geschrieben wird, also kann auch nix kaputt gehen wenn gerade mal der Strom weg ist. Da gibts jetzt noch ungefaehr 100.000 Sonderfaelle, wo das nicht zutrifft (z.B. Datenbanken), aber mir waere der Aufwand zu gross als dass es sich lohnt.

- Daran dann einige HDDs jeweils als ZFS Mirror?
- Wenn einen Mirror aus 2x 6TB mache und einen weiteren aus 2x12TB, dann könnte ich in Zukunft leicht mit 2x?TB erweitern.
Oder wäre hier ein anderes Layout besser geeignet?
- Könnte ich die 12TB Platte vorerst einzeln, ohne Redundanz, betreiben und später eine weitere hinzu stecken und daraus nachträglich ein ZFS Mirror machen?

Was du aus den Platten machst liegt an dir, du scheinst vor und nachteile schon ganz gut verstanden zu haben. Du kannst auch die 12TB Platte mit ZFS alleine als pool betreiben und hast dann den spass von snapshots, compression, dedup etc, ohne halt redundanz. Wenn die Dateien darauf keine 400E Wert sind, ist das ein akzeptabler Kompromiss finde ich.
Wenn auf den 6TB Platten dann aber wichtige Daten liegen, solltest du neben dem mirror auch an ein Backup denken, und wenn es nur eine externe 6TB Platte ist, wo alles X-Tage hinkopiert wird (und zwischen durch abgesteckt).

Von der NAS VM würde ich dann einige Shares via NFS(?)

Linux --> NFS! alles andere ist quatsch auch wenn Samba vllt dann einfacher ist einzurichten. Aber von LinuxOS zu LinuxOs immer NFS.

Ich habe einfach ein besseres Gefühl dabei, den internen Verkehr vom öffentlichen auf Hardwareebene zu trennen. Sinnvoll? Oder Sinnlos, da eh alles in VMs auf der gleichen Kiste läuft?

Wuerde man so nicht machen. Die zwei Anschluesse sind dazu da um das Netzwerk redundant anzubinden. Das kannst du auch mit active-backup-bonding an jedem Switch Nutzen.
Die Trennung von Netzwerkverkehr wuerde man in VLANs machen, dafuer braucht es aber vom Server, ueber Switch, bis zum Router alles Komponenten, die das Unterstuetzen. Wahrscheinlich fuer den Anfang etwas overkill. Du koenntest intern auf dem Server die Dientste von einander mit Switching und Firewall regeln voneinander trennen, aber auch mehr als Lernerfahrung, denn als wirklich sinnvoll.

Das könnte für Transcoding von Filmen via Plex/Emby ein Vorteil sein. Ob und wie man das allerdings an VMs weitergeben kann, habe ich mich noch nicht schlau gemacht.

Sollt gehen, haengt aber eher am Mobo. Habe mal eben nachgeguckt und das hat selber noch ne GPU aufgeloetet, d.h. du koenntest die Intel-GPU irgendwohin durchreichen.

- Reicht die von der Leistung her für mein Vorhaben? Habe doch einige VMs geplant, wobei die meisten davon kaum Leistung benötigen.

Das Ding ist hier die Auslastung. Du kannst wahrscheinlich 30 VMs auf dem Ding bauen und irgendwelche Services installieren, wenn da aber nur 2x am Tag drauf zu gegriffen wird, ist das kein Problem. Ich kann aber auch den ganzen Server (selbst mit 128GB RAM) mit nur einer Nextcloudinstanz in die Knie zwingen, wenn 5000 Clients drauf zugreifen. Musst du ein bisschen gucken. Emby/ Plex klingt noch am anspruchsvollsten, wenn es dann genutzt wird, aber da kann man ja auch mit VMs (und auch Containern) gut ressourcen zuteilen.

Allerdings ist ZFS ja auch ziemlich RAM-intensiv und ich habe mit ZFS bisher noch keinerlei Erfahrung.

No, nur wenn man Deduplication verwendet. Der Cache kann auch noch was bekommen, aber das kann man in freien Stuecken einteilen. Ich wuerde 32GB Rigel kaufen, einfach dass man die Option hat auf die max. 128GB RAM zu kommen, wenn mans doch mal braucht. Kannst ja auch erst mal mit einem Rigel starten.

HBA:
[...]
Da hätte ich mal den Broadcom SAS 9300-8i rausgezogen. Ist allerdings ziemlich teuer...
Was würdet ihr empfehlen?
Das umflashen irgendwelcher Karten würde ich mir gerne sparen, wenn möglich.

Ist halt schon eher das teurere Ende von HBAs, verwenden wir in unseren cloudserveren. Es gibt da auch billigere/ aeltere Modelle, die fuer dich genauso gut den Dienst tun, vorallem gebraut.


So weit erst mal, hoffe das hilft.
Cheers!

 

[Gelöschtes Mitglied 304674]

Hi,

vielen Dank schon mal für die ausführliche Antwort.
Das weiß ich zu schätzen.

Ich weiss nicht was Proxmox mit ZFS (mirrored) damit gross anstellen kann, aber als boot-Partition mirrored zu haben, ist schon nicht schlecht, entweder ext4 und dann mdadm (kann man das bei proxmox auswaehelen?) oder auch LVM, was etwas flexibler ist.

Also ext4 kann man auswählen, klar. Ob mdadm und LVM auch, das weiß ich nicht.
Was Proxmox mit ZFS anstellt weiß ich auch nicht. Das schreibe ich nochmal auf meine ToDo Liste, da muss ich mich nochmal informieren was hier am meisten Sinn macht.

Ich hatte gerade auch den Gedanken, ich könnte Proxmox ja als ZFS Mirror auf die zwei NVMe SSDs installieren und darauf dann auch gleich die VMs laufen lassen.
Dann könnte ich den Onboard SATA Controller an die NAS VM durchreichen... soweit zumindest die Theorie.
Ob das mit dem Board funktioniert weiß ich nicht. Hat da bereits jemand Erfahrung sammeln können?

Wenn auf den 6TB Platten dann aber wichtige Daten liegen, solltest du neben dem mirror auch an ein Backup denken

Das ist ganz klar. Dafür nehme ich dann entweder mein (dann zur Verfügung stehendes) Synology NAS an einem externen Standort (z.B. Firma) oder ich mache es einfach über HDDs die ich auch an einem anderen Standort lagern würde.

Wuerde man so nicht machen. Die zwei Anschluesse sind dazu da um das Netzwerk redundant anzubinden. Das kannst du auch mit active-backup-bonding an jedem Switch Nutzen.
Die Trennung von Netzwerkverkehr wuerde man in VLANs machen, dafuer braucht es aber vom Server, ueber Switch, bis zum Router alles Komponenten, die das Unterstuetzen. Wahrscheinlich fuer den Anfang etwas overkill. Du koenntest intern auf dem Server die Dientste von einander mit Switching und Firewall regeln voneinander trennen, aber auch mehr als Lernerfahrung, denn als wirklich sinnvoll.

Das Mainboard hat aber 4 Anschlüsse. Das heißt ich könnte trennen und hätte trotzdem jeweils Redundanz.
Bleibt immernoch die Frage: Sinnvoll oder Sinnlos?
VLAN plane ich erst mal nicht ein. Mein Router (IPFire @ apu4c4) könnte zwar VLAN (soweit ich weiß?), allerdings die Switche nicht.

Das Ding ist hier die Auslastung.

Wie du schon sagtest wird Emby/Plex wohl das einzige sein was wirklich leistungsintensiv ist.
Ansonsten sollten es in absehbarer Zeit nie über 5, maximal 10 Benutzer gleichzeitig sein.

Ist halt schon eher das teurere Ende von HBAs, verwenden wir in unseren cloudserveren. Es gibt da auch billigere/ aeltere Modelle, die fuer dich genauso gut den Dienst tun, vorallem gebraut.

Könntest du da ein paar konkrete Modelle nennen, die auch auf Geizhals zu finden sind? Bzw. wonach soll ich Ausschau halten?
Und wo wären da die "Nachteile" gegenüber dem SAS 9300-8i?
Gebrauchte Hardware kaufen... das fällt mir schon immer schwer.