[Kaufberatung] Erstes HomeLab - Fragen vor dem Kauf

[jazzz]

Hallo zusammen,

nachdem ich die letzten Jahre einige Raspberry Pi, NAS und andere kleine dedizierte Geräte in der Wohnung verteilt habe, möchte ich nun gerne einen zentralen AllInOne-Server bauen.
Und fast wichtiger als dieser Punkt ist das Thema selber: Ich würde gerne lernen und experimentieren!

Und da liegt auch mein Problem: Ich habe zum jetzigen Zeitpunkt noch keine genaue Ahnung wofür ich das System alles nutzen werde.
Nachdem ich mich die letzten Monate recht intensiv in das Thema eingelesen habe, sieht mein Plan wie folgt aus:

Proxmox VE
Supermicro X11SSL-CF
Intel Xeon E3-1230 v6
2x Kingston Server Premier DIMM 16GB, DDR4-2400

19" Gehäuse (4HE) und dann später (nach dem Umzug) mit sämtlichen anderen Geräten in einen Serverschrank.

Jetzt habe ich allerdings noch ein paar Fragen und hoffe, dass ihr mir helfen könnt:

1. Die Hardware ist ja nun schon etwas in die Jahre gekommen, dafür aber x-fach erprobt und unterstützt. Ist ein Update dennoch sinnvoll? Wirklich was getan hat sich da doch die letzten Jahre nicht?!
2. Speicher: Wie sollte so ein System aufgebaut sein, Best Practice? OS auf SSD Raid-1, VM Storage auf ein weiteres SSD Raid-1 und Daten auf HDD Raid-1?
3. Bringt ein Wechsel auf NVMe in einem kleinen HomeLab nennenswerte Vorteile? Da ich zum jetzigen Zeitpunkt noch nicht genau weiß was dort alles laufen wird, ist das natürlich eine schwierige/dumme Frage.

Soweit erstmal, vielen Dank und beste Grüße
Basti

 

[martingo]

Hallo Basti,

zunächst: Serverhardware veraltet viel zu schnell, als dass man auf Vorrat kauft. Da ist nichts mit "einmal gescheit kaufen und dann Ruhe haben". Man kauft nach Bedarf und sofern vorhanden den Plan fürs nächste Jahr.
Deine Hardwarepläne finde ich aber sinnvoll, damit bist Du gut gerüstet.
Einzig der RAM ist meiner Meinung nach falsch. Du hast kein konkretes Modell angegeben (KVR/KSMxxxxxx). Vermutlich ist damit sowas gemeint: Kingston Server Premier DDR4 16 GB DIMM 288-PIN KSM24RS4/16MAI
Dieser RAM ist aber Registered ECC, das Board kann aber nur Unregistered (Unbuffered) ECC. ECC ist gut, aber es muss dann Unbuffered sein.
Board ist gut und bietet Erweiterungspotential, auch Fernwartung/IPMI ist dabei. Ob drei PCI-E Slots reichen, musst Du wissen - bei mir wäre das der Fall.

Proxmox halte ich auch für den richtigen Weg, wenn Du primär Linux VMs (bzw. sinnvollerweise LXC Container) nutzt. Deine Raspberries, NAS deuten auf primäre Linux Nutzung hin. Ein, zwei Windows VMs sind aber auch kein Problem. Nur darauf achten, dass Windows dann gemäß Empfehlung installiert wird (VirtIO Geräte auswählen).

Festplatten: OS aus SSD Raid 1 ist gut, ich würde aber den Hardware RAID Controller außen vor lassen und dafür bei der Proxmox Installation ein ZFS Mirror einrichten. Das geht über den Installer ganz einfach. Ob Du einen weiteren Mirror für die SSDs benötigst, musst Du selbst wissen. Bei mir läuft Proxmox auf einem 500GB-SSD-Paar und die VMs liegen ebenfalls dort. Wenn die Nutzdaten separiert sind, sehe ich keinen echten Vorteil, das trennen zu wollen. Dein Daten RAID1, könntest Du z.B. ebenfalls als zfs Mirror unter Proxmox einrichten oder noch besser einen der HDD Controller an eine Fileserver-VM durchreichen, die dann ihrerseits den zfs Mirror erstellt. Das zweite SSD-Paar kannst Du Dir entweder sparen oder als schnelles Nutzdatenlaufwerk bereitstellen oder als Caching Laufwerk.

NVMe sehe ich für Deine Zwecke als Overkill an.

 

[jazzz]

Moin martingo,

danke für Deine Antwort, das klingt doch schon mal ganz gut. Dann hab ich mich also nicht komplett verrannt

Als RAM hatte ich mir folgendes Modell rausgesucht: KSM24ED8/16ME. Wird auf der Kingstonseite auch als kompatibel zu dem Supermicro Board gelistet.

Nur drei PCI-E Slots sollten reichen, denke ich. Bisher fällt mir bis auf die M.2 Karte nichts ein. Und die verwerfe ich dann mal als Overkill und spare mir das Geld.
Bisher sind in der Tat ausschließlich Linux VMs und Container geplant. Hab noch keinen Grund für eine Windows Maschine gefunden.
Und nur ein SSD Raid find ich auch gut. ZFS hatte ich da fest eingeplant. Den LSI Controller möchte ich dann wie du schreibst auch direkt an eine Storage VM weiterleiten (das war einer der Hauptgründe für das gewählte Mainboard).

Dann würde ich meine Liste also um 2x Intel SSD DC S4500 480GB ergänzen. Zwei 6 TB Seagate Ironwolf hab ich hier schon liegen.

 

[martingo]

Der genannte RAM Riegel scheint tatsächlich unbuffered zu sein und passt dann.
Was früher oder später bzgl. der Slots mal interessant sein könnte, ist 10G, aber Du hast ja dennoch drei Slots.
Kannst ja mal noch ein, zwei andere Meinungen abwarten, aber aus meiner Sicht ist das ein vernünftiger Plan.

 

[Opticum]

HP Gen8 Hardware ist mittlerweile recht günstig und vom Stromverbrauch schon relativ sparsam. ML310e ist so ein Dauerläufer, bis zu 32gb Ram und mehrere PCI-E Steckplätze inkl. ILO4 und zwei Netzwerkports. 4x 3.5" HD Bays und 2x 5 1/4 Schächte z.B. für Streamer oder DVD Laufwerk etc. - Bei Neukauf von Hardware muss man schon ordentlich in die Tasche greifen.

Ich würde beim Experimentieren und Ausprobieren auch schauen das du deine Produktivumgebung (NAS Datenspeicher, Internetzugang) nicht direkt abklemmst. SSD und viel Ram ist Pflicht wenn du z.B. eine kleine Windows Server Lab Umgebung aufbauen möchtest. Das geht innerhalb von ESXi aber super z.B. mit vSwitchen wo du abgetrennt von einem "echten" physikalischen Netz ausprobieren kannst. Proxmox ist eine sehr gute Open Source Alternative, aber nicht so verbreitet wie vmware esx.

Falls du neu kaufst würde ich auf jeden Fall eine Fernwartungsmöglichkeit mitnehmen (ILO, IPMI) und bei der Speicherauswahl mit 16GB Riegeln arbeiten damit du nicht zweimal kaufen musst wenn das Lab doch stärker wächst und du z.B. auf 64/128 aufrüsten möchtest.

 

[martingo]

Hast Du versehentlich im falschen Thread gepostet?

 

[Opticum]

@martingo: Nein, sollte ein Anstoß sein ggf. was gebrauchtes zu kaufen weil der TE "lernen und experimentieren!" möchte und "Ich habe zum jetzigen Zeitpunkt noch keine genaue Ahnung wofür ich das System alles nutzen werde" darauf schließen lässt, dass eine sinnvolle Dimensionierung noch nicht möglich ist.

Da kann man erstmal viel Geld verschleudern ohne sich wirklich mit der Thematik eines All-in-One beschäftigt zu haben wenn man von "einige Raspberry Pi, NAS und andere kleine dedizierte Geräte" her kommt und jetzt von "Zero to Hero" - was die Hardware angeht - wechseln möchte.

Da der Titel mit "Homelab" beginnt, stelle ich in den Raum das es nicht zwingend 24/7 laufen muss oder redundant ausgelegt sein muss (ausser man möchte sich auch damit Beschäfigen, Stichwort "High Availability")

 

[jazzz]

Hi Opticum,

danke für Deinen hilfreichen Denkanstoß, das trifft auf mich wirklich gut zu. Ich guck mir die HP Geräte und die Preise noch mal genau an, auch wenn momentan das Verlangen nach neuer Hardware noch stärker ist
Zudem wäre mir auch ein echtes 19" Gehäuse wesentlich lieber, aber damit könnte ich leben. Da wird es im Hinblick auf Geräuschentwicklung bei gebrauchten Geräten wahrscheinlich sehr schwierig ...

Was das Thema 24/7 angeht: Doch, zumindest das NAS und der Musikserver sollten von Anfang an eigentlich immer verfügbar sein. Router/Firewall ist für später mal angedacht und bekommt dann definitiv eigene Hardware.

 

[-INU-]

19" ist immer Problematisch, richtige Server sind viel zu tief für die "üblichen" kleinen Schränke in die man mal 1~2 Switche, FB und USV stopft. Da haben wir hier auch genug Threads in denen mehr oder weniger verzweifelt nach passenden Gehäusen gesucht wird. Wobei es für viele der Towerserver auch Rackmount Kits gibt. Bei Fernwartung gehen die Meinungen hier auch auseinander, für die Initialkonfiguration und den Neustart wenn ich mal den Hypervisor kaputtgebastelt habe brauche ich das persönlich nicht.

Die Hardwareempfehlung ist bei den Anforderungen natürlich etwas... aber z.b. ein Fujitsu D3644-B + E-2146G wären + ~50% Leistung, aktueller und wahrscheinlich sogar der geringere Verbrauch. Gleiches Board mit einem i3-8400 auch aktueller, effizienter und nur -10% bei ~200€ Ersparnis. Für #2 gibt es genau so keine optimale Lösung. Proxmos und Storage OS auf M2, Controller mit Platten/SSDs durchreichen und Proxmox als Datastore einbinden. Das wäre die ESXi Version. Allerdings kann Proxmox ZFS und damit könntest du dir den Umweg sparen und die Platten/SSDs direkt mit Proxmos verwalten. Bei #3 würde ich auch nein sagen.

 

[Opticum]

@jazzz: gerne. Auch 19" Hardware gibt es sehr gut und günstig gebraucht zu kaufen. Hier spielt der Lärmpegel eine große Rolle. Wenn du keinen extra Raum dafür hast der einigermaßen schallisoliert sitzt, würde ich dir davon abraten. Dafür gibt es einfach zu viele gute Tower-Builds die recht leise sind.

 

[jazzz]

Moin -INU-,

danke auch für deinen Input!

Als Gehäuse hatte ich das Chenbro RM42300 ins Auge gefasst. Das müsste doch mit einer Tiefe von 445 mm noch gerade so in einen Schrank mit 600er Tiefe passen, oder? Aber das ist vielleicht auch eher ein Problem für später

Das Fujitsu Board gefällt mir. Hab mir daraus kurz mal eine zweite Config gebastelt:

Fujitsu D3644-B
Intel Core i3-8100
2x Kingston Server Premier DIMM 16GB, DDR4-2666, CL19-19-19, ECC (KSM26ED8/16ME)
Samsung SSD 970 EVO Plus 500GB, M.2 (MZ-V7S500BW)

Find ich auch ganz interessant. Hat so aber keinen Mirror für die SSD und keinen Speichercontroller zum durchreichen.

 

[-INU-]

Einen Controller gibt es und den kannst du auch durchreichen. Die NVMe ist auch viel zu groß, da soll nur Proxmox und die Storage VM drauf. Am SATA Controller hängen dann ein SSD Array aus z.b. 3 256er SSDs @Z1 für deine VMs und eben ein paar HDDs für sonstige Daten. Ein mirror für Proxmox brauchst du auch nur wenn die Kiste nicht ausfallen darf, sonst reicht es auch so und ein Backup ist schnell eingespielt. Wobei du da noch einen zweiten m2 Slot hättest, alternativ auch per Adapter über PCIe.

 

[jazzz]

Ah, ok. Dann hab ich das falsch verstanden.
Also als Basis ESXi auf einer kleinen M.2 SSD und darauf installier ich dann nur Proxmox und FreeNAS. Dazu dann 3x 256er SSDs @Z1 für die VMs und Container und 2x HDDs für Daten?

Beim Speichercontroller war ich nur etwas verwirrt, da ich immer überall gelesen habe, dass das ein "richtiger" z.B. LSI 3008 sein soll, damit das auch funktioniert.

 

[wenzilinho]

Nein, kein ESXi. Das wäre dann ja "nested virtualization".

 

[MisterY]

warum willst du einen guten Hypervisor (Proxmox) auf einen schlechten (Esxi) installieren?

 

[jazzz]

Ok, gute Nachricht: Ich hab es doch besser Verstanden als gedacht. Kam mir nämlich auch komisch vor. Schlechte Nachricht: Ich habe -INU- anscheinend schon wieder falsch verstanden. Mist, sorry!

Also noch mal zurück: Wie installiere ich am besten Proxmox und FreeNAS?

 

[wenzilinho]

Hypervisor und Storage VM auf eine SSD, restliche SSDs/HDDs per HBA an die Storage VM durchreichen und die dort erstellten Pools wieder an den Hypervisor zurückgeben ist die ESXi-Variante, die -INU- meinte, denke ich. Dadurch bekommt man ZFS Features unter ESXi.

Proxmox kann selbst schon ZFS. Dadurch kann man sich das durchreichen des HBAs eigentlich sparen.. Bei der Installation von Proxmox kannst du direkt ein RAID-Z1 aus den SSDs erstellen und dies für Proxmox, VMs und Container nutzen. Danach nur noch den HDD Pool erstellen. Das sollte für ein paar Freigaben/Benutzer reichen. Bei mehreren Nutzern macht eine Storage VM für die HDDs vielleicht Sinn aufgrund der Benutzerverwaltung. Da kann dir ein Proxmox Nutzer aber besser weiterhelfen als ich.

 

[MicroCane]

warum willst du einen guten Hypervisor (Proxmox) auf einen schlechten (Esxi) installieren?

Das ist aber mal ne mutige Aussage.
Besonders wenn man die weltweiten Marktanteile anguckt.

 

[martingo]

Ich mag Proxmox echt und setze es aus ein, zwei Gründen privat auch wieder ein, aber bei dieser Aussage kann ich auch nur den Kopf schütteln....

 

[jazzz]

Sonderlich hoch sind meine Anforderungen an das NAS, bzw. die Freigaben nicht. Ich hatte mir durch eine eigene Storage VM (in meinem Fall FreeNAS) nur eine einfachere und übersichtlichere Benutzerverwaltung gedacht.
Es kommt bei mir einigermaßen häufig vor, dass ich für verschiedene Projekte immer mal wieder schnell Benutzer anlege und Freigaben anpasse. Da würde mich natürlich sehr interessieren in wie weit das mit Proxmox alleine möglich ist.
Ich hab auf die Schnelle auch noch auf YouTube die Lösung mit Samba im LXC Container gefunden: teqqyde. Ich glaub Christian ist auch hier im Forum unterwegs.

Einer der Gründe warum ich genau jetzt mit dem Server anfangen möchte ist der, dass mein NAS gerade den Geist aufgibt. Eine schnell und nicht zu komplizierte Lösung in die ich mich erst länger einlesen müsste wäre mir also sehr lieb

 

[sch4kal]

warum willst du einen guten Hypervisor (Proxmox) auf einen schlechten (Esxi) installieren?

Gibts dafür irgendwelche Belege und Quellen ?

 

[Swivel]

Moin -INU-,

danke auch für deinen Input!

Als Gehäuse hatte ich das Chenbro RM42300 ins Auge gefasst. Das müsste doch mit einer Tiefe von 445 mm noch gerade so in einen Schrank mit 600er Tiefe passen, oder? Aber das ist vielleicht auch eher ein Problem für später

Das Fujitsu Board gefällt mir. Hab mir daraus kurz mal eine zweite Config gebastelt:

Fujitsu D3644-B
Intel Core i3-8100
2x Kingston Server Premier DIMM 16GB, DDR4-2666, CL19-19-19, ECC (KSM26ED8/16ME)
Samsung SSD 970 EVO Plus 500GB, M.2 (MZ-V7S500BW)

Find ich auch ganz interessant. Hat so aber keinen Mirror für die SSD und keinen Speichercontroller zum durchreichen.

Sicher das der RAM zum Board passt? Ich dachte das das Board nur unbuff. ECC veträgt?

 

[martingo]

Der genannte Riegel ist unbuffered.