ESX Homelab 2022

[solfolango]

Moin Leute,

zur Info: Das ist ein Crosspost aus dem HP Proliant Gen10+ Thread, falls das gegen Etikette verstößt dann sagt mir das bitte - nach dem Posten habe ich nur gemerkt, dass hier vermutlich noch mehr Schwarmintelligenz sitzt, die ich super gerne anzapfen möchte.

hier scheint wunderbares Wissen vorhanden zu sein, das ist super. Ich suche mir seit drei Tagen einen Wolf, wie ich ein homelab ESX cluster aufbaue, nachdem mein Plan, auf NUCs zu setzen einen Torpedo nach dem anderen fängt (NUC11 und Thunderbolt - prinzipiell ja, aber die Solo 10G wollen einfach nur sporadisch mitarbeiten, egal welches OS - und jetzt ist auch noch ein NUC endgültig gestorben, statt Ersatz (nicht verfügbar) gibts nur Geld zurück, also neue Hardware suchen...) orientiere ich mich um. Hier geht es nicht um Sinnhaftigkeit, keine der von mir gewünschten Hardwaremerkmale brauche ich tatsächlich. Ich arbeite mich derzeit in Kubernetes, CI/CD, Infra as Code ein und mir fehlt die Geduld, jedesmal 15-20 Minuten zu warten, bis 5 VMs deployed sind und ich merke: "Oh, nochmal, da war was falsch."

Setup (vorhanden):
- 10Gbe Backbone, komplett TP Link Jetstream Switches, weil ich mich auch in SDN einarbeiten möchte
- 16TB (8-10 netto, reicht, Kapazität ist gar nicht wichtig) all-flash NAS auf Synology-Basis, ebenfalls mit dual 10GBe angebunden
- Bisher: 3x NUC11 mit je 2x2.5GB und geplanten 1x10Gbe Anbindung
- ESX Lizenzen vorhanden aus dem VMUG Advantage Programm

Weil ich mich nun wirklich sehr intensiv mit Hardware auseinander gesetzt habe, die einfach nicht das tut was sie soll, suche ich jetzt etwas, was "einfach mal funktioniert".
- 3 Knoten
- jeweils 1-2x 10GBe und 2-4x 1Gbe / 2.5Gbe
- Bestenfalls VMware HCL, prinzipiell muss es aber ohne weitere Tricks installierbar sein und laufen

mein NUC-ESX Cluster ist heute gestorben, nachdem einer der NUCs jegliche Zusammenarbeit einstellt und von Intel erstattet wird. Ich brauche jetzt einen Ersatz mit folgenden Anforderungen:

- CPU gerne 4c/8t, das genügt
- vSphere 7U3 kompatibel
- 1-2x 10GBe SFP+
- 32GB RAM

Stromsparend gerne. Lautstärke: Keine Turbine, aber steht eh im Lager.

Lokaler Speicher wird max eine Platte als Bootplatte laufen (vermutlich die nvme's aus den NUCs), der Rest soll übers Netzwerk vom Storage kommen.

Fragen:
- HP mit Pentium gibts gerade auf ebay "relativ günstig": https://www.ebay.de/itm/134020935184
- Der Pentium steht nicht auf der VMware HCL, sollte aber dennoch laufen, reicht auch erstmal. Eventuell kann ich da später noch auf einen Xeon hoch - oder welche Alternativen gäbe es? Habe was von einem i3 gelesen?
- Einen Tipp fürs RAM wäre super
- iLO enablement kit ist zusätzlich zur PCIe NIC möglich, oder?
- Welche NIC (SFP+ bevorzugt) passt am besten? Ich könnte die Synology NIC (rebranded Intel X710-DA2) testen, die habe ich schon da. Preislich ist die gar nicht uninteressant.

Mein Budget ist nicht unendlich, aber es darf am Ende sehr gerne eine vernünftige Lösung sein. Falls jemand Tipps abseits des HP Gen10+ hat, dann immer her damit!

Oder sollte ich auf einen/zwei Knoten setzen und auf Redundanz sch*ssen? Wenn das Ding mal gut läuft, dann lasse ich da vielleicht auch was fürs Home laufen, aber das ist alles nicht super wichtig. Steht mir hier meine Datacenter-Denke im Weg?

Danke für eure Hilfe, ich werd fast wahnsinnig in diesem Shortage Dschungel :-(
Sol

 

[niklasschaefer]

Zum Gen10+ Plus Microserver würde ich wenn die Größe keine Rolle spielt einen ML30 Gen9 oder Gen10 ins Rennen Schmeißen oder einen Dell T150/350. da ist noch ein bisschen mehr geboten

 

[Supaman]

Muss das ein Out-ouf-the-Box System sein oder würdest Du auch selber zusammenbauen?

Wenn selbstbau in Frage kommen würde: so ziemlich jedes (Server) Board mit Intel c256 Chipset wäre ESX 7.x komapatibel. Von Supermicro und ASrock Rack gibts auch mini-itx Bretter, und IMPI sowiso, d.h. auch Mini Systeme in NAS Format wären möglich, muss man halt schauen ob man mit Onboard NIC + 1 Steckkarte hinkommt.

Für die Vernetzung der Knoten würden ggf auch 40GB Karten Karten in Frage kommen:

[Guide] 40Gbit im Heimnetz Peer 2 Peer (Unraid)

Mellanox Peer-to-Peer Einrichtung Unraid Windows Vorwort: Dieser Guide richtet sich an die Leute die Daten sehr schnell im Heimnetz hin- und herschaufeln, oder wie ich einfach einen kleinen Server als NAS am laufen haben oder auch mit Parsec z.B. von einem leistungsfähigerem PC mit nativer...

www.hardwareluxx.de

 

[solfolango]

Moin, danke euch beiden - ich habe mir jetzt testweise einen Fujitsu 1320 M4 bestellt, der dürfte von den Rahmenbedingungen ganz gut rein passen. Selber basteln finde ich zwar spannend, aber ich habe schon soviel Zeit verloren durch irgendwelche Bastellösungen, mehr als einen Treiber einspielen möchte ich jetzt tatsächlich nicht.

40GB dürfte ziemlicher overkill für mein Storage-Backend (wenn ich es so nennen darf) sein, ausserdem müsste ich dann wieder switches tauschen, das will ich eigentlich gern vermeiden.

Sobald der Server hier ist ergänze ich es mit ein paar Erfahrungswerten, denn preislich ist der Fujitsu interessant und vom Formfaktor/Lautstärke ist er von der Papierlage her auch tauglich. Verbrauchsmessungen kann ich ebenfalls durchführen. Gerne Daumen hoch, falls das von Interesse ist, ich würde mir die Arbeit ungern umsonst machen. Prämisse: vSphere läuft erstmal auf dem Ding und ich finde eine NIC, die halbwegs passt.

 

[Supaman]

40GB dürfte ziemlicher overkill für mein Storage-Backend (wenn ich es so nennen darf) sein, ausserdem müsste ich dann wieder switches tauschen, das will ich eigentlich gern vermeiden.

Falscher Ansatz: Für die Vernetzung der Knoten (untereinander) würden ggf auch 40GB Karten Karten in Frage kommen.

Ich habe das so verstanden, das Du einen 3-Knoten Failover Server bauen willst - ohne (redundant verschaltetes) SAN.

Das heisst aber auch, das die Knoten mit lokalem Storage arbeiten, und wenn man VMs von einem Knoten auf einen anderen schieben möchte, eine möglichst leistungsfähige Anbindung haben möchte.

Also : Knoten untereinander mit 40GB anbinden, Datenverkehr Richtung Netzwerk je nach Gldbeutel mit 1Gb oder 10GB.

 

[solfolango]

Falscher Ansatz: Für die Vernetzung der Knoten (untereinander) würden ggf auch 40GB Karten Karten in Frage kommen.

Ich habe das so verstanden, das Du einen 3-Knoten Failover Server bauen willst - ohne (redundant verschaltetes) SAN.

Das heisst aber auch, das die Knoten mit lokalem Storage arbeiten, und wenn man VMs von einem Knoten auf einen anderen schieben möchte, eine möglichst leistungsfähige Anbindung haben möchte.

Also : Knoten untereinander mit 40GB anbinden, Datenverkehr Richtung Netzwerk je nach Gldbeutel mit 1Gb oder 10GB.

Nein, das hast du falsch verstanden. Ich habe eine Synology als All-Flash Speicher als shared datastore und zwei bis drei geplante Knoten, auf denen die VMs sitzen. Die Knoten selbst haben ausser einer Bootplatte keine sonstigen Drives, ich fahre keinen HCI-Ansatz. Das sollte meine Ansprüche (schnelles deployment über terraform) abdecken und gleichzeitig für das bissle Produktion im Heimnetz reichen.

Edit: Ja, hier ist längst nicht alles redundant, aber dafür ists ja auch ein Homelab und nicht die Produktion im Datacenter meines beruflichen Alltags. Meine Frau hält mich ohnehin schon für verrückt.

 

[solfolango]

Kurze Info: Der 1320-M4 ist inzwischen angekommen, ESX Installation absolut problemlos. Ich habe die M.2 aus dem NUC auf dem Mainboard montiert und als Boot-Device benutzt, kein Problem, die Lautstärke ist auch sehr angenehm. Die Synology NIC wird im System auch erkannt (qedentv Treiber wird geladen), habe das System aber noch nicht fertig installiert/ Tests durchgeführt. Schaut alles erstmal gut aus, da werden noch zwei Knoten von gekauft.