Homelab ESXi und mehr

[DarkRain]

Hallo zusammen,

ich bin mir nicht sicher, ob ich hier, oder im Homeserverbereich besser aufgehoben bin, aber ich denke eher hier. Im Grunde genommen suche ich ein paar Anregungen, welche Teile ich mir für mein geplantes Home-Lab zusammenkaufen sollte.
Mein Ziel ist es, ein kleines Home-Lab einzurichten. Aktuell steht hier ein aus alter Desktop-Hardware gebauter PC rum mit Windows Server 2012, 16 GB RAM und nem i3 4370.
Ich möchte aufstocken, auf ein kleines Rack (8HE oder sowas), mit 2 Servern, evtl einem NAS dabei und einem kleinen managebaren Switch. Warum? Zum basteln. Außerdem arbeite ich in dem Bereich und will zu Hause was für kleine Lab-Umgebungen haben.

Ich habe auf dem Gebiet leider relativ wenige Erfahrungen und kenne nur das "große teure" aus dem Rechenzentrum. Und wenn ich mir da so die Preise anschaue, will ich das privat definitiv nicht investieren Ich suche also ein Komplettpaket:
- 1x Rack
- 2x Server (läuft 24/7, also möglichst stromsparend, soll ESXi drauf, von mir aus auf einem USB Stick, brauche also keine internen Platten, 32GB oder mehr RAM, halbwegs starke CPU, da ich auch gern mal einen Spieleserver hosten würde und mir hier in der Vergangenheit die CPU einen Strich durch die Rechnung gemacht hatte)
- 1x NAS (derzeit belege ich 6TB, die ich umziehen will. Zusätzlich überlege ich, mir mehrere sehr große externe Platten, oder ein 2. NAS für Backup zu holen. Zielgröße von dem primär-NAS sind 8TB, evtl. mehr. Also fände ich 4 Platten schon toll, damit ich auf die Größe komme und ggf. später nachstecken kann. iSCSI und NFS sollte es können, für alle weiteren "NAS-Features" baue ich mir lieber einen Fileserver darüber auf.)
- 1x managebarer ETH Switch (der soll echt nur zum spielen sein, für meine Pläne würde wahrscheinlich auch ein ganz normaler reichen, aber ich bin neugierig - daher reicht mir auch 1G vorerst) Wenn das zu teuer wird, nehme ich halt nen billigen 8Porter für 50€, der nichts kann, ich lege da mehr Wert, vernünftige Server und das NAS zu kaufen.
- eine USV fände ich toll, aber irgendwo ist mein Budget ja auch begrenzt

Was soll darauf betrieben werden?
Vorerst mal geplant sind eine VMware-Lab-Umgebung (mit vCenter, NSX und mal schauen, ob ich mir den Operations Manager anschaue). Dazu Plex, TS3 Server, Nextcloud und weitere kleine Spielereien. Vielleicht ein Webserver hier, was für Mail da.. Je nachdem, wie ich Zeit dafür finde...
Zum Budget: ich bin bereit, dafür 3000€ auszugeben +/- 1000. Schmerzensgrenze wären also 4000, aber die muss nicht unbedingt erreicht werden


Ich lese in vielen Labs immer wieder von Supermicro. Mir wäre bei den Servern auch einigermaßen wichtig, dass ich nicht zu viel Fummelei mit ESXi habe und Supermicro steht zu großen Teilen wohl da auf der HCL. Hat Jemand Empfehlungen, welche Modelle für mich sinnvoll sein könnten? Anderen Herstellern gegenüber bin ich natürlich auch offen. HPE Microserver kommt mir noch so in den Sinn...
Was das NAS angeht, bin ich auch sehr frei. Muss nicht direkt ein teures Synology sein, darf es aber natürlich trotzdem.

Danke schonmal für alle Anregungen, die ihr so habt.

 

[bigghost]

Ich habe noch einen DELL Poweredge R410 mit 64 GB RAM mit 2* Xeon X5650 über.
War bei mir als VM Server im Einsatz und hat Power genug.
PM falls interesse.

 

[Luckysh0t]

Also alleine dass vCenter hat in den Anforderungen 10 GB Ram für die kleinste Umgebung.Da werden 16/32 GB Ram schnell knapp.Und wer weiß, was NSX haben möchte.

 

[DarkRain]

Also alleine dass vCenter hat in den Anforderungen 10 GB Ram für die kleinste Umgebung.Da werden 16/32 GB Ram schnell knapp.Und wer weiß, was NSX haben möchte.

Das wird schon gehen. Und eine Aufstockung auf 64GB je System würde den Braten auch nicht mehr fett machen, finanziell. Aber ein Dual-Sockel System, was ein Vorredner hier anbot, wäre mir höchstwahrscheinlich zu teuer. Meine Stromrechnung bezahlt ja keiner für mich

 

[Sir Diablo]

Also alleine dass vCenter hat in den Anforderungen 10 GB Ram für die kleinste Umgebung.Da werden 16/32 GB Ram schnell knapp.Und wer weiß, was NSX haben möchte.

Also unser vcenter hat bei 3 Hosts und 127VMs zwar 16GB zugeteilt, belegt im Schnitt aber nur 1,9GB, mit einem maximal Spike von 5,4GB.

 

[konfetti]

Ich glaub, das kann man so pauschal garnicht sagen - zumal für vCenter ja ne Lizenz fällig wird, so free gibts das nicht.
unser essentials + vCenter verwaltet aktuell 2 Hosts im HA-Modus mit 56VMs und läuft auf nem W2016-Datacenter mit 10GB zugeteiltem RAM und belegt aktuell 2.1GB

In meiner vorherigen Firma, wars eine vCenter Appliance mit Enterprise+ Lizenz - 17 Hosts in 5 Clustern mit 280VMs -16GB zugeteiltem RAM und verbrauch lag bei um die 6GB - dafür war auch ständig die Konsole offen, Leistungsdatenerfassung, abgleich...

@LAN haben wir die Appliance im 60-Tage test laufen gehabt (reicht für 3 Tage ja aus) mit 8GB zugeteilt für 3 Hosts und rund 40VMs - verbrauch waren auch nur die 1.7GB...

--
@DarkRain,

wenn man ein aktuelles System nimmt, entsprechend angepasst und auf unnötiges Zeug verzichtet, braucht auch der Dual-Sockel Server nicht viel mehr im Idle, als irgendwas zusammengeschustertes. - Bei der "erschwinglichen" (fast hinterhergeworfenene) Technik ist der Verbrauch natürlich i.d.R. höher - muss man halt mal durchrechnen - Neuanschaffung gegen Stromkosten...

 

[DarkRain]

Also ich habe mir mal Supermicro Server bei einigen Konfiguratoren angeguckt und komme da so auf ca. 1500€/Server bei einem Setup, was sich lohnt. Allerdings Single Socket. Sonst wären das ja locker 500€ mehr für den 2. Prozessor. Ich denke, damit werde ich erstmal fahren. Mal sehen, wie ich dadran komme. Ich liege dann mit Rack, Switch und Zubehör etwas über meinem Budget, aber mal schauen. An dieser Stelle: hat jemand einen Vorschlag für ein Rack, wo die 2 Server + Switch + (wahrscheinlich Stand- und nicht Rack-) NAS reingeht? Sollten dann ja schon ca. 10HE sein. Wandmontage möchte ich dafür nicht, also ein Standrack. Hilft hier ein geschlossenes Rack bei der Schalldämmung viel?
Ich hab mir da folgendes zusammengeklickt:

(Den Raidcontroller kriege ich nicht rauskonfiguriert, da muss ich nochmal nachhaken...)

Hat jemand Erfahrungen mit 1HE Servern? Ich könnte quasi das gleiche haben, mit einem 1HE Server, z.B. basierend auf 111TQ-563CB und dann halt 200-300€ günstiger. Da ich leider keine Kabel in den Keller legen kann, müsste das ganze dann bei mir im Flur oder im Gästezimmer (ohne Tür) stehen. Ich muss also ein wenig auf die Lautstärke achten und da frage ich mich natürlich, ob ein 2HE Gehäuse leiser ist. Werden da überhaupt größere Lüfter, die dann langsamer drehen verbaut, oder habe ich rein gar nicht von den 2 HE? Die zusätzlichen PCI Steckplätze etc., die mir ein 2HE Gehäuse bringen würde, brauche ich nicht. Auch werde ich ohne Festplatten fahren, also brauche ich auch dafür nicht den Platz. ESXi läuft auch super auf nem USB Stick.

@konfetti
Die Lizenzen kriege ich über VMUG. Hier bekomme ich die "advanced" Mitgliedschaft von meinem AG spendiert. Und auch sonst finde ich die 200$/Jahr privat verkraftbar. Ist nichts gegen die eigentlichen Kosten, die so eine EnterprisePlus mit NSX und VRA mit sich bringen würde

Und mein Bericht vom RAM Verbrauch der vSphere Komponenten geht aus Erfahrung eher in die andere Richtung. Wir mussten für unsere ~20 Hosts mit knapp 1000VMs mit dem vCenter auf 32GB gehen, sonst ist der Webcliebt ständig abgestürzt. Da treiben aber auch zig Plugins ihr Unwesen, ich denke in einem sauberen Homelab komme ich bestimmt mit unter 10GB aus. NSX braucht in der kleinsten Variante 16GB (Stand von Anfang 2018, wo ich zuletzt einen installiert habe). Aber tatsächlich davon verbrauchen.. ich schätze mal eher 4

 

[Luckysh0t]

VMUG ist in der Tat was feines ^^.

Ich hab mich da auf die Standardinstallation bezogen.
Wenn das vCenter oder NSX mit entsprechenden Anpassungen sich mit weniger Ram zufrieden gibt und immer noch Stabil läuft, warum nicht - dürfte ja genug Anleitungen geben wie man dass ggf. über ssh anpasst .

Ich weiß gar nicht wie viel Ram die vCenter bei uns auf der Arbeit so ziehen..- mal bei Gelegenheit nachschauen ^^


mm...jetz will ich mir meinen neuen Server auch kaufen..xD

 

[bigghost]

Das wird schon gehen. Und eine Aufstockung auf 64GB je System würde den Braten auch nicht mehr fett machen, finanziell. Aber ein Dual-Sockel System, was ein Vorredner hier anbot, wäre mir höchstwahrscheinlich zu teuer. Meine Stromrechnung bezahlt ja keiner für mich

Mein DELL braucht im Idle ca 90-105 Watt mit 128GB. Dafür auch 12Cores/24 mit HT. War für mich ok da kein 24/7 System

 

[Luckysh0t]

Evtl ist auch das hier Interessant für dich.

SDDC in a Box vCloud One

Wenn auch ohne Koffer xD

 

[besterino]

Ich überlege mal wieder, mein Glück mit RDMA zu versuchen. Ziel dabei ist, eine möglichst flotte Connection zwischen Storage (ESXi 6.5 stand-alone mit Solaris 11.3 Storage VM) und Workstation unter Nutzung von RDMA hinzubekommen. Hab schon einiges gelesen, aber noch ein paar Fragen:

1. Laut VMware scheine ich dafür vcenter zu benötigen? PVRDMA Support
Echt? Das wäre ein showstopper, um den ganzen Host anzubinden und ich müsste über einen Workaround nachdenken, zB. PCIe Passthrough in die VM, wobei sich dann die Frage stellt, ob man so überhaupt RDMA zum Laufen bekommen kann?

2. Kann Solaris 11.3 (zur Not 11.4) als Server überhaupt SMB mit RDMA (quasi SMB Direct) als VM? Ich glaube ehrlich gesagt, nicht?

3. Wenn das doch mit ESXi klappt (ohne Passthrough) - geb ich dann der VM am besten eine SR/IOV, vmxnet3 oder so‘ne pvrdma NIC?

4. Windows 10 auf dem Desktop ist gesetzt und wäre ja in jedem Fall nur Client. Bin mir aber jetzt unsicher, ob ich dafür Windows 10 for Workstations brauche?

Ich will ja eigentlich nur zwei Rechner direkt (ohne Switch) über RDMA miteinander spielen lassen. Aber irgendwie fehlt mir wohl ein grundsätzliches Verständnis-Zwischenstück, wie RDMA-Verbindungen funktionieren. Ist alles irgendwie anders als TCP/IP... Nehm ich RoCE, RoCEv2 oder RDMA über IB ...? Die Komplexität erschlägt mich gerade mal wieder etwas.

 

[VirtuGuy]

1. du brauchst vds => somit auch vcenter
2. Nope
3. RDMA braucht eine passende Nic auf beiden Seiten, von daher pvrdma
4. Du brauchst Enterprise oder Windows 10 Pro for Workstation - die "Home Pro" Version hat keinen RDMA Support


Kurzfassung: Native Windows wäre für erste Tests weitaus einfacher.

 

[besterino]

Super, 1000 Dank! Und sorry für Offtopic - dachte irgendwie, ich wäre im ESXi-Sammler im Oberforum...

Nix für ungut, wollte den Thread nicht Kapern!

 

[bitrot]

8 HE Rack wird sehr schnell voll. Wenn es nicht unbedingt so extrem kompakt sein soll, würde ich ein paar Nummern größer wählen. Außerdem unbedingt auf die Tiefe achten - 60cm oder gar weniger Tiefe bedeutet oft, dass (gebraucht günstig erhältliche) Enterprise Hardware nicht passt. 80cm Tiefe ist empfehlenswert (habe ich selbst), wenn nicht gar 1m, auch wenn letzteres verständlicherweise oft zu Platzproblemen führt. Aber ein Rack braucht einfach auch Platz.

 

[DarkRain]

8 HE Rack wird sehr schnell voll. Wenn es nicht unbedingt so extrem kompakt sein soll, würde ich ein paar Nummern größer wählen. Außerdem unbedingt auf die Tiefe achten - 60cm oder gar weniger Tiefe bedeutet oft, dass (gebraucht günstig erhältliche) Enterprise Hardware nicht passt. 80cm Tiefe ist empfehlenswert (habe ich selbst), wenn nicht gar 1m, auch wenn letzteres verständlicherweise oft zu Platzproblemen führt. Aber ein Rack braucht einfach auch Platz.

Danke für die Info, werde ich beachten! Ich kämpfe gerade noch um die VMUG Lizenzen mit meinem AG und sobald das in trockenen Tüchern ist, werde ich mal langsam dein Einkauf starten und dann eine Liste machen, was es geworden ist.

 

[Fintastic]

Hallo zusammen, vielleicht bin ich jetzt einfach nur zu doof, aber ist es richtig, dass ich keinen rocev2-fähigen Switch benötige, sonder lediglich ein Betriebssystem, was RDMA kann und z.B. Mellanox Netzwerkkarten?