VM Server Konzept - Threadripper

[tcg]

Hi,

stellt euch mal vor ihr hättet "etwas" Geld übrig und wollt einen neuen VM Server kaufen oder bauen.
Ich brauche für SW Tests (in der Firma) ein paar VMs und habe mal angefangen meinen Chef damit zu nerven.
Noch ist alles theoretisch, aber ich habe mal 20k€ aufgerufen, und er ist nicht abgeneigt ;-)
Jetzt habe ich mal rumgesucht und ein paar kommerzielle Server gefunden, aber die sind alle, naja, nicht so richtig "cool".

Ich bräuchte >= 20 VMs mit je 4 Kernen, 8GB RAM und 250-500GB HD Platz.
Das ganze ist nicht Mission-Critical.
Wenn die Kiste mal ausfallen sollte kann ich immer noch VMs bei unserer IT-Abteilung bestellen.
Aber das ist sehr zäh, die brauchen immer ewig, und wahrscheinlich auch nicht billiger für meine Abteilung.

Da ich super glücklich bin mit meinem gebastelten Homeserver, könnte ich mir vorstellen das auch selbst zu machen.
Will ja auch meinen Spaß dabei haben...
Also habe ich mal weiter gesucht und mir folgendes zusammengestellt (mit ca. Preisen):
1 * AMD Threadripper 3990x [4200€]

128 Threads -> reicht für 32 VMs mit 2+2 Kernen​

64 PCIe Lanes -> sollte ok sein für 9*NVMe​

max. 256 GB RAM, reicht auch für 32 VMs​

1 * ASRock TRX40 Taichi [500€]

Hmmm, kein IPMI ! Schade, aber ist ok​

Das Board kann wohl Bifurcation​

8 * Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC [8*170€]
8 * Samsung SSD 980 PRO 2TB, M.2 [8*400€]

zusammen 16TB Brutto​

je 4 davon auf eine "Hyper M.2"​

als "Laufzeitumgebung" für die VMs​

am liebsten als ZFS-Z2 (ist das sinnvoll ?), dann sind es ~12TB Netto​

2 * ASUS Hyper M.2 X16 Gen 4 Card [2*100€]
8 * Seagate Exos X X16 16TB, 512e/4Kn, SATA 6Gb/s [8*420€]

128TB für Backups​

wieder am liebsten als ZFS-Z2​

1 * Samsung SSD 980 PRO 500GB, M.2 [100€]

Für OS, ZIL und L2ARC (für die SATA HDDs)​

Dann im M.2 Port auf dem Board (ist bootfähig)​

1 * be quiet! Straight Power 11 Platinum 1200W ATX 2.51 [250€]

sollte reichen, ist ja keine GPU verbaut​

1 * Fractal Design Define R5 White, schallgedämmt [110€]

schallgedämmt, weil das Teil evtl. ins Büro kommt​

Hat Platz für 8 * 3.5" HDD​

1 * Noctua NH-U14S TR4-SP3 [90€]
+Kleinkram (Lüfter, Kabel, ...)
4 Jahre ProxMox-Std [4*420€]

Ich liebe ESXi und mag ProxMox eingentlich gar nicht.​

Ich habe mehrfach probiert hier zuhause ProxMox aufzusetzen, bin aber jedes mal gescheitert.​

Aber alleine vom Preis her nehme ich an dass ESXi nicht möglich sein wird :-(​

Naja, dann brauche ich vielleicht noch einen ProxMox-für-Dummies Kurs...​

In Summe dann ca. [15000€]

So, wo ist der Fehler in der Überlegung ?!?
Was habe ich übersehen ?

Danke schonmal...

 

[Kullberg]

Der 3990X unterstützt keine RDIMMs, nur UDIMMs.
Der Kühler passt nicht aufs Mobo, der kollidiert mit den Kühlern der Spawas. Der Noctua NH-U14S TR4-SP3 passt und kühlt gut.
Beim Asrock Taichi ist eine Karte für 4x NVMe bereits dabei.

 

[tcg]

Oh, ok, danke !
Ich hatte auch den 3995wx angeschaut, der kann das, hab ich wohl verwechselt.

Hab jetzt mal den Noctua auf die Liste gesetzt. Sind ja nur 30€ mehr...

---

Einkaufsliste angepasst...

 

[Morpheuz]

Alleine die Worte Firma, VM Server und selber gebastel...nenene
Dann auch noch Consumerkrams.
Und ESXi ist Grundlegend erstmal kostenfrei, wenn du des nur als Einzelhost betreiben willst meist auch ausreichend.

 

[AliManali]

Wieso kein Epyc? CPU dünkt mich auch übertrieben. Ich weiss ja nicht, was die VMs so machen. Aber vCPU kann man gut um Faktor 3 überbuchen, wenn nicht auf allen VMs gross Last anliegt. Und alle VMs 4 vCPU? Wieso das? Ich weise grundsätzlich jeder VM mal einen Thread zu, was mehr braucht vielleicht zwei oder drei.

Ich habe einen E5 Sechskerner mit 128GB. Dort laufen unter anderem VMs, die sich CPU mässig nehmen was sie können. Unglaublich was da alles darauf tuckert. Habe auch so um die 20 VMs am laufen. Na gut, die CPU ist im "idle" bei 60-70%, aber läuft alles geschmeidig.

Ich würde da echt nicht auf Consumer Hardware setzen. Baue auch gerade mit dem Kumpel einen Server. Zuerst wollten wir auf das ASRock Rack X590 gehen, es ist dann aber doch ein 16 Kern Epyc geworden. So könntest Du dann auch Deine RDIMMS einsetzen.

Storage ist eh meist der Flaschenhals. Für "OS, ZIL und L2ARC" halt eine kleine Optane. Bei den restlichen SSDs unbedingt auf Serverhardware gehen. Die Consumer Dinger sehen gut aus wegen der sequenziellen Schreibrate, aber brechen dann bei vielen parallelen Zugriffen ein. So pauschal zu sagen, dass jede VM mal 200-500GB Platz braucht; gibt es da einen Grund für? Man kann der VM auch mal 100GB zuweisen, und bei Bedarf dann mehr geben.

Wenn Du nicht wirklich drin bist in der Materie, begibst Du Dich halt schnell auf Glatteis. Beim Kumpel dachte ich auch, ja helf ich gerne. Aber da sind dann halt schnell viele Sachen dazu gekommen, die ich nicht bedacht hatte. Wir sind schon über ein Jahr am planen. Teile sind alle da, bis auf das Gehäuse. Wird auf jeden Fall spannend dann, ob alles läuft, so wie wir gerne hätten.

 

[underclocker2k4]

Nur mal so als Anregung:
Für 15k bekomme ich einen 200W TDP Dual CPU System mit 512GB RAM und 20TB SSD und das Ganze bei den üblichen Verdächtigen mit Enterprisegrade Hardware, Produktsupport und ESX-validated.

Nur um den Bastelkram da oben etwas einzuordnen.
Achja, IPMI und co ist natürlich auch dabei, inkl. 24x 2,5", RAID Controller für alle Slots, Quad 10GBE NICs und solche Scherze.

Ich würde gar nicht auf die Idee kommen, bei so einem Budget überhaupt Geizhals aufzurufen, geschweige denn irgendwas zu bestellen oder gar den Schraubendreher zu bedienen.

Ansonsten gilt, für solche nonCluster-Anwendungen verwende auch nur den DAU-ESX, funktioniert hervorragend.

 

[AliManali]

Ansonsten gilt, für solchen nonCluster-Anwendungen verwende auch nur den DAU-ESX, funktioniert hervorragend.

Musste auch googlen, aber anscheinend klappt das nicht:

Nachdem VMware aber kürzlich ein Limit von 32 Cores pro CPUs für die kostenpflichtige Variante einführte, sollte dieses auch für ESXi Free gelten. In VMs bleibt es bei der Obergrenze von 8 vCPUs.

Wobei die kleinste vSphere Lizenz kostet auch nicht alle Welt.

 

[MisterY]

Muss es denn ESXi sein? Wenn eh getestet wird, würde ich mal Proxmox nehmen. Da gibt es keine künstlichen Einschränkungen.
Und als System würde ich auch ein fertiges Epyc System nehmen. Alleine wegen Garantie und Wartung.

 

[underclocker2k4]

@AliManali
Nimmt man halt 2 CPUs mit <=32C.

 

[tcg]

Vielen Dank für das rege Interesse !
Das habe ich erwartet hier im Luxx -> kritische Blicke und neue Ideen... Again, danke...

Alleine die Worte Firma, VM Server und selber gebastel...nenene
Dann auch noch Consumerkrams.

Deswegen habe ich geschrieben: nicht Mission-Critical.
Das selber Basteln will ich eigentlich machen, weil das Spaß macht (bin wohl schon zu lange hier im Luxx und habe seltsame Hobbies ;-)

Mit Consumerkrams habe ich beste Erfahrung gemacht.
Nach vielen HP Servern hier (2*MicroServer-G8, 6*ML310-G8, 2*ML350p-G8) habe ich meinen eigenen Ryzen-Server gebaut, und der schlägt alles um längen (selbst die Dual E5-2680-v2-Kiste, siehe meinen Verkaufs-Thread), läuft super stabil (seit Monaten non-Stop), ist flüsterleise und braucht nur einen Bruchteil des Stroms.
Aber genau deswegen frage ich ja, vielleicht habe ich ja nur Glück ?!?

Wieso kein Epyc? CPU dünkt mich auch übertrieben. Ich weiss ja nicht, was die VMs so machen. Aber vCPU kann man gut um Faktor 3 überbuchen, wenn nicht auf allen VMs gross Last anliegt. Und alle VMs 4 vCPU? Wieso das? Ich weise grundsätzlich jeder VM mal einen Thread zu, was mehr braucht vielleicht zwei oder drei.

Epyc ? Deutlich teurer, merklich langsamer, wenn ich die Vergleiche sehe ich keinerlei Vorteil (für diesen Use-Case).
4 Kerne für die VMs kommt daher, dass ich einfach möglichst genau die Zielmaschinen abbilden will.
Das Ziel ist ein ganz spezieller Server (mit 4 Kernen) mit einer Real-Time Anwendung. Dort weisen wir verschiedenen Tasks/Threads dedizierte Kerne zu.

Für 15k bekomme ich einen 200W TDP Dual CPU System mit 512GB RAM und 20TB SSD und das Ganze bei den üblichen Verdächtigen mit Enterprisegrade Hardware, Produktsupport und ESX-validated.

TDP ist egal, steht eh in der Firma, da zahle ich privat keinen Strom...
Ist auch vernachlässigbar, im Labor stehen einige Testanlagen, die haben bis zu 2 MW Leistung alleine für die Powersupplies fürs Plasma ;-)
512GB brauche ich nicht, 256GB reichen genau (für >=30 VMs).
Aber ich würde gerne mal gucken, hast du evtl. einen Link ? Da war ich wohl zu blind beim Suchen.
Wenn so eine Kiste auch das kann was ich will, naja, dann evtl. Spaß beiseite und das kaufen...
Ziel ist 20 VMs, 30 wären besser.
Also z.B.:

32*4 Kerne -> 128 Threads​

32*8 GB -> 256GB​

32*250 GB HD -> 8TB​

viel Platz für Backups -> deswegen die 8*16TB HDDs​

Wobei die kleinste vSphere Lizenz kostet auch nicht alle Welt.

Muss ich mal schauen.
Evtl. kann ich auch eine Lizenz aus der Firma nehmen, die ITler hier haben wohl recht viele. Allerdings ist die Firma noch auf ESXi 5 (was ok wäre für mich).

Muss es denn ESXi sein? Wenn eh getestet wird, würde ich mal Proxmox nehmen.

Muss nicht, ich habe ja auch ProxMox oben als Option geschrieben, aber ich komm damit einfach nicht zurecht.
Das ist (wohl weil ich von ESXi komme) super unintuitiv, nach >3 Versuchen zu installieren in den letzten Jahren habe ich es noch nicht einmal geschafft eine VM zu starten.
Irgendwas will immer nicht, kryptische Fehlermeldungen mit denen ich nix anfangen kann...
Vielleicht bin ich auch zu blöd oder zu alt um Neues zu lernen....

Für "OS, ZIL und L2ARC" halt eine kleine Optane.

Jepp, super Idee !
Passe ich noch an...

 

[underclocker2k4]

TDP ist egal, steht eh in der Firma, da zahle ich privat keinen Strom...
Ist auch vernachlässigbar, im Labor stehen einige Testanlagen, die haben bis zu 2 MW Leistung alleine für die Powersupplies fürs Plasma ;-)
512GB brauche ich nicht, 256GB reichen genau (für >=30 VMs).
Aber ich würde gerne mal gucken, hast du evtl. einen Link ? Da war ich wohl zu blind beim Suchen.
Wenn so eine Kiste auch das kann was ich will, naja, dann evtl. Spaß beiseite und das kaufen...
Ziel ist 20 VMs, 30 wären besser.
Also z.B.:

32*4 Kerne -> 128 Threads​

32*8 GB -> 256GB​

32*250 GB HD -> 8TB​

viel Platz für Backups -> deswegen die 8*16TB HDDs​

Die TDP ist nur ein Hinweis darauf, dass wir nicht von 4C CPUs sprechen.
Wenn du 32VMs mit je 4C hast, heißt das nicht, dass du 128 Threads brauchst.
CPUs kann man oftmals leicht bis stark über provisionieren. Das hängt vom Lastverhalten der VMs ab. Wenn die 24/7 durchcrunchen, dann weniger über provisionieren, wenn eben nicht, dann, je nach Gleichzeitigkeitsfaktoren auch weniger bis stark über provisionieren.

Für Preise wendest du dich mal am besten an die üblichen Systemhäuser, bzw. die Distributoren für HPE/DELL/FSC/Lenovo usw.
Des Weiteren würde ich das Backup nicht in das Produktivsystem packen, das wäre dann kein Backup, sondern ein longterm Storage.
Dafür nimmt man sich dann ein z.B. 4C System, ein paar ECC Riegel (wichtig für ZFS) und eben HDDs. Case je nach Wunsch, ggf. auch ein SC836 von eBay z.B..
Ggf. auch ein System welches die Backups dann macht und das Backupstorage extern angebunden hat. Veeam wäre z.B. für ESX gut geeignet.
Auch solltest du dir, je nach Anforderung an das System, überlegen, was du mit ESX an sich machst.

Ja man kann mit Consumerhardware ggf. mehr Rechenleistung bei geringerem Preis erzielen. Nur ist das immer ein trade off.
Dein System kann eben vieles nicht, was im Businessumfeld heute Standard ist.
Das hängt aber eben auch vielmals von den Preisen ab. Wie gesagt, ich bekomme sowas (ohne das HDD-Storage) für einen solchen Preis, inkl. ganzen Vorteile der EnterpriseHW.
Ob sich das bei dir auch so einstellt, wird sich zeigen.

PS: vSphere 5 ist seit 5 Jahren aus dem Support. Das verwendet man nicht mal mehr @home.
Die Systeme werden auch deutlich robuster und können auch mehr. Allein das Thema Treibersupport kann mit v5 schon ein pain in the ass werden.

 

[besterino]

Bei aller Liebe zum Basteln. Ich versteh das auch nicht mit dem selber bauen. Allein schon, wenn dabei was schief & kaputt geht (vielleicht unwahrscheinlich aber nicht ausgeschlossen), steht man sehr dumm da. Das ist halt was anderes als der Gefälligkeitsjob für Friends & Family. Und das ist alles lustig aber selbst für „nicht Mission-critical“ wird erwartet, dass das läuft und man dann nicht lange Ausfälle hat, während derer man auf Equipment und ggf. zusätzlich noch an anderer Stelle auf dem Typen warten muss, der daran frickelt.

Nicht zuletzt gibts auch da noch den Aspekt „menschliche Redundanz“. Alles was indivduell gefrickelt ist, kostet nochmal mehr Zeit, wenn der individuelle Frickler ausfällt bzw. kannste abschreiben, denn unter Support nimmt das dann keiner nachträglich.

Die z.T. durchaus geringen Aufpreise für was Gescheites sind den Eiertanz nicht wert. Geh mit deinem Wunschsystem zu einem guten Systemhaus und dann hast Du und Deine Firma was Gescheites.

Wir haben z.B. mal genau für so eine Spielwiese von BostonIT was bauen lassen (Supermicro-Basis) - konnten nicht meckern. Ansonsten ist der Fuhrpark von Dell...

 

[MisterY]

Proxmox ist absolut intuitiv und vieles selbsterklärend.