[Kaufberatung] Neuer VM Server - 3950x

[tcg]

Hi,

ist jetzt doch etwas länger geworden...

mein Storage ist nun (fast) "fertig", FreeNAS (per smb und nfs, u.a. für VMs) an 10GBit.
Jetzt hätte ich jetzt gerne noch einen "kleinen" VM Server.

Momentan steht hier ein HP ML350p G8 (2*E5-2680-v2, 96GB) mit ESXi und einem Haufen (zu viele, ja) Platten.
Aber der wird nun so nicht mehr gebraucht.
Der ist nur noch selten an.
Ist mir zu laut und schluckt in Summe wohl auch zu viel Strom.
Der ML hat natürlich auch Vorteile:
*) ECC RAM, brauch ich hier aber nicht wirklich, mein NAS hat, der VM Server kommt ohne aus.
*) iLO, super nett, aber mit ESXi brauch ich iLO momentan auch fast nie.
Headless ist schöner, aber Nvidia GT710 ist vorhanden.
*) Viel und schneller lokaler Speicher, brauch ich aber nicht mehr.
(der "Dicke" ist dann auch zu verkaufen ;- )
Die "nötigsten" VMs laufen gerade auf dem neuen NAS (E3-1270-v2), aber da ist schnell der Speicher am Limit (32GB).
Und ich möchte das separieren.
Ziel ist ESXi-7, evtl. Hyper-V, mit Proxmox bin ich (bisher ?) nicht richtig warm geworden.

"möglichst viele möglichst schnelle Kerne + viel RAM" wäre wohl momentan ein Ryzen 3900x oder 3950x...
Im "Passmark Rating":
Bisher: 2*12563, 2*10 Kerne, bis 3,6GHz
3900x: 32868, 12 Kerne, bis 4,6GHz
3950x: 39301, 16 Kerne, bis 4,7GHz

Aber mit den Komponenten tu ich mich schwer, der letzte AMD den ich zusammengeschraubt habe war ein K5 oder K6 (laut Wikipedia ist das >20 Jahre her)!
Ich habe mal zusammengeklickt was mir so gefällt und brauche Hilfe ob das auch so zusammen laufen wird.
Sollte auch nicht allzu teuer werden... Grobe Preise mal dabei.

Hier mal die Komponenten mit ein paar Fragen:

Gehäuse:
"be quiet - PURE BASE 600" (<70€)
Gefällt mir ganz gut.
Gibts (günstige) Alternativen für "Möglichst leise/gedämmt, keine HDs geplant, ATX" ?

Netzteil:
"be quiet - PURE POWER 11 | 500W CM" (<75€)
Sollte reichen für CPU-TDP 105W, keine HDs, evtl 5 Nvme, nur GT710 (passiv), 4*32GB RAM.
Gibts (günstige) Alternativen ?

Board:
Ich habe mal nach den günstigsten X570 Boards geschaut und das "Gigabyte X570 UD" kam raus (<150€).
Kann 4*32GB, hat M.2, mehr brauch ich eigentlich nicht.
Wo ist der Vorteil von einem X570 Board für 750€ ??
Wo ist der Vorteil gegenüber B550 ?
Gibt es ein Board dass die "Asus Hyper M.2 X16 Card V2" untertützt (bifurcation) (die liegt schon als Fehlversuch hier rum...) ?

CPU:
Wird wohl der 3950x (750€) werden...
TR4 ist mir zu teuer.
Und 3900x zu wenig ;-)

Kühler:
"be quiet! Shadow Rock 3" (€44) sollte reichen...
CPU-TDP 105W, Kühler 190W, die CPU ist eigentlich nie unter sehr viel Last.
Gibts (günstige) Alternativen ?

RAM:
Ich nehme einen 16GB@2666 Crucial CT16G4DFD8266 aus meinem Desktop und kaufe einen identischen dazu (60€).
Später sollen dann doch 128GB rein, z.b. 4x32GB G.Skill DDR4 PC 3600 CL18 "F4-3600C18Q-128GVK" (500€)
Ist es realistisch dass der Speicher dann einfach so läuft ? Oder muss der AMD spezifisch sein ?
Bei AMD steht "Max. Speichertaktfrequenz 3200MHz", macht da 3600 Sinn ?

Netzwerk:
Ist da, 10GBit Mellanox ConnectX 3 (MCX341A-XCEN) vorhanden.
Wird hoffentlich von ESXi erkannt ?!?

HDD
eine 16GB Intel Optane ist hier, reicht für ESXi.
Den Rest dann über 10GBit nfs oder smb ;-)

Tastatur, Maus, Monitor, ... alles ist schon da.
Hab ich HW vergessen ?

Oder auch in Variante 0, erstmal zum Spielen:
Ryzen 7 2700 (immerhin 15752 passmark) statt 3950x und eine schöne CPU dann nächstes Jahr wenn die 4000er draussen sind...

Mein Plan wäre also:
die 2700/32GB Version September/Oktober.
die 128GB dann evtl. Jahresende.
die "final" CPU je nach Verfügbarkeit der 4000er.

Ich habe also bis Oktober Zeit zu planen, Kommentare erwünscht...

Meine Offenen Fragen:

*) Komponenten passen zusammen ?
R7-2700 (später R9-3950x) + X570 UD + CT16G4DFD8266 (später F4-3600C18Q-128GVK) ?

*) was kostet bifurcation mehr ?

*) Läuft darauf ESXi (free) überhaupt ?
Bzw. auf welchem x3950-System läuft ESXi am ehesten ?
Ist ESXi booten von der Optane (ist ja eigentlich eine ganz normale Nvme-SSD) möglich ?
Oder von Usb-Stick wie am ML350p ?
*) Gibt es irgendeine IPMI / iLO / Remote Management Möglichkeit ? Ist nicht wirklich wichtig...

Danke schonmal für die vielen Tips die jetzt kommen ;-)

 

[Trambahner]

750,- muss man da sicher nicht ausgeben für ein X570-Board.

X570 bringt i.W. den Vorteil, dass der Chipsatz per PCIe 4.0x4 angebunden ist statt 3.0x4. Damit hast Du die doppelte Bandbreite für den ganzen Summs, den man evtl. an den Chipsatz dranhängt.
Das Asus WS X570 Ace kann damit z.B. drei 8x PCIe-Slots ansprechen. Der 3.0x8 Slot am Chipsatz kann damit mit voller Bandbreite angesprochen werden, lediglich die Latenz wird natürlich etwas höher weils über den Chipsatz geht.
Der Preis ist die höhere Leistungsaufnahme des X570 von ~ 10 Watt ggü. dem B550.

Auch ist X570 gerne mal weniger restriktiv was die Slot-Belegung angeht. Die kleineren Chipsets schliessen aufgrund der Lane-Knappheit gerne mal die parallele Benutzung bestimmter Slots/Anschlüssen gegenseitig aus; das und die Speicherbandbreite ist ein generelles Problem bei AM4.

Das X570 UD kannst Du in einem gedämmten Gehäuse mit wenig Luft instant vergessen für einen 3950. Viel zu schlechte VRM (=Stromversorgung) für die Stromstärken eines 3950X.
Generell musst Du ab dem 3900X den VRMs eine gehörige Portion Aufmerksamkeit widmen, weil schlechte zu ineffizient arbeiten und damit heiß wie sau werden. Es wird dann einfach zuviel Strom in Wärme gewandelt, anstelle die CPU zu versorgen. Schlimmstenfalls crasht Dir das System dauernd,
Hier ein Link für eine Übersicht. Der 3950 ist extrem fordernd für die Stromversorgung am Board, wenn er "all ahead full" läuft.
=> Hier ist viel Sorgfalt und Recherche gefragt, sonst kanns schnell elend werden. Ich werfe z.B. mal Berichte hier im Forum oder YT-Videos (z.B. von Cracky oder Buildzoid) in den Raum.
Lass Dich da nicht von markigen Werbeseiten der Hersteller irreführen.
Generell scheinen Boards mit VRMs/Mosfets von Infineon/International Rectifier und Vishay sich recht gut zu schlagen.


Gute B550-Platinen haben bei den VRMs aufgerüstet und sind oft besser als Budget-X570.

Im Prinzip musst Du jedes einzelne Board, egal ob B550 oder X570, prüfen, was sich an Slots/Anschlüssen gegenseitig ausschliesst, wie die VRMs sind und was bzgl. den folgenden Punkten geht:

# Passthrough ist ein ernstes Thema bei Ryzen; was funktioniert und was nicht ist sehr diffizil und ggf. sehr unterschiedlich je nach Board. Sei bereit, dass onboard-Devices (USB, Sata) nicht laufen damit.
# IPMI gibt es nur bei Asrock X470D4U und den kommenden X570D4I. Sonst hat keiner server-like Boards für AM4. D.h. ansonsten kannst Du nur KVM-Kasterl dranhängen.
# Bifurcation funktioniert oft, hängt aber immer vom einzelnen Board/Bios ab. Ein allgemeines "ja" oder "nein" gibts da nit.
(mein X399D8A-2T mit TR 1920x z.B. kann kein Bifurcation bisher (Bios 1.30) , obwohl viele X399-Boards mit TR das können)
# falls ECC gewünscht: auf AM4 bekanntlich nicht offiziell supportet. Kann funktionieren, muss nicht. Gibt Berichte in beide Richtungen. Manche Berichte sagen auch "funktioniert, aber Fehler werden nicht ans OS gemeldet".
# ESXI-Boot von den Cache-Optane sollte kein Problem darstellen; das sind aus Sicht PC ganz normale PCIe-SSDs. Aber!!!!!! Willst Du wirklich knappste PCIe-Slots/Lanes bei AM4 dafür verschwenden?
# Man liest: Systeme, bei denen in den PCIe-Slots der Chipsätzen nicht-consumer-Hardware hängt (also Netzwerk, Raid/HBA, etc.) , zicken manchmal oder die Karten da drin laufen einfach nicht.


Zusammenfassend:
=> AM4 ist halt kein Serversockel und hat dementsprechend nur wenig Lanes für I/O und kein garantiertes ECC. ESXI&Co ab 6.7 laufen mutmasslich, aber mehr als Ratschlägen aus Community-Foren gibbets da nicht. Dazu kommt, dass die Lanes manchmal nicht flexibel genutzt werden können und ab dem 3900X die Stromversorgung nicht unkritisch ist.

=> Du verwirrst mich etwas mit der Aussage "die CPU ist eigentlich nie unter sehr viel Last. " beim Kühler . Das passt nicht zu "möglichst viele möglichst schnelle Kerne" eines 3950X. Der ist aktuell wohl kompletter Overkill. Ich würde da derzeit maximal einen 3600 oder 3700X (2700 würde ich keinen mehr kaufen, Zen2 hat große Leistungssprünge) sehen, mir beim Board aber eines mit guter VRM holen, um den weg nicht zu verbauen.

=> Idle Leistungsaufnahme bei Zen2 ist nicht ideal (schon bei Windows nicht) , sobald sie was tun müssen sind sie aber top.

=> kaufe keine Hardware für "potentiellen Bedarf in 5 Jahren". Damit gibst Du automatisch zuviel Geld aus.


Ach ja: die VRMs sind bei den leistungshungringen aktuellen Intels bei Z490 auch ein Prio1-Problem. Ist also kein reines AMD-Problem.

 

[Trambahner]

Ich sehe Effizienz der VRMs durchaus als wichtig an, weil man mit zu billigen Lösungen einfach nur teuer Luft aufwärmt. Exponentiell ansteigend mit der Zahl ausgelasteter Kerne. Ausserdem musst Du entsprechend Luft zuführen und die warme Luft auch abführen.
Mit OC wirds natürlich kritischer. Es nützt natürlich nix, 300 Euro mehr für ein Board auszugeben, wenn die Kiste nur 1h am Tag läuft.

Das offenbar etwas Handlungsbedarf war, v.a. im mATX-Bereich, zeigen die B550-Boards. Dort gibts für vernünftiges Geld gute VRMs (B550M Steel Legend oder die B550(M) Tuf Gaming)
X570 gibts im mATX-Bereich z..B: nix IMO gscheites; da würde ich für Workstation/"Server"-Einsatz wohl zum Taichi oder WS X570 Ace greifen.

=> Auf die richtige Balance beim angestrebten Einsatzgebiet kommts an.

PS: Grundsätzlich gefallen mir tech-lastige Videos besser als Linus; er macht mir da etwas zuviel Show.

 

[sch4kal]

Evtl ein Rome Epyc ES auf einem Asus KNPA-U16 ? Registered ECC bekommt man hinterhergeworfen und du bekommst das ES übertaktet auf ~3,6-3,9 GHz Allcore.
Vielleicht sagt da besser @Sir Diablo was dazu, der hat so ein System und wollte afaik seinen 31-Kerner ES loswerden.

 

[tcg]

Über Epyc Rome kam ich ja auf die dumme Idee dass ich dringend mal wieder einen neuen VM Host brauche ;-)
$9900 war mir dann doch zu viel, aber 64 cores +HT (64395 in passmark) und 512GB RAM hat schon was...

 

[Sir Diablo]

Ne die ES/QS EPYCs sind relativ günstig. Ich hab für meinen inkl. Board und RAM keine 1k€ gezahlt. Hinzu kommt, dass sich die EPYC Naples (alle) und die EPYC Rome (ES/QS/OEM) übertakten lassen.

 

[tcg]

Hi,
ich hab mal etwas gesucht, aber bin im Thema "VRM" immer noch ziemlich unbewandert...
Was haltet ihr vom "Gigabyte B550 AORUS Pro" ?

Hier steht:
Doch die CPU-Spannungsversorgung kam mir etwas schwach vor, sodass ich dann doch lieber ein anderes Modell wählen würde

Und hier:
The Gigabyte B550 AORUS Pro uses Vishay SIC651 power stages for all 14 phases. There are twelve stages for the Vcore and two stages for the SOC. These power stages each support a maximum of 50 A of continuous current. Paired with the finned, high-surface area VRM cooling solution, the B550 AORUS Pro should be a capable overclocker.
The Gigabyte B550 B550 AORUS Pro has a maximum output of 700 A, with 600 A dedicated to Vcore.

Zwei Seiten, zwei Meinungen...
Eigentlich sollte es recht einfach sein was zu finden, aber immer wenn ich was gefunden habe bin ich unsicher wenn ich die Tests dazu gelesen habe...

Ich brauche kein Overclocking, das sollte die ganze VRM Thematik etwas entspannen.
PCIe 4.0 ist auch nicht richtig wichtig, eine GT710 braucht das nicht wirklich, und Storage ist ausgelagert (mit 10GBit ist das schnell genug).
Ist ein B450 Board für 100€ hier evtl. "besser" (Preis/Leistung) als ein B550/X570 Board ?

Was ist denn das günstigste Board für einen 3900x (das auch mal ein paar Stunden unter Last schafft) ?

Das "ASRock B450M Pro4" von ******* würde mir ja reichen...
Leider finde ich keine Info zu Bifurcation (für meine ASUS HYPER M.2 V2, für schnellen lokalen Storage später mal).

 

[tcg]

x4x4x4x4 ! Cool ! Danke !!!
Das wäre für die Asus-Hyper-Karte ja genau richtig ;-)

x265 lass ich am Desktop mit der GPU trancoden, das geht recht fix mit ffmpeg...

 

[tcg]

hab das Board eben mal genauer angeschaut...
Kann das keine 32GB Riegel ??
"4x DDR4 DIMM, dual PC4-25600U/DDR4-3200 (OC), max. 64GB (UDIMM)"

Beitrag automatisch zusammengeführt: 02.08.2020

Nein! 😡

???

Beitrag automatisch zusammengeführt: 02.08.2020

Du weißt es erst, wenn es jemand getestet hat.

Könnte ich werden... Muss nochmal wegen dem max. Speicher etwas googlen...

 

[tcg]

Ich schaue gerade mal die ganze ASRock-Reihe an...
Asrock Rack mit IPMI wäre ja schon schön !
Bifurcation ist eigentlich nicht so sehr wichtig, ich wollte nur meinen Fehlkauf (die Asus Hyper Karte) mal probieren, aber eine PCIe-4.0-SSD (irgendwann mal) reicht auch.

Momentan scheint mir das ASRock X570 Pro4 ganz ok zu sein. Für <160€, 4 DIMM Slots, viele "Phasen" ("10 Power Phase Design" und ein "Premium 50A Power Choke")... Aha.
Tolle Werbung schon mal...

Mal schauen, das nächste Geld ist wohl eh erst Ende September verfügbar. Wenn ich mich weiter alle halbe Stunde in ein neues Board verliebe kann ich noch gaaaanz viele anschauen ;-)

Momentaner Plan:
Board: ASRock X570 Pro4 (evtl.)
CPU: 3900x Boxed mit Wraith Prism (oder doch 3950x ? Dann mit be quiet! Shadow Rock 3 oder Dark Rock Pro 4)
RAM: 2*32GB G.Skill PC 3200 CL16 (später dann evtl. noch 2 für 128GB)
Gehäuse: be quiet! Pure Base 600 gedämmt
Netzteil: AeroCool Lux 550W (immerhin 80 PLUS Bronze) für 35€ !?
SSD: hier liegt noch eine alte rum
GPU: GT710 passiv

Ist da noch ein Denkfehler drin ?

Dann ESXi oder Hyper-V.
Je nach dem wie schnell der VM-Datastore dann ist (ESXi: NFS, Hyper-V: SMB), dann mal testen.

 

[Mr Bob Felder]

hab das Board eben mal genauer angeschaut...
Kann das keine 32GB Riegel ??
"4x DDR4 DIMM, dual PC4-25600U/DDR4-3200 (OC), max. 64GB (UDIMM)"

Wenn ich das richtig lese, war die Frage jetzt auf das Asrock B450M Pro 4 bezogen!?
Das läuft bei mir seit Mitte September 2019 mit vier 32GB Riegeln (Samsung M391A4G43MB1-CTD 32GB DDR4-2666 ECC UDIMM). Ob ECC wirklich aktiv ist kann ich nicht sagen, im BIOS gibt es auf jeden Fall eine Option um das zu aktivieren oder zu deaktivieren.
Darauf sitzt ein Ryzen 7 3700X, wobei ich die PPT auf 50 Watt abgesenkt habe, um die Effizienz zu verbessern.
Diese Kombination läuft 24/7 und hat jetzt ca. 7500 Stunden Vollast hinter sich (3D Rendering, Physik Simulationen).
Eine Grafikkarte hatte ich nur zur Einrichtung verbaut und dann wieder rausgenommen, um den Stromverbrauch zu verringern. Das Board piept dadurch nur etwas rum beim Booten, startet dann aber ganz normal weiter.

Mit den BIOS Versionen 3.40/3.50 und 3.60 hatte ich immer das Problem, dass ich nicht zuverlässig ins BIOS gekommen bin. Da bliebt nach Druck auf F2/ENTF (weiß nicht mehr genau welche Taste das hier ist) oft einfach der Bildschirm schwarz.
Mit 3.30 und jetzt 3.90 ist das bei mir aber nicht (mehr) aufgetreten.

 

[sch4kal]

Mach dir mal um die Phasen keinen Kopf, die reichen bei nahezu allen Mainboards > 90 € für den 3950X @ Stock aus.
Siehe https://docs.google.com/spreadsheet...TJFqqVxdCR9daIVNyMatydkpFA/edit#gid=611478281

 

[besterino]

...und ich denke, dass bei AsRock grds. auch 4x4 Bifurcation gehen dürfte, wenn sie es im BIOS angeben. Haben ja schließlich selbst so eine Karte im Angebot (und legen sie manchen Brettern bei, zum Beispiel dem TRX40 Taichi).

Aber alle Angaben ohne Gewähr!

 

[Trambahner]

Beim Asrock Rack X399D8A-2T hab ich keine Bifurcation hinbekommen, obwohl TR+X399 das normal kann. Kein Problem noch, weil genug Slots da sind. Aber mit "dürfte" und "sollte" bin ich da bzgl. Bifurcation vorsichtig geworden.
Das neue B550M Tuf kann es mit 3 SSDs im 16er Slot. (x8x4x4 mutmasslich oder x4x4x4 +"irgendwie verloren gegangener" vierten Anbindung) mit dem Renoir. Hab ich die letzten Tage getestet.

 

[tcg]

Danke für die Board-Liste...
Scheinbar ist das 570er Pro4 ganz ok, gibts sogar in mAtx und scheint sehr ähnlich zu sein.

Ich suche mal weiter nach ASRock, das "ASRock X570M Pro4" ist momentan mein Favorit.
Mal schauen was sich bis September noch so ergibt.

In "meiner Zeit" (älteres Semester) war ASRock eher was billiges, das scheint sich zum Guten geändert zu haben.

Beitrag automatisch zusammengeführt: 03.08.2020

Ob ECC wirklich aktiv ist kann ich nicht sagen, im BIOS gibt es auf jeden Fall eine Option um das zu aktivieren oder zu deaktivieren.

Falls du Win laufen lässt, schau mal hier rein:
" wmic memphysical get memoryerrorcorrection " zeigt dir ob ECC aktiv ist.

Bei meinem Desktop: 3 ( None )
Bei meinem ML310e: 5 ( Single-bit ECC )

scheint sinnvolle Werte auszugeben...

 

[besterino]

@Trambahner: Mein TRX40 Taichi kann jedenfalls 4x4. Wenn ich das richtig in Erinnerung habe, sogar in allen 3 16er Slots.

Ist denn bei Dir im BIOS Bifurcation auswählbar und es funktioniert dann „nur“ tatsächlich nicht? Das wäre ja schon krass. (Kann in meinem X399D8A grad nicht gucken, das läuft 24/7...)

 

[tcg]

Wenn ich das richtig lese, war die Frage jetzt auf das Asrock B450M Pro 4 bezogen!?

Ja, das B550M ist wohl nochmal überarbeitet worden.
Ich kenn mich immer noch nicht aus, aber Anzahl der "Mosfets" verdoppelt (6x55A -> 12x55A) hört sich für mich erst mal gut an ;-)

Das läuft bei mir seit Mitte September 2019 mit vier 32GB Riegeln (Samsung M391A4G43MB1-CTD 32GB DDR4-2666 ECC UDIMM). Ob ECC wirklich aktiv ist kann ich nicht sagen, im BIOS gibt es auf jeden Fall eine Option um das zu aktivieren oder zu deaktivieren.

Hmmm, am Punkt ECC bin ich gerade am überlegen.

könntest du das mal probieren ? Würde mich sehr interssieren:
" wmic memphysical get memoryerrorcorrection "

Genau deine Konfig, aber mit B550M statt B450M überlege ich gerade, evtl. erstmal mit 64GB...
Wenn ECC läuft, ziehe ich mein Storage auch um und hab nur noch 1 Rechner laufen ;-)

Wie bekommt man den definitiv raus ob ECC auch "an" ist ?
Bei Intel schau ich im Ark nach und nehme ein "C" Chipset und ECC Speicher, das sollte einfach so gehen.
Ich hab mir schon mal i3-9100f (66€ !) auf X11SCA-F überlegt, aber nur ein PC wäre schöner...

Welche Komponenten bei AMD muss man denn anschauen ob ECC auch wirklich aktiv ist ?
CPU ? Ist da ein 3600 verschieden zum 3950x ?
Chipset ? Ist das abhängig von z.b. B550 oder X570 ?
Mainboard ? Muss ECC "freigeschaltet" sein (e.g. im BIOS) ?
OS ? Ich plane ESXi... Muss ECC für AMD hier supported sein ? Wie reagiert ESXi überhaupt auf ECC Fehler ?!?

 

[tcg]

Kurzes Update:
ist jetzt (erstmal) ein Ryzen 3 3600 geworden. Board ist ein ASRock B550M-Pro4.
Speicher ist MTA18ASF4G72AZ-3G2B1, "wmic memphysical get memoryerrorcorrection" meldet 6, also sogar "Multi-bit ECC", ECC geht also.
ESXi 7 lässt sich problemlos installieren, erkennt aber den Realtek NIC nicht. Ist aber ok, ich hab eh die Mellanox3 drin.
Momentan hab ich aber erstmal Win10 zum testen und spielen drauf...

 

[tcg]

und mal aus Spaß nen Minecraft Server.
"mover.my-gateway.de:20001" wenn jemand mit helfen will den mal etwas zu belasten ;-)