Ryzen 3700X mit ASRock X470D4U als ESXi-Virtualisierungshost

[Marteng]

Hallo zusammen,

ich wollte meine Erfahrungen mit einer neuen Ryzen 3000-CPU zusammem mit dem ASRock Rack X470D4U als Virtualisierungshost unter VMWare (ESXi 6.7 U2) hier beschreiben.

Setup:

Gehäuse	Chenbro SR10769 inkl. 8x 3.5" SAS/SATA HotSwap-Einschüben
Netzteil	Enermax Liberty ATX, 400W
Mainboard	ASRock Rack X470D4U inkl. AST2500 Grafik, 2x GBit-LAN und dediziertem IPMI
CPU	AMD Ryzen 3700X (8 Kerne, 16 Threads, 3.6GHz (4.4GHz Turbo), 65W TDP)
RAM	64GB DDR4-2666 ECC (4x 16GB Samsung M391A2K43BB1-CTD)
Netztwerk	QLogic BCM57810 Dual Port 10GBase-T (Copper)
HBA	Dell PERC H310 (LSI SAS2008) 8-Port SAS/SATA-Controller (P19 IT-Firmware)
Boot-System (UEFI)	8GB MicroSDHC in USB2.0-Adapter (ESXi 6.7U2 Build 13006603)
VM-Storage	NVMe: Samsung SSD 970 EVO 2TB, M.2
Data-Storage	diverse 24/7-SATA-HDDs per SAS2008-Passthrough in FreeNAS-VM

Der idle-Stromverbrauch mit hochgefahrenem ESXi-Host (0 VMs aktiv) inkl. 2x 3.5-HDDs, DualPort 10GBe-Adapter und SAS2008-HBA liegt bei ca. 70W.

 

[XN04113]

ja und? wo sind die Erfahrungen?

 

[Marteng]

ja und? wo sind die Erfahrungen?

Ich kann die Ungeduld ja verstehen Bisher kann ich noch nicht viel mehr berichten, außer dass das Setup anscheinend gut funktioniert:

• 64GB ECC RAM funktionieren (auch wenn Samsung nicht auf der QVL aufgeführt wird, zur Verwendung von ECC kann ich nichts sagen, gehe aber davon aus, dass es aktiv ist)
• Ryzen 3000 wird auf dem Board nach BIOS-Update einwandfrei erkannt und unterstützt (Update lässt sich auch ohne CPU durch das IPMI durchführen)
• PCI-Passthrough (SAS-HBA) des 1. PCI-Slots (Anbindung direkt an die PCIe-Lanes der CPU) funktioniert problemlos
• der Stromverbrauch hält sich im Rahmen (kein Vergleich zum vorherigen Server 2x SandyBridgeEP E5-2650 V1 (8x 2.0GHz) XEON-CPUs mit ebenfalls 64GB RAM (DDR3 ECC reg) und in Summe 32GHz CPU-Leistung zur Verfügung (jetzt mit Ryzen 3700X: 28.7GHz)
• ESXi 6.7 U2 lässt sich im UEFI-Modus einwandfrei installieren und läuft bisher fehlerfrei

Ich hoffe, dass ich mit diesen Infos bei einer evtl. Entscheidung für dieses Setup mit einer aktuellen Ryzen 3000 65W-CPU bei 8 Kernen und über 3.5GHz helfen kann. Intel spielt bei diesen CPU-Leistungswerten momentan in einer ganz anderen Preis- und TDP-Klasse.

 

[b99]

oh danke erstmal für die Infos...
ich habe gestern das gleich Brett bestellt. Als CPU kommt ein älterer Ryzen 2600 erstmal drauf. Diese soll dann nach Verfügbarkeit auf einem 16 Kerner aufgerüstet werden. RAM habe ich nach Liste ausgewählt: 2x Kingston KSM26ED8/16ME. Dieser wird später nochmal gekauft. Laufen soll drauf mein Proxmox-Host.
Ersetzen will ich damit meinen alten i5 4430. Da ich auch zfs einsetze, halte ich es für wichtig, ECC-Ram einzusetzen.
Bin mal gespannt, wie die Kiste rennt. Ist übrigens die erste Kiste mit IPMI, die ich im Einsatz haben werde.

 

[Luckysh0t]

Wie ist denn das IPMI Interface von dem Board so ? Kenne bisher nur Supermicro

 

[Marteng]

Wie ist denn das IPMI Interface von dem Board so ? Kenne bisher nur Supermicro

Mir gefällt das IPMI gut. Ich kenne IBM (IMM), HP (ILO), DELL (DRAC) Supermicro (IPMI) und ASUS (ASMB) - jetzt neu das von ASRock. Es ist relativ übersichtlich, aber vor allem: technisch modern:

• HTML5 KVM (kein nerviges Java mehr benötigt, aber noch alternativ unterstützt)
• Mounten von Installationsdatenträgern und Booten funktioniert einwandfrei
• IPMI startet sehr schnell (ca. 20sec nach Einschalten der Stromversorgung)

 

[b99]

na da bin ich am WE mal gespannt.. da wird wohl dieses Brett bei mir eintrudeln... mein Proxmox draufbügeln ist da eh nur Routine.
könnte ne spannende Geschichte für mich werden. Und, was ich oft bemängelt hatte, war Java... endlich ist das auch verbannt. Ich werd mich dann mal an diesen Thread anschließen... mal sehen, was ich da noch so alles finden werde... Bios-Update ohne zu booten klingt spannend..

 

[Seelbreaker]

Sofern du einen zweiten ESXi hast, auf dem der vCenter laufen kann - funktioniert IPMI, sodass man den ESXi in Standby versetzen und aufwecken kann? Meine Erfahrungen mit Wake on lan sind: Mal gehts, mal nicht...

Kann man den Hardwarestatus via vCenter des ESXi auslesen?

Könntest du die IOMMU Gruppen mithilfe von PowerCLI auslesen und posten bzw. wenn du magst es in die Liste in meiner Signatur eintragen?
Der PowerCLI Oneliner um die IOMMU-Gruppen zu erhalten lautet:

Get-PassthroughDevice -VMHost ESXIHOSTNAME | select Bus,ClassiD,DeviceId,Function,Slot,State,VendorID,VendorName,Name,Uid > path-to-txt-file



Und falls du eine Grafikkarte hast, die per Passtrough durchreichst und die VM bootest, sieht man im KVM dann die VM mit der durchgereichten Grafikkarte? (Ich vermute mal ja).

Danke schonmal

 

[JohnnyBGoode]

Bin ebenfalls sehr gespannt auf Deine Erfahrungen!

Etwas vorsichtig sein: Bei BIOS 3.04 ist die CPU-Lüftersteuerung im Eimer, Lüfter bleibt auf der BIOS-Voreinstellung ohne Drehzahlerhöhung bei steigender CPU-Temperatur.

Beim ASRock Rack Support gibt es 3.09, das funktioniert in dieser Hinsicht besser. 3.11 ist zu meiden, da ist Einiges im Argen.

Kann selber von meinem noch nichts sagen, da bei mir Seasonic-Netzteile durch einen BIOS-Bug "CPU_PROCHOT" auslösen und das System mit 550 MHz unbenutzbar langsam ist.

 

[JohnnyBGoode]

Hmmm, neue BIOS- und BMC-Versionen wurden veröffentlicht:

BIOS: 3.10
BMC: 1.60

ASRock Rack > X470D4U

*Edit*:

Bugs:
- DIMM-Temperatuen oder SPD-Details können im OS nicht angezeigt werden, statt 4 x 16 GB Samsung ECC UDIMM gibt es nun eine "generische 64 GB-Masse" :-/

 

[Marteng]

So, mal eine kurze Aktualisierung:

+ Erkennen von PCIe-Karten und Passthrough funktioniert mit den beiden PCIe x16 3.0 (elektr. x8) Slots PCI6 und PCI4 einwandfrei, sobald im BIOS manuell auf 2x8-fach eingestellt wird
+ getestet mit LSI SAS2008-HBA, ASMedia 2-Port SATA III-Adapter (ASM1061-Chipsatz), nVidia Quadro K600 1GB
+ Onboard-Grafik kann auch bei Verwendung einer dedizierten Grafikkarte (getestet mit Quadro K600) primär verwendet werden, so dass auch die KVM-Funktion des IPMI funktioniert. Die in eine Win10-VM durchgereichte K600 ließ sich als NVENC/CUDA-Device in Blender verwenden.

- Temperaturen von CPU und DRAM werden im IPMI Webfrontend (Version 1.60) nicht ausgelesen
- es lassen sich nur die beiden äußeren PCIe-Slots (PCI6 & PCI4) durchreichen. Der einzige USB3.0-Controller (2x Onboard, 2x Rückblende) und die SATA-Ports 7&8 (ASMedia ASM1061) lassen sich NICHT durchreichen,
da sie zusammen mit der Onboard-IPMI-Grafik (AST2500) hinter einer gemeinsamen PCI-Bridge hängen

Ein vCenter habe ich nicht mehr im Einsatz. Ziel ist es Strom zu sparen und im privaten Bereich mit einem "kleinen" und effizienten Server auszukommen. Bisher hatte ich einen SuperMicro SuperServer mit 2x Dual Sockel 2011, also insgesamt 4x E5-2650 V1-CPUs, im Einsatz. Dieser ist zwar schön zuverlässig und flexibel dank Live-Migration (vCenter), allerdings mit über 400W Stromverbrauch mir inzwischen zuviel für den Anwendungsfall.

 

[b99]

also bräuchte ich sozusagen eine USB-Schnittstellenkarte. Ich möchte USB-Geräde (DVB-T Sticks #rtlsdr) in eine VM durchreichen

 

[Marteng]

also bräuchte ich sozusagen eine USB-Schnittstellenkarte. Ich möchte USB-Geräde (DVB-T Sticks #rtlsdr) in eine VM durchreichen

Exakt. Ich habe neben dem SAS-HBA (für ZFS-Storage in FreeNAS-VM) im oberen PCI6 eine 4-Port USB 3.0 (NEC/Renesas µPD720201)-Karte in den unteren PCI4 gesteckt und in eine Windows-VM durchgereicht (Veeam-Backup mit rotierenden USB-HDDs für Offsite-Backup). Dieses funktioniert einwandfrei. Der PCI5-Slot (bei mir DualPort 10GbE) lässt sich nicht durchreichen, da der Slot an den Chipsatz ebenfalls hinter einer PCI-Bridge angebunden ist. Das ist für mich aber kein Problem, da ich das 10GBit-Interface für den Host (ESXi) direkt benötige.

 

[Sir Diablo]

Du kannst bei KVM (Proxmox) einfach das USB Gerät durchreichen, dazu brauchst du nicht nen extra Controller. Und mit dem ACS Patch wirst du vermutlich sogar den unteren PCIe Steckplatz durchreichen können.

 

[Marteng]

Du kannst bei KVM (Proxmox) einfach das USB Gerät durchreichen, dazu brauchst du nicht nen extra Controller. Und mit dem ACS Patch wirst du vermutlich sogar den unteren PCIe Steckplatz durchreichen können.

Das ist bei VMWare eine andere Geschichte, wenn man sich das patchen sparen möchte. Ein durchgereichter USB-Controller ist halt komfortabler, da sonst beim HDD-Wechsel jedesmal über den Host (Proxmox/ESXi) die USB-Einbindung in die VM konfiguriert werden muss - spätestens beim erstmaligen Anschließen einer neuen HDD.

 

[b99]

also bei mir wird weiterhin Proxmox angewendet.

 

[Seelbreaker]

Das ist bei VMWare eine andere Geschichte, wenn man sich das patchen sparen möchte. Ein durchgereichter USB-Controller ist halt komfortabler, da sonst beim HDD-Wechsel jedesmal über den Host (Proxmox/ESXi) die USB-Einbindung in die VM konfiguriert werden muss - spätestens beim erstmaligen Anschließen einer neuen HDD.

vmkernel.boot.disableACScheck

auf TRUE setzen, rebooten. Dann kannste eventuell die Dual Port durchschleifen. Oder in den Zen/NBIO Options von der CPU schauen ob die ACS Option etwas bringt (BIOS).

 

[b99]

CPU und RAM sind heute gekommen... Brett ist noch nicht da.. schade

 

[Sir Diablo]

Das ist bei VMWare eine andere Geschichte, wenn man sich das patchen sparen möchte

Es gibt den ACS override patch für den ESXi kernel? Das wär mir aber neu. Ich spreche davon:
LKML: Alex Williamson: [PATCH] pci: Enable overrides for missing ACS capabilities
Der Proxmox kernel ist im Übrigen schon gepatcht

 

[b99]

so... auf los geht es los...

LOS!

 

[b99]

also bei mir werden die Speicher und CPU Temp angezeigt.. BMC ist aktualisiert. Bios ist auch das von gestern

 

[sch4kal]

Anhang anzeigen 472767
also bei mir werden die Speicher und CPU Temp angezeigt.. BMC ist aktualisiert. Bios ist auch das von gestern

Interessant, Asus und Asrock scheinen einfach das Reference Design Kit von ASpeed zu nehmen.
Mein KVM vom Asus KNPA-U16 sieht exakt gleich aus.

 

[b99]

ah ja... warum das Rad neu erfinden, wenn schon alles da ist.
übrigens... Proxmox läuft. bin da wunschlos glücklich. Als nächstes kommt ein neuer CPU-Kühler, der Boxed AMD verdeckt den Steckplatz B1. Dann Ram und viel Später mal noch ne richtig nette CPU... also was, was spaß macht

 

[oNyX`]

@b99, kannst du was zum Stromverbrauch, Takt vom RAM/ECC und zur Lueftersteuerung sagen? Hab das Board schon seit Release im Blick, nur gibt es im Netz 0 richtige Reviews zu... Soll bei mir auch meine Xeon Proxmox Kiste ersetzen.

 

[b99]

also RAM habe ich den hier drin: https://www.alternate.de/Kingston/DIMM-16-GB-DDR4-2666-ECC-Arbeitsspeicher/html/product/1490434?
also 2666 MHz. Wird aber nur als 2400 erkannt. Könnte daran liegen, weil der Memcontroller des Ryzen 2600 da etwas eingeschränkt ist. evtl läuft dieser auf einem Ryzen 3000 besser.
Stromverbrauch mache ich am WE...
Lüftersteuerung ist vorhanden, aber auch noch nix getestet.

Was mir aufgestoßen ist... Booten von USB-Stick will irgendwie nicht. Wollte Proxmox auf einen Stick installieren, ging auch, aber im UEFI konnte ich nicht sagen, das der vom hinteren USB3 einen Stick zum booten nehmen soll. Installiert habe ich mit einer ISO im WebIf

 

[oNyX`]

Ja denn hab ich auch auf meiner Einkaufsliste, weil off. QVL. Normalerweise sollten aber 2666 gehen, da Zen+ DR 2666MHz pro Channel supported. Im Server wäre es mir aber im Grunde egal ob 2400 oder 2666 auch wenn IF Speed bei den alten Zen(+) davon abhängt, die Kiste soll primär stabil sein. Würde halt direkt auf 64GB gehen also 4x 16GB gehen. Als CPU hab ich auch an den 2600er (ausm Gastrechner und den dann mit 3600/3700x upgraden) oder 2700 gedacht.

Zen2 wirkt mir noch zu BETA für 24/7 Server, vorallem das soweit ich das BIOS File angeschaut hab nur Agesa 1.0.0.3 (kein 1.0.0.3abb) dabei ist, ergo kein RDRAND Bugfix.

Wie gesagt Stromverbrauch wäre sehr interessant. Lüftersteuerung (Casefans) falls du die Möglichkeit hast 3PINs non PWM Fans (hab noch alte Noctua Redux im 19") zu testen würde mich freuen auch das von JohnnyBGoode angesprochene Verhalten wäre interessant obs gefixed ist.

Ich würde vmtl. eh Legacy anstatt UEFI und Debian erstmal so installieren und dann auf Proxmox gehen wegen FDE.

Freu mich jedenfalls auf mehr Erfahrungsberichte

 

[b99]

klaro... aber irgendwie stört mir, das mit dem USB-Stick booten... musste erstmal eine von meinen 3 Cache-SSDs für das OS nehmen.
Als CPU ist später dann der 12er oder 16 Kerner AMD Ryzen 9 gedacht.... deswegen jetzt so günstig wie möglich. Ram kommt auch noch... aber bei Vollbestückung des RAM passt der Boxed-Kühler nicht mehr.

 

[oNyX`]

Danke für das Bild, Noctua U9S oder Freezer 33 mit Noctua Lüfter wär mein mittel der Wahl, grad der Freezer passt grad so ins 4HE.

 

[b99]

aufpassen.. die Speicher sind ziemlich hoch.... also ich bin da ernsthaft am überlegen, eine Kompakt-Wakü zu nehmen und mit den ganzen Lüfteranschlüssen noch etwas Luftstrom über das Brett zu erzeugen

- - - Updated - - -

das Thema RAM mit nur 2400 MHz ist auch geklärt... Lt. Handbuch Seite 20 kann das Brett nur bei zwei Doube-Sided Modulen 2400 MHz. Bei 4 Modulen geht es sogar auf 1866 runter. Zumindest bei Ryzen 2 CPUs.
Keine Ahnung, was der 3er dann bringt

 

[Sir Diablo]

Ich komm mit meinem Zen1 und Mischbetrieb von vier DualSided 2x8+2x16 ECC auch über 3000MHz, da solltest du mit Zen+/2 noch ne ordentliche Schippe drauflegen können.