Ryzen 3700X mit ASRock X470D4U als ESXi-Virtualisierungshost

[b99]

bei mir hat sich an der Agesa-Version nix geändert. Hab das Bios 3.2 drauf, aber die Versionsnummern entsprechen alle noch mein Screenshot

 

[JohnnyBGoode]

Ja, kann auch bestätigen, dass BIOS 3.20 noch nicht einmal 1.0.0.3 ABB hat (wo ABBA ja vor der Tür steht)

Lässt sich auch schnell testen, indem man (mit Zen 2-CPU) Fedora 30 zu booten versucht und dann von vielen Failed-Zeilen begrüßt wird und das System bei einem angeblich 50 min dauernden Startup-Job hängen bleibt.

Habe ASRock Rack Europa und USA angeschrieben, bei beiden Anfragen keine Reaktion, wann zumindest mit ABB als Beta zu rechnen ist

 

[Sightus]

Ich habe Asrock Rack EU ebenfalls angeschrieben. Sagt mal, hat einer von euch im Blick wie man die RAM-Disk Option im BIOS nutzt? Werde aus den Einstellungen nicht schlau.

 

[mat industries]

Bisschen Offtopic: Habe das erste mal versucht das BIOS über IPMI zu flashen (von 3.10 auf 3.20). Hat ohne Probleme funktioniert, das System macht einen Neustart, aber dann.....
Sehr viele Settings im Bios wurden nach dem Neustart auf default gesetzt.....warum ???...Kann das einer von euch so bestätigen.
Bisschen mehr Offtopic: Kann man die BIOS-Settings speichern ??? Ich habe im IPMI eine Option Backup gefunden, jedoch bin ich der Meinung, das es sich hierbei um ein BACKUP der IPMI Parameter handelt und nicht des BIOS.
.....wenn dem so wäre, muss man ja jedes mal vorm flashen richtig Angst haben und somit in meinem Fall (never touch a running System)

 

[Ceiber3]

Bei einen Bios Update wird immer alles auf default zurück gestellt. Beispielsweise beim flashen werden die immer überschrieben. Ist ganz normal das man danach wieder alles von Hand einstellen muss, wenn es keine Option zum sichern und einspielen von Settings gibt.

 

[JohnnyBGoode]

Bisschen Offtopic: Habe das erste mal versucht das BIOS über IPMI zu flashen (von 3.10 auf 3.20). Hat ohne Probleme funktioniert, das System macht einen Neustart, aber dann.....
Sehr viele Settings im Bios wurden nach dem Neustart auf default gesetzt.....warum ???...Kann das einer von euch so bestätigen.
Bisschen mehr Offtopic: Kann man die BIOS-Settings speichern ??? Ich habe im IPMI eine Option Backup gefunden, jedoch bin ich der Meinung, das es sich hierbei um ein BACKUP der IPMI Parameter handelt und nicht des BIOS.
.....wenn dem so wäre, muss man ja jedes mal vorm flashen richtig Angst haben und somit in meinem Fall (never touch a running System)

Ja, darauf ist nicht wirklich verlass. Aber bitte beachten "Never touch a running system" trifft nur auf Systeme zu, die keinerlei Netzwerk- oder Internetverbindung haben, da in BIOSen und Firmwares ebenfalls abgefahrene Sicherheitslücken stecken, da muss es nicht einmal nur um "verbesserte Leistung" gehen, wie es oft abstrakt in den Update-Details bei BIOS-Downloads & Co. steht.

@Ceiber3

Ja und nein, eigentlich haben solche Boards über ihr IPMI eine Funktion, die durch ein BIOS-Update zurückgesetzten Einstellungen wiederherzustellen - bei der Software-Qualität von ASRock Rack wundert mich eine fehlerhafte Implementation hiervon aber auch recht wenig.



Weiterhin keine Reaktion vom ASRock Rack Support (seit Anfang August) zu den diversen gemeldeten BIOS-Fehlern oder ABB-AGESA

 

[mat industries]

@JohnnyBGoode: Vielen Dank für deinen Screenshot. Ich habe tatsächlich den Haken (preserve bios configuration) übersehen, oder vielleicht war er bei mir auch gar nicht da.
Auf alle Fälle weiß ich das dann für´s nächste mal, werde mich jetzt erst mal wieder eine Zeit lang spielen, bis ich die passende Config im Bios wieder hinbekommen hab.

- - - Updated - - -

Inzwischen wird auch das ASRock Rack X470D4U2-2T auf geizhals gelistet.

Danke für den Link, passt soweit würde ich sagen ca. 100€ mehr für 2x10G, dafür fallen allerdings ein paar SATA Port´s raus.

 

[JohnnyBGoode]

Ja, der Gesamtpreis für ein Mainboard mit Alleinstellungsmerkmal (AM4-IPMI) und dual 10 GbE X550 onboard ist echt verdammt gut, da kann man fast nachvollziehen, warum ASRock Rack an den BIOS-Entwicklern sparen musste
Neben etwas SATA und den normalen 1 GbE-Anschlüssen verliert man leider noch den mittleren PCIe 3.0 x4 slot, der dann nur noch vom Chipsatz mit 2.0 x1 versorgt wird :-(

 

[IronAge]

Jemand schon einen LSI Raid Controler im Einsatz und den an ESXi durchgereicht ?

 

[JohnnyBGoode]

Da ich leider keine freie Zen/Zen+-CPU da habe und der 3700X durch den RDRAND Bug ESXi nicht booten kann, kann ich es leider nicht testen (Screenshot von BIOS 3.11, 3.20 ist leider genauso).

Ansonsten nutze ich einen 9400-8i8e im X470D4U, alles wunderbar, sofern das OS bootet

Anhang anzeigen 474937

 

[IronAge]

Blahg, ich schreib mal support@asrock.nl an, PCIe Lanes sind wohl auch etwas knapp.

 

[JohnnyBGoode]

Blahg, ich schreib mal support@asrock.nl an, PCIe Lanes sind wohl auch etwas knapp.

- Blahg?

Vielleicht hast Du mehr Glück, ich habe schon vor dem Release von 3.20 beim US- und Europa-Support versucht, ein BIOS mit zumindest AGESA 1003 ABB zu bekommen, wo die RDRAND-Geschichte gefixt wäre. Leider kam seitdem keinerlei weitere Reaktion, nachdem die erste (falsche) Antwort kam, dass das ABB-AGESA bereits in 3.10 drin wäre.

Was meinst Du mit den knappen PCIe-Lanes? 22 PCIe 3.0-Lanes sind doch klasse für ein mATX-Board

 

[IronAge]

Bin vielleicht bissi verwöhnt von Wintel, ESXi müsste schon gehen, sonst macht das Board für mich keinen Sinn.

 

[JohnnyBGoode]

Für mich wären kritische ESXi-Macken wie dass man es überhaupt nicht booten kann auch ein KO-Grund für das Mainboard. Besonders ärgerlich, da ich mit der reinen Hardware-Spezifikationen sehr zufrieden bin und es ja nach wie vor keine anderen AM4-Boards mit IPMI gibt (das X470D4U2-2T soll die gleichen Macken haben, was ja bei der gleichen Basis auch logisch ist) :-/

Dazu ist ESXi eine schöne Klickibunti-Lösung, die auch Laien wie mir wenig Stress bereitet.

 

[Trambahner]

Wobei das primär ein Zen2 Problem und Support-Problem ist und kein Bug der Board-Hardware. Ok, Hardware nutzt nix, wenn die Firmware nicht dafür passt und/oder der Support dafür nicht funktioniert.

Hab ich schon erwähnt, dass das X399D8A ESXI und FreeBSD problemlos bootet? Ok, dafür muss man dann mehr mit Numa beschäftigen.

 

[JohnnyBGoode]

Ja, dass bei der Einführung neuer Architekturen auch große Fehler auftauchen, ist sicher - aber als Hersteller, der ja sowas noch unmittelbarer dokumentiert mitbekommt als der Verbraucher, finde ich es disqualifizierend, fast zwei Monate und zwei (öffentliche) AGESA-Versionen "allen anderen" hinterherzuhängen.

Und mit den "umfangreichen Tests" bei Server-Produkten braucht man bei dem Modell ja nun wirklich nicht als Argument für die Verzögerungen kommen, was da schon alles an Macken scheinbar nicht aufgefallen ist...

 

[IronAge]

Ich habe mir erst mal ein kleines C232/1151 ITX Board geschossen, mal schauen wie sich das hier entwickelt.

 

[JohnnyBGoode]

Hmm, weshalb nicht zumindest etwas wo Coffee Lake draufpasst, oder war's (sehr) günstig?

 

[IronAge]

~120€ unbenutzt aber natürlich nix mit 10Gbit usw., reicht aber erst mal für Testing für NAS unter ESXi.

Ich würde ja auch gerne bei Rackboard hier zuschlagen aber vor ASRock das net gefixt hat bringt es mir nichts.

 

[Thomas712]

Hallo zusammen,
Ich war bisher nur stiller Mitleser im Forum, insbesondere hier im Server und Workstation Bereich. Wollte aber nun auch einmal mein Feedback zu dem hier besprochenen Mainboard geben.

Ich nutze das X470D4U2-2T mittlerweile seit Ende August und komme von einem Supermicro Xeon-D1520 Board.
Ich nutze das Bord mit ESXI und bin was die Stabilität angeht bisher sehr zufrieden. Version 6.7.0-20190402001-standard läuft bei mir seit meinem letzen (selbst angestoßen) Neustart seit 18 Tagen durchgängig ohne Probleme. Als Prozessor kommt bei mir ein R5 3600 und dazu 32gb ram zum Einsatz. Weiterhin habe ich einen LSI 2008 an eine virtuelle free Nas Instanz durchgereicht.
Ich habe aus Zeitmangel ESXI bisher nicht neu installiert sondern die SSD (PM981) die als Boot medium und Data Store dient einfach übernommen. CSM ist bei mir deaktiviert. Was bei mir tatsächlich ab und zu noch nicht ganz rund läuft ist das IPMI. Ich hatte die Situation dass nach einem Neustart über das IPMI nur ein blauer Bildschirm statt des BIOS zu sehen war.





Leistungstechnisch ist das System meiner Meinung nach in der Preisklasse aktuell nicht zu überbieten. Der 3600 rennt wirklich, und mit der Option auf 128 GB Arbeitsspeicher sowie gegebenenfalls einen 3950X Aufzurüsten bleiben genug Optionen für die Zukunft.
Aktuell ist der Stromverbrauch meines Erachtens nach noch relativ hoch, ich habe allerdings auch noch keine Zeit gehabt wirklich zu optimieren und die Einstellungen in Ruhe durch zu gehen. Ich liege daher aktuell mit den oben genannten Komponenten, drei Lüftern sowie 2* 8 TB Festplatten und beiden 10gbe Nics bei ca.60w im idle. Mit dem gleichen Netzteil war ich bei dem Xeon D 1520 bei circa 45 W
Die Leistung liegt natürlich meilenweit auseinander.

Beste Grüße Thomas

 

[Ceiber3]

Warum zensierst du locale IP und Hostnamen die von ausen eh nicht zu erreichen sind ?
Bei ner externen IP oder Domain würde ich das ja noch verstehen.

 

[mat industries]

Noch was ganz anderes, hat einer von euch bei diesem Board schon versucht die Lüfter manuell zu steuern ??? Ist mein erstes Asrockrack-Board, aber irgendwie finde ich die Einstellungsmöglichkeiten ziehmlich begrenzt. So wie ich das verstanden habe, regeln alle Lüfter ausschließlich nur nach der CPU-Temp. Andere Sensoren wie Boardtemp etc. werden anscheinend ignoriert. Weiterhin hat man nur die Möglichkeit eine feste Drehzahl einzustellen (die wird später nicht mehr geregelt nehme ich an) oder die 1ne Autoregelung zu verwenden.
Somit habe ich es entweder leise und relativ warm (auto) oder kühl aber dauerhaft laut. Wie habt ihr das bei euch geregelt ??? Ist Auto für euch ok ???

 

[oNyX`]

Das mit der CPU Temp. als Quelle lässt sich meines Wissens nach nicht ändern, was allerdings kein Problem ist die Regelung der Lüfter an sich, wichtig dabei ist jedoch das es 4PIN PWM Lüfter sind.

Du hast 10 Schwellwerte innerhalb deren die Lüftergeschwindigkeit angepasst wird, ähnlich wie die "neue" Lüftersteuerung von MSI GSE-Lite Bios Boards.

Bsp (Quelle CPU Temp.) FAN2:

20°C = 10% Fanspeed
30°C = 20% "
35°C = 30% "
40°C = 40% "
45°C = 50% "
55°C = 60% "
60°C = 70% "
65°C = 80% "
70°C = 90% "
75°C = 100%"

Und das halt je Lüfter und anpassen bis es "unnervig" klingt ;D

 

[clay4400]

128 GB gehen mit 4 x 32 GB Samsung DDR4-2666 ECC UDIMM völlig problemlos auch bei DDR4-3200 und Standardspannung 1,20 V. Ein manuelles Anpassen der Sub-Timings soll aber leider durch BIOS-Bugs bislang noch nicht funktionieren (mangels Zeit konnte ich dies noch nicht selbst gegenprüfen).

Anhang anzeigen 474312

@JohnnyBGoode

Ich interessiere mich auch für dieses Board, könntest du die Artikel/Modellnummer vom verbauten Speicher posten?

edit:
hab gerade auf der Hersteller Seite nachgesehen und dieses Modell in her HCL gefunden - hast du diese verbaut?
DDR4 2666 ECC 32GB Samsung M391A4G43MB1-CTDQ 901 K4AAG085WMBCTD Sec

 

[Holt]

Laut Geizhals gibt es überhaupt nur einen 32GB UDIMM ECC Riegel und der ist von Samsung.

 

[JohnnyBGoode]

@JohnnyBGoode

Ich interessiere mich auch für dieses Board, könntest du die Artikel/Modellnummer vom verbauten Speicher posten?

edit:
hab gerade auf der Hersteller Seite nachgesehen und dieses Modell in her HCL gefunden - hast du diese verbaut?
DDR4 2666 ECC 32GB Samsung M391A4G43MB1-CTDQ 901 K4AAG085WMBCTD Sec

Ja, genau, es sind die einzigen bislang im Endkundenmarkt erhältlichen Samsung 32 GB ECC UDIMMs, die ich verwende.

Für ESXi ist das ASRock X470D4U leider nach wie vor nicht zu gebrauchen, da RDRAND nach wie vor nicht geht (kein neues BIOS, aktuelles nach wie vor 3.20, das AGESA 1003 ABB noch nicht hat), wodurch es beim Booten von ESXi mit Zen 2-Ryzen zu einem totalen Systemabsturz kommt (PSOD - Purple Screen of Death).

 

[clay4400]

Alles klar - danke für die Rückmeldung.

Ich hab mich jetzt ein wenig mit Thema AGESA/RDRAND beschäftigt - schade das Asrock bis jetzt noch keine Firmware anbietet die diesen Bug fixed...

Weiß wer ob Linux VM's auf Windows Server mit Hyper-V problemlos laufen würde? Oder würde hier der Bug auch in den VM's auftreten?

 

[JohnnyBGoode]

Habe leider als Laie nur Erfahrung mit VMware-Lösungen (ESXi 5%, Desktop wie Workstation/Fusion 95 %), daher steht mir eine Einschätzung für andere Lösungen nicht zu.

Es kann sein, dass sie mit Updates der Host- und Gast-Betriebssysteme funktionieren, da hier bei einigen die RDRAND-Macke bereits berücksichtigt wurde: Fedora 30 beispielsweise lässt sich durch das defekte RDRAND mit der herunterladbaren ISO nicht installieren, da es beim Booten hängen bleibt. Installiert man Fedora 30 auf einem anderen System, spielt danach alle gegenwärtigen OS-Updates ein, so lässt es sich dann auf dem X470D4U mit Zen 2-CPU und defektem RDRAND booten.

Es gibt auch gerade in der Community bei Level1Techs ein Bestreben, ein BIOS zu modden, wo man das AGESA 1003 ABB/ABBA-Modul selbst eingepflegt, aber das ist bislang nur im Stadium einer Idee, da ich noch nie ein BIOS gemoddet habe, kann ich leider auch hier nicht sagen, wie realistisch das ist.

Eigentlich ein Armutszeugnis für ASRock Rack.

 

[clay4400]

Hmm Ok danke für die Rückmeldung.

Hab das Mainboard heute erhalten.
Wollte eigentlich die restlichen Komponenten noch ordern und dann mein System zusammenbauen aber jetzt bin ich am überlegen ob ich ein anderes Board nehme....leider gibts ja nichts vergleichbares mit IPMI und AM4...

 

[IronAge]

Vorläufig einen 2600x/2700x nehmen ginge auch noch. Die Preise der 1151v2 Xeon 6-8 Kerner gereichen auch nicht wirklich zur Freude.