Ryzen 3700X mit ASRock X470D4U als ESXi-Virtualisierungshost

[bigghost]

@clay4400

Good work. Dann sollte ESXI U3 ja auch funktionieren. Probierst du das aus ?

 

[clay4400]

@clay4400

Good work. Dann sollte ESXI U3 ja auch funktionieren. Probierst du das aus ?

Ja kann ich testen - hoffe ich habe heute Abend Zeit dafür.

 

[b99]

danke für die Rückinfo... dann kann ich ja bei ASRock antworten und sagen, das es jetztt bestens funktioniert

 

[Crusha]

Ich verfolge immer mal diesen Thread und baue auch derzeit mein eigenen Proxmox Server auf und wollte einmal meinen Stromverbrauch mitteilen, als Vergleich.

Verbrauch: 24 W im Idle @Proxmox ohne VMS ohne irgendwas, nackt.

Verbaut ist das Board Asus P11C-E/4L, E-2176G, 2x 16 GB Corsair (ohne ECC vorerst), 450 W Gold Seasonic, 1x simple SanDisk 240 GB SSD, be quiet! Dark Rock 4 Pro

 

[clay4400]

danke für die Rückinfo... dann kann ich ja bei ASRock antworten und sagen, das es jetztt bestens funktioniert

Warte lieber noch bis ein paar andere auch getestet haben - wenn der Kanal zum Support grade funktioniert und die dir Firmware Dateien zur Verfügung stellen...

 

[clay4400]

Habe gerade ESXi 6.7.0 U3 (Build 14320388) getestet.

Installation blieb bei initializing storage hängen...nach einer kurzen Rechere hab ich dann die Ursache gefunden, hängt mit der CSM Option im BIOS zusammen wenn CSM deaktiviert ist wird das Setup geladen.
Setup lief auch ohne Probleme durch und ESX läuft bis jetzt ohne Probleme.

Also kein PSOD mit dieser BIOS Version.

 

[Trambahner]

U3 kann da generell etwas zickig sein. Hat bei mir auf einer älteren Haswell-Maschine auch gezickt. Ich musste da von UEFI auf Bios gehen. Bei dem einen oder anderen User war nach nem ESXI-Update von U2 auf U3 auch nix mehr mit booten.
=> liegt nicht speziell am X470/Ryzen.

 

[b99]

Danke für die Tests. Hab das an ASRock so weiter gegeben und denen etwas Honig ums...
bin mal gespannt, wann die das Bios veröffentlichen

 

[bigghost]

Hmm die Update Politik von Asrock ist echt schlecht. Das war früher viel besser.
Für alle 470er Board inkl. x470d4u immer noch nichts offizielles.
Alle anderen großen Hersteller sind damit schon lange durch.
Hindert mich echt an einen Kauf derzeit.
Wenn im November 1.0.0.4 raus kommt wird es bestimmt auch nicht besser.

 

[b99]

1.0.0.4 ist doch schon als Beta draußen.. nur nicht für die geprüften Serverbretter.. gab schon Testberichte drüber
ich denke mal. dass das Bios 3.24 demnächst kommen wird. Bei mir rennt es tadellos. Immerhin hat AsRockRack ein Beta rausgebracht.
Auf das neue Agesa bin ich noch nicht so scharf. Schnellere Bootzeit bei einem Serverboard mit BMC ist da eh nicht zu erwarten

 

[JohnnyBGoode]

@b99

Kann bigghosts Reservation hier doch ganz gut nachvollziehen; ich komme mir von ASRock Rack schon etwas verarscht vor - habe ja im Juli/August viele Bug-Muster gemeldet* und anstatt sich für das Feedback zu bedanken (da für dieses Modell scheinbar keine wirkliche QA von der BIOS-BMC-Seite gemacht wurde), bin ich scheinbar auf einer Ignorier-Liste gelandet. Wenn Du nicht so nett gewesen wärst, das BIOS L3.24 bereitzustellen, hätte ich es bis heute nicht.

*In meinen E-Mails war ich natürlich sachlich, hier kotze ich mich ja etwas aus, da ich mich natürlich durch die sinnlos vergeudete Lebenszeit etwas frustriert bin.


Bei Level1Techs sammeln sich auch immer mehr Nutzer des Boards, angeblich konnte Wendell dort über seine Presse-/Messe-Kontakte jemand bei ASRock Rack "wachrütteln", dass das Mainboard in Zukunft besser gepflegt wird - aber das glaube ich erst wenn ich es sehe...

 

[Ceiber3]

hier kotze ich mich ja etwas aus, da ich mich natürlich über sinnlos vergeudete Lebenszeit ärgere.

Wenn dir das wirklich wichtig sei, würdest du garnicht auf selbstbau setzen. Sondern große OEM's mit Support.

 

[JohnnyBGoode]

Ich weiß was du sagen möchtest, aber ich finde es ist doch etwas anderes zu "experimentieren", ob eine selbst geplante Konfiguration mit Software xy funktioniert oder ob ein Hersteller eines Mainboards mit einem Chipsatz, den es seit über einem Jahr gibt es nicht schafft, zeitnah (innerhalb von weniger als 3 Monaten) im Vergleich zu den meisten anderen Herstellern beim BIOS-Editor "Datei -> Importiere AMD AGESA" und "Datei -> Exportiere als flashbare Datei" zu klicken. Die AGESA < 1003 ABB-Sache hat (mich) ja durch RDRAND am meisten genervt und es war schließlich eine ausführlich öffentlich bekannter Fehler, der Zen 2 allgemein betraf, da sind mehrere Monate Verzögerung meiner Meinung inakzeptabel.

Kunden, die Foren wie dieses nicht kennen, wären ja nach wie vor aufgeschmissen. Es würde ja schon helfen, wenn sie - wie viele andere - separate Beta-Downloads auf eigene Gefahr anbieten würden, dann hätten sie auch gleich eine breitere Testbasis und Feedback, was sie ja offensichtlich intern (bisher?) nicht hatten.

Dazu gibt es ja leider bislang überhaupt kein anderes AM4-Mainboard mit IPMI.

 

[b99]

...
Dazu gibt es ja leider bislang überhaupt kein anderes AM4-Mainboard mit IPMI.

und das war für mich der Grund zu diesem noch relativ preiswertem Brett... Es gibt hier eben richtig viele Kerne für wenig Geld. Bei Intel mit 12 oder 16 Kernen und HT und ECC wird man eben schnell mal arm

 

[Holt]

Wenn dir das wirklich wichtig sei, würdest du garnicht auf selbstbau setzen. Sondern große OEM's mit Support.

Oder man nimmt für den Selbstbau eben eine echte, bewährte Serverplattform wie die Intel Xeons (da gibt es ja den kleinen Xeon-D, über die Xeon-E und Xeon-W viele Optionen) oder eben AMDs EPYC, aber eben nicht auf sowas ASRock was hier macht. AM4 ist eine Desktop- und keine Serverplattform, man macht auch keine Serverplattform daraus indem man eine IPMI auf das Board packt.

 

[b99]

heute mal was neues gehabt... so sieht es also aus, wenn es ein ECC-Fehler gibt?
Modul ist das Kingston KSM26ED8/16ME

 

[JohnnyBGoode]

Kleines Update:

Bei Ars Technica hat sich auch jemand über den BIOS-Zustand des ASRock Rack X470D4U ausgekotzt:

How a months-old AMD microcode bug destroyed my weekend [UPDATED] | Ars Technica

Der Mitarbeiter dort und Wendell von Level1Techs bestätigen, dass ein BIOS mit AGESA 1003 ABBA (und weiteren Bug-Fixes, gemeinsam mit neuer BMC-Firmware) für Mitte November geplant sei, für AGESA 1004 würde die "Qualifikationszeit" nicht genügen (armes ASRock Rack...)

Also wird es wohl dieses Jahr nichts mehr mit AGESA 1004, das man ja glaube ich für einen 3950X benötigt :-/


@b99

Ist dieser korrigierte RAM-Fehler auch irgendwie im IPMI Log vermerkt worden? Im Level1Techs-Forum meinte ein anderer Nutzer, dass sie zwar im OS geloggt werden, aber nicht im IPMI Log auftauchen würden - ich kann leider nichts dazu beitragen, da es bei mir noch keine ECC-Fehler gab, da die Uptime nur maximal wenige Tage b e t r u g (lol, das Wort wird zensiert, super) bevor ich etwas verändert habe was ein Neustarten zur Folge hatte.


Bei Gamers Nexus wurde ein ZFS-NAS mit der 2 x 10 GbE-Variante X470D4U2-2T gebaut:

Building the Ultimate DIY NAS on AMD, Ft. Level1Techs, Unraid, ZFS (Part 1/2) - YouTube

Zumindest dürfte es dann ein Beschwerde-Video von Steve geben wenn ihm irgend welche Firmware-Bugs den Alltag vermiesen, was durch das mediale Echo dann allen X470D4U(2-2T)-Nutzern zugute kommen sollte

Finde es aber nicht gut, dass zumindest in diesem ersten Video nichts zu der bisherigen Firmware-Qualität gesagt wird, es ist zumindest zu sehen, dass ein auch für das X470D4U2-2T noch nicht veröffentlichtes BIOS 3.31 verwendet wird.

 

[Holt]

Steht der 3950X denn auf der CPU Supportliste? Als ich das letzte mal nachgesehen haben, war da maximal der 3900X drauf, der meine ich am Anfang noch nicht einmal drauf war.

 

[JohnnyBGoode]

Das ist richtig, dass sie immer zeitversetzt die CPU-Support-Liste erweitern, "unter der Hand" meinte aber jemand "aus herstellernahen Kreisen", dass gegen den 3950X nichts spricht (VRM etc., hat ja wie der 3900X ebenfalls 105W TDP, wobei er natürlich in der Praxis mehr als der 3900X verbrauchen wird), wenn man nicht übertaktet und ein ordentlich belüftetes Gehäuse verwendet.

Vermute, dass im Januar 2020 das BIOS mit AGESA 1004 veröffentlicht und dann etwa einen Monat später der 3950X auf der offiziellen Support-Liste erscheinen wird - aber natürlich alles nur Spekulation basierend auf dem vergangenen Verhaltensmustern von ASRock Rack.

PS: Beta-BIOS 3.25 ist "verfügbar":

ftp://ftp.asrockrack.com/X470D4U/BIOS/X47D4U3.25

Für die "fehlenden" Login-Daten etwas im L1Techs-Thread nach "optisch verschmutzten Stellen" suchen (so Mitte Oktober herum) und vielleicht mit der Maus draufklicken.

 

[Ceiber3]

Der8auer/Roman hat doch mal paar Boards die Spawa getestet. Und wenn ich so nach sein Test gehe, würde ich auf das Rack nie im leben ein 3950x drauf bauen.
Ich finde ja den 3900X schon grenzwertig auf dem Board.

 

[JohnnyBGoode]

Bei allem Respekt für seine Talente was OC angeht, bei der Einschätzung von Workstation-/Server-Komponenten, die nicht übertaktet werden, schaue ich mich eher nach anderen Reviews um. Schon mal die VRMs einiger Epyc-Boards gesehen? Die dürften gemessen an der angegebenen TDP der CPUs eigentlich nach einem Tag abrauchen, wenn man sie mit den (teils erheblich übertriebenen) VRMs so mancher Gaming-Boards vergleicht.

Nicht falsch verstehen, als "Hobby-System" habe ich ein X570 Taichi, dessen VRMs auch zur leicht übertriebenen Seite gehören (und freue mich vom unvernünftigen Bauchgefühl auch darüber), aber man muss auch Dinge objektiv betrachten können - was ist zweckmäßig und was eigentlich Verschwendung?

 

[Ceiber3]

Mir geht es eher darum das die Spawa beim 3900/3950x auf dem ASRock Board über 100c warm werden könnten und die CPU schon Stock drosseln kann wenn man die Leistung auch nutzt.
Und das Taichi hat gute Spawa, die sind kein vergleich zum ASrock Board hier, hatte ja selber das X470 Taichi Ultimate, dank der 16 Phasen wurde da nichts wärmer als 60c.

Wie viele Spanungswandler hat das Board jetzt genau ? Einige von euch habe doch das Board ? Könnt ihr da mal nachsehen ? Finde dazu leider keine Infos. Ich sehe auf den Bildern 2 Links für den Ram und unten die sind wohl für die CPU, aber wie viele sind unter dem Kühler ? Schaut für mich nach 4 Phasen aus ? Kann das sein ? Oder sind das sogar mehr ?

 

[ajr]

64GB ECC RAM funktionieren (auch wenn Samsung nicht auf der QVL aufgeführt wird, zur Verwendung von ECC kann ich nichts sagen, gehe aber davon aus, dass es aktiv ist)

Das kann ich nicht bestätigen! ECC ist bei mir nicht aktiv.

Ich bin neu hier, bin meistens mit BSD Servern beschäftigt und probiere es erstmalig mit einer Desktop-CPU.
Mit Foren-Editoren kenne ich mich auch nicht aus. Sorry, bin Mailinglisten gewohnt.

Ich versuche, einen sparsamen FreeBSD-Server aufzusetzen mit folgender Konfiguration:

• ASRock X470D4U AMD X470 So.AM4 Dual Channel DDR4 mATX Retail
• AMD Ryzen 7 3700X 8x 3.60GHz So.AM4 BOX
• 2x 1600GB Samsung PM1725b (bulk) Add-In PCIe 3.0 x8 NVMe 1.2 3D-NAND TLC (MZPLL1T6HAJQ-00005)
• 2x 2000GB Seagate Barracuda Compute ST2000DM008
• 4x 16GB (1x 16384MB) Kingston KSM26ED8/16ME DDR4-2666 ECC DIMM CL19-19-19
• 400 Watt Seasonic Platinum Series Fanless Modular 80+ Platinum
• Inter-Tech IPC 3U-30255 Server Rack

Die beiden SSDs und die Festplatten sind jeweils gespiegelt mit ZFS. FreeBSD-12.1RC1 bootet von dem SSD pool.

Ich habe die CPU gekauft, unter der Annahme, dass ECC funktioniert, wie z.B. hier

https://www.heise.de/preisvergleich/amd-ryzen-7-3700x-100-100000071box-a2064553.html
​

spezifiziert.

Leider scheint dem nicht so zu sein. memtest86 pro findet keine ECC-Unterstützung.

Das Betriebssystem findet keine ECC-Unterstützung.
Unter meinem Betriebssystem FreeBSD 12.1 findet dmidecode folgende Speicher-Eigenschaften:

# dmidecode 3.2
# SMBIOS entry point at 0xed2b3000
Found SMBIOS entry point in EFI, reading table from /dev/mem.
SMBIOS 3.2 present.

Handle 0x000F, DMI type 16, 23 bytes
Physical Memory Array
Location: System Board Or Motherboard
Use: System Memory
Error Correction Type: Multi-bit ECC
Maximum Capacity: 128 GB
Error Information Handle: 0x000E
Number Of Devices: 4

Handle 0x0017, DMI type 17, 84 bytes
Memory Device
Array Handle: 0x000F
Error Information Handle: 0x0016
Total Width: 128 bits
Data Width: 64 bits

Bei einer Xeon E5 CPU sehe ich:
Array Handle: 0x0058
Error Information Handle: Not Provided
Total Width: 72 bits
Data Width: 64 bits

72-64=8; Das sind die 8 Paritybits für ECC.

Die einzige relevante Bios-Einstellung die ich gefunden habe ist
Advanced -> AMD CBS -> UMC-> DDR4 -> Common RAS -> ECC conf _DRAM ECC enable
Wechsel von auto auf enable macht keinen Unterschied.

Kann mir jemand sagen, ob ich noch weitere Einstellungen ändern muss, oder, ob es so funktionieren müsste, wenn es denn funktioniert?

ajr

 

[JohnnyBGoode]

@ajr

Als erstes würde ich einen BMC und BIOS-Reset durchführen (leider qualitativ beides (noch) nicht der Bringer), welche Versionen sind jeweils installiert?

Bei mir und den 32 GB Samsung ECC UDIMMs war ECC automatisch aktiviert, manuell musste man es nicht aktivieren, mit Windows und Linux gegengeprüft, mit FreeBSD habe ich leider keine Erfahrungen.

Könnte es eventuell ein Bug von FreeBSD sein?

Wurden die richtigen RAM-Module geliefert (ungerade Anzahl an DRAM-Chips auf der Platine?) Habe es bei Kingston-Modulen schon gesehen, das ein Shop nicht-ECC-Module mit ähnlicher Bezeichnung geliefert hat und der Kunde es zunächst nicht merkte, da die Speichergröße ansich stimmte.

 

[b99]

...
@b99
Ist dieser korrigierte RAM-Fehler auch irgendwie im IPMI Log vermerkt worden? Im Level1Techs-Forum meinte ein anderer Nutzer, dass sie zwar im OS geloggt werden, aber nicht im IPMI Log auftauchen würden - ich kann leider nichts dazu beitragen, da es bei mir noch keine ECC-Fehler gab, da die Uptime nur maximal wenige Tage b e t r u g (lol, das Wort wird zensiert, super) bevor ich etwas verändert habe was ein Neustarten zur Folge hatte.

/QUOTE]

IPMI-Log ist leer.. nicht mal Logins werden dort protokolliert


der Link für das Bios 25 verlangt bei mir Login-Daten

 

[JohnnyBGoode]

ASRock Rack has created the first AM4 socket server board - Motherboards - Level1Techs Forums

Gucken, was passiert, wenn man mit 'ner Maus irgendwo hinklickt

 

[Peter13779]

DANKE!

Das Beta Bios ist ENDLICH mit einem LSI 9260 Controller (CSM Legacy Modus custom auf PCIe Slot zwingen!) im Raid Modus und einem Ryzen 3600 + ESXi 6.5U3 kompatibel! CIM Provider wird grad getestet aber VMS laufen.

 

[JohnnyBGoode]

Freut mich zu hören! Wie schon in der Vergangenheit erwähnt, finde das Board von der Hardwareseite her sehr gut und habe die Hoffnung noch nicht begraben, dass es mit der Firmware auch noch was wird.

 

[Peter13779]

Ergänzung:

CIM Provider geht, auch wenn die Anzeige etwas kryptisch ist und man raten muss welches Laufwerk welches ist.
Damit kann das seit Februar in der Ecke gammelnde Board endlich seine Arbeit tun.

Bin gespannt auf ESXi 7 und welche HW Raid Controller dann noch mit Statusanzeige übrig bleiben bzw. was dann noch bezahlbar ist. Solange bleibt es bei ESXI 6.5U3a und dem LSI 9260er mangels zukunftssicherer Alternativen.

 

[Moepe]

Hallo Ihr, bin neu hier!

Ich habe ein X470D4U mit einem Ryzen 2700 und 4x 16GB Kingston ECC Ram.
Sobald das Ganze ordentlich läuft, soll es meinen derzeitigen Homeserver ersetzen.

Mit dem hier verlinkten Bios habe ich schonmal ESXi 6.7U3 installiert bekommen, ein Fortschritt!