Ryzen 3700X mit ASRock X470D4U als ESXi-Virtualisierungshost

Hat jemand sich mal das neue BMC draufgezogen? Bei mir ist dadurch wieder das BMC tot, und ich darf den Chip wieder ausbauen und mit meinem CH341a neu flashen. Echt doof. Dann mit dem neuen BIOS ist auch das Ryzen 3000/5000 Problem nicht behoben.
Habe mein IPMI auch von 2.20.00 auf 2.32.00 aktualisiert und vermutlich das gleiche Problem.... Auf dem Webinterface antwortet er mir nur noch mit "connection refused", per VGA bekomme ich kein Bild, zurücksetzen auf Werkseinstellungen im BIOS hat nichts geändert. Im Selbsttest meldet er mir aber auch "passed", lediglich bei der Abfrage, ob das KCS interface nach dem POST aktiv bleiben soll, meldet er "not responding". Unter Linux kann ich via "ipmitool" noch diverse Daten des IPMIs abrufen (z.B. alle Sensorwerte und die Netzwerkeinstellungen), aber das Webinterface bleibt auch nach cold reset, Strom weg, zurücksetzen, ... immer nur bei "connection refused". Der Versuch, das IPMI via socflash unter DOS neu zu bespielen, endete auch nur in der Meldung, dass kein Chip gefunden wurde.

Werde nun auch mal schauen, wer im Bekannten-/Freundeskreis einen Flasher für den Chip hat und mal schauen, ob ein neubespielen hilft, das IPMI wieder ans Leben zu bekommen.

Bin hier im Thread bisher nicht aktiv gewesen, aber ich habe schon so viel Ärger gehabt mit diesem Board und seinem BIOS/IPMI, dass das definitiv das erste und letzte Serverboard von Asrock für mich war. Mit Asrock "normal" war ich eh schon durch nach mehr als einem halben Dutzend defekten Mainboards. Server habe ich bisher immer mit Supermicro-Boards genutzt und dahin werde ich wohl auch wieder zurückwechseln. Dieses Board war Lehrgeld genug, zumindest zeitlich. Leider gibt's ja nichts vergleichbares von anderen Herstellern, also Boards mit IPMI und AM4-Sockel...
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Gibt halt nicht viele Alternativen mit AM4 Sockel und IPMI.
 
Richtig, genau genommen keine, wenn man Asrock ausschließt... Deshalb bin ich auch bei Asrock gelandet. Und verzweifle an der miserablen Softwarequalität von BIOS und IPMI ^^
 
Nea, bei nen guten Kumpel läuft das Board jetzt schon über 1 jahr ohne Probleme.
Man muss ja nicht jedes Update mitnehmen, IPMI funzt ja auch ohne Updates.

Was magst du den groß im Bios einstellen ?
 
Zuletzt bearbeitet:
Tobby schick mir mal deine Adresse und ich schicke dir kostenlos einen neu beschrieben Flash zu 😁
EDIT: Sehe gerade, ist ein 256mbit chip, habe gerade nur 128mbit Winbonds da. Aber wenn du magst kannst du mir deinen Chip zusenden und ich beschreibe den neu.
 
Zuletzt bearbeitet:
Nea, bei nen guten Kumpel läuft das Board jetzt schon über 1 jahr ohne Probleme.
Man muss ja nicht jedes Update mitnehmen, IPMI funzt ja auch ohne Updates.

Was magst du den groß im Bios einstellen ?

Also anfangs habe ich einige Versuche mit diversen Einstellungen im BIOS gemacht, weil die Kiste deutlich mehr Strom zieht verglichen mit dem Vorgänger-Server (Supermicro X11SSH-CTF mit Xeon 1240 v6). Vorher etwa 39-42W im Idle und HDDs im SpinDown, 60-80W mit leichter Grundlast. Jetzt mit ASRock Rack X470D4U und Ryzen 3600 liege ich bei sonst identischer Peripherie (gleicher SAS-Controller, gleiche HDDs, usw) bei 60-70W im Leerlauf und 90-120W bei leichter Grundlast mit den gleichen VMs. Viele Optionen im BIOS haben aber dafür gesorgt, dass die Kiste gar nicht mehr bootet - obwohl die Optionen eigentlich damit nichts zu tun haben sollte. Also immer wieder alles zurückgesetzt. "Schnellste" Methode war jeweils, das BIOS über das IPMI neu zu flashen und dabei alle Einstellungen zu verwefen. Wobei "schnell" hier sehr relativ ist... Und in den letzten >10 Jahren mit Supermicro-Servern habe ich noch nicht ein mal so einen Tanz aufführen müssen, egal wie viel ich am BIOS rumgefummelt habe :d

Dann war lange Zeit die Lüftersteuerung verkorkst. So kontrollierte FAN1 im BIOS den Lüfteranschluss 1/CPU, FAN2 vermutlich Lüfteranschluss 6, FAN3 Lüfteranschluss 2, FAN4 Lüfteranschluss 3, FAN5 Lüfteranschluss 4 und FAN6 Lüfteranschluss 5. Hat mich auch einiges an Zeit gekostet, das herauszufinden - schließlich muss man für jeden Test erst die Werte im BIOS abspeichern und neu starten, was bei der Hardware und dank SAS-Controller und Co. jedes Mal ein paar Minuten dauert. Glaube seit Bios 3.20 oder 3.30 ist das aber behoben.

Später habe ich eine externe GPU für Transcoding für Emby und einen Kodi-LXC-Container hinzugefügt. Die GPU steckt im untersten Slot. Anders passt es nicht. Dafür muss man natürlich die Aufteilung der PCIe-Lanes einstellen, außerdem welche GPU das Haupt-Ausgabegerät ist. Mit der BIOS-Version, die ich zu dem Zeitpunkt drauf hatte, ging das nicht vernünftig - mit BIOS 3.50 war das leider auch nicht möglich, vernünftig einzustellen - da landete dann der Hypervisor auch immer zwangsläufig auf der externen GPU, das BIOS immer nur je nach Lust und Laune auf der IPMI-Grafik oder der externen GPU oder die externe GPU wurde im System nachher gar nicht erkannt. Also habe ich verschiedene BIOS-Versionen getestet und glaube mit 3.20 oder 3.30 ging das ganze dann.

Mit BIOS 3.50 war dann meine ich auch die Lüftersteuerung ganz verschwunden, aber auch noch nicht im IPMI vorhanden? Da bin ich mir aber gerade nicht sicher. War noch ein Grund auf 3.20 oder 3.30 zurückzugehen.

BIOS 4.20 habe ich jetzt installiert, weil ich eigentlich überlegt hatte, auf einen Ryzen der 5xxx-er Serie zu wechseln. Aber jetzt muss erstmal das IPMI wieder heile, bevor ich weiter bastele. Und ehrlich gesagt habe ich inzwischen auch keine Lust mehr, weiter an der Kiste rumzudoktern. Wenn das IPMI repariert ist, wird die Kiste so weiter benutzt wie sie ist und die nächste Änderung wird sein, dass das Board ganz rausfliegt.

Ich meine, ich hatte in der Anfangszeit auch noch weitere Probleme mit dem BIOS, aber gerade fallen mir nur noch die oben genannten Dinge ein. Und alleine, dass ich jetzt schon wieder gestern den halben Tag versenkt habe bei dem Versuch, das IPMI wieder zum Laufen zu bekommen (Zurücksetzen, Netzwerkeinstellungen testen, Flashen via socflash, weitere Recherchen, Baustein ausbauen der natürlich unter der GPU sitzt, dessen Stromkabel schön verlegt war, ...), reichte wieder, um die Abneigung wieder hochkochen zu lassen. Das ist mir mit mehreren Dutzend Supermicro-Servern auch noch nie passiert. Ich habe ja auch nichts falsch gemacht. Ich habe die neueste IPMI-Version geflasht, um wieder an die Lüftersteuerung zu kommen, die nun aus dem BIOS ins IPMI gewandert ist. Dabei habe ich keinen Zwischenschritt ausgelassen, der die Migration schwierig machen könnte und das Update ist vermeintlich erfolgreich durchgelaufen. Trotzdem verkorkst. Sowas darf einfach nicht passieren. Ich stelle mir das gerade im größeren Umfeld vor. Soll der Admin vorher seine Glaskugel anbeten und hoffen, dass das Update gut geht, bevor er danach zig Server zerlegen muss, um bei einigen die Flash-Bausteine auszubauen und per Hand extern neu zu flashen? Das ist Wahnsinn. Und wenn ich das von Knogle lese, dann scheine ich nicht der einzige zu sein, wo das trotz regulärem Flash-Vorgang schief läuft.

Ich bin jedenfalls wieder durch mit Asrock. Das nächste Geld wird wieder in Supermicro investiert.

Tobby schick mir mal deine Adresse und ich schicke dir kostenlos einen neu beschrieben Flash zu 😁
EDIT: Sehe gerade, ist ein 256mbit chip, habe gerade nur 128mbit Winbonds da. Aber wenn du magst kannst du mir deinen Chip zusenden und ich beschreibe den neu.

Danke, das ist sehr nett :) Weiß gerade gar nicht, ob die Kiste ohne den Flash überhaupt booten würde (vermutlich wartet sie nur sehr lange auf das IPMI?), aber es gibt dann keinerlei Lüftersteuerung mehr und dann ist mir die Kiste definitiv zu laut. Neuerdings steht sie nämlich mit in meinem Büro... Wobei: Im Wohnzimmer wäre es nicht weniger nervig gewesen :d

Ich werde also mal schauen, dass ich den Chip selbst bespielt bekomme. Dann kann ich die Kiste zeitnah danach wieder in Betrieb nehmen. Hab schon ein Angebot für einen CH341a aus dem Freundeskreis, aber derjenige hat erst im September Zeit für mich, ein anderer Freund würde mir helfen das mit einem Raspberry Pi zu lösen. Muss mal schauen, 'nen Pi hätte ich auch noch selbst da, aber nicht genügend Clips um die Beinchen des Flashs zu verbinden und Anlöten wollte ich die zum Flashen jetzt nicht...
 
Zuletzt bearbeitet:
Ich hätte denen das Brett definitiv längst vor die Füße geworfen (für einen Austausch). Das geht gar nicht.

Mit meinen AsrockRack-Brettern habe ich bisher durchweg gute Erfahrungen gemacht, waren aber die Geschwister aus dem Threadripper-Regal (X399D8A, TRX40D8).
 
Jo, als Booten tut es, aber das Ding wartet dann 1 Minute auf das IPMI, weshalb man das per Jumper disablen sollte damit der nicht so ewig wartet wenn das kaputt ist. Bzw. Wait for IPMI kannste auch im BIOS ausmachen.
So sieht mein CH341A aus mit dem entsprechenden Sockeladapter.
20210825_134856.jpg
 
Mein X570D4U-2L2T (mit 5600X) macht auch keinen Ärger; von 60-70W Idle bei spundown HDD bin ich auch weit entfernt; nämlich drunter. Bei ziemlich viel verbauter Hardware, die Idle zieht (4*16GB Ram ECC (OCed), SAS 9400-16i, Datacenter-SSDs, 5 andere SSDs, Lüfter, etc.)
Insgesamt ziemlich auf Augenhöhe +-5W mit meinem X11SSH-CTF und 1240v5 vorher, wenn man die veränderte restliche Hardware/ anders genutzte 10G-Anschlüsse vergleichbar rechnet,
Aber mit massiv höherer Rechen und I/O-Leistung schon beim kleinen Zen3. :d Potential für CPU-Upgrade ist ja noch genug da, wenn mehr Kerne notwendig werden. Aktuell heute gäbe es ja den 5900X günstig, nur ich brauch die Kerne derzeit halt nicht. Mal warten bis der Zen3 XT mit dem V-Cache kommt, wie es dann aussieht.

Mir scheint fast, das X470D4U war irgendwie eine Art Prototyp dieser Boards für AM4.
 
Zuletzt bearbeitet:
Etwa 50W.
Darin aber 6x DC Datacenter-SSDs, die alleine schon etwa 1-1,3W Idle jeweils ziehen.
Beide 10GB-Anschlüsse plus einer der 1G plus IPMI-Lanport aktv)
6xUltrastar HC530
4x16GB ECC Dualrank-Module (@1,38V statt 1,2V und 3066 statt 2666 MT)
2*970 Evo Plus 1TB
2*Sata SSD
6 Fans (5x140mm, 1x60mm).
 
Ich muss mein Verbrauch auch mal messen.
Mein komplettes Rack liegt bei ca. 120 W
 
Hmm, ich komme auf 320W mit 16x 4TB Datacenter Festplatten 2x NVMe, 4x 32GB DDR4 ECC und Ryzen 2700X + 40Gbps Mellanox NIC + LSI HBA und Expander :fresse:
Ich wollte ja gerne mal das X570D4U haben (ohne 10G Interfaces), aber das kriegt man ja irgendwie garnicht.
 
Zuletzt bearbeitet:
Sona hats lagernd (Stand 26.08.2021) , die sind nicht (mehr) auf Preissuchmaschinen gelistet.

Wobei ich mir überlegen würde, gleich die 10G-Version zu nehmen, falls Du auf Kupferverkabelung setzt. 2*10G Intel (plagiatsfrei) für 110 Euro Aufpreis ist ein Schnapper.
Später ärgerst Dich, wenn die Slots knapp werden.
 
Jo ich schau mal, bei mir ist das Ding, ich nutze lediglich 40G via QSFP, da habe ich nicht viel nutzen von den 10G Kupfer Interfaces, aber ich werde mal schauen, danke dir!
 
Ist schon etwas her, aber ich meine, meine 60-70W im Idle waren wie folgt:
- Mainboard: ASrock Rack X470D4U
- IPMI natürlich aktiv und verbunden
- CPU: AMD Ryzen 5 3600
- RAM: 4x 32GB DDR4 2666 MHz von Samsung mit ECC
- bei der Messung noch ohne zusätzliche GPU
- SAS-Controller: Lenovo ThinkSystem 430-16i (quasi ein Broadcom 9400-16i)
- LAN: Intel X550-T2, davon ein Port mit 10Gbit angeschlossen
- Noctua CPU-Kühler, 5x Noiseblocker Gehäuselüfter
- 12x 16TB SAS-HDD im Idle/Spindown
- 1x Samsung 970 NVMe-SSD
- 1x Samsung 850 SATA-SSD
- LTO6-Bandlaufwerk müsste bei der Messung auch stromlos gewesen sein
- 3 USB-Geräte (1x CUL v3, 1x DS9490R 1-Wire-Adapter, 1x USV)
- glaube bei der Messung war die 100GB Intel Optane SSD (NVMe) schon mit drin
- be Quiet! Dark Power Pro P10 550W

Mal schauen, hab' mal ein bisschen auf aktuelle Xeon W-1200, Xeon W-1300 und Xeon SP 3rd Prozessoren geschielt und passende Mainboards dazu angeschaut, aber ich denke, ich werde die Ryzen-Plattform noch etwas behalten und auf Alder Lake Xeons warten.
 
Ah, ok, das erklärt den Unterschied denk ich; zumindest teilweise Die DC Optane zieht ja beständig schonmal min. 3W, die 12 SAS-HDDs werden auch spundown mehr aus der Leitung zuzzeln als meine 6 Sata (auch wenn se DC sind). Den doppelten Ram hast auch. So nach und nach addieren sich da die Watt.
Dagegen wird der X570 mehr als der X470 ziehen,
 
hat schon jemand geschafft die onboard M.2 slots per PCI Passthrough durch zu reichen? hab X470D4U2-2T mit akt BIOS (P4.10) und kann das mit keiner Samsung o Intel SSD schaffen. Zustand in ESXi nach aktivieren und Neustart in Spalte Passthrough bleibt stecken bei "Aktiviert / Erfordert Neustart"
 
wer riskiert es?
VersionDateBIOS/BMCUpdate BIOS UnderSizeDescriptionHow to UpdateDownload From
03.02.009/10/2021BMCMegarac SP GUI26.83MB
Fix Open Loop Control Table issue​
GlobalChina
 
Hat jemand sich mal das neue BMC draufgezogen? Bei mir ist dadurch wieder das BMC tot, und ich darf den Chip wieder ausbauen und mit meinem CH341a neu flashen. Echt doof. Dann mit dem neuen BIOS ist auch das Ryzen 3000/5000 Problem nicht behoben.
Hi, Ich habe das gleiche Problem (und mich hier im Forum extra angemeldet, nirgendwo sonst hab ich eine Lösung gefunden). Den CH341A flasher hab ich mir von Aliexpress bestellt, aber keine Ahnung, wie Ich den Chip damit flashe.. Hab das Board gebraucht gekauft und somit wahrscheinlich auch keine Chance auf Support von AsRock.
Bin für jede Hilfe sehr dankbar, dies ist mein erstes Server-Board und hat für meine Verhältnisse sehr viel Geld gekostet..
1000 Dank im Voraus!
PS: Habe unabhängig vom BMC das Problem, das das System regelmäßig einfriert, sowohl mit Ubuntu 20.04 Desktop, Server, TrueNAS SCALE (Linux), TrueNAS (FreeBSD). Hat jemand eine Ahnung, woran das liegen kann? Hab in 20+ Jahren noch ansatzweise nicht so viele Probleme mit einem Mainboard gehabt..

Der CH341A flasher:

Mein System:
32GB Samsung DDR4 ECC RAM
Ryzen 7 1700 / Ryzen 3 1300 (Ich weiß, nicht offiziell supported)
Samsung Evo 970 M2 NVME
LSI HBA
6X 8TB Seagate Ironwolf SATA CMR/PMR
2X 4TB WD Red SATA CMR/PMR
650W Corsair Gold Netzteil
Ryzen Wraith Prism CPU Cooler
Artic Fans
4U Inter-Tech Case
 
Hey mein Freund.
Das mit den Freezes klingt für mich nach einem C-State oder #RDRAND oder #RDSEED Problem, könnnen wir vielleicht mal bald troubleshooten wenn das IPMI wieder geht.
Um den Chip zu flashen brauchst du noch zusätzlich den Sockel Adapter hier: https://www.ebay.de/itm/324445943740 Dann noch ein Linux Maschinchen wo du da dann Flashrom draufschmeißt.
Alternativ kannst du mir gerne den Chip auch zusenden und ich flashe den für dich kostenlos neu.
 
Hi, Ich habe das gleiche Problem (und mich hier im Forum extra angemeldet, nirgendwo sonst hab ich eine Lösung gefunden). Den CH341A flasher hab ich mir von Aliexpress bestellt, aber keine Ahnung, wie Ich den Chip damit flashe..

Hier die Software zum Lesen und flashen.
Datei von filehorst.de laden

Du brauchst je nach Chip noch ein Voltage Adapter.
 

Anhänge

  • IMG_20210920_191357.jpg
    IMG_20210920_191357.jpg
    1 MB · Aufrufe: 113
Bei mir im X570D4U-2L2T (mit 5600X):
Menü Advanced - AMD Overclocking - Onboard Voltage Controls -
VDDIO Voltage Control Increase/Decrease einstellen => also Increase von 1.20 auf 1.38
Adjust Mem VDDIO Value => 60 (*3 mV lt. Board) => 0.18V mehr als default => Total 1.20V+0.18V => 1.38V Memory Voltage

Das was ich im Mai geschrieben hab, trifft wohl nicht zu und ich muss mich selbst eines besseren belehren:
Egal was man unter VDDIO einstehlt, es werden 1,20 bis 1,21V am Ram beim X570D4U-2L2T angelegt. Hab ich per Zufall gestern festgestellt. Nun ist mir auch klar, wieso mein Ram (2666er Samsung ECC) trotz 5600X nicht schneller takten kann als 3066.:rolleyes2:
Sieht man im IPMI unter VCCM Sensor und auch hier bei Level1techs beschrieben. Will man mehr Spannung, muss man löten.

=> Damit diesbzgl. ähnliche Ram-Limits wie das X470D4U (abhängig halt von der CPU noch).
 
Zuletzt bearbeitet:
Hey mein Freund.
Das mit den Freezes klingt für mich nach einem C-State oder #RDRAND oder #RDSEED Problem, könnnen wir vielleicht mal bald troubleshooten wenn das IPMI wieder geht.
Um den Chip zu flashen brauchst du noch zusätzlich den Sockel Adapter hier: https://www.ebay.de/itm/324445943740 Dann noch ein Linux Maschinchen wo du da dann Flashrom draufschmeißt.
Alternativ kannst du mir gerne den Chip auch zusenden und ich flashe den für dich kostenlos neu.

Hier die Software zum Lesen und flashen.
Datei von filehorst.de laden

Du brauchst je nach Chip noch ein Voltage Adapter.

Sorry für meine späte Antwort, 1000 Dank an euch beide! Hab zumindest schonmal Erfahrung mit dem flashen von diversen Zigbee-Adaptern, mal schauen wie doof Ich mich anstelle.. ;) Bestell den Adapter gleich mal..
Grüße
 
es kommt wohl was ganz neues für das Brett? OpenBMC?

1633639426221.png
 
OpenBMC ist mir sehr bekannt und ist das beste was man da kriegen kann. Das kann man sich selber compilen. Ich konnte das auf ein älteres Supermicro porten da SM keine Updates mehr dazu gebracht hat.
 
Klingt ja ganz gut aber um wie viel wollen wir wetten, dass ASRock keinen sauberen Migrationspfad hinbekommt und beim Update wieder reihenweise IPMIs softwareseitig gebrickt werden? :d
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh