Ryzen 3700X mit ASRock X470D4U als ESXi-Virtualisierungshost

Ich reiche den kompletten HBA durch. Sind insgesamt 8 Platten dran, die letzte erkannte scheint wohl "da3" zu sein, ich weiß nicht ob der irgendwie ein Problem mit dem Spin-up hat oder so.
Genau, Proxmox, mit einem LSI 3008 HBA.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Startet er denn irgendwann durch oder sucht er sich nen Wolf?
 
smoothwater schrieb:
Startet er denn irgendwann durch oder sucht er sich nen Wolf?
Zum Vergrößern anklicken....
Der sucht sich nen Wolf, bleibt also so, schaue gerade mal ob das ein Problem von TrueNAS ist, oder ob das generall gerade ein Problem.
OK habe mit Parted Magic gestartet, ich habe die Vermutung, eine meiner 4x SATA 1TB Crucial MX500 SSDs ist weg. Die hatte eine 7TB grosse /dev/sde49 Partition, und ist jetzt nur noch mit 0 Byte drinnen. Ich nehme die mal raus, und schaue.
Beitrag automatisch zusammengeführt:

Ok, hmm, schade. Recht neue Crucial 1TB MX500 hin. SSD raus, und jetzt klappts. Zumindest schonmal mehr als vorher, nun kriegt ich einen Kernel Panic, kurz danach.
Welche CPU benutzt du zum durchreichen? KVM64, oder Host?
Screenshot from 2023-02-09 21-19-37.pngScreenshot from 2023-02-09 21-20-13.png
 
Zuletzt bearbeitet:
Host. Allerdings virtualisiere ich nicht TrueNAS, sondern FreeBSD mit XFCE auf meinem Proxmox-Bastelserver 😅. Für TrueNAS hab ich eigene Hardware.

Zumindest sagt er dir ja direkt, dass da nen IO Fehler ist. War die SSD als Cache eingehangen?
 
Oh vielen Dank! Ja es klappt nun fast alles bereits :) Habe jetzt auch Host durchgereicht (vorher war nur EPYC-IPBB), jetzt klappt das schon mal.
Kurze Frage noch, wie hast du das mit den Jails gemacht? Die scheinen bei mir aktuell kein DHCP zu kriegen, weil wohl irgendwas mit der virtuellen Bridge auf Proxmox Seite wohl anders konfiguriert werden muss. Wie hast du das gemacht? UUUps, sehe ja gerade, du hast ja nur FreeBSD laufen.
 
Also auf meinem Server1 aus der Signatur läuft TrueNAS, das kann auch Jails und ich nutze es tatsächlich aber fast nur für Spielereien. Dauerhaft läuft da einzig nen kleiner Webserver für mein MediaWiki. Innerhalb von FreeBSD hab ich das noch nicht gemacht. Aber ich nutze bei dem Jail DHCP und habe aber in meinem Router die IP fest vergeben. Zusätzlich läuft der das über nen eigenen Port der i350-T4 (vnet-Bridge). Aber eben mit nativ installiertem TrueNAS, nicht virtualisiert.
 
Hey smoothwater vielen Dank! Ich werde mich dazu mal im TrueNAS Reddit schlau machen, ich denke es ist irgendeine Netzwerkinterface Einstellung in TrueNAS.
Habe es nun geklappt, habe den Haken bei VLAN aware vergessen, deswegen ging mein TrueNAS Setup nicht mit den Bridges.
Nun klappt es ganz gut, aber die Latenzen sind recht hoch. 25-25ms von Proxmox Maschine auf die TrueNAS VM. Da muss ich mal schauen was da nicht so klappt. Aber sonst ganz zufrieden.
Meine Auslastung ist recht minimal im Cluster, war damals alles Overkill.
Screenshot from 2023-02-10 10-07-27.png
 
Weiß jemand, warum Geizhals die PCIe Lanes bei den Cezanne CPUs wie Ryzen 5 5500 und 5700G mit "24x PCIe 3.0 (16+4+4)" angibt? Sind die 16 normalerweise nicht splitbar?
 
Doch ich glaub schon so etwas im Bios gesehen zu haben. Ich gugg mal kurz.

Auf einem Asus 520 Board mit 5600G sieht das so aus.

IMG_1765.jpg
 
Zuletzt bearbeitet:
Und wie sieht es mit Boards aus, die gleich mit zwei x8 Slots daher kommen?
 
Das kommt aufs Board an; die 5000er Cezanne können x16 , x8x8 und x8x4x4. D.h. einer der x8 Slots ist dann x8, der andere x4x4 aufgeteilt.

Vermeer können auch x4x4x4x4 und x4x4x8 (also nutzung des anderen Slots als x8), Mein B550M Tuf Gaming mit 5600X z.B. ist auf x4x4x4x4 geschaltet.
D.h. man kann dann, wenn es das Board zulässt, auch beide Sockel auch auf x4x4 plus x4x4 umschalten. Das X540D4U kann das z.B.

Bei den derzeitigen AM5 funktioniert das übrigens genauso wie bei Vermeer.
 
Zuletzt bearbeitet:
Habe da was interessantes gefunden: https://github.com/toshipp/openbmc/tree/x470d4u
Bzw der Blog dazu: https://toshipp-hatenablog-com.tran...tr_sl=ja&_x_tr_tl=de&_x_tr_hl=de&_x_tr_pto=sc

Der hat OpenBMC mit (beinahe) feature parity zum AsRock BMC Zeug auf das X470D4U geportet. Bin noch nicht dazu gekommen es zu testen, werd ich aber definitiv noch machen.

EDIT: Laut Yocto bin ich bei 56%, nach 20 Minuten Compiling, auf einer Ryzen 6850U. Holy shit. Aber es lastet brav alle 16 Threads aus.
EDIT2: Stunde ist um, 82%. Build Ordner ist schon über 30 GB.
EDIT3: Hat mir wohl die 128GB Partition meines Fedora am Notebook vollgeschrieben und damit das OS gekillt :d
Ich kompiliere mal stattdessen am Server, da ist noch eine ungenutzte 256 GB NVMe übrig. Dauert aber länger, die 6850U ist schneller als die 3600...
Edit4: BMC gebrickt. Ich spiele das Backup des originalen BMCs wieder zurück und versuche mit dem Japaner in Kontakt zu treten um zu verstehen was ich falsch gemacht habe...
EDIT5: Habe wieder auf mein Backup zurück geflasht, Server läuft wieder. Habe den Entwickler angemailt - hoffe er antwortet.
 
Zuletzt bearbeitet:
Ich musste mein X470D4U2-2T einschicken, es wollte nicht mehr booten, und hab inzwischen ein Ersatzboard erhalten. Aber auch dieses kann die interne X550-AT2 mit den 5000/5000G nicht in fullspeed ansprechen. Habe daher nun die X550-AT2 deaktiviert und eine ASUS XG-C100C für 10Gb und eine 2.5Gb Delock-Karte eingebaut, zusätzlich zu der QuadPort I350-Karte. Verbrauch ist mit allen meiner VMs unter 40 Watt, also so gut wie noch nie bei mir. Dafür keine PCIe-Steckplätze mehr frei. 🥲
 
Hab nochmal umgebaut und die intel auf 5 Gb und 2.5 Gb umgestellt und dafür die anderen beiden wieder rausgeschmissen. Dass überhaupt <10Gb geht, ist dem Ersatzboard zu verdanken, welches die nächste Revision gewesen ist. Verbrauch ist so quasi gleich. PCIe Anbindung der intel NIC aber ist aber nach wie vor problematisch mit 5000/5000G auf dem X470D4U2-2T.
 
Ich habe Mir trotz dass das Board schon etwas älter ist, auch ein X470D4U geholt. Einen dazu passenden Ryzen 9 3900 hatte ich Mir schon vor einer Weile günstig besorgt.
Natürlich hats Mir beim Update auf die letzte BMC Version die Firmware direkt zerschossen. Ich habe für emby eine zusätzliche Grafikkarte drin, erst nachdem ich diese ausgebaut hatte, ließ sich der BMC unter FreeDOS erneut flashen, mit Grafikkarte wurde der BMC nicht gefunden....

Mit 128GB RAM, 2 NVME Disks, 2 Sata und 4 HHD's sowie Quadro P2000 und HBA330 bin ich bei 65W im Idle laut USV. Joa, passt schon. Meine ältere Zusammenstellung mit X9SCM und E3-1265Lv2 war ohne HBA und Grafikkarte bei 50W....
Ich habe dabei PBO aus und "Low Current Idle" aktiviert. Sonst sind es 6W mehr laut USV

Gruß
 
Zuletzt bearbeitet:
Hallo zusammen,

ich bestreite gerade einen gröberen Kampf mit meinem X470D4U.
Hab mir einen neuen CPU geholt, 5950X, hab das Bios 4.26 per BMC geflasht.

Nach dem Tausch und Reboot hat Unraid gestartet aber die PCIE Devices waren irgendwie durcheinander weil der HBA nicht mehr erkannt wurde.
Auch hat beim hochfahren das BMC den startup vom Unraid nicht mehr angezeigt, also via Remote Control. Habe dann Unraid neugestartet und wollte in BIOS und ab da an hat nichts mehr funktioniert.

BMC ist nicht mehr erreichbar/pingbar. Boot wird nicht mehr durchgeführt, als Error Code steht am Dr.Debug der Code 0x39. Laut Manual gibts den aber nicht, Google findet dazu auch nichts.
Hab jetzt zwischen 5950X und 2700x getauscht, aber wenn das BIOS Update durchgegangen ist kann der 2700x ja nicht mehr funktionieren.
Hab alle Festplatten abgeklemmt, RAM raus und wieder rein, nur ein Riegel, 2 Riegel. GPU raus, GPU anderer Slot, HBA Raus, CMOS Clear.
Bootet nicht vom USB, Stick, komm nicht in BIOS und BMC startet auch nicht.
Der Countdowntimer läuft 2 mal von 99 auf 0 und dann steht 39 auf der Anzeige.

Hat jemand einen Tipp?
Was kann ich noch probieren?

Danke für Eure Tips.
 
Ich würde sagen dass du als erstes das Problem mit dem BMC lösen musst. Das sollte eigentlich unabhängig vom Rest laufen. Ggf. Mal nochmal die ganze Kiste für ein paar Minuten stromlos machen und dann nochmal probieren. Wenn das BMC nicht mehr will, hilft nur ein externer Flasher. Im Anschluss kannst du dann nochmal probieren das BIOS wieder in Gang zu bringen. Am besten vielleicht erstmal mit der letzten stabilen Version (4.20) und nicht mit der Beta. Dabei natürlich auch alle Einstellungen resetten.
Ansonsten hilft nur rumprobieren, immer wieder resetten und viel Zeit in dem Board zu versenken. Das Ding ist einfach gruselig, leider aber halt fast alternativlos.
 
Also stromlos wars schonmal, das hat nicht geholfen.
Verrückt ist halt das die unraid webgui ja den 5950x angezeigt hat.

Und wie bei vielen hatts mein bmc ja auch schonmal gehimmelt da konnte ich aber mit freedos booten und flashen.

board alternativen gibts auch recht wenig und nochmal in so eins investieren, ich weiß nicht ob das ne gute entscheidung ist.
 
Board war jetzt nochmal 30 min stromlos ohne Batterie und CMOS Clear Pad hab ich gebrückt gehabt.
Fehlerbild bleibt, kein BMC, kein Postscreen (weder über GPU noch über VGA) nur Errorcode 0x39......

Hat jemand ne Anleitung wie ich das BMC über Serielle schnittstelle flashen kann?
Kann man die BMC Chips vorgeflasht kaufen? oder macht das jemand hier?
 
Fürs X470D4U2-2T gab es übrigens nichts neues.

Da ich auf IPMI nicht wirklich angewiesen bin, wird der nächste Homeserver ein Consumer Board, nur PCIe Bifurcation etc. sollte es schon unterstützen.
 
Bei mir rennt es jetzt seit einem Jahr stabil. Daher werde ich daran nichts mehr ändern :d Auch kein BIOS oder BMC Update kommt mir mehr über den Weg.
 
lorddrinkalot schrieb:
Weiß jemand ob sich das BMC über einen der Jumper deaktivieren lässt?
Zum Vergrößern anklicken....
lorddrinkalot schrieb:
Board war jetzt nochmal 30 min stromlos ohne Batterie und CMOS Clear Pad hab ich gebrückt gehabt.
Fehlerbild bleibt, kein BMC, kein Postscreen (weder über GPU noch über VGA) nur Errorcode 0x39......

Hat jemand ne Anleitung wie ich das BMC über Serielle schnittstelle flashen kann?
Kann man die BMC Chips vorgeflasht kaufen? oder macht das jemand hier?
Zum Vergrößern anklicken....

Moinsen,
auch wenn der Beitrag schon ein wenig älter ist, würde ich gern mal die Lösung da lassen. :-)
Ich hatte vor kurzem das selbe Problem...
Der BMC des X470D4U hatte plötzlich das Verlangen sich in den Urlaub zu verabschieden, was anfangs unbemerkt blieb.
Als es dann an der Zeit war den Server neu zu starten, war die Katastrophe perfekt.
Der Server kam nimmer Up, per BMC war er auch nicht mehr zu erreichen ... also ab ins RZ, Monitor an die Kiste und ... nen dicker Mittelfinger, kein Bildsignal.
Mit schlechter Laune und der Annahme "Mainboardschaden", dass Ding aus dem Schrank ausgebaut und mit nach Hause genommen.
Nach 10000 verschiedenen versuchen von Stromlos über Batterie raus bis CMOS Reset "Jumper" nichts hat geholfen, kein Bild, kein BMC alles zum kotzen und das Debug Display brachte auch kein Licht ins dunkle. :grrr:

Die Lösung
  1. System vom Strom trennen.
  2. Den BMC Sockel öffnen.
2.png

Der wird ganz einfach aufgeklappt, echt Easy.
3. Chip entnehmen.
4. Strom, Monitor, Tastatur anschließen.
5. System starten.
6. Warten... Die Debug Anzeige wird jetzt 2x von 99 bis 0 runterzählen, dann wechselt sie auf 21.
7. Jetzt sollte der Monitor wieder ein Bild liefern und den Server startet.
8. Direkt ins BIOS gehen, dort die "Auf BMC warten" Funktion abschalten, Einstellungen speichern und BIOS verlassen.
9. Den Server einmal durchstarten lassen und dann herrunterfahren.
10. Den Chip wieder in den Sockel einsetzen und zuklappen / verschließen.
11. Server starten (Es kann sein das sich Punkt 6. hier wiederholt, also Geduld.)
12. Der Server sollte nun wieder laufen und euer Betriebssystem gestartet sein.
13. Jetzt mit SocFlash die BMC Firmware von der AsRock Rack Page auf den Chip flashen. (Ja korrekt, den er ist kein einfacher Sockel , er ist nen Flasher)
14. Wenn das fertig ist, den Server abschalten, Strom trennen, kurzen Moment warten, alles wieder anschließen, starten, fertig.
15. BMC & Server sollten wieder laufen, also glücklich sein.
 

Anhänge

  • SocFlash für Win und Linux.zip
    910,3 KB · Aufrufe: 49
  • socflash_linux.zip
    131,1 KB · Aufrufe: 51
Zuletzt bearbeitet:
Ohne BMC Chip starten hab ich tatsächlich noch nicht probiert, den Chip hab ich aber neu beschrieben und der funktioniert auch in einem anderen Board.

da ich schon das neuere Bios drauf hab brauch ich ne andere CPU damit ich deinen weg noch probieren kann.
 
lorddrinkalot schrieb:
Ohne BMC Chip starten hab ich tatsächlich noch nicht probiert...
Zum Vergrößern anklicken....
Naja , warum sollte man auch :giggle:
Ich hätte es selbst auch nicht gemacht, nur hatte ich alles probiert und das Board im Kopf schon als Tonne abgeschrieben.
Weil war ja schon hinüber, mehr kannst nicht kaputt machen war die Denkweise 8-)
Das es am Ende zu nem glücklichem Ende kam war pures Glück und "Bastelintension"
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh