[Sammelthread] ASRock Rack X570D4U-2L2T

i-B4se · 02.06.2023

MisterY schrieb:
ASRock > FAQ

www.asrock.com

Die FAQ hab ich auch gesehen, aber ich war mir nicht ganz sicher ob die Debug-Codes bei ASRock zu ASRockRack identisch sind.
Ich werde später mal eine andere CPU testen.

i-B4se · 02.06.2023

Also es war definitiv die CPU.
Gerade eine andere eingebaut und alles läuft wieder.

MisterY · 02.06.2023

Das ist das erste Mal, dass ich von einer gestorbenen CPU ohne OC gehört habe

i-B4se · 03.06.2023

Hab ich so auch noch nicht erlebet.
Ich hab die CPU auch nochmal neu eingesetzt, aber leider ohne Erfolg. Mit einer anderen CPU lief es sofort.
Die Tage teste ich die CPU noch auf einen anderen Board.
Irgendwie will ich das noch nicht wahrhaben

chicken · 16.09.2023

Ich habe meinen Netzwerkswitch nun endlich mal auf 10G aktualisiert. Bisher war ich mit 1G unterwegs und hab deshalb eher die kleine NIC auf dem Board genutzt. Ich betreibe auf dem Brett einen ESXi (aktuell in v8). Darauf läuft so ziemlich alles virtuell, was ich im Netzwerk brauch (OPNsense, Napp-IT, diverses anderes). Ohne genauer auf die Verhaltensweisen im Detail einzugehen, war es nicht möglich, mit allem was das so läuft an die 10G Schallmauer mit einem Datenstrom ran zu kommen. Mit mehreren Datenströmen aber schon, das heißt es liegt nicht am Switch, der Verkabelung oder am Client, sondern irgendwas im Server kann da nicht ganz so frei athmen wie es soll.

Die OPNsense VM mit einem vmxnet3 adapter bekomme ich zum Beispiel nicht über 2,7G (scheint ein FreeBSD Treiber-Thema mit dem vmxnet3 Adapter zu sein). Also hab ich recherchiert, ob denn wenigstens die X550 im Passthrough gut mit Opnsense läuft. Leider bin ich auch hier auf einige Quellen gestoßen, die haben erkennen lassen, dass FreeBSD wohl auch nicht so gut mit der X550 kann.

Da die Sense quasi der Mittelpunkt meines Netzes ist und ich stark segmentiere, würde ich da schon gern die 10G sehen.

Ich bin dann aber auf ein, zwei Beiträge gestoßen, in denen beschrieben wurde, dass nach Aktualisierung der x550-Firmware deutliche Besserung eingetreten ist. Zwar unterstützt Intel FreeBSD mit der x550 wohl offiziell nicht richtig, aber trotzdem scheint ein FW-Update wohl Abhilfe zu schaffen.

Also hab ich mir mal die X550-T2 auf meinem X570D4U-2L2T etwas genauer angeschaut und festgestellt, dass da ab Werk die wohl älteste FW installiert ist, die es gab. Bei mir war FW v1.147 (hex 1.93) installiert. Diese Version ist wohl von 2018. Aktuell ist Stand heute v3.60. Ich hab dann kurzerhand mal die Firmware aktualisiert. Zum Download des FW-Updaters geht es hier. Der FW-Update ist für Win, Linux, FreeBSD und ESXi verfügbar, das heißt es sollte für jeden was dabei sein. Hier gehts zum Download:

Update-Utility für nichtflüchtigen Speicher (NVM) für Intel® Ethernet-Netzwerkadapter X550er-Reihe

Bietet das NVM-Update-Dienstprogramm (Non-Volatile Memory) für konvergierter Intel® Ethernet-Netzwerkadapter X550er-Reihe

www.intel.de

Laut VMware compatibility guide scheint FW 3.60 wohl Voraussetzung für ESXi 8 zu sein:

https://www.vmware.com/resources/compatibility/detail.php?deviceCategory=io&productid=44159

In der Datei mit den FW-Updates sind die Updater für alle genannten Betriebssysteme enthalten. Das Update über ESXi geht wie folgt:

Datei von obigem Link runterladen, zip entpacken
Darin enthaltene X550_NVMUpdatePackage_v3_60_ESX.tar.gz entpacken
Darin enthaltene X550_NVMUpdatePackage_v3_60_ESX.tar.gz entpacken (es entpackt den Ordner X550 mit dem Unterordner ESXi_64 mit jede Menge files darin)
Die Dateien aus dem ESXi_64 auf den ESXi Host hochladen (entweder über SCP in ein beliebiges Verzeichnis, z.B. /tmp/X550 wie hier im Beispiel)
SSH auf den ESXi
Nur ab ESXi v8 diesen Befehl absetzen: esxcli system settings advanced set -o /User/execInstalledOnly -i 0
1. Erklärung: Deaktiviert execInstalledOnly
2. https://docs.vmware.com/en/VMware-v...UID-DF6A7974-62F9-47DB-A990-963F3B3AEA77.html
Execution bit für den FW-Updater setzen mit dem Befehl: chmod +x /tmp/X550/nvmupdaten64e
FW-Update ausführen mit dem Befehl: /tmp/x550/nvmupdaten64
1. Achtung: Das FW-Update frägt nicht nochmal, ob das Update gestartet werden soll, sonder nur noch, ob man ein Backup machen will:
Y und Enter drücken um ein Backup der aktuellen FW zu erstellen. Das Update fängt dann auch sofort an.
Sieht dann so aus und wird mit einem Reboot des Systems abgeschlossen.

Nach dem Reboot war auch alles wieder wie gewohnt verfügbar.

Achtung: Der Ordner /tmp/x550 wird durch den Reboot wieder weg gelöscht. Auch das Execution bit geht verloren und muss ggf. neu gesetzt werden.

Ich hab das ganze nochmal hochgeladen und er Updater bestätigt dann auch, dass die aktuelle Version installiert ist:

Zum Schluss noch execInstalledOnly wieder aktivieren mit: system settings advanced set -o /User/execInstalledOnly -i 1

Das Update hat erstmal keine Verbesserung in Sachen Bandbreite mit der OPNsense in Verbindung mit dem vmxnet3 Adapter gebracht. War auch nicht anders zu erwarten. Ich werde die kommenden Tage aber mal die x550 über Passthrough an die Sense durchreichen und dann mal weiterschauen...

MisterY · 16.09.2023

Was für ein wall of Text... gibt es ein TL: DR?

chicken · 16.09.2023

Weiß nicht was dein Problem ist. Auf meinem 57" Monitor sieht das nach recht wenig aus.

fhaefemeier · 25.01.2024

Ich habe eine Frage an die Spezialisten hier. Habe einen Server auf Basis dieses Boards aufgebaut und seit ca. 2.5 Jahren am laufen. Angeschlossen sind u.a. 3x 16 TB Platten (SATA_5 - SATA_7) und 2x SSD 1TB/2TB (Board M2_1 und M2_2) direkt auf dem Board. Ales lief super. Jetzt habe ich zwei weitere Platten (2x 16TB, SATA_3 und SATA_4) eingebaut. Nach dem Reboot mußte ich im BIOS unter Storage Configuration feststellen, dass nur SATA_3 die Platte anzeigt, SATA_0 - SATA_2 "Not detected" angibt, aber SATA_4 - SATA_7 nichts, einfach leer (siehe Screenshot). Auch der M2_2 zeigt zwar die SSD/NVMe aber SATA nichts (statt wie erwartet "Not detected").
Wenn ich die Platte aus SATA_3 rausnehme, dann werden mir die 4 Platten von SATA_4-SATA_7 angezeigt, dafür erscheint dann in SATA_0 - SATA_3 nichts (kein "Not detected")

Idee, was das sein könnte? Nach dutzenden Versuchen (mit unterschiedlichen Ergebnis) tippe ich so langsam auf ein Problem mit dem Board...

MisterY · 26.01.2024

Da meine Glaskugel aktuell in RMA ist und ich nicht weiß, was für ein Board du hast, frage ich mal blöd: Hast du mal im Handbuch nachgeschaut, ob SATA-Ports deaktiviert werden, wenn du die zweite NVME reinsteckst?

fhaefemeier · 26.01.2024

MisterY schrieb:
Da meine Glaskugel aktuell in RMA ist und ich nicht weiß, was für ein Board du hast, frage ich mal blöd: Hast du mal im Handbuch nachgeschaut, ob SATA-Ports deaktiviert werden, wenn du die zweite NVME reinsteckst?

Also das Board ist "ASRock Rack X570D4U-2L2T" (bin doch hier im richtigen Sammelthread, oder?) und ja, habe ich und nein, gibt es nicht (nichts gefunden). Wie ich auch schrieb werden die Platten in SATA_4 - SATA_7 erkannt, wenn ich SATA_3 rausnehme. Es scheint so, als ob die ersten vier Platten und die letzten vier jeweils eine Gruppe bilden und jeweils nur eine Gruppe funktioniert.

Evtl. hat es keinen direkten Zusammenhang, aber bevor ich dieses (Boot) Problem bemerkte, ist mir die Viper SSD plötzlich aus dem System gefallen. Heißt, der Kernel hat die SSD nicht mehr ansprechen können, weil plötzlich vom Bus getrennt.

MisterY · 26.01.2024

Schande über mein Haupt: Habe den Threadtitel nicht gelesen :fresse:

fhaefemeier · 28.01.2024

Kleines Update: nach einem Hinweis vom ASRock Support, habe ich das BIOS aktualisiert (1.4->1.7). Das brachte tatsächlich eine Verbesserung. Alle Platten und SSD werden jetzt korrekt erkannt. Allerdings gibt es jetzt noch ein Problem mit USB. Aktuell zeigt mir Dr. Debug den Fehlercode B4. Außerdem wird mein Speicher nicht mehr korrekt automatisch erkannt. Geringere Geschwindigkeit (2666 statt 3200). Das war vor dem Update korrekt.

phqzgunsfjror · 27.04.2024

Am liebsten würde ich einen [Sammelthread] ASRock Rack B650D4U-2L2T/BCM erstellen, habe aber leider noch keine Rechte dafür.

Ich wollte unbedingt meinen Server professioneller machen (vorher J3455), wollte unbedingt ECC und 10GBe. IMPI ist sehr wünschenswert (notfalls ginge auch ein PiKVM). Am liebsten mit AMD und dem modernen AM5 Sockel. Dann bin ich beim ASRock Rack B650D4U-2L2T/BCM gelandet.
Es gibt noch Kombinationen mit älteren Boards und Nachrüstung mit PCIe Karten, wo man auf Ähnliches kommt, wollte mir aber die PCIe für zukünftige Upgrades freilassen (z.B. eine Grafikkarte für lokale LLMs, ...)

Anwendungen sind: Proxmox, OPNsense, Pihole, TrueNAS, Nextcloud, Matrix/Element, Nginx Proxy und noch vieles drumherum...

Nun ist der Stromverauch im Idle doch höher als gedacht und wollte fragen, ob es Leute gibt, die die Leistungsaufnahme senken konnten.
Ohne TrueNAS sind es ~50W
Mit TrueNAS sind es ~60-65W
Only IPMI zieht 12,1W
Ich habe 3x 4TB SATA SSDs (und eine NVMe als Systemplatte) verbaut, die im Idle zusammen nur ~3W ausmachen.
Powertop hat keiner Erfolge gebracht, es ist zu 99% in C3-State. Bessere C-States scheinen durch DDR5 nicht möglich zu sein.
(Alles mit einem separaten Strommessgerät gemessen)

Undervolten, TDP, PPT, TDC, EDC - bringt im Idle nichts.

Irgendwelchen Rat und Erfahrung? Evtl unbenötige PCIe und NICs abschalten? Das Bios ist aber nicht intuitiv genug, um so etwas zu finden...

MisterY · 28.04.2024

Welchen CPU governor hast du aktiv?

Nur C3 state ist natürlich ein Stromfresser. Da wird wohl etwas das verhindern. ASPM wird von allen Geräten unterstützt und ist aktiv?

Aber ipmi und 10g sind schonmal 20 W extra.

phqzgunsfjror · 15.06.2024

Sorry für die später Anwort. Irgendwie ist es untergegangen und ich musste ein Teil durch die Garantie schicken...

scaling_governor hat powersave
Besser als C3-State, scheint wohl leider allgemein durch DDR5 beblockt.

Physical Status
Form Factor	micro-ATX
Dimensions	9.6"x9.6" (244mmx 244mm)
Processor System
CPU	supports 3rd Gen AMD Ryzen™ Processors and 2nd Gen AMD Ryzen™ Processors with Radeon™ Graphics
Socket	AM4 PGA 1331
Power Design	105W
Chipset	AMD X570
System Memory
Capacity	4 DIMM slots (2DPC)
Type	288-pin DDR4 ECC* and non-ECC UDIMM * ECC support varies by CPU
DIMM Size Per DIMM	up to 32GB per DIMM
DIMM Frequency	3rd Gen AMD Ryzen™ Processors : up to 3200 MHz 2nd Gen AMD Ryzen™ Processors with Radeon™ Graphics: up to 2666 MHz
Voltage	1.2V
Expansion Slot
PCIe 4.0 x 16	SLOT6: Latch PCIe x16 (PCIe 4.0 x16)* [CPU], auto switch to PCIe4.0 x8 when SLOT4 is occupied *Supports PCIe3.0 x8 when using 2nd Gen AMD Ryzen™ Processors with Radeon™ Graphics
PCIe 4.0 x 8	SLOT4: Open-end PCIe x8 (PCIe 4.0 x8)* [CPU] *Disabled when using 2nd Gen AMD Ryzen™ Processors with Radeon™ Graphics
PCIe 4.0 x 1	SLOT5: PCIe 4.0 x1* *Supports PCIe3.0 when using 2nd Gen AMD Ryzen™ Processors with Radeon™ Graphics
M.2	1 M-key (PCIe4.0* x4 or SATA 6Gb/s); Form factor: 22110/2280/2260/2242 [CPU] 1 M-key (PCIe4.0* x4 or SATA 6Gb/s); Form factor: 2280/2260/2242 [X570] *Supports PCIe3.0 when using 2nd Gen AMD Ryzen™ Processors with Radeon™ Graphics
Storage
SATA Controller	X570 (12 SATA 6Gb/s, support RAID 0/1/10): 8 SATA 7-pin connectors, including 1 support SATA DOM 4 SATA via optional M2-HD M.2 device
Ethernet
Additional GbE Controller	2 RJ45 (10GbE) by Intel® X550-AT2 2 RJ45 (1GbE) by Intel® i210
Management
BMC Controller	ASPEED AST2500 : IPMI (Intelligent Platform Management Interface) 2.0
IPMI Dedicated GLAN	1 x Realtek RTL8211E for dedicated management GLAN
Graphics
Controller	ASPEED AST2500: 1 DB15, 1 (15-pin) header 2nd Gen AMD Ryzen™ Processors with Radeon™ Graphics: 1 HDMI
Rear Panel I/O
HDMI	1
VGA Port	1
USB 3.2 Gen2 Port	2
Lan Port	2 RJ45(1GbE), 2 RJ45 (10GbE)
Dedicate LAN	1
Serial Port	1
UID Button/UID LED	1
Internal Connector
Front Lan LED Connector	1 for LAN3/LAN4
Auxiliary Panel Header	1 (18-pin): chassis intrusion, system fault LED, LAN1/LAN2 activity LED, locate, SMBus
TR1 Header	1
TPM Header	1 (17-pin, LPC), 1 (13-pin, SPI)
IPMB Header	1
VGA Header	1
PMBus CONN	1
Buzzer	1
Fan Header	3 (6-pin), 3 (4-pin)
Front Panel	1 (9-pin): power switch, reset switch, system power LED, HDD activity LED
Speaker Header	1
BMC_SMB Header	1
Power Connector	1 ATX main power (24-pin), 1 ATX 12V (8-pin)
Clear CMOS	1 contact pads
Onboard LED
Standby PWR LED 5vsb	1
80 Debug Port LED	1
Fan Fail LED	6
System BIOS
BIOS Type	32MB AMI UEFI Legal BIOS
BIOS Features	Plug and Play (PnP), ACPI 2.0 Compliance Wake Up Events, SMBIOS 2.8.0 Support, ASRock Rack Instant Flash
Hardware Monitor
Temperature	CPU/ DRAM/ MB/ Card Side/ 10G LAN/X570 temperature sensing
Fan	Fan Tachometer Quiet Fan (Allow Chassis Fan Speed Auto-Adjust by CPU Temperature) Fan Multi-Speed Control
Voltage	3VSB, 5VSB, VCPU, VSOC, VCCM, APU VDDP, PM VDD CLDO, PM VDDCR S5, PM VDDCR, BAT, 3V, 5V, 12V
Environment
Temperature	Operation temperature: 10°C ~ 35°C / Non operation temperature: -40°C ~ 70°C

Suche

[Sammelthread] ASRock Rack X570D4U-2L2T

i-B4se

Urgestein

ASRock > FAQ

i-B4se

Urgestein

MisterY

Urgestein

i-B4se

Urgestein

chicken

Enthusiast

Update-Utility für nichtflüchtigen Speicher (NVM) für Intel® Ethernet-Netzwerkadapter X550er-Reihe

MisterY

Urgestein

chicken

Enthusiast

fhaefemeier

Neuling

MisterY

Urgestein

fhaefemeier

Neuling

MisterY

Urgestein

fhaefemeier

Neuling

phqzgunsfjror

Neuling

MisterY

Urgestein

phqzgunsfjror

Neuling

Ähnliche Themen