Gigabyte Mainboard MC12-LE0 AM4, IPMI, Dual Intel GB Lan ECC fähig

[ebniv]

Ist das richtig, dass die 4000/5000 PRO APUs als Monolith weniger Watt benötigen als z.B. eine Chiplet CPU wieder 5600X?
Wenn ja, wie hoch ist die Differenz dazwischen? Danke euch!

# TLDR: Bei mir ca. 4 bis 5 W im Idle. Unter Last habe ich nie gemessen.
# -> Hat jemand ähnliche Erfahrungen / Messungen? Der Unterschied kommt mir fast etwas wenig vor.

Ich habe nur die Idle Zahlen von 5650G und 5600x aus meinen Tests ganz grob im Kopf: ~16W vs ~22W.

Ich wollte es mal umfangreicher (verschiedene Lastszenarien) testen, ist aber bisher nur unvollständig geblieben und leider unterschiedlichen Ram Konfigurationen (schlummern wohl auf Ewig in meinem Vorbereitungsforum):

Alle Test wurden mit folgendem identischen Setup durchgeführt:
Hardware:
Gigabyte MC12-LE0, 2x (4x) 32GB UDIMM ECC RAM (M391A4G43BB1-CWEQ), bq Straight Power 10 400W, AMD Boxed Lüfter (verbraucht im Idle ca. 0,3 W)
Betriebssystem:
unkonfiguriertes debian-live-12.4.0-amd64-lxqt.iso

Weitere Randbedingungen:
Image über Managment Lan geladen, ohne angeschlossenes Display mit Remote Control virtual Display

Stromverbauch [W]	Idle (ohne // mit virtual Display)	20%	50%	100% (single core/ all cores)
Ryzen Pro 5650G	16,7 W // 21,8 W (128GB)
Ryzen 5600X	20,8 W // 26,2 W (64GB)
Delta	4,1 W // 4,4 W

Ich hatte den 5650G auch noch mit Pure Power 10 300W und Pure Power 11 400W getestet.

Beitrag automatisch zusammengeführt: 21.04.2024

Edit:
Bei mir zieht der 5650G jetzt im vorerst "fertigen" System 32 W "Idle" (TrueNAS Scale, 64GB Ram, Straight Power 10 400W, 2x NVME SM961 im Mirror Raid mit dem Ali Adapter/Riser, 2x HDD WD Red Plus 3TB im Mirror Raid, App Pool eingerichtet aber keine gestarteten Apps, Home Assistant VM läuft, SMB Share eingerichtet aber kein Zugriff)

Edit2:
Bei mir zieht der 5650G jetzt im vorerst "fertigen" System 37,25 W "Idle" Wochenmittel (TrueNAS Scale, 64GB Ram, Straight Power 10 400W, 2x NVME SM961 im Mirror Raid mit dem Ali Adapter/Riser, 2x HDD Toshiba MG07 14TB im Mirror Raid, 1x HDD WD Red Plus 3TB, App Pool eingerichtet mit nexcloud und syncthing apps, Home Assistant VM läuft, SMB Share eingerichtet gelegentlicher Zugriff). HDDs laufen durch, kein Spin Down oder Stand by.
Die WD fliegt noch irgendwann raus, dafür liegt noch ein 2.5GbE Adapter im Schrank, dann lande ich vermutlich knapp unter 35W.

 

[Reflexion]

Ist halt schwer hier einheitlich ein Wert zu nennen, bei mir war es zwischen 5650G und 5600 ca.4-5Watt. Allerdings frisst im IPMI Mainboard im ausgeschalteten Zustand auch seine 3,9Watt.. ASRock E3C236D4M-4L mit IPMI kommt bei mir auf 4,5Watt.

 

[Haldi]

Bei mir zieht der 5650G jetzt im vorerst "fertigen" System 32 W "Idle" (TrueNAS Scale, 64GB Ram, Straight Power 10 400W, 2x NVME SM961 im Mirror Raid mit dem Ali Adapter/Riser, 2x HDD WD Red Plus im Mirror Raid, App Pool eingerichtet aber keine gestarteten Apps, Home Assistant VM läuft, SMB Share eingerichtet aber kein Zugriff)

TrueNas Scale eingerichteter AppPool reicht damit Kubernetes Fett Strom frisst, wenn du da 4-5 Apps laufen lässt die sehr wenig benötigen/gutes Idle haben verbraucht das kein Watt mehr -.-
Die HDD's sind aber im DeepSleep oder?
Was sagt Turbostat zu der Package Power?
Meine ist gerade so zwischen 22 und 24W im normalbetrieb mit dem 5600

Edit: Baremetal 5600 + 2TB NVME SSD, 2x32GB RAM und TrueNAS scale Blank installiert benötigt rund 23W bei nem Corsair AX750

Edit:
Ohne Mellanox Connect X3 10Gbit NIC auch ohne Funktionierendes Netzwerk aber mit 4x HDD im Sleep benötigt das System rund 34W...
Turbostat geht auch wieder auf 10.7W runter im PkgWatt.

Edit2: WTF....
bin nun mit 10Gbit Karte verbunden und habe 35W. Ohne Apps oder VM. HDD's vermutlich im Tiefschlaf.
Turbostat zeigt 11.6W an...

Sobald VM (home Assistant OS) angeschalten wird steigt der verbrauch auf 42W
Turbostat zeigt 15W

Und wenn dann der Apps Pool für Kubernetes wieder aktiviert wird steigt der verbrauch auf 52W.
Turbostat zeigt 22W an...

 

[ebniv]

TrueNas Scale eingerichteter AppPool reicht damit Kubernetes Fett Strom frisst

Deshalb habe ich das extra erwähnt. Unset Pool hat den Verbrauch (und damit vermutlich Stopp des App Service/ Kubernetes?) auf 29-30W abgesenkt.

Nach Ausschalten der VM ging es nochmal weiter runter auf 27-28W. Das ist dann quasi Idle. Die Home Assistant VM hat bisher allerdings auch kaum etwas zu tun.

Die HDD's sind aber im DeepSleep oder?

Wie finde ich das heraus? Ich glaube nicht:

In den Datenblättern der HDDs steht auch: 4.1W (Betrieb), 3.0W (Leerlauf)
Extra leise und sparsame wollte ich haben, wenn es langsam etwas eng wird mit der Speicherkapazität.

Was sagt Turbostat zu der Package Power?

Ist das PkgPower? Also 7.8 W?

 

[Haldi]

Wie finde ich das heraus? Ich glaube nicht:

Standardmässig Nie! Müsstest du absichtlich aktivieren.

Das 7.8W Package Power ist im Normal betrieb wo er 32W benötigt?

 

[ebniv]

Das 7.8W Package Power ist im Normal betrieb wo er 32W benötigt?

Ja

 

[wddn]

Gerade ein zweites Board bekommen fuer einen Bekannten.

Board startet gleich und ich komme ins BIOS und das BMC ist erreichbar.

ABER: ich komme nicht ins BMC mit "admin" und dem Passwort auf dem Karton... Ideen?
Reset
BMS ueber Shell flashen... bmc_fw_update_uefi.nsh cs 0 flashall
???

 

[ebniv]

ABER: ich komme nicht ins BMC mit "admin" und dem Passwort auf dem Karton... Ideen?

Das richtige Board ist in dem Karton (Seriennummer)? Man weiß ja nie 😅

Ein zweiter Aufkleber mit dem Passwort ist auf dem Kunststoff des x16 PCIe Slots angebracht

 

[besterino]

Wenn ich mich richtig erinner ist doch auch auf dem Board noch Kleber mit dem PW?

 

[DerFahnder]

Kann mir jemand sagen was dieser komische Schaumstoffgnubbel an dem M2-Slot ist? Ist das ein Temperatursensor?
Kann ich da einfach die SSD drauflegen?

 

[besterino]

Ja und ja.

 

[wddn]

Das richtige Board ist in dem Karton (Seriennummer)? Man weiß ja nie 😅 Ein zweiter Aufkleber mit dem Passwort ist auf dem Kunststoff des x16 PCIe Slots angebracht

Das habe ich als erstes gecheckt - ist identisch

Ueber shell habe ich es versucht, aber "Verifiy signature fail"... -> Update fail

bmc_fw_update_uefi.nsh cs 0 flashall -> dieser Befehl sollte flashen, aber den Fehler oben aus

 

[BobbyD]

@wddn Dann wirst du wohl deinen Kontakt bei Gigabyte nutzen müssen, vielleicht hast Du einen Rückläufer erhalten.

 

[bbott]

Gibt es eigentlich m.2 Adapter, welche die Bifurcation Funktion unterstützen? Um vier oder mehr M.2 an den 16x PCIe anzubinden?
Bei diesem wird er Hyper M.2 X16-Modus empfohlen (Was steckt dahinter?)

https://www.amazon.de/gp/product/B0BHWN7WKD/ref=ox_sc_act_title_1?smid=A1NC51ORMQANC2&psc=1

Ansonsten scheint er auch auf die Bifurcation Funktion des Mainboards (und CPU) angewiesen zu sein.

 

[wddn]

@wddn Dann wirst du wohl deinen Kontakt bei Gigabyte nutzen müssen, vielleicht hast Du einen Rückläufer erhalten.

Ich versuche erstmal diesen Weg aus dem L1Tech Forum...



How to reset BMC / MegaRAC SP-X / IPMI passwords / login details on Gigabyte Motherboards
For the ones who still wonder how to use it and need an idiot-proof guide:

1. download ipmicfg for UEFI from supermicro’s website
2. put it on a FAT32 formatted USB drive
3. start your machine and boot via UEFI shell
4. connect your USB drive
5. once u r in the shell, type “map -r” to see which name your drive has (usually “FS0:” or “FS1:”)
6. enter your drive by typing the drive name, in my case, it was “FS0:”
7. navigate to the impicfg folder containing the IPMICFG.efi file with command cd
8. now you can list all users by using the command “user list”, together with the file name: “IPMICFG.efi -user list”
9. take note of the user ID
10. set a new password with the command “-user setpwd < user ID > < password >” together with the file name “IPMICFG.efi -user setpwd < user ID > < password >”

and voilá, you changed the password now and access your account. enjoy your new access to the GIGABYTE Server Management Platform!

Es hat funktioniert!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
Fuck - so kann man jedes IPMI kapern wenn man moechte.... Ich habe das PW zurueck auf das auf dem Karton aufgedruckten

 

[besterino]

Du brauchst aber physischen Zugang zum Rechner, wenn dein Angreifer den hat, ist sowieso alles verloren...

 

[pumuckel]

für "idle/low Power Dinge gibts den Thread:

https://www.hardwareluxx.de/community/threads/die-sparsamsten-systeme-30w-idle.1007101/

zum Thema "sicherheit des IPMI PW" lies mal den 1. Post .... "Rücksetzung des PW" (drum gibst für IPMI meist ein sep. (v)Lan)

 

[scs]

So, am Wochenende endlich mal das System zusammengebaut und gestern installiert. Deshalb hier mal auch von mir ein Verbrauchswert:
Board: ist ja nun klar (aktuelles BMC/BIOS)
Konfiguration: Sound und 2. LAN-Port deaktiviert
CPU: Ryzen 5 Pro 4650G
Cooler: Thermalright AXP90-X53
RAM: 2x32GB Kingston ECC Module
Case: Fractal Design Node 804 (Gehäuselüfter nicht angeschlossen)
PSU: Corsair RM750x
NVMe: Samsung PM981 256GB
SATA: 4x Intel D3-S4510 480GB SSD
OS: Proxmox (powertop --auto-tune ausgeführt => State C3)
Monitor (ausgeschaltet) über VGA noch angeschlossen, scheint aber nichts zu ändern, wenn ich das VGA-Kabel löse.

Gemessen mit einer aktuellen Eve Energy komme ich auf genau 21W ohne VM oder wirkliche Aktivität auf dem System.
Mal schauen, an welchen Stellschrauben man im BIOS oder OS noch drehen kann, um da ggf. noch das eine oder andere Watt rauszuholen.

Grüße

 

[ebniv]

Mal schauen, an welchen Stellschrauben man im BIOS oder OS noch drehen kann, um da ggf. noch das eine oder andere Watt rauszuholen.

Das Datenblatt sagt die Intel SSDs ziehen bis zu 1.1 W im Idle (was relativ wenig ist für welche mit Power Loss Protection). Wenn die die tatsächlich benötigen bist du in ähnlichen Regionen wie andere und ich.
Berichte mal, falls du tatsächlich etwas finden solltest an Einstellungen zur Sparsamkeit, ich wäre extrem interessiert
Ich fürchte aber, dass da nicht allzuviel Hoffnung besteht.
Es sei denn du wagst dich an das Thema Undervolting und Begrenzung von Leistung und Takt.
Ich glaube da hat hier noch niemand mit rum Experimiert? Oder kann jemand zumindest aus der Erfahrung mit anderen Boards eine Vermutung abgeben, wie viel man hier vielleicht sparen kann bis das System Instabil wird?

 

[besterino]

Auch noch‘n Update:

5600G getauscht gegen 5600X und Silverstone Lüfter der beim Case dabei war getauscht gegen Noctua A8 (Rest unverändert: 64GB ECC RAM, 1x m.2 SSD, 2x Noctua 80er Lüfter, AMD Boxed CPU-Lüfter, 1x Lan-Kabel gesteckt (BMC nicht angeschlossen), Monitor am onboard VGA/BMC angeschlossen, Win11 Pro alle Treiber und Updates installiert, nach Anmeldung aber kein Programm läuft: aktuell 18,5W

 

[tolga9009]

Am WE hatte ich die Gelegenheit, die Samsung PM9A3 bei meinem EPYC 7252 + Supermicro H12SSL-i nochmal zu testen. Vollständigkeit halber: zusätzlich verbaut sind 2x 18TB WD DC HC550 3,5" SATA, Corsair HX750 750W 80Plus Platinum, 5x Noctua NF-A14 PWM 140mm, 2x Noctua NF-A12 PWM und ASUS Hyper M.2 PCIe 4.0 mit 3x Samsung PM9A3 (PLP, kein NVMe APST und kein ASPM). Verbrauch ohne 3x PM9A3 liegt bei 54W, mit komme ich auf 66W, also tatsächlich ca. ~4W pro NVMe (Datenblatt 3,5W im Idle). NAND-Temperatur im Durchschnitt 42°C, NVMe-Controller Temperatur kratzt an 60°C (mit Kühler). Minimales Live System ohne Apps und GUI, NVMe nicht mal gemountet - also wirklich "Idle".

@scs dafür, was du für eine Hardware verbaut hast, sehen die 21W sehr gut aus. Denke nicht, dass man da noch großartig mit dem MC12-LE0 noch was tun kann (oder muss). Überprüfen würde ich noch, ob Package C-State 6 erreicht wird (z.B. ryzen_smu) bzw. ob es aktiviert ist (ZenStates).

 

[wddn]

Gemessen mit einer aktuellen Eve Energy komme ich auf genau 21W ohne VM oder wirkliche Aktivität auf dem System.
Mal schauen, an welchen Stellschrauben man im BIOS oder OS noch drehen kann, um da ggf. noch das eine oder andere Watt rauszuholen.

Wenn man die Intel SSDs mit 4.4W idle kalkuliert, deckt sich das mit meinen Messungen. Viel mehr geht da nicht…

 

[robse]

... ich habe den 5650G dem 4750G da, die tun sich nicht viel ist eher messbar als spürbar, Du solltest nur daran denken, dass o.o.t.b der 5650G nicht erkannt wird, der 4750G schon. Ich lehne mich mal weit aus dem Fenster und sage, die VEGA ist mit dem code bei beiden APUs identisch. Mach mal eine Angabe was Du überhaupt vorhast,. für viele "NAS" vorhaben würde doch auch sowas langen für rund 100€; https://geizhals.de/amd-ryzen-5-pro-4650g-100-100000143mpk-a2336716.html?hloc=de dazu dann das Bundle mit dem Kühler und gut ist. Ich würde im Hinterkopf behalten das AV1 mal interessant werden könnte, da bist Du dann froh dass der ebenfalls 100€ https://www.mindfactory.de/product_info.php/AMD-Ryzen-5-5600-6x-3-50GHz-So-AM4-BOX_1447836.html ... eine NVMe mehr unter bekommst und ggf. mit Adapter #1.285 auch eine Intel Arc A380.

Meine Anforderungen hatte ich ein Stück weiter oben schon mal geschrieben:

Hallo zusammen,

ich plane aktuell meinen Dell T40 mit unraid zu ersetzen. Dieser hat aktuell folgende Ausstattung:
Intel Xeon E-2224G
16GB ECC RAM
1x 4TB WD RED HDD
1x 4TB Seagate IronWolf HDD

Auf dem Unraid laufen aktuell noch ein paar Docker Container:
Teamspeak
Grafana
Homebridge
iobroker
influxDB
photoprism
pihole

Aktuell habe ich unraid im Einsatz, bin mit dem System jedoch nie so richtig warm geworden, gerade beim Thema Shares usw. Jetzt plane ich mit dem neuen Server auf Proxmox umzusteigen und TrueNAS für die Netzlaufwerke einzusetzen.
Zu den Docker Containern und TrueNAS werden noch weitere Container (z.B. frigrate) hinzukommen und vielleicht noch 2/3 VMs kommen (Windows & Linux).

Ich habe für meinen neuen Server das hier angesprochene Board ins Auge gefasst, bin mir aber mit der CPU noch unschlüssig. Soll ich eine 5600x, 5700x oder eine APU nehmen? Als RAM würde ich 2x Kingston Server Premier DIMM 32GB einsetzen, passt das?

Der aktuelle Xeon-E2224G hat halt eine Intel UHD an Bord, welche meiner Meinung aktuell Rendering übernimmt, wenn ich von photoprism Videos abspiele. Funktioniert das dann mit dem 5700x überhaupt noch?

 

[BobbyD]

Funktioniert das dann mit dem 5700x überhaupt noch?

Woher sollen wir das wissen? Die Frage hat auch nichts mit dem Board hier zu tun.

 

[besterino]

Mit einer non-APU kannste Rendern dann halt nur noch mit der CPU - die onboard-Grafik (GPU will man das kaum nennen) wird das nicht (sinnvoll) machen. Laut den Specs von PhotoPrism ist eine Grafikeinheit nicht erforderlich und auch konkret zu Videoen-/transcoding kann man, muss man aber nicht eine GPU verwenden. Was wie performed kann ich Dir aber auch nicht sagen - meine Vermutung wäre aber, dass ein 5700X für einen Stream mal reichen sollte...

 

[bbott]

Auch noch‘n Update:

5600G getauscht gegen 5600X und Silverstone Lüfter der beim Case dabei war getauscht gegen Noctua A8 (Rest unverändert: 64GB ECC RAM, 1x m.2 SSD, 2x Noctua 80er Lüfter, AMD Boxed CPU-Lüfter, 1x Lan-Kabel gesteckt (BMC nicht angeschlossen), Monitor am onboard VGA/BMC angeschlossen, Win11 Pro alle Treiber und Updates installiert, nach Anmeldung aber kein Programm läuft: aktuell 18,5W

Also von 13,3W auf 18,5W (+5,2W)?

 

[besterino]

Jo, grob. Würde schätzen irgendwas im Bereich von 5-7W.

 

[littledevil]

5-7W unterschied ist echt allerhand. Schwanke noch, ob ich 5600x oder 5650G einsetze.
Die 5-7 W hat mein 24/7 server 8.gen intel komplett.

 

[besterino]

Jau, das zeckt mich grad auch etwas an. Aber die Kiste läuft bei mir eh nur bei Bedarf, insofern "who cares". Ohne ECC ist jedenfalls nicht und NOCH eine 5000er CPU bzw. APU hole ich mir jetzt nicht dafür.


Überlege auch gerade noch hin und her, ob ich dem nun noch eine 10Gbit-NIC spendiere oder es bei den 2x1Gbit belasse...

 

[littledevil]

Falls du nicht unbeding 4 nvme im x16 betreiben möchtest, könntest du dir ja auch den x8 +2xm.2 adoter holen. Das sollte ja klappen. In den x6 steckst fu ne schnrlle Lan karte und könntest noch im x4 unten eine pcie auf m.2 karte einbauen. Dann würden keine lanes vrach liegen, aber mehr sös 3 schnelle nvme ginge dann nur mit teuren aktiven karten oder anbindung über u2/u3

Für mich stellt sich die frage, ob mir ocie4 was bringt. Die meisten meiner vorhandenen ssd habe eh nur 3.0, lan karten mit 4.0 sind mir i.d.R. uzu kostspielig, also reicht auch 3.0
Bist der ssd schweinezyklus mal bei niedrigen preis an komm, werden wohl noch 2-3 jahre vergehen.