Gigabyte Mainboard MC12-LE0 AM4, IPMI, Dual Intel GB Lan ECC fähig

Mein Aufbau ist abgeschlossen. Bin sehr zufrieden.

IDLE Verbrauch an der Steckdose 31Watt: Mit Seasonic SSP-350 , Ryzen Pro 4650G, 10GBit Ethernet (Mellanox COnnectX-3), 48G DDR4 ECC, 6 Gehäuselüftern (4x 40mm, 2x 30mm),1x NVME Corsair MP510, 1x 2,5" HDD, 5x 2,5" SSD

EDIT: Lüfter optimiert, ILDE jetzt 28 Watt. Olé.

Mit einem ASRock B450M Pro4 und einem DeLock 2xSATA PCI-Adapter waren es 23 Watt mehr. Ouch.

Bin einmal auf die Nase gefallen. Stecken 2 identische RAM-Module in A0 und B0, startet das System überhaupt nicht. Stecken Sie in A1 und B1, ist es kein Problem. Im Handbuch steht rein garnichts zu einer erforderlichen oder empfohlenen Anordnung.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
So, ich hab den Gelid jetzt gegen den XP90-53 getauscht in der günstigsten Version. Hat im Endeffekt jetzt von der Temperatur her weniger gebracht als erwartet unter Vollast. Vorher warens 95° beim 10min Stresstest (stress unter Linux), mit dem XP90 sinds jetzt 87° gewesen. Die Umgebungstemperatur war aber etwas höher würde ich vermuten (habs leider nicht mitgeloggt).

Insofern wär der XP120 doch interessant, hat aber bei mir im Gehäuse zu wenig Luft nach oben.
 
Durchaus möglich dass die Karte einfach (teil)defekt ist. Habe mehrere Exemplare gehabt und dabei gemischte Ergebnisse, siehe
Beitrag im Thema 'Gigabyte Mainboard MC12-LE0 AM4, IPMI, Dual Intel GB Lan ECC fähig'
https://www.hardwareluxx.de/community/threads/gigabyte-mainboard-mc12-le0-am4-ipmi-dual-intel-gb-lan-ecc-fähig.1347943/post-30256280
Danke für die Infos. Ich habe nun etwas rum probiert:

8x4x4x
  1. (1. Port) Samsung + (2. Port) Kingston -> nichts erkannt
  2. (1. Port) Samsung + nichts -> Samsung erkannt
  3. (1. Port) Kingston + (2. Port) Samsung -> Samsung erkannt
  4. 2x (1. Port) Samsung + (2. Port) Kingston -> Kingston erkannt
Der LSI wurde (immer?) erkannt. Habe auch durch leichtes nach oben halten bzw. unten hängen lassen getestet, ob die Erkennung ich ändert, keine Änderung feststellbar.

4x4x8x
  1. 2x (1. Port) Samsung + (2. Port) Kingston -> beide Erkannt!
  2. 2x (1. Port) Samsung + (2. Port) Kingston + LSI -> Nur Kingston erkannt
Nun blicke ich nicht mehr durch, bis erkenne keine Logik 😅

P.S: Beide LEDs leuchten wenn m2 vorhanden und 4x4x4x4x hat nichts erkannt (nicht das die BIOS Anzeige falsch ist).
 
@buyman
Welches Gehäuse nutzt du denn und wie wird das belüftet? Mein 3800X im Inter-Tech 3U-30248 (2x Noctua NF-A12x25, MSI x370 XPower Gaming Titanium, RX480 8GB) kommt mit dem Noctua NH-L9x65 auf gerade mal 82°C unter s-tui. Soviel schlechter sollte der Kühler nicht sein. Und meine CPU ist schon ne Heizplatte für sich. Entweder hast du nen schlechten 3700er erwischt (undervolting in BEtracht gezogen?) oder da muss mehr Luftdurchsatz ins Gehäuse.
 
So, mein MC12-LE0 ist jetzt zum Produktivsystem geworden. Läuft soweit alles super. Aufgrund der Erfahrungen hier, habe ich kein Stromsparwunder erwartet, bin aber doch etwas enttäuscht über den Verbrauch.

Ich bin jetzt bei ca. 58 Watt im Durchschnitt, CPU-Auslastung dümpelt irgendwo zwischen 0 und 2%. Das Setup sieht wie folgt aus:
Auf dem Server läuft Proxmox, aktuell laufen nur 3 Container und 6 VMs. Alles recht schlanke Debian-Systeme die überwiegend idlen.

Im Bios habe ich bislang die zwei onboard Nics deaktiviert. Mit den P-States / Power Governor usw. habe ich noch nichts ausprobiert. Nach dem was ich gelesen habe, war es teilweise so, dass die CPU zwar tiefer heruntertaktet, aber der Verbrauch minimal (wenn überhaupt) gesunken ist.

Seht ihr noch potential, ein paar Watt heraus zu kitzeln? ;-)

Vielen Dank und viele Grüße
 
Du koenntest mal den Output von `turbostat -i 5 -n 5` hier posten - da sieht man recht gut, ob was offensichtlich verkonfiguriert oder sonstwie in Schieflage ist.
 
Sehr gerne:
(Achso, der Eco-Mode ist im Bios aktiviert.)

Bash:
root@pve-core:[~]:turbostat -i 5 -n 5
turbostat version 2022.10.04 - Len Brown <lenb@kernel.org>
Kernel command line: initrd=\EFI\proxmox\6.8.8-2-pve\initrd.img-6.8.8-2-pve root=ZFS=rpool/ROOT/pve-1 boot=zfs
CPUID(0): AuthenticAMD 0x10 CPUID levels
CPUID(1): family:model:stepping 0x19:21:2 (25:33:2) microcode 0x0
CPUID(0x80000000): max_extended_levels: 0x80000023
CPUID(1): SSE3 MONITOR - - - TSC MSR - HT -
CPUID(6): APERF, No-TURBO, No-DTS, No-PTM, No-HWP, No-HWPnotify, No-HWPwindow, No-HWPepp, No-HWPpkg, No-EPB
CPUID(7): No-SGX No-Hybrid
RAPL: 234 sec. Joule Counter Range, at 280 Watts
/dev/cpu_dma_latency: 2000000000 usec (default)
current_driver: acpi_idle
current_governor: menu
current_governor_ro: menu
cpu9: POLL: CPUIDLE CORE POLL IDLE
cpu9: C1: ACPI FFH MWAIT 0x0
cpu9: C2: ACPI IOPORT 0x414
cpu9: cpufreq driver: acpi-cpufreq
cpu9: cpufreq governor: performance
cpufreq boost: 1
cpu0: MSR_RAPL_PWR_UNIT: 0x000a1003 (0.125000 Watts, 0.000015 Joules, 0.000977 sec.)
Core    CPU    Avg_MHz    Busy%    Bzy_MHz    TSC_MHz    IPC    IRQ    POLL    C1    C2    POLL%    C1%    C2%    CorWatt    PkgWatt
-    -    28    0.71    3870    3394    0.70    13891    60    2295    10873    0.00    0.23    99.08    1.40    15.34
0    0    34    0.87    3935    3394    0.61    868    2    200    713    0.00    0.35    98.79    0.26    15.34
0    8    58    1.43    4027    3394    0.81    2801    2    287    1515    0.00    0.40    98.19
1    1    29    0.76    3818    3394    0.49    707    2    191    572    0.00    0.20    99.06    0.20
1    9    24    0.64    3762    3394    0.42    892    16    95    814    0.01    0.12    99.26
2    2    47    1.17    4013    3394    1.17    944    1    175    776    0.00    0.30    98.55    0.26
2    10    37    0.96    3833    3394    0.55    1885    7    260    1693    0.00    0.29    98.78
3    3    20    0.54    3715    3394    0.36    732    4    158    567    0.00    0.39    99.08    0.15
3    11    21    0.55    3703    3394    0.33    813    2    119    710    0.00    0.26    99.21
4    4    21    0.56    3746    3394    0.41    633    1    161    520    0.00    0.34    99.11    0.11
4    12    12    0.34    3698    3394    0.35    292    1    78    244    0.00    0.18    99.49
5    5    30    0.74    4031    3394    0.73    486    20    59    382    0.01    0.05    99.22    0.12
5    13    26    0.60    4264    3394    2.22    430    0    95    344    0.00    0.14    99.26
6    6    34    0.92    3706    3394    0.40    1183    2    105    1043    0.00    0.12    98.99    0.20
6    14    21    0.55    3750    3394    0.47    519    0    75    433    0.00    0.30    99.16
7    7    16    0.42    3714    3394    0.34    377    0    154    277    0.00    0.13    99.46    0.11
7    15    12    0.33    3659    3394    0.41    329    0    83    270    0.00    0.10    99.57
 
Der ECO-Mode capped afaik nur, wie viel die CPU maximal gurgeln darf - auf die minimale Leistungsaufnahme hat er keinen Einfluss.

Deine CPU kann offenbar nicht in den niedrigsten Idle-State (C3) der Plattform wechseln, die Gruende dafuer koennen vielfaeltig sein. Ich weisz leider nicht, wie man die Ursache am Unaufwendigsten ermitteln kann. C3 zu erreichen koennte dir ggf. nochmal ein paar (aber sicher nur wenige) Watt sparen.
 
Zuletzt bearbeitet:
Ok, danke Dir! Dann muss ich vermutlich damit leben. In dem Screenshot hier sieht man übrigens schön, wie der Pegel um 5-10 Watt gestiegen ist, nachdem ich gegen 15 Uhr die VMs und LXCs umgezogen habe. Erstaunlich, da die Auslastung ja bei fast 0 liegt. Jetzt muss man dazu sagen, dass der Tasmota Stecker nicht haargenau kalibriert ist, aber wenn der reale Wert abweicht, dann zeigt er eher zu viel als zu wenig Verbrauch an.

grafana.png
 
Lies‘ Dir mal meinen Post durch und gebe mal Bescheid, wie viel sich bei Dir verändert hat:

Beitrag automatisch zusammengeführt:

Prüfe auch, ob Du ASPM aktiviert hast/aktivieren kannst. Das ist in den folgenden Beiträgen beschrieben.
 
@gromitnova
Schade. Also ohne die VMs bei 47WE ca.?
Zumindest testen könntest du mal ohne Lüfter. Gerade wenn man ältere, sehr viele oder leistungsstarke Lüfter (für Server) verwendet kann man dort eine Überraschung erleben.
Da du schreibst es sei bereits dein Produktivsystem wird es schwer mal die Komponenten abzuklemmen/einzeln zu testen, ob du dort irgendwo einen Ausreißer hast?
Ist es eine Vermutung, dass die HDDs nicht (oder gering) zum Verbrauch beitragen oder weist du du, dass sie tatsächlich im Stand-by sind?

Irgendwelche USB-Geräte hast du nicht vergessen abzustecken?

Wenn du eh keine PCIe 4.0 Karten (SSDs) verbaut hast verbaut hast: Bringt es etwas die Geschwindigkeit im BIOS auf PCIe 3.0 manuell für alles zu setzen?
 
Es ist ein normaler ATX Tower mit drei 120er Lüftern vorne und einen hinten. Da sie schon sehr herunter geregelt werden, bemerke ich keinen großen Unterschied, wenn ich sie im laufenden Betrieb abstöpsel. Ich kann dem aber nochmal im Detail nachgehen.

Da hast du recht, jetzt ist es etwas unpraktisch, noch viel auszubauen. Zumal meine erste Vermutung / Experiment die PCI-zu-NVME Karte von Asus wäre... da läuft aber nicht nur der Mirror für die VMs, sondern auch der Mirror für das Hostsystem selbst.

Die Festplatten sind sicher im standby (hdparm), die brauche ich nur selten, also lasse ich sie 30 Minuten nach jeder Benutzer wieder schlafen gehen.

Per USB ist nichts verbunden.

Das Herabsetzen auf PCIe 3.0 könnte ich mal testen. Irgendwie gefällt mir das zwar nicht so ganz... auch wenn es unsinnig ist. Aber ein guter Test wäre es. Danke erstmal für die Anregungen!
 
@gromitnova Ich verstehe den Ansatz nicht, Du hast doch das Problem, dass Du zu viel Strom verbrauchst und ein Ansatz ist, dass die CPU nicht in den richtigen IDLE State kommt.

Dafür habe ich eine Anleitung geschrieben. Schau einfach nur ein paar Beiträge weiter oben.

Zusätzlich kann es helfen ASPM zu aktivieren.

Damit sollte dann auch C6 erreicht werden.
 
Zusätzlich kann es helfen ASPM zu aktivieren.

Damit sollte dann auch C6 erreicht werden.
Das Board hat doch gar keine ASPM-Option im BIOS. :rolleyes2:
...zumindest nicht mit einem Monolithen. Es gibt allerdings leicht andere Optionen, wenn man einen Chiplet verbaut hat.
 
Deine CPU kann offenbar nicht in den niedrigsten Idle-State (C3) der Plattform wechseln, die Gruende dafuer koennen vielfaeltig sein.
An was erkennst du das?
Ich dachte Turbostats in dieser Version könne das bei amd Chips dieser Generation gar nicht erkennen?
 
@buyman
Welches Gehäuse nutzt du denn und wie wird das belüftet? Mein 3800X im Inter-Tech 3U-30248 (2x Noctua NF-A12x25, MSI x370 XPower Gaming Titanium, RX480 8GB) kommt mit dem Noctua NH-L9x65 auf gerade mal 82°C unter s-tui. Soviel schlechter sollte der Kühler nicht sein. Und meine CPU ist schon ne Heizplatte für sich. Entweder hast du nen schlechten 3700er erwischt (undervolting in BEtracht gezogen?) oder da muss mehr Luftdurchsatz ins Gehäuse.

Gehäuse ist ein Inter-Tech NAS-8, belüftet mit 3 Stück 80x80x10mm Lüftern aus China (https://de.aliexpress.com/item/1005005952005094.htm). Hier könnte ich sicher noch etwas optimieren mit besseren Lüftern. Und den 3700X undervolten ist sicher auch keine schlechte Idee. Die Vollkupfervariante vom Thermalright hätte sicher auch mehr gebracht. Ein ID-COOLING IS-55 würde von der Höhe her auch passen (im Gegensatz zum AXP120-67 und sicher auch besser kühlen. Aber ich denke nicht, dass der 3700X oft unter Vollast laufen wird im Server. Wobei, ausschließen möchte ich es nicht.

Den gesamten Build habe ich jetzt hier mal dokumentiert (auch für mich selbst):

Ist doch insgesamt jetzt mehr verbaut als gedacht. Jetzt müsste ich mich dann langsam auch um das MJ11-EC1 kümmern als nächstes Projekt :fresse2:
 
Lies‘ Dir mal meinen Post durch und gebe mal Bescheid, wie viel sich bei Dir verändert hat:

Beitrag automatisch zusammengeführt:

Prüfe auch, ob Du ASPM aktiviert hast/aktivieren kannst. Das ist in den folgenden Beiträgen beschrieben.
Ich habe es heute Abend mal ausprobiert. Die Kerne gehen jetzt teilweise bis 500Mhz runter. Die Spikes nach oben scheinen aber umso mehr "spürbar" zu sein. Jedenfalls sehe ich in Grafana plötzlich Ausschläge zwischen 90 und 100 Watt, die ich zuvor nicht hatte. So arg dürfte der CPU doch gar nicht reinhauen, wenn ich durch den Eco-Mode auf 45Watt begrenzt bin!?

Wie dem auch sei, mir ist dadurch aufgefallen, dass die Festplatten teilweise aus dem Standby herauskommen. Das war zuvor nicht so, als die beiden Platten (bzw. der ganze HBA) an eine VM durchgereicht wurde. Jetzt liegt das NAS auf einem LXC, vermutlich muss ich erst nochmal nachsteuern um sicherzugehen, dass die Platten auch schlafen bleiben.

Dann ist mir während der letzten zwei Tage aufgefallen, dass der Verbrauch laaaaangsam immer mehr ansteigt, erst war es so gegen 55 Watt, heute war der Durchschnitt schon bei 63 Watt. Ich kümmere mich nun erstmal um die Festplatten und werde später nochmal berichten. Erstmal: Vielen Dank für Deine / Eure Hilfen und Anregungen!

Geklärt: Beim Testen hatte ich vorhin das Macbook am Strom angeschlossen und so wollte Timemachine auf die NAS Laufwerke ein Backup anlegen. Das kann natürlich nicht gut gehen, wenn ich die Platten dann im Schlaf zwingen möchte.

Ich pendle mit den neuen Einstellungen zwischen 50 und 60 Watt, bewege mich aber meist an unteren Ende. Ich lasse es laufen und werde den Langzeitverbrauch/-durchschnitt abwarten. Ein durchschlagender Erfolg zeichnet sich bis jetzt aber nicht ab.
 
Zuletzt bearbeitet:
Ich habe heute mein MC12-LE0 bekommen.
Ich möchte es in meinem NAS mit einem Ryzen 4650G einsetzen.
Aktuell sind BIOS F06 und BMC 12.61.21 sowie ein Ryzen 2200G und 1x4GB DDR4-2666 in Slot A1 installiert.
Das BMC wird angezeigt, die Infos über CPU und RAM sind aber komplett falsch. Es wird ein Ryzen 3600 erkannt, sowie dieser RAM:
DIMM_P0_B0 : Hynix HMA81GU7AFR8N-UHPresence Detected
DIMM_P0_B1 : Hynix HMA81GU7AFR8N-UHPresence Detected
DIMM_P0_A0 : Samsung M391A1K43BB2-CTDPresence Detected
DIMM_P0_A1 : InnoDisk M4C0-8GS1LCSJ
Installiert ist wie gesagt nur ein Riegel - Corsair Ballistix.
Ich habe BIOS Updates auf F11, F13 und F14 per BMC durchgeführt und jeweils danach das System ausgeschaltet und einige Minuten gewartet.
Mit wird weiterhin BIOS F06 angezeigt und ich habe kein Videosignal, weder "physisch" noch via BCM H5Viewer.
Da ich kein Display Out bekomme kann ich kein anderweitiges Update versuchen.
Was kann ich tun?
Achja: ich habe auch einen Ryzen 3350G und zwei RAM-Sticks versucht.
Damit wurden (im Gegensatz zu jetzt) keine Sensoren erkannt. Ansonsten gleiches Prinzip.
 
@TheColin21
Wie bereits auf deinen vorherigen (gelöschten?) Post geantwortet: mit den beiden CPU startet das Board nicht, egal welches BIOS - da nicht unterstützt. Erst ab Ryzen 3000 mit CPUs mit Zen 2 Kernen. Die 3000er APUs kommen noch aus der Generation davor.

Die BMC Hardwareinformationen aktualisieren sich erst bei einem Start des Mainboard. Du brauchst eine andere CPU.
 
Habe jetzt noch weiter mit den scaling drivers und governors experimentiert. Mit amd_pstate=active bin ich mit 49 Watt zwar am tiefsten gekommen, aber die häufigen und dafür umso ausgeprägteren Spikes nach oben machen den Durchschnitt tatsächlich wieder hin. amd_pstate=passive mit unterschiedlichen governors waren in einer kleineren und stabileren Range, zeigten mir aber im Wattverbrauch dennoch ein höheres Ergebnis. Alles im kleinen Bereich.

Jetzt nutze ich wieder den acpi-freqcpu driver und teste dort die verschiedenen governors, tatsächlich kann ich es aber auch einfach bei performance belassen. Dies entspricht der default-Einstellungen und auch wenn die CPU nicht immer bei 3,4Ghz bleibt, ist der Stromverbrauch im Druchschnitt ähnlich. Dann ist der Mindestwert bei ca. 53 Watt und schwankt bis in die 60 Watt, geht aber auch nicht viel höher. Ich bin froh, dass ich es ausprobiert habe, aber zumindest zum jetzigen Stand, sehe ich (für mein Setup!) keine Vorteil in den Änderungen an den scaling drivers und governors.

Ich habe festgestellt, dass der Server meist ab ca. 12 Uhr bis am Nachmittag mehr Stromverbrauch hat, meist bleibt dann der Durschnittsverbrauch um 5-10 Watt höher. Dieses Verhalten hatte ich von gestern bis heute auch mit den amd_pstate=active Treiber. Temperatur der Umwelt schließe ich dabei eher aus, da die Lüfter unter jeglichen mir getesteten Zuständen immer bei 600rpm bleiben, dennoch werde ich da auch nochmal am Mittag genauer messen. Es kann aber auch sein, dass ich den Server im Laufe meiner täglichen Tests immer zwischen 23 und 0 Uhr neu starte und der Verbrauch in einer Zeit von x Stunden nach einem Reboot langsam immer mehr Strom benötigt. Aber woran könnte das wohl liegen? Ich könnte jetzt nochmal das CPU-Verhalten per bashscript über längere Zeit loggen, gehe aber nicht davon aus, dass ich hier Mittags eine Besonderheit feststelle, die parallel zu meinem erhöhten Stromverbrauch liegt. So ein Verhalten konnte ich mit meinem alten Proxmox Server nicht bemerken.

Insgesamt komme ich zu dem Fazit, dass ich mit diesem Server meine Zeit besser in andere Dinge investieren kann, als den Wattverbrauch im minimalen Bereich zu tunen. Vermutlich hätte ich in dieser Zeit andere Dinge im Haus gefunden, wie ich mehr Strom hätte einsparen können. Trotzdem sehr interessant, für den Moment versuche ich aber mit dem Thema abzuschließen. Lediglich der langsam (über viele Stunden) ansteigende Verbrauch muss noch geklärt werden. :)

Bislang bin ich ansonsten mit dem Board zufrieden. Das Mounten von ISO Images finde ich hier allerdings blöd bis unmöglich. Auch das es so lange dauert, wenn ich keine SMB Freigaben nutze. Vielleicht romantisiere ich meine Erinnerungen hier, aber das kenne ich von meinem über 10 Jahre alten Supermicro Board nicht so. Da musste ich nie einen USB-Stick auspacken.
 
Zuletzt bearbeitet:
Der Verbrauch wird durch die NVME SSD erzeugt, nicht durch die Adapter Karte. Solang da keine PCIE Switche drauf verbaut sind haben die keinen Einfluss auf den Verbrauch.
 
Aktuell wieder verdächtig nahe am Bestpreis (aktuell 37,43€, Bestpreis ohne Fehler war 33,99) mit mini Kühler erhältlich.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh