Vergleich: Leistungsaufnahme ECC-fähiger LGA-1700 Mainboards

[-bl!ndf!$h-]

Hallo zusammen,

ich befinde mich gerade in einem völlig übertriebenen Umstiegsprojekt von einem Synology DS-415+ auf ein selbstgebautes TrueNAS SCALE System, das als NAS und kleiner Hypervisor dienen soll.

Meinen Anforderungen gemäß habe habe ich folgende Hardware zusammengestellt:

• Intel Core i5-13600
• Noctua NH-U9S
• 2x Kingston Server Premier DIMM 16GB ECC
• 3x Samsung SSD 870 Evo 2TB, SATA
• 1x HP SSD S700 120GB, SATA (crappy Bootdrive )
• 2x Samsung SSD 980 PRO 2TB, M.2
• 4x Western Digital Ultrastar DC HC550 18TB
• 4x Western Digital Ultrastar DC HC510 10TB (noch vorhanden)
• Broadcom 9211-8i HBA (gebraucht)
• Intel X520-DA2 LAN-Adapter 10G SFP+ (gebraucht)
• Corsair RMx Series 2021 RM550x
• Inter-Tech 4U-4410

Zuletzt kam die Frage des Mainboards auf. Wichtig dabei war mir eine möglichst geringe Leistungsaufnahme des Grundsystems.
Das soll jetzt nicht in eine Diskussion darüber ausarten, wie viel Sinn das bei 8 Festplatten macht, ob Spindown schädlich ist, etc etc.
Mainboards, die für diese Hardware in Frage kommen, müssen entweder auf dem W680 Chipsatz oder dem R680E Chipsatz basieren, da beide ECC Unterstützung für LGA-1700 bieten.
Folgende Boards kamen daher für mich in Frage:

• ASUS Pro WS W680-Ace IPMI
• Kontron K3851-R
• Supermicro X13SAE-F

Allerdings habe ich im Internet keine detaillierten Angaben zu optimierter Leistungsaufnahme im Idle oder Package-C-State Verhalten bei (Nicht-)Verwendung bestimmter Slots gefunden.
Also habe ich mir alle drei Boards kommen lassen und entsprechende Messungen durchgeführt, die ich mit euch teilen möchte. Vielleicht helfen diese Informationen ja dem einen oder anderen, der auch in Erwägung zieht, eines dieser Mainboards zu verwenden.

Gemessen wurde die Leistungsaufnahme an der Steckdose mit einem Gude Expert Power Control 1100 (EPC-1100).

Vorgehen
Zuerst wurden im BIOS sämtliche Schnittstellen und Funktionen, die ich für den Server-Betrieb nicht benötige, deaktiviert (z.b. Serielle oder Parallel-Ports, Onboard Sound, zusätzliche LAN Controller, ...).
Alle Stromsparmodi für PCIe-Slots (ASPM) sowie CPU C-States wurden explizit aktiviert (ASPM: L1 mit Submodi L1.1 und L1.2 wo möglich, CPU auf C10).
Als Betriebssystem kam Debian 12 Bookworm zum Einsatz.
Zur Messung der C-States wurde Powertop 2.15 mit Support für Raptor Lake-S verwendet.
Jedes Board wurde mit unterschiedlichen Hardware-Konfigurationen getestet, um den Einfluss von Onboard-Komponenten und (Nicht-)Verwendung von M.2, PCIe-, oder SATA-Slots auf die Leistungsaufnahme und den Package C-States zu messen.
Die Hardware-Konfiguration wurde bei abgeschaltetem System hergestellt, dann wurde gebootet. Die erste Messung wurde nach dem Booten ins OS abgenommen, sobald die Leistungsaufnahme über mindestens 20 Sekunden stabil war. Dann wurde der Package C-State mit Powertop geprüft, danach powertop --auto-tune ausgeführt und der Package C-State sowie Leistungsaufnahme erneut gemessen.
Bei Verwendung von PCIe-Plätzen wurde in der Tabelle der jeweilige höchste erzielte C-State mit niedrigster Leistungsaufnahme aufgenommen. Dabei wurde in Kauf genommen, dass HBA und 10G NIC u.U. nur mit halber Anzahl an PCIe Lanes angebunden wurden, was aber vom Durchsatz her kaum eine Rolle spielen sollte, solange am HBA nur HDDs hängen (PCIe 2.0 x4 = 2GB/s für 8 HDDs = 250MB/s pro HDD).
Besonderheiten diesbzgl. sind im jeweiligen Absatz zum Mainboard separat beschrieben.

Folgende Tabelle zeigt alle verschiedenen Konfigurationen, für die der Verbrauch gemessen wurde:

Spoiler: Tabellarisch

Config​

​

​

​

Kontron K3851-R ATX

Kontron K3851-R ATX

Kontron K3851-R ATX

ASUS W680-ACE IPMI

ASUS W680-ACE IPMI

ASUS W680-ACE IPMI

Supermicro X13SAE-F

Supermicro X13SAE-F

Supermicro X13SAE-F

S-ATA Drive(s)​

Onboard LAN​

NVMe Slot 1​

NVMe Slot 2​

NVMe Slot 3​

Display​

HBA​

10G NIC​

Verbrauch​

PKG C-State​

powertop --auto-tune​

Verbrauch​

PKG C-State​

powertop --auto-tune​

Verbrauch​

PKG C-State​

powertop --auto-tune​

1​

x​

x​

​

​

​

​

​

13​

3​

13​

19​

2​

19​

19​

3​

17​

1​

x​

​

x​

​

​

​

​

13​

3​

13​

19​

2​

19​

19​

3​

17​

1​

x​

​

​

x​

​

​

​

N/A​

N/A​

N/A​

19​

2​

19​

19​

3​

17​

1​

x​

x​

x​

​

​

​

​

13​

3​

13​

19​

2​

19​

19​

3​

17​

1​

x​

x​

​

x​

​

​

​

N/A​

N/A​

N/A​

19​

2​

19​

19​

3​

17​

1​

x​

​

x​

x​

​

​

​

N/A​

N/A​

N/A​

19​

2​

19​

19​

3​

17​

​

x​

x​

​

​

​

​

​

13​

3​

13​

14​

3​

14​

19​

3​

17​

​

x​

​

x​

​

​

​

​

12​

3​

12​

14​

3​

14​

19​

3​

17​

​

x​

​

​

x​

​

​

​

N/A​

N/A​

N/A​

14​

3​

14​

19​

3​

17​

​

x​

x​

x​

​

​

​

​

13​

3​

13​

14​

3​

14​

19​

3​

17​

​

x​

x​

​

x​

​

​

​

N/A​

N/A​

N/A​

14​

3​

14​

19​

3​

17​

​

x​

​

x​

x​

​

​

​

N/A​

N/A​

N/A​

14​

3​

14​

19​

3​

17​

​

​

x​

​

​

​

​

​

12​

3​

12​

5​

8​

5​

19​

3​

16​

​

​

​

x​

​

​

​

​

12​

3​

12​

8​

6​

8​

17​

3​

16​

​

​

​

​

x​

​

​

​

N/A​

N/A​

N/A​

8​

6​

8​

17​

3​

16​

​

​

x​

x​

​

​

​

​

12​

3​

12​

5​

8​

5​

17​

3​

16​

​

​

x​

​

x​

​

​

​

N/A​

N/A​

N/A​

5​

8​

5​

17​

3​

16​

​

​

​

x​

x​

​

​

​

N/A​

N/A​

N/A​

9​

6​

8​

17​

3​

16​

1​

​

x​

​

​

​

​

​

13​

3​

13​

19​

2​

19​

19​

3​

17​

1​

​

​

x​

​

​

​

​

12​

3​

12​

19​

2​

19​

19​

3​

17​

1​

​

​

​

x​

​

​

​

N/A​

N/A​

N/A​

19​

2​

19​

19​

3​

17​

1​

​

x​

x​

​

​

​

​

13​

3​

13​

19​

2​

19​

19​

3​

17​

1​

​

x​

​

x​

​

​

​

N/A​

N/A​

N/A​

19​

2​

19​

19​

3​

17​

1​

​

​

x​

x​

​

​

​

N/A​

N/A​

N/A​

19​

2​

19​

19​

3​

17​

1​

x​

x​

​

​

x​

​

​

14​

3​

14​

22​

2​

19​

21​

3​

19​

1​

x​

x​

​

​

​

x​

​

20​

3​

20​

29​

2​

29​

26​

3​

25​

1​

​

x​

​

​

​

​

x​

18​

3​

18​

23​

2​

23​

23​

3​

22​

1​

​

x​

​

​

​

x​

x​

25​

3​

25​

33​

2​

33​

30​

3​

29​

1​

​

x​

x​

​

​

x​

x​

25​

3​

25​

33​

2​

33​

30​

3​

29​

4​

​

x​

x​

​

​

x​

x​

26​

3​

25​

34​

2​

33​

31​

3​

29​

Die letzte Zeile der Tabelle stellt den für mein aktuelles Projekt "Vollausbau" an Komponenten dar.
Der HBA hat eine gemessene eigene Leistungsaufnahme von ca 6-7W (ausgewählt auf Grund dieses Artikels), der 10G NIC von ca 4-5W.


Bemerkungen zu den einzelnen Boards

Kontron K3851-R
Kontron hat die Mainboard-Sparte von Fujitsu übernommen, deren Boards für sehr sparsamen Betrieb bekannt waren.
Dieses Board setzt auf den embedded R680E Chipsatz, der wie der große W680 ebenfalls ECC unterstützt. Laut Intel ARK sind die Feature-Sets sehr ähnlich, W680 hat Optane-Support, der beim R680 fehlt.
Das Board hat zwei mechanische PCIe x16 Slots, allerdings ist nur einer mit x16 5.0 direkt an die CPU angebunden. Der zweite ist elektrisch als x4 4.0 an den Chipsatz angebunden.
Der erste Slot unterstützt Bifurcation auf x8x8 oder x8x4x4 mit entsprechendem Riser (laut BIOS, nicht getestet!).

Ebenfalls besitzt das Board nur zwei M.2 Key M Slots, ebenfalls einer an der CPU, einer am Chipsatz angebunden.

Weiterhin gibt es zwei Onboard LAN Controller, einen Intel i219LM (Gbit) sowie einen Intel i225LM (2x 2.5Gbit).

Pkg C-State Verhalten:
Es war nicht möglich, einen höheren Pkg C-State als 3 zu erreichen, auch wenn die Leistungsaufnahme damit schon nicht schlecht war.
Zwei PCIe Root Nodes der CPU/Chipsets sowie die PCIe-to-PCI Bridge PI7C9X113SL, die sich um die Anbindung des PCI Slots kümmert, haben kein ASPM aktiviert, obwohl laut Link Cababilities in lspci -vv unterstützt. Auch das Erzwingen von ASPM (siehe https://wireless.wiki.kernel.org/en/users/Documentation/ASPM) brachte keinen Unterschied bei den C-States.
Sobald der an die CPU angebundene PCIe Slot verwendet wurde (egal ob im x16 oder x8x8 Mode), kam die CPU nicht mehr über Pkg C-State 2 hinaus.



ASUS W680-ACE IPMI
Das ASUS Workstation-Board kommt dem W680 Chipsatz und bietet 4 S-ATA Header direkt Onboard, sowie einen SlimSAS Connector, der entweder PCIe 4.0 x4 oder 4x S-ATA 6Gb/s per Breakout-Kabel liefern kann.
Ich hatte die IPMI-fähige Version mit externer IPMI PCIe x1 Karte, die dann mit entsprechenden Kabeln mit Onboard USB, Power/Reset Switch sowie dem BMC Header verbunden wird.
Verbrauch des Systems im ausgeschalteten Zustand lag bei 5W, im Betrieb hat die Karte 3W Eigenverbrauch.

Pkg C-State Verhalten:
Das Board zeigt in interessantes Pkg C-State Verhalten:

• Ist ein Onboard LAN Controller aktiv, wird auf C3 begrenzt
• Nutzung der separaten IPMI Karte begrenzt ebenfalls auf C3
• Nutzung eines beliebigen S-ATA Ports begrenzt auf C2. Mangels eines SAS SFF-8654 Kabels konnte ich das Verhalten am SlimSAS Anschluss nicht testen
• Nutzung des HBAs oder Intel 10G NICs in einem bliebigen PCIe Slot begrenzt ebenfalls auf C2

Trifft das alles nicht zu, kann die CPU durchaus C8 erreichen, mangels Komponenten (v.a. Netzwerk) ist das System dann allerdings für nicht viel zu gebrauchen.
Logisch erklären, warum C8 oder nur C6 bei den jeweiligen M.2 Slot-Belegungen erreicht werden, kann ich nicht. Diese Messungen sind aber geprüft.


SuperMicro X13SAE-F
Das SuperMicro X13SAE-F ist die Variante des W680 Boards mit integriertem IPMI. Im Gegensatz zum ASUS ist der ASPEED BMC Chip direkt auf dem Mainboard verlötet, zusammen mit einem dedizierten IPMI LAN- sowie VGA Port.
Dieses Board bietet 8 Onboard S-ATA Header, zwei mechanische PCIe 5.0 x16 Slots, die direkt an der CPU hängen, aber elektrisch x16/x0 oder x8/x8 angebunden sind.
Zwei der drei M.2 Slots hängen am Chipsatz, einer an der CPU.
Das Board kommt mit zwei Onboard LAN Controllern, einem 1Gbit Intel I219LM, sowie einem 2.5Gbit Intel I225LM.

Pkg C-State Verhalten:
Ähnlich wie das Kontron K3851-R konnte ich dieses Board nicht unter Pkg C3 bringen, selbst unter Deaktivierung aller Onboard-Komponenten und Booten von USB-Laufwerk.
Andererseits war dem Board dann ziemlich egal, was aktiviert oder angeschlossen wurde. Nur die Nutzung eines der an die CPU angebundenen PCIe Slots führte zu C2, alles andere getestete landete immer bei C3.
Die meisten Onboard Komponenten haben hier standardmäßig ASPM deaktiviert. Erzwingen von ASPM brachte keine Änderung des C-States.


Falls ihr Fragen habt, versuche ich diese gerne zu beantworten. Alle Boards habe ich noch ein paar Tage da, Zeit für spezielle Tests ist aber begrenzt.
Wie oben bereits geschrieben soll sich jegliche Diskussion auf diese drei Boards und ihr Leistungsaufnahme-Verhalten beziehen, bitte nicht auf Wahl der Software oder restlichen Hardware-Komponenten.

Gruß,
blindfish

 

[pumuckel]

erstmal danke das du dir den Aufwand und die Zeit gemacht/genommen hast !

Ich selbst bin recht frustriert von S1700 ECC da mein bevorzugetes Board zum Test nie wirklich verfügbar war (und etwas was ich nur per Beziehungen bekomme macht keinen Sinn zu testen .... (das ASRock Rack IMB-X1314 )

Ich hab nach einigen Tests nun das non ECC - ASUS Prime Z690-P D4 grad in nem Testsystem verbaut (kostete 168€ und 2*32GB 3200 16-18-18 dazu 116€)

Alle Slots sind nutzbar (gleichzeitig also 3 NVMe und 4 PCIe) und mit aktuellem Bios auch gut drosselbar per Powertop (13-14W)

ECC ist mir weniger wichtig als Fernwartung da ZFS auch gut ohne ECC lüppt (daher werde ich den KVM wohl extern realisieren)

die 13xxx Serie der CPUs meide ich atm (obwohl proxmox da noch nen guten job macht mit den "efficiency cores" welche garnicht so effizient sind ) es steckt grad ein 12600 (non k) drin

Was ich am ASUS Prime Z690-P D4 hasse ist die Bios Sollbruchstelle der Armory Crate

 

[underclocker2k4]

ECC ist mir weniger wichtig als Fernwartung da ZFS auch gut ohne ECC lüppt (daher werde ich den KVM wohl extern realisieren)

Warum dann kein Q670 Board mit einer AMT CPU? Dann hat man das gleich mit dabei.
Remotepower und KVM sind da dann kein Problem mehr. (bevor man dann irgendwelche Frankensteinlösungen mit PiKVM oder eine der etwas professionelleren (und teureren) Lösungen nimmt.

 

[hardwear]

Pkg C-State Verhalten:
Das Board zeigt in interessantes Pkg C-State Verhalten:

• Ist ein Onboard LAN Controller aktiv, wird auf C3 begrenzt
• Nutzung der separaten IPMI Karte begrenzt ebenfalls auf C3
• Nutzung eines beliebigen S-ATA Ports begrenzt auf C2. Mangels eines SAS SFF-8654 Kabels konnte ich das Verhalten am SlimSAS Anschluss nicht testen

Evtl. darf man da dem SATA Aggressive LPM noch explizit auf die Sprünge helfen, such mal nach der Option im BIOS.

Auf jeden Fall mal für den Aufwand.

 

[wddn]

Super Beitrag

Wie kann ich deine Messungen auf meinem Server mit TrueNAS Scale replizieren?

Speziell die Pkg C-State Optimierungen…

X470 mit 2700X, 64GB ECC, 10Gbit NIC, 5x NVME, 4xHDD

 

[Ceiber3]

PiKVM und andere iKVM Lösungen finde ich richtig gut wenn man noch ne extra Grafikkarte im Server nutzt. Warum ? Sobald du ne Grafikkarte einbaust, ist es eh vorbei mit KVM Konsole und musst wieder nen Monitor/Maus/Tastatur anstecken. Bei PiKVM und andere Hersteller steckst du es einfach direkt an die Grafikkarte. Dazu muss man nicht immer im Suchfilter nach Boards mit IPMI suchen.

 

[-bl!ndf!$h-]

Evtl. darf man da dem SATA Aggressive LPM noch explizit auf die Sprünge helfen, such mal nach der Option im BIOS.

Danke für den Vorschlag, war allerdings schon aktiviert.

Wie kann ich deine Messungen auf meinem Server mit TrueNAS Scale replizieren?

Speziell die Pkg C-State Optimierungen…

X470 mit 2700X, 64GB ECC, 10Gbit NIC, 5x NVME, 4xHDD

Was genau meinst Du mit Messungen replizieren?
Pkg C-States kannst Du mit Powertop ermitteln, und an der Steckdose brauchst Du eben eine Leistungsmessgerät.
Die in TrueNAS SCALE enthaltene Powertop-Version ist allerdings schon etwas ältlich, Wenn Dir Dort nur bist Pkg C-State 3 angezeigt wird, wird Deine Plattform nicht unterstützt und Du müsstest es selbst kompilieren.


Gruß
blindfish

 

[wddn]

Mein Server steckt an einem Smart Socket mit Verbrauchsmessung, welchen ich per Home Assistant auslesen kann… no problem

Selbst kompilieren übersteigt meine Fähigkeiten - ich schaue mal ob ich Ergebnisse mit powertop bekomme (unter TrueNAS Scale)

 

[-bl!ndf!$h-]

Selbst kompilieren übersteigt meine Fähigkeiten - ich schaue mal ob ich Ergebnisse mit powertop bekomme (unter TrueNAS Scale)

Ist im Prinzip ganz einfach und erfordert auch keine Programmierkenntnisse.
Allerdings muss man dafür apt reaktivieren und die Debian Bullseye Paket-Quellen wieder hinzufügen. Das ist nicht von iX unterstützt und hat das Potential, Deine Installation zu zerschießen. Auf keinen Fall sollte man ein upgrade laufen lassen, und auch schon vorhandene Pakete nicht aktualisieren.

Falls Du es versuchen willst:

# apt reaktivieren
sudo chmod +x /bin/apt* /bin/dpkg*
# Paketquellen hinzufügen
echo "deb http://deb.debian.org/debian bullseye main contrib non-free" |  sudo tee -a /etc/apt/sources.list
# Abhaengigkeiten installieren
sudo apt install libpci-dev libnl-3-dev libnl-genl-3-dev gettext \
libgettextpo-dev autopoint gettext libncurses5-dev libncursesw5-dev libtool-bin \
dh-autoreconf autoconf-archive pkg-config autogen
# libtracevent kompilieren
git clone https://git.kernel.org/pub/scm/libs/libtrace/libtraceevent.git/
cd libtraceevent; make; sudo make install; cd ..;
# libtracefs kompilieren
git clone https://git.kernel.org/pub/scm/libs/libtrace/libtracefs.git/
cd libtracefs; make; sudo make install; cd ..;
# powertop kompilieren
git clone https://github.com/fenrus75/powertop.git
cd powertop; sudo ./autogen.sh; sudo ./configure; sudo make install; cd ..;
# powertop starten
sudo /usr/local/sbin/powertop

Nicht direkt getestet und ohne Gewähr

Gruß
blindfish

 

[LarionovC]

Tolle Arbeit! Meine Tests mit verschiedenen Rechnern mit W680 und mind. 16 GB ECC von HP, Lenovo und Dell waren hinsichtlich des Stromverbrauchs (ebenfalls) ernüchternd. Derzeit benutze ich hauptsächlich eine Synology DS1621+ und einen Dell P3660 als Workstation, beide mit ECC. leider beide nicht besonders stromsparend, aber sehr zuverlässig.

 

[wddn]

Pkg C-States kannst Du mit Powertop ermitteln, und an der Steckdose brauchst Du eben eine Leistungsmessgerät.
Die in TrueNAS SCALE enthaltene Powertop-Version ist allerdings schon etwas ältlich, Wenn Dir Dort nur bist Pkg C-State 3 angezeigt wird, wird Deine Plattform nicht unterstützt und Du müsstest es selbst kompilieren.

Powertop Version v2.11 ist in der aktuellen TrueNAS Scale Version enthalten und zeigt mir max C2 an

Ist mit dieser Version ein optimieren moeglich?

 

[hardwear]

2.11 ist steinalt (ca. Ende 2019), du willst minimal 2.14. Aktuell ist 2.15.

 

[pumuckel]

ich vertraue auch auf Powertop wenig

hier mal die Anzeigen von einem ASRock H670 itx mit 12600, 64GB 3200-16-20-20-20 und 2*2TB P31 Hynix Gold im ZFS Mirror als Storage (wifi und sound sind noch aktiv/nicht deaktiviert da das System als AIO ein DTE bekommt , wohl Mate) - es läuft eine Freenas Scale VM mit passthrough des Intel Sata Controllers

jegliche anpassung per Powertop bringt 0 (wortwörtlich 0)

.... Nachtrag: immer bedenken: ein System mit einem Mirror der über den Mainboard Chipsatz läuft wird nie so sparsam sein wie ein System was den nich nutzt (da dieser dann dauerhalt aktiv ist) ... umgehen kann man dies durch weglassen des Mirror (single SSd im CPU Slot) und häufigeres Backup

so machen es die z.B. die Notebooks, SOC Barebones

 

[wddn]

17W ist wirklich nice für 16 Thread System - welches NT?

Tasmota Powersocket nutze ich auch: erst CRON job zum runterfahren und danach Socket aus - Socket an am Morgen (im BIOS = power on bei Strom)… Einfache Möglichkeit den Stromverbrauch zu reduzieren

 

[mgutt]

jegliche anpassung per Powertop bringt 0

Willkommen in der Welt von ASRock.

X470 mit 2700X,

Spar dir powertop. Powertop ist primär für Intel Setups gedacht und AMD hat selbst im aktuellsten Kernel keine nennenswerten Optimierungen erzielt. Schon gar nicht für alte CPU Generationen.

 

[Mor9oth]

Trifft das alles nicht zu, kann die CPU durchaus C8 erreichen, mangels Komponenten (v.a. Netzwerk) ist das System dann allerdings für nicht viel zu gebrauchen.
Logisch erklären, warum C8 oder nur C6 bei den jeweiligen M.2 Slot-Belegungen erreicht werden, kann ich nicht. Diese Messungen sind aber geprüft.

Wäre es vielleicht ein Ansatz bei ASUS nach einer Anpassung im BIOS zu fragen? Zumindest klingt das 1700 Board aktuell dann ja noch am "vielversprechendsten" ...

 

[f1r3n2]

Hallo zusammen,

ich befinde mich gerade in einem völlig übertriebenen Umstiegsprojekt von einem Synology DS-415+ auf ein selbstgebautes TrueNAS SCALE System, das als NAS und kleiner Hypervisor dienen soll.

Meinen Anforderungen gemäß habe habe ich folgende Hardware zusammengestellt:

• Intel Core i5-13600
• Noctua NH-U9S
• 2x Kingston Server Premier DIMM 16GB ECC
• 3x Samsung SSD 870 Evo 2TB, SATA
• 1x HP SSD S700 120GB, SATA (crappy Bootdrive )
• 2x Samsung SSD 980 PRO 2TB, M.2
• 4x Western Digital Ultrastar DC HC550 18TB
• 4x Western Digital Ultrastar DC HC510 10TB (noch vorhanden)
• Broadcom 9211-8i HBA (gebraucht)
• Intel X520-DA2 LAN-Adapter 10G SFP+ (gebraucht)
• Corsair RMx Series 2021 RM550x
• Inter-Tech 4U-4410

Zuletzt kam die Frage des Mainboards auf. Wichtig dabei war mir eine möglichst geringe Leistungsaufnahme des Grundsystems.
Das soll jetzt nicht in eine Diskussion darüber ausarten, wie viel Sinn das bei 8 Festplatten macht, ob Spindown schädlich ist, etc etc.
Mainboards, die für diese Hardware in Frage kommen, müssen entweder auf dem W680 Chipsatz oder dem R680E Chipsatz basieren, da beide ECC Unterstützung für LGA-1700 bieten.
Folgende Boards kamen daher für mich in Frage:

• ASUS Pro WS W680-Ace IPMI
• Kontron K3851-R
• Supermicro X13SAE-F

Allerdings habe ich im Internet keine detaillierten Angaben zu optimierter Leistungsaufnahme im Idle oder Package-C-State Verhalten bei (Nicht-)Verwendung bestimmter Slots gefunden.
Also habe ich mir alle drei Boards kommen lassen und entsprechende Messungen durchgeführt, die ich mit euch teilen möchte. Vielleicht helfen diese Informationen ja dem einen oder anderen, der auch in Erwägung zieht, eines dieser Mainboards zu verwenden.

Gemessen wurde die Leistungsaufnahme an der Steckdose mit einem Gude Expert Power Control 1100 (EPC-1100).

Vorgehen
Zuerst wurden im BIOS sämtliche Schnittstellen und Funktionen, die ich für den Server-Betrieb nicht benötige, deaktiviert (z.b. Serielle oder Parallel-Ports, Onboard Sound, zusätzliche LAN Controller, ...).
Alle Stromsparmodi für PCIe-Slots (ASPM) sowie CPU C-States wurden explizit aktiviert (ASPM: L1 mit Submodi L1.1 und L1.2 wo möglich, CPU auf C10).
Als Betriebssystem kam Debian 12 Bookworm zum Einsatz.
Zur Messung der C-States wurde Powertop 2.15 mit Support für Raptor Lake-S verwendet.
Jedes Board wurde mit unterschiedlichen Hardware-Konfigurationen getestet, um den Einfluss von Onboard-Komponenten und (Nicht-)Verwendung von M.2, PCIe-, oder SATA-Slots auf die Leistungsaufnahme und den Package C-States zu messen.
Die Hardware-Konfiguration wurde bei abgeschaltetem System hergestellt, dann wurde gebootet. Die erste Messung wurde nach dem Booten ins OS abgenommen, sobald die Leistungsaufnahme über mindestens 20 Sekunden stabil war. Dann wurde der Package C-State mit Powertop geprüft, danach powertop --auto-tune ausgeführt und der Package C-State sowie Leistungsaufnahme erneut gemessen.
Bei Verwendung von PCIe-Plätzen wurde in der Tabelle der jeweilige höchste erzielte C-State mit niedrigster Leistungsaufnahme aufgenommen. Dabei wurde in Kauf genommen, dass HBA und 10G NIC u.U. nur mit halber Anzahl an PCIe Lanes angebunden wurden, was aber vom Durchsatz her kaum eine Rolle spielen sollte, solange am HBA nur HDDs hängen (PCIe 2.0 x4 = 2GB/s für 8 HDDs = 250MB/s pro HDD).
Besonderheiten diesbzgl. sind im jeweiligen Absatz zum Mainboard separat beschrieben.

Folgende Tabelle zeigt alle verschiedenen Konfigurationen, für die der Verbrauch gemessen wurde:
Anhang anzeigen 900244

Spoiler: Tabellarisch

Config​

​

​

​

Kontron K3851-R ATX

Kontron K3851-R ATX

Kontron K3851-R ATX

ASUS W680-ACE IPMI

ASUS W680-ACE IPMI

ASUS W680-ACE IPMI

Supermicro X13SAE-F

Supermicro X13SAE-F

Supermicro X13SAE-F

S-ATA Drive(s)​

Onboard LAN​

NVMe Slot 1​

NVMe Slot 2​

NVMe Slot 3​

Display​

HBA​

10G NIC​

Verbrauch​

PKG C-State​

powertop --auto-tune​

Verbrauch​

PKG C-State​

powertop --auto-tune​

Verbrauch​

PKG C-State​

powertop --auto-tune​

1​

x​

x​

​

​

​

​

​

13​

3​

13​

19​

2​

19​

19​

3​

17​

1​

x​

​

x​

​

​

​

​

13​

3​

13​

19​

2​

19​

19​

3​

17​

1​

x​

​

​

x​

​

​

​

N/A​

N/A​

N/A​

19​

2​

19​

19​

3​

17​

1​

x​

x​

x​

​

​

​

​

13​

3​

13​

19​

2​

19​

19​

3​

17​

1​

x​

x​

​

x​

​

​

​

N/A​

N/A​

N/A​

19​

2​

19​

19​

3​

17​

1​

x​

​

x​

x​

​

​

​

N/A​

N/A​

N/A​

19​

2​

19​

19​

3​

17​

​

x​

x​

​

​

​

​

​

13​

3​

13​

14​

3​

14​

19​

3​

17​

​

x​

​

x​

​

​

​

​

12​

3​

12​

14​

3​

14​

19​

3​

17​

​

x​

​

​

x​

​

​

​

N/A​

N/A​

N/A​

14​

3​

14​

19​

3​

17​

​

x​

x​

x​

​

​

​

​

13​

3​

13​

14​

3​

14​

19​

3​

17​

​

x​

x​

​

x​

​

​

​

N/A​

N/A​

N/A​

14​

3​

14​

19​

3​

17​

​

x​

​

x​

x​

​

​

​

N/A​

N/A​

N/A​

14​

3​

14​

19​

3​

17​

​

​

x​

​

​

​

​

​

12​

3​

12​

5​

8​

5​

19​

3​

16​

​

​

​

x​

​

​

​

​

12​

3​

12​

8​

6​

8​

17​

3​

16​

​

​

​

​

x​

​

​

​

N/A​

N/A​

N/A​

8​

6​

8​

17​

3​

16​

​

​

x​

x​

​

​

​

​

12​

3​

12​

5​

8​

5​

17​

3​

16​

​

​

x​

​

x​

​

​

​

N/A​

N/A​

N/A​

5​

8​

5​

17​

3​

16​

​

​

​

x​

x​

​

​

​

N/A​

N/A​

N/A​

9​

6​

8​

17​

3​

16​

1​

​

x​

​

​

​

​

​

13​

3​

13​

19​

2​

19​

19​

3​

17​

1​

​

​

x​

​

​

​

​

12​

3​

12​

19​

2​

19​

19​

3​

17​

1​

​

​

​

x​

​

​

​

N/A​

N/A​

N/A​

19​

2​

19​

19​

3​

17​

1​

​

x​

x​

​

​

​

​

13​

3​

13​

19​

2​

19​

19​

3​

17​

1​

​

x​

​

x​

​

​

​

N/A​

N/A​

N/A​

19​

2​

19​

19​

3​

17​

1​

​

​

x​

x​

​

​

​

N/A​

N/A​

N/A​

19​

2​

19​

19​

3​

17​

1​

x​

x​

​

​

x​

​

​

14​

3​

14​

22​

2​

19​

21​

3​

19​

1​

x​

x​

​

​

​

x​

​

20​

3​

20​

29​

2​

29​

26​

3​

25​

1​

​

x​

​

​

​

​

x​

18​

3​

18​

23​

2​

23​

23​

3​

22​

1​

​

x​

​

​

​

x​

x​

25​

3​

25​

33​

2​

33​

30​

3​

29​

1​

​

x​

x​

​

​

x​

x​

25​

3​

25​

33​

2​

33​

30​

3​

29​

4​

​

x​

x​

​

​

x​

x​

26​

3​

25​

34​

2​

33​

31​

3​

29​

Die letzte Zeile der Tabelle stellt den für mein aktuelles Projekt "Vollausbau" an Komponenten dar.
Der HBA hat eine gemessene eigene Leistungsaufnahme von ca 6-7W (ausgewählt auf Grund dieses Artikels), der 10G NIC von ca 4-5W.


Bemerkungen zu den einzelnen Boards

Kontron K3851-R
Kontron hat die Mainboard-Sparte von Fujitsu übernommen, deren Boards für sehr sparsamen Betrieb bekannt waren.
Dieses Board setzt auf den embedded R680E Chipsatz, der wie der große W680 ebenfalls ECC unterstützt. Laut Intel ARK sind die Feature-Sets sehr ähnlich, W680 hat Optane-Support, der beim R680 fehlt.
Das Board hat zwei mechanische PCIe x16 Slots, allerdings ist nur einer mit x16 5.0 direkt an die CPU angebunden. Der zweite ist elektrisch als x4 4.0 an den Chipsatz angebunden.
Der erste Slot unterstützt Bifurcation auf x8x8 oder x8x4x4 mit entsprechendem Riser (laut BIOS, nicht getestet!).

Ebenfalls besitzt das Board nur zwei M.2 Key M Slots, ebenfalls einer an der CPU, einer am Chipsatz angebunden.

Weiterhin gibt es zwei Onboard LAN Controller, einen Intel i219LM (Gbit) sowie einen Intel i225LM (2x 2.5Gbit).

Pkg C-State Verhalten:
Es war nicht möglich, einen höheren Pkg C-State als 3 zu erreichen, auch wenn die Leistungsaufnahme damit schon nicht schlecht war.
Zwei PCIe Root Nodes der CPU/Chipsets sowie die PCIe-to-PCI Bridge PI7C9X113SL, die sich um die Anbindung des PCI Slots kümmert, haben kein ASPM aktiviert, obwohl laut Link Cababilities in lspci -vv unterstützt. Auch das Erzwingen von ASPM (siehe https://wireless.wiki.kernel.org/en/users/Documentation/ASPM) brachte keinen Unterschied bei den C-States.
Sobald der an die CPU angebundene PCIe Slot verwendet wurde (egal ob im x16 oder x8x8 Mode), kam die CPU nicht mehr über Pkg C-State 2 hinaus.



ASUS W680-ACE IPMI
Das ASUS Workstation-Board kommt dem W680 Chipsatz und bietet 4 S-ATA Header direkt Onboard, sowie einen SlimSAS Connector, der entweder PCIe 4.0 x4 oder 4x S-ATA 6Gb/s per Breakout-Kabel liefern kann.
Ich hatte die IPMI-fähige Version mit externer IPMI PCIe x1 Karte, die dann mit entsprechenden Kabeln mit Onboard USB, Power/Reset Switch sowie dem BMC Header verbunden wird.
Verbrauch des Systems im ausgeschalteten Zustand lag bei 5W, im Betrieb hat die Karte 3W Eigenverbrauch.

Pkg C-State Verhalten:
Das Board zeigt in interessantes Pkg C-State Verhalten:

• Ist ein Onboard LAN Controller aktiv, wird auf C3 begrenzt
• Nutzung der separaten IPMI Karte begrenzt ebenfalls auf C3
• Nutzung eines beliebigen S-ATA Ports begrenzt auf C2. Mangels eines SAS SFF-8654 Kabels konnte ich das Verhalten am SlimSAS Anschluss nicht testen
• Nutzung des HBAs oder Intel 10G NICs in einem bliebigen PCIe Slot begrenzt ebenfalls auf C2

Trifft das alles nicht zu, kann die CPU durchaus C8 erreichen, mangels Komponenten (v.a. Netzwerk) ist das System dann allerdings für nicht viel zu gebrauchen.
Logisch erklären, warum C8 oder nur C6 bei den jeweiligen M.2 Slot-Belegungen erreicht werden, kann ich nicht. Diese Messungen sind aber geprüft.


SuperMicro X13SAE-F
Das SuperMicro X13SAE-F ist die Variante des W680 Boards mit integriertem IPMI. Im Gegensatz zum ASUS ist der ASPEED BMC Chip direkt auf dem Mainboard verlötet, zusammen mit einem dedizierten IPMI LAN- sowie VGA Port.
Dieses Board bietet 8 Onboard S-ATA Header, zwei mechanische PCIe 5.0 x16 Slots, die direkt an der CPU hängen, aber elektrisch x16/x0 oder x8/x8 angebunden sind.
Zwei der drei M.2 Slots hängen am Chipsatz, einer an der CPU.
Das Board kommt mit zwei Onboard LAN Controllern, einem 1Gbit Intel I219LM, sowie einem 2.5Gbit Intel I225LM.

Pkg C-State Verhalten:
Ähnlich wie das Kontron K3851-R konnte ich dieses Board nicht unter Pkg C3 bringen, selbst unter Deaktivierung aller Onboard-Komponenten und Booten von USB-Laufwerk.
Andererseits war dem Board dann ziemlich egal, was aktiviert oder angeschlossen wurde. Nur die Nutzung eines der an die CPU angebundenen PCIe Slots führte zu C2, alles andere getestete landete immer bei C3.
Die meisten Onboard Komponenten haben hier standardmäßig ASPM deaktiviert. Erzwingen von ASPM brachte keine Änderung des C-States.


Falls ihr Fragen habt, versuche ich diese gerne zu beantworten. Alle Boards habe ich noch ein paar Tage da, Zeit für spezielle Tests ist aber begrenzt.
Wie oben bereits geschrieben soll sich jegliche Diskussion auf diese drei Boards und ihr Leistungsaufnahme-Verhalten beziehen, bitte nicht auf Wahl der Software oder restlichen Hardware-Komponenten.

Gruß,
blindfish

Danke für deinen Beitrag und die Messungen. Ich habe mir ebenfalls das K3851-r bestellt und mir lange an dem C3 die Zähne ausgebissen. Letzendlich habe ich es aber mittels BIOS mod und Trail & Error doch noch zu C10 inkl 10G NIC bekommen (Intel X710-DA2). Verbrauch liegt dann bei einer M2 NVME im PCH Slot und einem aktivem 10G Link bei ~10-11W (9,7W war der Tiefstwert) gemessen mit dem Energy Master von ELV. Netzteil ist ein BeQuiet Pure Power 12M 550W.

Quelle bzgl. BIOS mod:

GitHub - BoringBoredom/UEFI-Editor: Aptio V UEFI Editor: an alternative to AMIBCP

Aptio V UEFI Editor: an alternative to AMIBCP. Contribute to BoringBoredom/UEFI-Editor development by creating an account on GitHub.

github.com

Die Einstellungen im Admin Menu muss ich noch nachliefern. Es war Native ASPM enabled und ich meine noch eine weitere um tiefere C-states zu erreichen.

 

[-bl!ndf!$h-]

Wow, nicht schlecht!
Einen HBA hast Du nicht auch noch zufällig zum Dazustecken und ausprobieren?

 

[f1r3n2]

Danke. Nein, einen HBA habe ich leider nicht. Allerdings habe ich noch einen Hinweis zur NIC.
Ich habe vor der intel Karte eine ASPM fähige TEG-10GECSFP (Aquantia AQC107) getestet. Obwohl die Karte ASPM L1 unterstützt war ASPM standardmäßig deaktiviert. Mittels enable-aspm script habe ich hier ASPM aktivieren können, aber bei Netzlast wurden etliche Fehlermeldungen angezeigt. Also scheinbar hat der AQC107 hier Probleme...

 

[Nikinho]

Hallo f1r3n2,

wäre es möglich, dass du ausführst, was du
a) per BIOS Mod verändert hast (Multi-VC?) und
b) im Admin BIOS Bereich noch verändert hast?

Ich habe wohl nicht dein Board aber ein ziemlich ähnliches Problem mit dem CPU PCI-E Port und X710-DA2.

Viele Grüsse