[Sammelthread] Die sparsamsten Systeme (<30W Idle)

[TOMillr]

Na ja, wundert mich eh das Du mit dem ASM1064 (hast ihn offensichtlich mit der Silverstone Firmware geflashed sonst würde der nie ASPM enabled sein) auf 3W kommst unter Ubuntu. Der braucht ja sicher schon 1-1,5W leer.

Bei dem ASM1064 handelt es sich beim Odroid H4+ um eine on-board Lösung und nicht um ein nachträglich verbautes Modul. Musste daher keine Firmware manuell flachen.

Meine Messungen unter Ubuntu decken sich dabei auch ziemlich genau mit den Herstellangaben von Hardkernel: Der Odroid H4 (ohne SATA-Anschlüsse / ASN1064) wird mit 2 W im idle unter Ubuntu angegeben. Der bis auf den ASN1064 ansonsten baugleiche H4 Plus liegt laut Specs bei 2,7 W idle unter Ubuntu.

Wenn nicht dann machen. Dazu musst Du aber das powertop Paket im Unraid Forum suchen und auf dem Unraid Stick in den Extra Ordner packen.

Wodurch unterscheidet sich denn das Paket aus dem Forum? Hatte powertop einfach über SSH mit apt installiert.

Ggf. musst Du dafür noch das Intel GPU Top Plugin installieren (brauchte man zumindest früher dafür).

Ja, habe ich auch installiert. Muss man das Teil vielleicht noch irgendwie konfigurieren? Mir wurden über die GUI für das Tool zumindest meine Optionen angezeigt.

Docker und VM waren bei der Messung sicher aus, sonst wäre es ja überhaupt nicht vergleichbar.

Ja, Docker ist deaktiviert und eine VM läuft auch nicht. Ist sonst eine saubere Neuinstallation. Einzige Unterschied ist, dass ich die SSD mit der Ubuntu Installation abgeklemmt und dafür den Sandisk USB-Stick mit Unraid angeschlossen habe.

 

[MPC561]

Bei dem ASM1064 handelt es sich beim Odroid H4+ um eine on-board Lösung und nicht um ein nachträglich verbautes Modul. Musste daher keine Firmware manuell flachen.

Ahh sorry, so genau kenne ich den H4+ nicht. Dann hat hardkernel gleich eine gute Firmware verwendet. Umso besser. Dann ist der ASM eigentlich raus als Verursacher.

Wodurch unterscheidet sich denn das Paket aus dem Forum? Hatte powertop einfach über SSH mit apt installiert.

Hmmm? Apt unter Unraid? Selbst wenn das geht, dann funktioniert das genau einmal. Unraid wird während des Starts vom USB Stick in den RAM geladen (RAMDISK sozusagen). Jegliche Änderung am System ist dann im RAM und genau nach einem Reboot wieder weg. Das Paket im Extra Folder das ich oben erwähnt habe wird beim boot mit in den RAM geladen. Ist also persistent.

Ja, habe ich auch installiert. Muss man das Teil vielleicht noch irgendwie konfigurieren? Mir wurden über die GUI für das Tool zumindest meine Optionen angezeigt.

Nein muss nur "da sein". Wie gesagt braucht halt nach Boot eine gewisse Zeit bis die Grafik in den Standby geht.


Was anderes fällt mir dann leider nicht mehr ein.

 

[TOMillr]

Ich habe mal weitere Tests gemacht und verschiedene Betriebssystem miteinander verglichen, ob sie die tiefsten C-States erreichen können:

Unraid 7.1 beta
c10: nein
idle: 4.5 W

Debian 12
c10: ja
idle: 2,9 W

TrueNAS Scale 25.04 beta
c10: ja
idle: 3,4 W

Ubuntu Desktop 22.04
c10: ja
idle: 2,9 W

Ubuntu Server 22.04
c10: nein
idle: 3,1 W

Ubuntu Server 24.10
c10: nein
idle: 3,1 W

Ubuntu Desktop 24.10
c10: nein
idle: 3,4 W


Mit Versionen nach Ubuntu Desktop 22.04 LTS geht das System nur bis auf maximal c8 herunter. Die neusten Versionen von Debian und Debian-basierenden Betriebssystemen wir TrueNAS Scale oder DietPi erreichen weiterhin c10. Damit ist selbst TrueNAS immer noch ein 1 W sparsamer als Unraid.

Hat jemand eine Idee, welche Änderung nach Ubuntu 22.04. dafür verantwortlich sein könnte?


Debian 12

Odroid H4+
Intel N97
Crucial 16GB DDR4
WD Red SA400 500 GB (SATA)
Leike 12V / 60W /5A
1Gbit/s LAN
headless

Spoiler: system logs

0000:00:1c.0 PCI bridge: Intel Corporation Alder Lake-N PCI Express Root Port (prog-if 00 [Normal decode])
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.3 PCI bridge: Intel Corporation Alder Lake-N PCI Express Root Port #4 (prog-if 00 [Normal decode])
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.6 PCI bridge: Intel Corporation Alder Lake-N PCI Express Root Port (prog-if 00 [Normal decode])
        LnkCtl:    ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.0/01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.3/02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.6/03:00.0 SATA controller: ASMedia Technology Inc. ASM1064 Serial ATA Controller (rev 02) (prog-if 01 [AHCI 1.0])
        LnkCtl:    ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+

cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor
powersave

cat /sys/devices/system/cpu/cpu0/cpufreq/energy_performance_preference
balance_performance

____________________________________________________________________
            P o w e r T O P

____________________________________________________________________
 *  *  *   System Information   *  *  *

PowerTOP Version;2.14 ran at Wed Mar 26 18:45:48 2025

Kernel Version;Linux version 6.1.0-32-amd64
System Name;HARDKERNELODROID-H41.0
CPU Information;4 Intel(R) N97
OS Information;Debian GNU/Linux 12 (bookworm)

Target: 1 units/s;System:  28.6 wakeup/s;CPU:  0.2% usage;GPU: 0 ops/s;GFX: 0 wakeups/s;VFS: 0 ops/s;

____________________________________________________________________
 *  *  *   Top 10 Power Consumers   *  *  *

Usage;Events/s;Category;Description
  0,0%;  9,2;Timer;tick_sched_timer
  0,0%;  4,8;kWork;fb_flashcursor
  0,0%;  3,8;Interrupt;[3] net_rx(softirq)
  0,0%;  1,9;Process;[PID 44] [kcompactd0]
  0,0%;  1,5;kWork;psi_avgs_work
  0,0%;  1,0;Process;[PID 15] [rcu_preempt]
  0,0%;  1,0;Timer;watchdog_timer_fn
  0,1%;  0,6;Process;[PID 920] powertop -C
  0,0%;  0,6;Interrupt;[4] block(softirq)
  0,0%;  0,5;kWork;igc_watchdog_task

____________________________________________________________________
 *  *  *   Processor Idle State Report   *  *  *

Package;0
Powered On;  0,0%
C1E;  0,1%
RC6;  0,0%
RC6pp;  0,0%
C8;  0,0%
C10; 99,7%
;
;

Unraid 7.1 beta

Odroid H4+
Intel N97
Crucial 16GB DDR4
Transcent JetFlash 700 32 GB (USB)
Leike 12V / 60W /5A
1Gbit/s LAN
headless

Spoiler: system logs

0000:00:1c.0 PCI bridge: Intel Corporation Alder Lake-N PCI Express Root Port #3 (prog-if 00 [Normal decode])
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+
0000:00:1c.3 PCI bridge: Intel Corporation Alder Lake-N PCI Express Root Port #4 (prog-if 00 [Normal decode])
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+
0000:00:1c.6 PCI bridge: Intel Corporation Alder Lake-N PCI Express Root Port #7 (prog-if 00 [Normal decode])
        LnkCtl:    ASPM L0s L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+
0000:00:1c.0/01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+
0000:00:1c.3/02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+
0000:00:1c.6/03:00.0 SATA controller: ASMedia Technology Inc. ASM1064 Serial ATA Controller (rev 02) (prog-if 01 [AHCI 1.0])
        LnkCtl:    ASPM L0s L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+

cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor
powersave

cat /sys/devices/system/cpu/cpu0/cpufreq/energy_performance_preference
balance_performance

____________________________________________________________________
            P o w e r T O P

____________________________________________________________________
 *  *  *   System Information   *  *  *

PowerTOP Version;2.15 ran at Wed Mar 26 14:13:57 2025

Kernel Version;Linux version 6.12.19-Unraid
System Name;HARDKERNELODROID-H41.0
CPU Information;4 Intel(R) N97
OS Information;Unraid OS 7.1 x86_64

Target: 1 units/s;System:  194.6 wakeup/s;CPU:  2.2% usage;GPU: 0 ops/s;GFX: 0 wakeups/s;VFS: 0 ops/s;

____________________________________________________________________
 *  *  *   Top 10 Power Consumers   *  *  *

Usage;Events/s;Category;Description
  0.1%;139.8;Timer;tick_nohz_handler
  0.0%;  9.5;kWork;bond_mii_monitor
  0.0%;  7.0;Process;[PID 17] [rcu_preempt]
  0.0%;  5.3;Timer;inactive_task_timer
  0.0%;  3.9;Interrupt;[7] sched(softirq)
  0.0%;  3.8;kWork;usb_giveback_urb_bh
  0.3%;  1.1;Process;[PID 3124] /usr/libexec/unraid/emhttpd
  0.0%;  1.5;kWork;delayed_vfree_work
  0.0%;  1.4;kWork;srcu_invoke_callbacks
  0.0%;  1.2;Process;[PID 2424] /usr/libexec/unraid/emhttpd

____________________________________________________________________
 *  *  *   Processor Idle State Report   *  *  *

Package;0
C2 (pc2);  0.9%
C3 (pc3);  0.0%
C6 (pc6);  0.2%
C7 (pc7);  0.0%
C8 (pc8); 91.8%
C9 (pc9);  0.0%
C10 (pc10);  0.0%
;

 

[TOMillr]

Habe nun auch OpenMediaVault 7.4.17 ausprobiert und auch unter dem OS erreicht C10, bei einem Idle-Verbrauch von 3,2 W.

Echt schade, dass ich Ubuntu 24.10 oder Unraid nicht auf C10 oder in die Nähe der Idle-Werte von TrueNAS, OMV oder Debian bekommen kann. Wird mein nächstes System dann tatsächlich darauf laufen müssen?!

 

[3d0zer]

Es tut mir leid, mein Deutsch ist nicht so gut, ich benutze die Übersetzungsfunktion auf dieser Website, um zu posten. Dies ist mein tägliches NAS, deshalb habe ich so viele Festplatten und RAM angeschlossen.
Betriebssystem: TrueNAS Scale


Mainboard: Kontron D3643H-13
RAM: 64 GB (4x GoodRam IRDM X, DDR4, 16 GB, 2666 MHz, CL16 (IR-X2666D464L16/16G))
CPU: i5-8400T
Kühler: beQuiet Pure Rock Slim 2
Netzteil: Corsair RM850x (2024) CP-90202070
SSD (Betriebssystem): Samsung SM841N 128 GB
2x SSD: Crucial MX500 1 TB
1x NVMe: WD Black SN850X

Powertop Auto Tune: Ausgeschaltet
Mit CPU Kuhler Lüfter: 5,3 W
Ohne CPU-Lüfter: 5,1 W



Heute werde ich eine HBA 9500-8i hinzufügen und später eine Intel X710-DA2 2x SFP+ 10GbE X710DA2BLK, um zu sehen, wie effizient sie sein können.

Based on my contribution above, I continued to experiment and looked for the most efficient configuration for this board. This is my result:
Hardware:
Mainboard: Kontron D3643H-13
RAM: Samsung 4GB 1RX16 PC4-2666-UC0-11 S0G9A2093233640008
CPU: Pentium G5420
Kühler: Scythe Mugen 3 rev.B
Netzteil: Mini-box PicoPSU-150-XT + 84W (Fortron) Adapter Power Kit
SSD (Betriebssystem): Samsung SM841N 128 GB
Ein paar benutzerdefinierte Skripte, um die Prozesse in niedrigere Zustände zu versetzen
Powertop Auto Tune: Ausgeschaltet
Ergebnis ein Verbrauch von: 3.1 W



Following up on my post above, I've been experimenting further, searching for the most efficient setup for this board. This is what I came up with:
Hardware:
Mainboard: Kontron D3643H-13
RAM: Samsung 4GB 1RX16 PC4-2666-UC0-11 S0G9A2093233640008
CPU: Pentium G5420
Cooler: Scythe Mugen 3 rev.B
Power Supply: Mini-box PicoPSU-150-XT + 84W (Fortron) Adapter Power Kit
SSD (Operating System): Samsung SM841N 128 GB
A few custom scripts to get the processes into lower states
Powertop Auto Tune: Disabled
Resulting in a power consumption of: 3.1 W

Beitrag automatisch zusammengeführt: Gestern um 09:32

Es tut mir leid, mein Deutsch ist nicht so gut, ich benutze die Übersetzungsfunktion auf dieser Website, um zu posten. Dies ist mein tägliches NAS, deshalb habe ich so viele Festplatten und RAM angeschlossen.
Betriebssystem: TrueNAS Scale


Mainboard: Kontron D3643H-13
RAM: 64 GB (4x GoodRam IRDM X, DDR4, 16 GB, 2666 MHz, CL16 (IR-X2666D464L16/16G))
CPU: i5-8400T
Kühler: beQuiet Pure Rock Slim 2
Netzteil: Corsair RM850x (2024) CP-90202070
SSD (Betriebssystem): Samsung SM841N 128 GB
2x SSD: Crucial MX500 1 TB
1x NVMe: WD Black SN850X

Powertop Auto Tune: Ausgeschaltet
Mit CPU Kuhler Lüfter: 5,3 W
Ohne CPU-Lüfter: 5,1 W



Heute werde ich eine HBA 9500-8i hinzufügen und später eine Intel X710-DA2 2x SFP+ 10GbE X710DA2BLK, um zu sehen, wie effizient sie sein können.

Mit dieser Zusammenstellung bin ich auch weitergegangen. Zusammen mit 6x HC550 SAS 18TB Ultrastar liegt der Verbrauch bei etwa 70 Watt. Wenn die HBA 9500-8i zusammen mit einigen Prozessen in einen niedrigeren Zustand versetzt wird, kommt es auf etwa 57 Watt heraus.

Ich habe auch eine Intel x710 10GB LAN-Karte hinzugefügt, und dann fangen die Probleme an. Der effizienteste PCI-Steckplatz ist der unten liegende, auf dem Chipsatz. Wenn man eine zweite hinzufügt, landet eine auf den CPU-Lanes. Dann wechselt der maximale C-State automatisch von C8 auf C7, wie ich herausgefunden habe. Allerdings habe ich keinen Unterschied im Energieverbrauch bemerkt.
Nächste Herausforderung: Die HDDs sind SAS-Laufwerke und lassen sich nicht leicht in den Spindown-Modus versetzen. Das Skript, das TrueNAS dafür bereitstellt, funktioniert nicht für SAS-Laufwerke. (https://github.com/ngandrass/truenas-spindown-timer) SAS-Laufwerke reagieren nicht gut auf HDparm.

Was ich herausgefunden habe, ist, dass sg_start funktioniert, also habe ich das Skript angepasst. Jedoch gibt es mit ZFS ein großes Problem: Der Pool wirft die Laufwerke raus, wenn zu viele Fehler auftreten, da das Hochfahren der Laufwerke zu langsam ist. Daraus folgt nach einer Weile ein Kernel Panic. Aber nicht immer.
Dennoch erreiche ich mit Spindown und den Prozessen in C7 (PKG), C7 (Core) und C10 (CPU) 25,5W.


######### English Version:

I continued working with this setup as well. Together with 6x HC550 SAS 18TB Ultrastar drives, it’s around 70 watts. When the HBA 9500-8i and some processes go into a lower state, it comes out to about 57 watts.
I also added an Intel x710 10GB LAN card, and that’s where the trouble starts. The most efficient PCI slot is the one at the bottom, on the chipset. If you add a second one, one ends up on CPU lanes. Then your max C-state automatically drops from C8 to C7, I found out. However, I didn’t notice any difference in power consumption.

Next challenge: The HDDs are SAS drives and don’t easily go into spindown. The script TrueNAS provides for this doesn’t work for SAS drives. (https://github.com/ngandrass/truenas-spindown-timer) SAS drives don’t respond well to HDparm.

What I discovered is that sg_start does work, so I adjusted the script. However, with ZFS, you run into a big problem: The pool drops the drives if too many errors occur because the drives spin up too slowly. This leads to a Kernel Panic after a while. But not always.

Still, with spindown and processes in C7 (PKG), C7 (Core), and C10 (CPU), I achieve 25.5W.

 

[Turboesel]

Nun gut ich habe mich nun auch drübergetraut.

Intel Core i3-14100, 4C/8T, 3.50-4.70GHz, tray
G.Skill RipJaws V schwarz DIMM 16GB, DDR4-3200, CL16-18-18-38
ASUS Pro B660M-C D4-CSM
Arctic P12 PWM PST schwarz, 120mm, 5er-Pack
be quiet! Pure Power 12 M 550W ATX 3.0
NVME SSD 512 GB
NVME to 6x SATA ASM1166 (china ware)
4x18 TB, 2x 12TB

Nackt nur mit SSD und Unraid (ohne docker) schaffe ich damit im kurzweilig gemessenen Durchschnitt 7-9 Watt. Wahrscheinlich nach ein paar Stunden idle lockere 7 Watt.

Da war ich doch schon sehr zufrieden. Die China ASM1166 Karte fügt dem ganzen nochmal 3 Watt hinzu. Auch das ist verkraftbar.
ASPM powertop und alles gedöhns aktiviert was geht. Soweit so gut.

Schlechter wird das ganze, wenn man die Platten mitanhängt und Docker läuft. Alles in allem mit Lüfter, Docker und Co komme ich auf ein Langzeit-idle von ca 18W. Das nach einer eigentlichen weiteren BIOS optimierung: Ich habe den Turboboost der CPU abgeschalten (kein rauftakten mehr auf 4,7 GHz sondern nur auf die 3,5 GHz basisclock. Paradoxerweise hat mir das aber ca 3 Watt dazugegeben. Davor war der idle bei etwa 15W.

Woher der Stromverbrauch kommt ist bei mir wohl klar Docker container. Nackt war ich bei 75%-87% C10. Im vollbetrieb sind es jetzt nur etwa 40% C10.

Aber für die Leistung und die Menge an Speicherplatz die ich bekomme, ist das glaube ich ein vertretbarer wert. Die Platten sind sowieso annähernd 24/7 abgeschaltet. Wenn nicht eine app unbedingt darauf zugreifen muss, dann sind sie nur im Fall des wöchentlichen überspielens des cache im Einsatz. Sind alle platten an, bin ich bei etwa 50W.


Austesten werde ich noch aggressives underclocking, weil die CPU für den einsatzzweck sowieso komplett überdimensioniert ist. 3,5GHz braucht man da lange nicht, da wäre viel rauszuholen. Ob ich mir das Tüfteln noch antun werde ist fraglich.

würde ich es nochmal nachbauen würde ich es vermutlich ähnlich machen, jedoch von anfang an so viel SATA slots am mainboard kaufen. monetär rentiert es sich zwar nicht, aber ich hätte leich das Q670 Mainboard mit 6 Anschlüssen kaufen können, dann muss man sich jedenfalls ein paar jahre länger nicht mit diesen grauenhaften ASM chips herumschlagen.