[Sammelthread] Die sparsamsten Systeme (<30W Idle)

[bagican]

@de-sascha see my post there: https://forums.unraid.net/topic/149549-ultra-low-power/?do=findComment&comment=1387289

HW: fanless ITX server: Asus H610T D4-CSM, i3-13100, 64GB RAM Crucial, 1x SATA SSD Crucial M4 128GB (https://www.storagereview.com/review/crucial-m4-ssd-review-256gb)



TL;DR:
without ASM1166:
idle: 2-3W ⚡️✅
- C10 (~91%)

with ASM1166:
idle: 14.1 - 14.5W ⚡️⚡️⚡️⚡️⚡️
- with ASPM L1 on all devices
- no errors in dmesg
- C2 max (~98%)

- here you can see my powertop html report: https://jsbin.com/rolehanuqi/edit?output
and my whole dmesg log: https://pastebin.com/18FZnAAB (after restart, without ASPM applied) and after powertop and ASPM enabled: https://pastebin.com/aTyQnvAZ

But be aware that I tested my ASM1166 adapter in Odroid H3 and power consumption increased only +1 W (as you can see here)

❗️TODO:
- Also, I forgot to upgrade BIOS, so maybe I will update this post tomorrow with newest bios.
- ❗️It would be great to test another SATA SSD, because I've used old 128GB Crucial M4 SATA SSD (11+ years old).

 

[Tremendous]

The issue is, if you use ASM1166/ASM1164 on an M2 extension card you are not able to get into lower Cstates.
You have to use it as PCIe Card to get powersaving working with this.

8 watts - No SATA controller - C8 power state
9 watts - ASM1166 on an x4 slot connected to the chipset - C8 power state
12 watts - JMB585 on the x16 slot connected to the CPU - power state C3
15 watts - JMB585 on an x4 slot connected to the chipset - power state C3
22 watts - ASM1166 on the CPU-connected x16 slot - power state C2
The ASM1166 performs well here when plugged into a chipset-connected slot (only +1 watt), but it performs horribly when plugged into the main PCI-E slot (+14 watts) where the CPU package power state drops to C2. Shockingly, the JMB585 behaves the other way round, its consumption is lower on the slot connected to the CPU (and it doesn't cause C2)

 

[MPC561]

The issue is, if you use ASM1166/ASM1164 on an M2 extension card you are not able to get into lower Cstates.

Did you also try the second M.2 slot. If I remember correctly one is linked directly to the CPU and the other one via DMI. The one via DMI I would not expect your described behavior, while I heard already that the direct to the CPU connected M.2 often creates this kind of problems with the C-States.

Greets,
Joerg

 

[Tremendous]

Wenn der zweite M2 slot Chipsatzgebunden wäre, wäre das wahrscheinlich so.
Ich würde den auch auf den zweiten Slot versuchen zu bringen bei einem Intel Chipsatz.

Bei N100/N305 Boards gibt es aber gar kein Lanes für einen Chipsatz, die gehen alle auf die CPU. Somit wird man mit den Dingern und einem zusätzlichen Controller niemals unter C3 kommen können.

 

[MPC561]

Hmmm, ich dachte wir reden über H610?

 

[Tremendous]

Deswegen der Absatz

 

[MPC561]

Deswegen der Absatz

Ja schön, aber wieso bringst Du, im 2. Absatz, den N100 ins Spiel? Ich verstehe die Logik nicht, ich hatte ja nix über N100 gesagt und auch davor x-Posts keiner? Aber egal.

Unser Konsens ist dann, dass man mal den 2. M.2 Slot beim H610 testen sollte, der via DMI/Chipsatz angebunden ist.

Gruss,
Joerg

 

[Tremendous]

Entschuldigung dass ich das ungefragt mit eingebunden habe.

 

[bagican]

Small update today:
- updated BIOS to latest (Version 3202, from 2024/03/07)
- changed SSD from 11+ years old Crucial 128GB to new Samsung 870 QVO 2TB
- tried m.2 to 6x SATA ASM1166
- measured on AC side with Shelly Plus 1PM (I like Shelly firmware and it's API)
- with ASM1166 only C2 state. Here is powertop report with ASM1166: https://jsbin.com/sawelehomi/edit?output (and without ASM1166: https://jsbin.com/nujejetotu/edit?output )

 

[Tremendous]

Have you changed the SSD at the same time as you have changed and tested the other M2 slot?

 

[bagican]

@Tremendous no. this board has only one M.2 slot (another M.2 slot is only M.2 Key E for Wi-Fi card or m.2 to 2.5G ETH adapter)

 

[Tremendous]

Then I guess the M2 is laned to the CPU and you will not be able to reach C8-C10 with a controller Card. It will stay lowest at C3.
Unfourtently I did not find any in the board documentation about the lane setup on the board.

 

[de-sascha]

Okay das. Das Wäre auch meine Frage gewesen, wie eure Erfahrung mit den N100 N305 Boards aus China ist.
Aktuell bin ich etwas abgenervt von dem NAS Projekt.
Eigentlich suche ich ein mini ITX Board das den bei dem ich einen schönen 7/24h Idle Load erreiche, auf dem Unraid läuft und noch ein paar Docker.
Ich das Fujitsu Q957 war sehr viel versprechend, mit 4,8W incl. ASM1166 Card. Aber leider durch das kleine onboard PSU von 65 Watt nicht für mehr als 2x 3,5HDDs ausgelegt. Geschweige denn noch SSDs.

 

[Tremendous]

Das Wäre auch meine Frage gewesen, wie eure Erfahrung mit den N100 N305 Boards aus China ist.

Kann ich dir sagen sobald es da ist. Liegt wohl schon im Flugzeug laut Tracking

 

[Stunrise]

Auf Reddit hat das schon einer mit nem AsRock Board N100M getestet und der Idle Verbrauch lag bei enttäuschenden 14w. Das Problem hier wird weniger die CPU sein, als vielmehr das ganze drumherum, dass bei Energieeffizienz einfach nicht mit ARM konkurrieren kann.

https://www.reddit.com/r/HomeServer/comments/173sygj/guess_the_power_consumption_of_intel_n100_machine/

 

[Tremendous]

Man sollte nicht erwarten dass ein ITX Board auf die gleichen Idle Werte kommt wie diese Mini PCs die ein 10x10 Board haben.
Dann kann man auch nicht enttäuscht werden.
Ich hoffe auf unter 20 Watt Idle mit dem N305. Das wäre für nen 8-Kerner etwas mit dem man arbeiten kann.

 

[MPC561]

Auf Reddit hat das schon einer mit nem AsRock Board N100M getestet und der Idle Verbrauch lag bei enttäuschenden 14w. Das Problem hier wird weniger die CPU sein,

Einer der dümmsten Tests die ich je gesehen habe. Typisch Reddit. Schreibt kein Wort ob er im Bios überhaupt ASPM und andere Energiesparmassnahmen aktiviert hat bzw. das OS richtig eingestellt usw.

Und genau auf diesen Rotz 14W Tests wird permanent verwiesen.

Ich hab das N100DC-ITX Nackig nach den Regeln hier im thread mit knapp 6W vermessen. Wenn ich statt 19V ein 12V Netzteil nehme sind es nur noch 5W.
Das Asrock N100m ist nahezu gleich wenn es nackt betrieben wird mit einer PicoPSU. Ich garantiere das das auch mit ca. 5W läuft und keinen 14W Nonsens.

PS: Asrock N100DC-ITX mit 1xNVME + 2xSATA SSD mit 5-6 Dockern (Unbound, Adguard, Netxtcloud, Homeassistant ec.) hat über 24h einen Stromverbrauch von c. 200Wh, sprich also 8,3W bei Idle und Teillast. Ist eh der interessantere Wert als permanent idle in dem man sich produktiv selten befindet.


Btw. Fujitsu Esprimo Q957 mit i5-6500T braucht mit den gleichen SSDs/NVME und exakt den gleichen Services) ca. 130Wh, sprich 5,5W.

 

[Tremendous]

Danke für die erfahrungswerte!
Mal schauen was der N305 macht

 

[StylusDark]

Das n100 gibt's auch über Amazon und ich bin auch stark am überlegen. Szbox N100 https://amzn.eu/d/1gQGc1g

 

[Tremendous]

Im Gegensatz zu CWWK sind das nur 25 EUR mehr. Warum nicht

 

[mojoh]

Ich hab das N100DC-ITX Nackig nach den Regeln hier im thread mit knapp 6W vermessen. Wenn ich statt 19V ein 12V Netzteil nehme sind es nur noch 5W.
Das Asrock N100m ist nahezu gleich wenn es nackt betrieben wird mit einer PicoPSU. Ich garantiere das das auch mit ca. 5W läuft und keinen 14W Nonsens.

Hallo MPC,

ich habe das gleiche N100DC-ITX Board mit

16 GB Kingston KVR32N22S8/16 RAM​

256GB Samsung PM991 M.2 SSD​

Leicke 12V 90W Netzteil​

Monitor aus​

und komme nicht unter 15 W im idle (gemessen mit Dect200).
OS ist Linux Mint 21.3 mit Kernel 6.5.0-25-generic x86_64 (die 5er-Kernel der Distribution machten Probleme mit der iGPU).

Im UEFI habe ich sämtliche Stromsparfunktionen aktiviert.

Powertop --auto-tune zeigt:

lspci:

test@N100Mint:~$ sudo lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
        LnkCap:    Port #7, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
        LnkCtl:    ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Device 54b0 (prog-if 00 [Normal decode])
        LnkCap:    Port #9, Speed 8GT/s, Width x2, ASPM L1, Exit Latency L1 <16us
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
        LnkCap:    Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
        LnkCtl:    ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller 980 (prog-if 02 [NVM Express])
        LnkCap:    Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
test@N100Mint:~$

Ich würde daher gerne deine UEFI-Einstellungen mal abgleichen (gerne als PM), da ich keine Idee habe, wie ich den Idle-Verbrauch weiter senken kann.


mojoh

 

[MPC561]

Ich würde daher gerne deine UEFI-Einstellungen mal abgleichen (gerne als PM), da ich keine Idee habe, wie ich den Idle-Verbrauch weiter senken kann.

Du hast das Problem mit den aktuellen Realtek Kernel Treibern die tiefere C-Pkg states verhindern, nehme ich zumindest stark an, da deine NVME ja im ASPM ist.

Du solltest mal auf der Kommandozeile folgende Befehle eingeben um via setpci ASPM manuell aktivieren.

sudo setpci -s 00:1c.0 0x50.B=0x42
sudo setpci -s 01:00.0 0x80.B=0x42

Wenn es funktioniert dann muss das bei jedem Reboot wiederholt werden, sprich in ein startup script. Diese Befehle sind exklusiv für das N100DC-ITX und das N100m ohne zusätzliche SATA Karten (via M.2 oder generell PCIe), weil sich ggf. die Adressen der PCIe Devices verschieben können und die Befehle angepasst werden müssen. Bei anderen Boards können alle Adressen anders aussehen.

Zum Gegenchecken hier nochmal die Biossettings, die hab ich im Unraid Forum schonmal gepostet: Klick Mich


PS: Du solltest Powertop 2.15 verwenden. Das zeigt dann auch den N100 vernünftig an.

 

[mojoh]

@MPC561 ,

vielen Dank für die Antwort.

Ja, das mit dem Powertop habe ich kurz vor deiner Antwort selbst bemerkt und die V 2.15 installiert.

Die von dir empfohlene manuelle Aktivierung von ASPM via setpci hat leider nichts gebracht.

Und der Abgleich der BIOS-Einstellungen hat auch keine abweichenden Einstellungen erkennen lassen.

Am idle-Verbrauch hat sich leider nichts geändert.

Aber trotzdem vielen Dank!

mojoh

 

[TsAGoD]

Hi, ich habe mir das Asrock N100M geholt, mit 90 W Leicke und 80W picopsu. Ne 500GB Samsung SSD dran, Proxmox 8.1.4 mit paar CTs. Komme auf 7W im idle.

Im UEFI habe ich sämtliche Stromsparfunktionen aktiviert.

Gibt es da ne Übersicht oder nen Thread, was man alles so aktivieren sollte?

 

[Kurzschluss[A]]

Eine Frage in die Runde: habt ihr Erfahrungswerte was für idle Verbrauchswerte mit einem xeon e3 1240 v6 zu erwarten sind ? Sofern die restliche Hardware passt, onboard GPU bzw ipmi.

 

[Wilhelm_II.]

@MPC561 ,

vielen Dank für die Antwort.

Ja, das mit dem Powertop habe ich kurz vor deiner Antwort selbst bemerkt und die V 2.15 installiert.

Die von dir empfohlene manuelle Aktivierung von ASPM via setpci hat leider nichts gebracht.

Und der Abgleich der BIOS-Einstellungen hat auch keine abweichenden Einstellungen erkennen lassen.

Am idle-Verbrauch hat sich leider nichts geändert.

Aber trotzdem vielen Dank!

mojoh

Teste mal:
echo 1 | sudo tee /sys/bus/pci/drivers/r8169/0000:01:00.0/link/l1_2_aspm

 

[STSC]

Gibt es für das Asus H610T D4-CSM auch Messwerte für Windows? Wäre interessant, wie niedrig da der Verbrauch ist.

 

[mojoh]

Gibt es da ne Übersicht oder nen Thread, was man alles so aktivieren sollte?

Ich weiß nicht, ob sich das UEFI des N100M vom N100dc unterscheidet.
Aber hier mal meine UEFI-Einstellungen (für V 1.06):

C1E und C State auf Enabled stellen. AUTO wird nicht immer richtig erkannt.

PCH PCIE ASPM Support auf L1 (AUTO wird nicht immer richtig erkannt).
Onboard LAN normalerweise auf Enabled (hier auf Disabled, da testweise gerade ein USB-WLANStick angeschlossen ist).

SATA Aggressive Link Power Management auf Enabled.
Sofern an SATA3_x Laufwerke angeschlossen sind dort draufklicken und, wenn es eine SSD ist, SSD anstatt HardDisk auswählen.

Je nach angeschlossenen USB-Geräten XHCI Hand-off En- oder Disabled.


mojoh

 

[hs_warez]

"Eigenbau-Server": Gigabyte C246M-WU4, Intel Xeon E-2226G, 4x16GB Kingston (KSM26ES8/16ME) ECC-Ram, Intel i350-F2 (LWL), Intel DC 3700 200GB (OS), Dell H330 Controller (LSI3008 "it mode") + 2x Toshiba Enterprise MG07ACA 12TB + 2x Intel D3-S4510 1,92TB

Habe obiges Setup seit einigen Jahren laufen - habe gestern das aktuellste BIOS aufgespielt und zusätzlich den i3-9100 gegen einen Xeon E-2226G getauscht.

Bisher läuft TrueNAS scale "bare-metal" drauf (künftig soll Proxmox drauf laufen); mit dem i3-9100 und keinen besonderen BIOS-Einstellugen (lediglich z.B. Audio aus, Serial aus, onboard LAN aus,...) lief der Server im idle so grob mit 45-48 Watt.

Mit dem Xeon habe ich noch nicht gemessen - sollte sich aber im idle-Betrieb (hoffentlich) nicht wirklich viel ändern.

Nutzt jemand von euch hier das Gigabyte-Board für einen "Home-Server" / ein NAS und hat sich mit den BIOS-Einstellungen "gespielt"?
Sprich, wo/welche Einstellungen sind empfehlenswert um ev. noch ein wenig Strom zu sparen?


Danke!


LG

 

[DomainAdmin]

Hi

Ich habe hier ein MSI B760i, mit einem 14600k (auch mit einem 12900k getestet - unfreiwillig, da zuerst ein BIOS update nötig war für die 14th Gen).

Der kommt leider nicht höher als C3:

Im BIOS sind alle Energiesparfeatures an resp. erzwungen (also nicht auf "auto").

00:06.0 PCI bridge: Intel Corporation Raptor Lake PCIe 4.0 Graphics Port (rev 01) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <4us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.0 PCI bridge: Intel Corporation Device 7a38 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM961/PM961/SM963 (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Der Realtek RTL8125 hat ASPM deaktiviert, und ich kann das nirgendwo aktivieren. Weiss jemand, ob und wie das geht?

Die Intel PCI Bridge hat ASPM ebenfalls deaktiviert - wegen des Realteks?

Habe es mit Ubuntu getestet, mit einer 960Pro. Ohne SSD ist es auch nicht besser. Ohne Display ebenfalls nicht. Habe auch den Realtek deaktiviert, ebenfalls keine Besserung!? pcie_asmp=force gesetzt, keine Änderung. Was kann ich sonst noch versuchen?