SSD, die hohe c-states bei CPU ermöglicht?

[cibomato]

Hallo zusammen,

ich brauche eine SSD für meinen heute eingetroffenen neuen Homeserver, der insgesamt möglichst energieeffizient werden soll.
Darauf laufen soll Proxmox inkl. VMs auf einer einzigen SSD.
Energieverbrauch der SSD selbst ist das eine, ich habe nun aber verschiedentlich gelesen, dass manche SSDs verhindern, dass die CPU in einen höheren c-state als z.B. 2 wechselt. Daher möchte ich sicher gehen, die richtige SSD (4TB) dafür zu finden. Ich habe viel recherchiert dazu, aber leider nur wenig gefunden bzw. bin von den ganzen Akronymen (APST, APSM, APLM,...) maximal verwirrt.
Mit welcher SSD habe ich da denn die besten Chancen? Ich kann eine M2 2280 PCIe 3 2x oder eine 2,5" SATA verbauen. Klar, ist die M2 schneller (wäre mir auch lieber) aber wie ist das mit dem o.g. Thema? Was ist da besser?
Habt Ihr konkrete Modellvorschläge? Bzw. Controller (Phison?)? Bzw. Modelle/Controller, die hier problematisch sind?

Vielen Dank und viele Grüße,
Jochen

 

[BobbyD]

Wäre auch noch die Frage, ob ein Hypervisor nicht eh das Stromsparen verhindert. Denke daher, Du solltest dich eher auf eine "sparsame" SSD konzentrieren und das mit den c-states wieder vergessen, gerade wenn Du eh nur eine SSD nutzten willst.

 

[cibomato]

Wäre auch noch die Frage, ob ein Hypervisor nicht eh das Stromsparen verhindert

Ist das nur ne Vermutung oder gibt's da Anhaltspunkte dafür?

 

[BobbyD]

Ist halt die Frage, ob Proxmox als type 2(?) Hypervisor sich hier anders verhält, aber wenn Du eh nur eine SSD hast für alles, dann wird die nie wirklich pennen können, ist zumindest mein Gedanke. Gleiches gilt für die CPU, um die es ja hier eigentlich geht.

 

[cibomato]

Ich hab keine wirklich hohen Workloads (vorerst mal WLAN-Controller, Cloud) und das quasi nur für mich. Die Hoffnung wäre, dass er da doch zwischendrin mal "zur Ruhe" kommt.

 

[Philipp Beatdown]

Per Sata hab ich noch nie eine SSD gesehen die C states BZW wichtiger P-States verhindert.
Solange du im bios die Sata link einstellungen einstellst , sollte das alles funktionieren !

 

[mgutt]

er Sata hab ich noch nie eine SSD gesehen die C states BZW wichtiger P-States verhindert.

Die Tage hatte mir noch User berichtet, dass eine alte 4TB HDD bei ihm die C-States verhindert hat, was ich nicht so recht glauben wollte. Heute habe ich eine Samsung Enterprise SATA SSDs getestet und sie verhindert ebenfalls alle tiefen Package C-States. Sie lässt sich sogar mit einer Standby-Regel versehen (geht nach 5 Sekunden automatisch in den Standby), aber das hat einfach gar keinen positiven Effekt.

Ersetze ich die Enterprise SATA SSD gegen eine beliebe andere SATA SSD, funktionieren die C-States wie erwartet. Spart dann immerhin 4 Watt.

Also normalerweise passiert das nicht, aber es kann tatsächlich vorkommen. 😒

Bezüglich NVMe muss man es übrigens testen. Ich hatte schon Mainboards, wo 1 bis 2 NVMe keinen Einfluss hatten, aber dann die dritte die C-States killte. Manchmal hängt es auch davon ab, ob die NVMe an die CPU oder den Chipsatz angebunden ist. Ich glaube, wenn der Chipsatz eh aktiv ist und da die M.2 Slots dran hängen, hat es sonst keinen negativen Effekt, während ein CPU M.2 Slot zusätzliche Lanes aktiviert. So kann ich es mir jedenfalls erklären.

Wäre auch noch die Frage, ob ein Hypervisor nicht eh das Stromsparen verhindert

Würde ich auch so sehen. Bei mir reicht schon ein Minecraft Container (nicht mal eine VM). Und gerade eine VM hat ja eine gewisse Grundlast. Da kann die CPU dann einfach nicht mehr schlafen gehen.

Ich würde meinen Fokus erstmal auf ein sparsames System legen. Also zb ein Thinclient. Die Tage habe ich noch einen M920x mit 4W gemessen. Selbst mit inaktiven C-States liegt man da bei unter 10W. Und da passen übrigens mit PCIe Adapter bis zu 3x M.2 und eine SATA SSD rein.

 

[asche77]

Den m920x als "thinclient" zu bezeichnen ist allerdings irreführend - das ist ein "tiny", ansonsten aber mit kräftig Power und RAM (-Optionen). "Thin" haben ja meist nur mini CPU und RAM.

 

[bakuschda]

Servus, habe mich mal kurz registriert um hier aus meiner Erfahrung zu berichten.
Sorry für die Antwort auf einen alten Thread, aber vllt hilfts manchen in Zukunft..

@BobbyD @Philipp Beatdown
Habe mir auch ein System mit Proxmox vor paar Tagen gemacht.
HP elitedesk 800 G3
i5-7600T --> Werde aber auf i7-7700 wechseln nach Verbrauchstest in Idle & Last, denke wird nicht viel Unterschied machen da sweet point ähnlich ist.
2x 4TB WD Red Pro
32GB DDR4
2 VM's --> Idle 18W

C-State: Pkg (HW) bei C8 (pc8) 92%+
Sobald nun eine billig Sata SSD Intenso 2.5" SSD HIGH (aktuell nur diese und ihr vorgängermodell getestet) anschließe, geht der C-State auf C2 97%+ und der Gesamtverbrauch im Idle steigt damit um knappe 20%
Das Alter scheint nicht umbedingt eine Rolle zu spielen. Testweise habe ich eine weitere alte SSD Sandisk Z400s angeschlossen. Diese führt nicht zu diesem Problem.
--> Sata Link und weitere Optionen waren eingestellt und ebenfalls via Powertop überprüft und ebenfalls geändert worden. Hatte alles keine Auswirkung auf die dann schlechten C-States

Ich habe mich noch nicht allzu sehr informiert, welcher Eigenschaften der SSD genau dazu führen, allerdings scheint dies der Threadersteller getan zu haben.
Bin aktuell ebenfalls auf der Suche nach einer kleinen SSD für VM's + OS (proxmox), muss leider eine Sata SSD sein, da der M.2 Slot aufgrund fehlender Treiber kein bootfähiges Medium sein kann.
(fragt mich nicht warum, HP hat damals wohl keine Treiber mitgebracht, auf jeden Fall haben viele/alle Benutzer des HP Elitedesk 800 G3 dieses Problem)

@mgutt Sprich alle aktuellen (non enterprise) SSDs sollten funktionieren, wenn ich das richtig verstehe?!

 

[mgutt]

Sprich alle aktuellen (non enterprise) SSDs sollten funktionieren, wenn ich das richtig verstehe?!

Ich nehme an du meinat die C-States. Also meine Erfahrung ist: 0% der Enterprise SSDs gehen tief schlafen und 99% der Consumer SSDs dagegen schon. Allerdings kann es ja nach Kombi Board vs SSD auch eine Consumer Probleme machen. Ich empfehle meistens ein Markenprodukt wie Samsung oder WD. Da hat man in der Regel keine Probleme mit.

 

[c0l0]

Wäre auch noch die Frage, ob ein Hypervisor nicht eh das Stromsparen verhindert. Denke daher, Du solltest dich eher auf eine "sparsame" SSD konzentrieren und das mit den c-states wieder vergessen, gerade wenn Du eh nur eine SSD nutzten willst.

Wenn dein Hypervisor Software ist, die unter Linux laeuft (also z. B. wie bei Proxmox qemu), dann verhindert diese Software das sicher nicht - das ist reine Treiber- (oder ggf. Load-)Sache. Ich hab auf meinem MC12-LE0 mit 5650 PRO-APU momentan mit Debian 12 als Host drei qemu-VMs (ganz aehnlich, wie das unter Proxmox der Fall waere), und da schaut das so aus:

# turbostat -S
turbostat version 2022.10.04 - Len Brown <lenb@kernel.org>
Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.1.0-23-amd64 root=UUID=86053a6a-300a-426a-9eb9-be5b77b50c2f ro quiet audit=0
CPUID(0): AuthenticAMD 0x10 CPUID levels
CPUID(1): family:model:stepping 0x19:50:0 (25:80:0) microcode 0x0
CPUID(0x80000000): max_extended_levels: 0x80000023
CPUID(1): SSE3 MONITOR - - - TSC MSR - HT -
CPUID(6): APERF, No-TURBO, No-DTS, No-PTM, No-HWP, No-HWPnotify, No-HWPwindow, No-HWPepp, No-HWPpkg, No-EPB
CPUID(7): No-SGX No-Hybrid
RAPL: 234 sec. Joule Counter Range, at 280 Watts
/dev/cpu_dma_latency: 2000000000 usec (default)
current_driver: acpi_idle
current_governor: menu
current_governor_ro: menu
cpu6: POLL: CPUIDLE CORE POLL IDLE
cpu6: C1: ACPI FFH MWAIT 0x0
cpu6: C2: ACPI IOPORT 0x414
cpu6: C3: ACPI IOPORT 0x415
cpu6: cpufreq driver: acpi-cpufreq
cpu6: cpufreq governor: schedutil
cpufreq boost: 1
cpu0: MSR_RAPL_PWR_UNIT: 0x000a1003 (0.125000 Watts, 0.000015 Joules, 0.000977 sec.)
Avg_MHz Busy%   Bzy_MHz TSC_MHz IPC     IRQ     POLL    C1      C2      C3      POLL%   C1%     C2%     C3%     CorWatt PkgWatt
39      2.43    1596    3893    0.22    15935   14      182     3710    11169   0.00    0.04    1.95    95.76   0.67    5.63
39      2.65    1487    3893    0.28    16773   118     232     4048    11498   0.00    0.07    2.19    95.26   0.55    5.81
39      2.56    1505    3892    0.27    16267   23      239     4132    10929   0.00    0.03    2.27    95.29   0.63    5.80
37      2.44    1534    3893    0.23    16643   26      255     4135    11389   0.00    0.03    2.24    95.47   0.61    5.74
36      2.55    1420    3893    0.22    15920   14      202     3683    11175   0.00    0.02    1.95    95.66   0.52    5.72
35      2.42    1465    3893    0.23    14999   20      199     3615    10296   0.00    0.03    1.94    95.79   0.48    5.72
37      2.31    1609    3893    0.30    17209   54      264     4597    11154   0.00    0.07    2.73    95.06   0.56    6.14
37      2.29    1627    3893    0.26    16473   143     305     4417    10654   0.00    0.09    2.41    95.37   0.61    5.82
[...]

(C3 ist der niedrigste C-State, den man auf Zen3 erreichen kann. Manche Software labelt diesen Zustand als "C6".)

Mit aktuellerem Kernel und damit "besserem" cpufreq-Treiber sollte es nicht schlechter aussehen. Knackpunkt ist, dass man keine Geraete/Komponenten im System hat, die die State Transition zu C3 prinzipiell verhindern. Afair koennen Zen3-CPUs (also nicht-APUs) zumindest auf meiner Plattform nur bis C2 runter.

 

[bakuschda]

Ich nehme an du meinat die C-States. Also meine Erfahrung ist: 0% der Enterprise SSDs gehen tief schlafen und 99% der Consumer SSDs dagegen schon. Allerdings kann es ja nach Kombi Board vs SSD auch eine Consumer Probleme machen. Ich empfehle meistens ein Markenprodukt wie Samsung oder WD. Da hat man in der Regel keine Probleme mit.

Beziehe mich auf den Pkg (HW) C-State.
Bei Anschluss der billigen Intenso HIGH Sata SSD ist der maximal C-State C2.
Ohne diese SSD oder eine andere (bspw. Sandisk Z400s, auch sehr alt), ist der maximal C-State C8 mit mind 90%+


--> Alle tunables sind angewandt, welche auch Sinn ergeben. Habe aber auch schon alle zum Test angehabt.

Nun suche ich eine SATA SSD, welche diesen hohen C-State nicht verhindert. Irgendeine halbwegs billige 256GB Sata SSD
Habe nicht viel Informationen dazu online gefunden, woran ich herleiten kann, ob der C-State verhindert wird.
M2 NVME/PCI funktionieren bei meinem System als Bootmedium leider nicht

VG

 

[Kavendish]

Ich würde mal die Lexar NM790 in den Raum werfen, siehe https://www.hardwareluxx.de/communi...sd-nas-1g-0-85w-idle-2-5g-1-00w-idle.1340466/

 

[warchild]

Ich würde mal die Lexar NM790 in den Raum werfen, siehe https://www.hardwareluxx.de/communi...sd-nas-1g-0-85w-idle-2-5g-1-00w-idle.1340466/

Prinzipiell gute Empfehlung, hier aber leider am Thema vorbei, denn:

M2 NVME/PCI funktionieren bei meinem System als Bootmedium leider nicht

Zum Thema: Samsung hat sich da zumindest bei den neueren Serien (860/870) relativ positiv hervorgetan. Günstig und 256GB ist da allerdings schwierig

 

[tolga9009]

Ich habe hier beim T20 und Dell M3800 (beides alte Intel Systeme mit Haswell) die Erfahrung gemacht, dass eine Samsung 860 EVO maximal nur PC6 erlaubt hat, während eine Intel 535 Series SSD den maximalen PC7 rausholt. Die genaue Ursache konnte nie wirklich rausfinden - ich weiß somit nicht, ob es ein generelles Firmware-Problem/Konfiguration seitens Samsung ist, ob es an Haswell liegt, oder ob es ein Linux-Problem ist. Konfiguration war exakt die gleiche, habe die SSDs geklont. Generell lohnt sich aber der Blick in libata-core (https://github.com/torvalds/linux/blob/master/drivers/ata/libata-core.c) bzgl. blacklisted SSDs. Dort werden Quirks aufgelistet u.a. für Power Management Bugs, mit denen ggf. Features deaktiviert werden, damit die SSDs unter Linux einwandfrei laufen.

 

[soisses77]

Mit dem Thema sparsamer Homeserver habe ich mich relativ viel praktisch beschäftigt und kann aus Erfahrung folgendes beitragen:

- Intel-Systeme können bei hohen C-States (ab C6 Package) extrem sparsam sein
- allerdings kommt es auf eine richtige Zusammenstellung der Komponenten und das richtige Mainboard an
- Enterprise SSDs (z.B. Samsung) verhindern häufig hohe C-States, dies ist im Rechenzentrum auch nicht das Anforderungsprofil
- Kingston hat für mich die einzigsten Enterprise SSDs (DC600M), die bei mir problemlos funktionieren
- Proxmox und Linux-VMs laufen problemlos auch in hohen C-States, sobald eine Windows-VM dazu kommt, funktioniert es nicht mehr
LG

 

[bakuschda]

Mit dem Thema sparsamer Homeserver habe ich mich relativ viel praktisch beschäftigt und kann aus Erfahrung folgendes beitragen:

- Intel-Systeme können bei hohen C-States (ab C6 Package) extrem sparsam sein
- allerdings kommt es auf eine richtige Zusammenstellung der Komponenten und das richtige Mainboard an
- Enterprise SSDs (z.B. Samsung) verhindern häufig hohe C-States, dies ist im Rechenzentrum auch nicht das Anforderungsprofil
- Kingston hat für mich die einzigsten Enterprise SSDs (DC600M), die bei mir problemlos funktionieren
- Proxmox und Linux-VMs laufen problemlos auch in hohen C-States, sobald eine Windows-VM dazu kommt, funktioniert es nicht mehr
LG

Vielen Dank für den Input.
Gibt es auch Erfahrung mit non-Enterprise SSDs?
Folgende z.B. oder ähnliche?

VG

 

[soisses77]

Da fehlt mir ehrlich gesagt die Erfahrung. NvME SSDs im Consumerbereich werden eher unproblematisch sein, da das im mobilen Bereich Vorraussetzung für lange Akkulaufzeiten sein. Für Proxmox mit ZFS wird im Allgemeinen Enterprise Hardware und auch ECC empfohlen; beides wird allerdings durchaus kontrovers diskutiert.

 

[sandreas]

Für Proxmox mit ZFS wird im Allgemeinen Enterprise Hardware und auch ECC empfohlen; beides wird allerdings durchaus kontrovers diskutiert.

Ich betreibe eine "Mischform". Proxmox und ZFS (native encryption) mit runtergeschraubten Log auf einem Fujitsu D3417-B12 mit Xeon E3-1225v5, 64GB ECC RAM und einer Consumer WD SN850x NVMe SSD - da klappt mit den C-States alles, ist aber natürlich wieder die NVMe Variante. Braucht 9,3W im Idle, mit 11 docker containern und einer VM 12-14W (schwankend) im Idle.

Hatte auch ne (sehr alte) SATA SSD dran (Crucial M4 128GB) und meine mich zu erinnern, dass der Verbrauch noch NIEDRIGER war (8,2W), aber ich habe die Fotos nicht mehr gefunden. Garantieren kann ich da also nix.