Stromverbrauch reduzierbar oder neue HW für NAS?

[itsPenzi]

Hallo allerseits,

ich möchte mir ein Homelab aufbauen und dazu meinen alten PC zum NAS umfunktionieren, jedoch schluckt der um einiges mehr Strom als zunächst angenommen

Spoiler: alter PC:

CPU = Ryzen 2700x
GPU = RTX 2070
RAM = 2x16 GB DDR4 ECC (M391A2K43BB1-CTD)
Mobo = Aorus x470 Gaming Wifi 7
PSU = Corsair RM650i
Extras = 10G NIC mit 2 Ports
Case = Inter-Tech 4410
Storage =

• 6x Seagate Ironwolf 4TB
• 1x Crucial nvme ssd 1TB

Als OS läuft Proxmox drauf mit einer TrueNAS Scale und Ubuntu Server VM.

Während ich diesen Thread verfasse liegt der Verbrauch bei 130-140W.

Spoiler: Powertop auf dem Proxmox Host:

CPU Governor ändern macht keinen Unterschied, Treiber ist acpi-cpufreq

Die RTX 2070 ist nur drinnen, weil ich noch keine CPU mit iGPU habe.
Möchte in Zukunft TrueNAS Scale bare metal installieren (und nur für 24/7 Storage verwenden) und Proxmox auf einem anderen PC laufen lassen.

Ist beim aktuellen Setup etwas optimierbar oder wird's wohl oder übel komplett "neue" Hardware?

 

[Trambahner]

130-140W Idle??? Das kommt mir viel zu viel für die gelistete Hardware vor, wenn die HDDs nix zu tun haben
Ist da irgendlwelcher RGB-Kram an?

10G über Kupfer mit 2 Ports => ~ 15Watt
Eine dieser HDDs: ~5W im Idle => 30 Watt.
Die Graka kann ich nicht beurteilen.


Ich komm ja bei meinem X570D4U-2L2T + 5950X , 128GB ECC Ram + 6x Enterprise HDD + 2x Datacenter SSD grad mal auf 55-60W Idle unter ESXI 7 und FreeBSD11 als Storage-VM, wenn die HDDs im Spindown sind. Also etwa 90W wenn sie drehen. NT Corsair RM550x, 5 140er Fans. IPMI hat das Board ja auch drin, was 7-8W zieht.
Die Kiste ist mittlerweile auf Proxmox umgestellt, aber dort hab ich noch nit gemessen.

Die kleine Kiste (B550M Tuf Gaming, 5600X, keine Grafik (Kiste bootet headless), 128GB Ram, 6x SSDs , 3 Fans. : 28-29W Idle. NT BQ 400W Purepower.

 

[itsPenzi]

RGB aufm Mobo ist aus (macht ~ 7W aus), Beleuchtung vom Wraith Prism Kühler und GPU lassen sich nicht ausschalten.

GPU kann ich nicht testen, weil das Board ohne nicht booted.

Aber ja, bin mit dem idle Verbrauch auch nicht zufrieden (zahle hier 0,40€ pro kW/h)

 

[Trambahner]

ASPM am Board im Bios aktiviert? (= PCIe Powermanagement)
Scharfe/Hohe Ramtimings (glaub ich eher nicht, wenn Du ECC verwendest) oder OC aktiv? SoC-Spannung raufgesetzt und/oder Infinityfabric Takt?

Allerdings hab ich vor Zen2 und den vor-500ern Chipsätzen keine Erfahrung; bin erst mit 4750G und B550 bei AM4 eingestiegen.
Der 2700X wird sicherlich kein Kostverächter sein.

 

[itsPenzi]

Option ist im BIOS nicht vorhanden.

 

[Liesel Weppen]

Ryzen 2000er CPUs und x470 Boards waren noch nie für sparsamen Idleverbrauch bekannt.

Die GPU macht sicher noch was aus, aber 130-140W idle klingt mir in der Tat schon etwas hoch. Aber da vermute ich wird sich nicht nennenswert was machen lassen. Vielleicht kannst es noch auf 110-120W drücken.
Auf meinem System wirkt sich schon deutlich aus, ob ich die CPU in den Energiesparmodus zwinge. Damit sinds ca. 120W, ohne Energiesparmodus sinds 140-150W. Aber inkl. Monitor. Da gehen also nochmal ~30W für den Monitor weg.

Also... eigentlich ist die ganze Platform gänzlich ungeeignet für sparsamen 24/7-hauptsächlich-idle-verbrauch.

 

[Trambahner]

Bin erstaunt dass die Zen3 mit dem extra I/O-Die und PCIe gen4 da im Vergleich so gut wegkommen. Und auch v.a. das X570D4U-Board hat ja auch nochmal diesen Die als Chipsatz => da gehen schon für beide zusammen so 12-14W drauf. Dazu die IPMI und die Intel X550-T2 (2x10G Kupfer).

Vielleicht hab ich auch einfach gute Chips bei den CPU erwischt.

 

[Liesel Weppen]

Naja, für 24/7 idle würde ich einfach gänzlich andere Platformen wählen. Anders sähe es aus, wenn eine entsprechende Grundlast sowieso anläge.

Extra für den Fall hab ich mir z.B. einen Intel NUC geholt. Das ist im Prinzip Notebookhardware, die auf Idleverbrauch optimiert ist. Der läuft im Idle.... im wirklichen Idle.... mit 2,5W. Sobald aber auch nur die geringste Last drauf kommt, z.B. ein Minecraftserver... selbst wenn da kein Spieler eingeloggt ist, steigt der Verbrauch schon auf 10-15W. Was ja irgendwie klar ist, weil der Server auch wenn kein Spieler drauf ist, weiter läuft und damit CPU-Sleepstates verhindert. Aber genau bei den Sleepstates, ist solche "Notebookhardware" eben überragend gut.

Mein i5-1135G7 hat zwar nur 4 Kerne, aber die pro-Kern-Leistung steht einem 2700x nicht wirklich nach. Je nach Anwendungszweck fehlt da also auch nichts an Rechenleistung. Wäre lediglich der Fall, wenn der Server von 8 statt 4 Kernen profitieren würde... also auch wirklich was zu tun hätte.

 

[Trambahner]

Kommt immer auf das Anwendungsgebiet an, klar. Rein als Storage würd ich sicher keinen 5950X im Homelab nehmen, da gibts angemesseneres.
Aber auch Storage ist nicht Storage. Mit 10G und ZFS hatte ich in Peak-Zeiten durchaus schon 3 Zen3 Kerne ausgelastet bekommen.

 

[itsPenzi]

Dann mach ich mich mal auf die Suche nach Hardware für das NAS und verwende die Teile die ich schon hab für Proxmox.

 

[Liesel Weppen]

Mit 10G und ZFS hatte ich in Peak-Zeiten durchaus schon 3 Zen3 Kerne ausgelastet bekommen.

Dann hätten die 4 Kerne meines NUCs ja quasi auch schon fast gereicht. Und da gäbe es dann ja auch noch die i7-Variante. Und selbst da gibts noch besseres als meinen 11th Gen.
Das Problem bei den NUCs für ein NAS dürfte eher der Schnittstellenmangel sein. Zumindest wenn man mehrere Platten betreiben will. Aber selbst da stellt sich die Frage ob man in dem Rahmen des benötigten Speicherplatzes nicht eher in 4-8 TB NVMe investiert, statt irgendewelches Althardwaregestückel aus 500GB-Platten weiterbetreiben zu wollen.

Abgesehen von der Frage, ob es überhaupt ZFS sein muss, für ein ggf. nur 0815-NAS.
Noch mehr abgesehen davon, das es sich hinten und vorne nicht rechnet, für ein "nur"-NAS-System sowas wie einen 2700x auf x470 zu betreiben. Da kann man dann auch entsprechende NAS-Systeme verwenden.

 

[Trambahner]

O.g. TrueNAS Scale = ZFS.

 

[itsPenzi]

Auf ein fertiges NAS System will ich nicht zurückgreifen, da ich bei den meisten deren Betriebssystem verwenden müsste und die Komponenten kaum austauschbar sind. Außerdem soll alles in einen Serverschrank kommen, sprich rackmount bevorzugt.

Momentan hab ich alle 6x 4TB HDDs in einem RaidZ2 vdev. Es läuft auch Lancache auf der TrueNAS VM.

 

[itsPenzi]

Ein paar Kombinationen die ich gefunden habe.

1:
Supermicro X12STL-F (360€)
Intel Xeon E-2356G (320€)
128 GB DDR4 ECC UDIMM (340€)

2:
Supermicro X11SSL-F (260€)
Intel Xeon E3-1230 v5 (60€)
64 GB DDR4 ECC UDIMM (170€)

3:
Das im Thread bereits genannte AsRock Rack X570D4U (440€)
AMD Ryzen 5 PRO 5650GE (240€)
128 GB DDR4 ECC UDIMM (340€)

4:
ASUS WS C422 PRO/SE (450€)
Intel Xeon W-2123 (60€)
128 GB DDR4 ECC RDIMM (240€)

Meinungen dazu?

 

[Trambahner]

Ein 5650“GE“ macht gar keinen Sinn, der braucht im Idle genau das gleiche wie der 5650G. Die TDP sagt bzgl Idle nichts aus.
Die „GE“ sind nach oben hin einfach limitiert um sie in kleinstgehäuse zu packen.

Aber auch ein 5650G macht IMO kein Sinn auf X570: du verlierst damit nämlich PCIe gen4 und die x4x4x4x4 Bifurcation Option.
Wenn X570, dann 5600(X).

Wenn einen 5650G, dann in ein sparsames B550 mit ecc Support. Das B550M Tuf zählt da dazu. Hat zwar nur 4 Sata, aber die kannst ja einfachst nachrüsten.
B550M Tuf mit so einer APU kommt fängt bei etwa 18-19W idle an. Steht hier als Desktop mit nem 5750G.

Skylake (1230v5) würde ich nicht mehr neu kaufen, Plattform ist 8 Jahre alt.
Ein 1240v5 auf X11SSH-CTF mit 64GB steht hier als Backupserver (war vorher mein hauptserver). Als Proxmox Backupserver verdient er sich seine „Serverrente“ , besser als verkaufen/verschrotten allemal.
Etwa 50-55W wenn die HDDs im Spindown sind.

Ferner: ein kleines bei niedrigen Lasten effizientes NT.

 

[underclocker2k4]

2:
Supermicro X11SSL-F (260€)
Intel Xeon E3-1230 v5 (60€)
64 GB DDR4 ECC UDIMM (170€)

Hier ggf. ein Fujitsu 3417 nehmen. Gibt es mitunter gebraucht für schmales Geld. (100EUR ist nen guter Preis, leider)
B1x kann v5, B2x kann v5 und v6 CPU. (hier dann einen 12x5er Xeon wegen der iGPU)

Der Chipsatz zusammen mit den Xeons kann ECC und vPro und damit (abgespeckte) Fernwartung, für den Fall der Fälle.

Betreibe solche Kombis als OfficePCs, mit ECC und passiver Kühlung, seit etlichen Jahren, auch 24/7 rock solid.

War seiner Zeit auch immer eine Empfehlung für sparsame Server.

 

[pwnbert]

asrock B550 + 128gb 3200 ecc + 5750G + 4x Ultrastar 20tb + 1x M.2 7400 (säufer) + 1x 870 evo 4tb + 1x 250gb pm-irgendwas (boot) + 750w straight power 11
truenas scale bare metal + 1x debian vm mit kde gui wo jdownloader und bissl kram läuft
ca. 50-55w im spinning "idle"

Mach dir nen Reim draus.
IPMI chip +10w
10gbe Karte +15w (ist die Frage ob ein Board mit Onboard 10gbe sparsamer wäre)
deine alten HDDs brauchen wsl. etwas mehr (der Geräuschentwicklung nach, irgendwo muss die Energie ja dafür herkommen... also statt 4x5w 6x7w) +20w
5600 vs 5750G (vermutlich braucht die CPU schon mehr als die APU, weil nicht monolithisch, weil kein PCIe 4.0, ist die Frage ob das echt so ist, oder ob die idle igpu das wieder ausgleicht) +0-5w
-5w für die 7400

Würdest also bei so 90w landen, spinning idle, meiner Überschlagrechnung nach... mit Asrock Rack, und dem Zeug, das du gern hättest drin.

Sinnvoll wäre bestimmt, wenns ums sparen geht, ein Asrock Rack mit B550, ein 5600x (in dem Fall wohl besser als die APU) und ein Z1 mit 3x 20tb (Toshiba, WD Ultrastar...).
Kostet dich halt 1500 rum, inwiefern sich das amortisiert, naja...

Wirtschaftlich wäre es vmtl. interessant, einen 5650G/5750G (evtl. auch 4650G) in dein Board zu stecken, und zu schauen, wie das läuft... aufs Risiko hin, dass es nicht großartig besser wird. Imho kann der X470 nicht soo schlimm sein, da PCIe 3.0 und passiv gekühlt.


Schwer zu sagen am Ende.
Alles nicht optimal. Allein schon die 6 Miniplatten rotieren zu lassen is eig. Bullshit, 2x ~20tb Mirror wär da schon besser.


Wenn du nur ein TrueNAS willst, brauchst keinen 5750G, 128gb imho auch nicht (son Wunderding ist der ARC auch ned), deine 32gb reichen erstmal, meine ich... kannst ja immer noch stecken.
Realistisch würd ich einen 5650G kaufen (auf gh. im Moment 230€, die PRO sind immer blöd zu beschaffen, musst etwas googeln, sollte billiger gehn), dazu 2 oder 3 gute HDDs (Z1 wäre halt sinnvoller als Mirror in €/TB, aber gleich große Platten, weil Steckplätze teuer sind und Spinning die gleiche Energie braucht).

=> Würde das am X470 testen, obs B550 so viel weniger braucht? 4 Lanes "verlierst" halt mit der APU, ist aber egal, weil dein X470 wohl SLI/CF kann, du kannst also den 1. Graka Slot für die LAN-Karte nehmen (die wird eh x8 Lanes brauchen), könntest in den 2. Slot dann ne Adapterkarte für 2x M.2 stecken (mit x8x4x4), musst im Manual schauen, ob das so geht... sollte aber.. denk ich...
Wenn du kein IPMI brauchst (was dir in Anschaffung sowie im Betrieb Geld sparen würde), wäre das imho ein recht gangbarer und "günstiger" weg.

 

[wddn]

[Sammelthread] - Gigabyte MC12-LE0 (AM4, B550, servertauglich: IPMI, Dual Lan, ECC)

Vorvorwort: Danke an @pumuckel für das ursprüngliche Erstellen des Threads. Ich habe mich bereit erklärt den Thread zur Pflege zu übernehmen und um neue Inhalte zu ergänzen. Der ursprüngliche starter bleibt vorerst als Spoiler im letzten Abschnitt angehängt, damit keine Inhalte verloren gehen...

www.hardwareluxx.de

MC12-LE0
Ryzen 5600
ECC UDIMM

20W mit einer SSD
Leider funktioniert die iGPU der APUs nicht

 

[ghoostknight]

MC12-LE0
Ryzen 5600
ECC UDIMM

20W mit einer SSD
Leider funktioniert die iGPU der APUs nicht

grade das stoert mich... kann man die apu nicht fuers transcoding benutzen?

in der theorie muesste doch ne APU deutlich stromsparender sein, grade wenn man bedenkt das man sonst ne dedizierte grafikkarte braucht?

stehe naemlich auch grade vor der grossen hardware frage... in der theorie is das ipmi unwichtig, man kann sich doch auch sowas mit einem rapsberry pi bauen oder nicht? grade fuer homeanwendung (https://pikvm.org/) ohne 400 in irgendein server board zu investieren...

ich tendiere derzeit stark zu einer APU (3400g, 5600g...) + A520 oder B550 board, vorallem eine preis frage aber mir gehts auch um niedrige stromkosten, wenn ich bedenke das ich spaeter eine GPU dazu stecken muss... hmmm, ich muesste aber auch erst mal gucken was die APU ueberhaupt schafft

zudem wenn man nicht zum gigabyte mc12 greift sondern zu nem groesserem ATX board hat man statt bitfurication halt 5 einzelne slots, auch nicht so wild mMn (und im besseren fall bitfurication + 4 weitere slots) + 2 m2 slots in vielen faellen

Beitrag automatisch zusammengeführt: 15.02.2024

bezueglich stromverbrauch war ich auch ueber 2,5 zoll festplatten am nachdenken... hdd, besser natuerlich ssd, leider gibts keine enterprise 2,5 platten neben sas

 

[Ceiber3]

Dafür ist es halt auch ein ATX Board, sprich wieder größeres Gehäuse. Tower/4HE
Das die APU nicht geht war irgendwie klar, Custom Server Board von Gigabyte. Im Server ist die APU scheißegal.

 

[pwnbert]

So klar auch nicht, wenns bei AM5 bzw. dessen Chipsätzen grundsätzlich vorgesehen ist... auf den Asrock Rack mit ASM2x00 dürfte es ja auch funktionieren.

MC12-LE0
Ryzen 5600
ECC UDIMM

20W mit einer SSD

Glaub ich dir nicht ganz, oder ich mach grundlegend was falsch.
Was ist noch drin? Was läuft bei dieser Messung?

 

[Redbull0329]

Benutze nen alten Industrial PC mit i5-6200U. Komplett passiv gekühlt, so groß wie ein Thin Client.

Mit 5 aktiven VMs zieht das Teil grad mal 5 Watt.

 

[ghoostknight]

Benutze nen alten Industrial PC mit i5-6200U. Komplett passiv gekühlt, so groß wie ein Thin Client.

Mit 5 aktiven VMs zieht das Teil grad mal 5 Watt.

jop ein thinclient is hart zu schlagen was rein performance/stromverbrauch angeht, wo er halt verliert sind hdd plaetze (und ecc)

war ich auch schon drueber nach am denken, moechte derzeit nochmal "neu" starten und bau mir grad einen backupserver mit einem biostar a10 8800e (board hat 15 euro bei kleinanzeigen gekostet, hatte zuerst ein q1900 genommen aber dann den schnapper gesehen..) zusammen, wird wohl so bei 5-10w im idle landen ohne platten
was echt mies ist das man im endeffekt am meisten spart durch verzicht auf 3,5 platten, die mainboards mit 5-20w im idle fallen da kaum ins gewicht teilweise

 

[maxblank]

Glaub ich dir nicht ganz, oder ich mach grundlegend was falsch.

Warum glaubst du das @wddn nicht?

Ich komme mit dem genannten Mainboard, 64 GB ECC RAM, 1 TB NVME, Intel X550-T2, AMD 5950x und 5 Gehäuselüfter unter Windows 11 im Idle zwischen 28-30 Watt.

 

[pwnbert]

Spannend.

Intel X550-T2

Hast du die schon mal rausgenommen, bzw. kannst du das mal tun, um den Unterschied festzustellen, also deren eigenen Verbrauch?

 

[wddn]

Glaub ich dir nicht ganz, oder ich mach grundlegend was falsch.
Was ist noch drin? Was läuft bei dieser Messung?

Bei mir ist es ein blankes MC12-LE0 mit Ryzen 4650G im 45W Eco Mode, deaktivierten Audio & Serial Port
AMD boxed Kühler

2x16GB ECC RAM

Altes 80Plus NT

Keine Tastatur, oder Maus

Stromverbrauch mit Proxmox OS im idle

Messung mit einer Tasmota Steckdose mit Stromverbrauchsmessung

Ganz ehrlich: 20W ist exakt was ich erwartet habe… 10GBit NICs, HDDs würden das natürlich weiter nach oben treiben

 

[pwnbert]

Stromverbrauch mit Proxmox OS im idle

Läuft drauf auch irgend ne VM? Aber gut, das würd wsl. auch nicht viel um machen.

Ich muss mir das mal ansehen mit den Energiesparmodes, ich glaub, TrueNAS mag das nicht so...
Aber tatsächlich ein toller Wert, dafür, dass das Board IPMI hat...

 

[maxblank]

Hast du die schon mal rausgenommen, bzw. kannst du das mal tun, um den Unterschied festzustellen, also deren eigenen Verbrauch?

Kann ich gerne machen, da ich bald das Gehäuse wechseln werde. Aber nicht direkt, da ich nicht an die Netzwerkkarte rankomme ohne das Intertech-Gehäuse innen zu zerlegen.

IPMI zieht ca. 2,5-3,5 Watt bei dem Board.

 

[pwnbert]

Wäre cool, so bei Gelegenheit, dürfte eine interessante 10 GbE Karte sein (weil sie nur x4 braucht), wenn die dann tatsächlich noch halbwegs sparsam wäre....

 

[maxblank]

Kann ich machen. Intel gibt das an.