[Kaufberatung] Server in Richtung stromsparend umbauen.

[Fliwatut]

Moin!

Folgender Server: Supermicro X10SRL-F, Xeon E5 2340V4, 128GB RAM, 1x SSD, 6x 4TB Seagate IronWolf NAS HDD im RAIDZ1, 1x Mellanox ConnectX-3. Hier läuft nur TrueNAS Core, keine VMs, Jails oder Plugins.

Der Kasten braucht im idle knapp 70W, ich kann mit TrueNAS die Drives nicht schlafen schicken, sie drehen sehr schnell wieder hoch, warum auch immer.

Würde hier ein Wechsel der Software helfen? Ich habe noch eine Unraidlizenz, damit war es wimre kein Problem, die HDD schlafen zu lassen.

Brächte es darüber hinaus etwas, in Server 1 eine kleinere CPU einzubauen? Die vorhandene CPU hat schon eine relativ geringe TDP (85W), das ist ja aber nur relevant, was die Spitzenlast angeht.

Ich weiß nicht, ob es einen Broadwell Xeon gibt, der im Idle weniger säuft.

Hat da jemand eine Idee? Oder gibt es im Bios Optionen, die den idle-Stromverbrauch senken? Unter advanced energy options habe ich alles aktiviert, was imho hilfreich sein könnte.

Oder wäre es besser, die alte Hardware nur noch als Backupserver zu nutzen und ganz neu anzufangen?

Vielen Dank schonmal für alle Tipps und Ideen!

 

[craxity]

Es ist zwar etwas länger her, aber soweit ich mich erinnere konnte ich mein 2011v3-System nicht unter 40W im idle bringen. Das war schon ohne HDDs und mit dem sparsamsten Board, das ich gefunden habe. Wenn du einen substantiell niedrigeren Verrauch erreichen willst, musst du m.E. auf eine andere Platform umsteigen. Du scheinst die Vorteile der Platform (viele PCIe-Lanes) ohnehin nicht zu nutzen.

 

[Fliwatut]

Danke @craxity

Gibt es eine Plattform, die im idle stromsparender ist und auf der ich das RAM weiter nutzen kann? Ich habe nach Epyc CPUs geguckt, die scheinen im idle aber eher mehr zu verbrauchen.

4x diese Riegel: https://geizhals.de/samsung-rdimm-32gb-m393a4k40bb1-crc-a1378231.html

Edit: ich habe es anscheinend doch geschafft, die HDD schlafen zu schicken, jetzt gerade bin ich bei 46W im idle, wenn die HDD laufen sind es 20W mehr.

 

[sch4kal]

Ne mit Epyc wärst du da nicht sparsamer unterwegs. Wenns ECC sein soll, bleibt nur der Weg über AM4 und dem günstigen MC12, oder Sockel 1200/1700 von Intel mit den kleinen Xeons. Beim Zweiten kriegst du zwar niedrige Stromverbräuche im Idle hin, hast aber sehr hohe Anschaffungskosten. Beim Ersten ist es genau anders rum. Wie du es drehst und wendest, wenn dir deine Plattform Leistungs- und Kapazitätstechnisch ausreicht, bleib lieber dabei.

 

[craxity]

@sch4kal Da schon RDIMMs vorhanden sind und weiterverwendet werden sollen, fallen AM4 und 1200/1700 flach.

 

[sch4kal]

@sch4kal Da schon RDIMMs vorhanden sind und weiterverwendet werden sollen, fallen AM4 und 1200/1700 flach.

Da fällt dann in der Tat alles, was einigermaßen stromsparend ist, weg.

 

[pwnbert]

6x 4TB Seagate IronWolf NAS HDD im RAIDZ1

Naja, mach 2x 22 TB Toshiba Cloud Capacity rein, sparst dir 4 Platten und hast am Ende noch (etwas) mehr Kapazität, falls du mal ne 3. reinmachst deutlich mehr.

Brächte es darüber hinaus etwas, in Server 1 eine kleinere CPU einzubauen? Die vorhandene CPU hat schon eine relativ geringe TDP (85W), das ist ja aber nur relevant, was die Spitzenlast angeht.

Ne, der ganze Unterbau frisst, die Server-Boards ansich brauchen schonwas, dazu der ganze verbaute Kram.

Hier läuft nur TrueNAS Core, keine VMs, Jails oder Plugins.

Gigabyte MC12 oder ein B550 ohne IPMI (ist halt meh), 5650G, 64-128gb RAM, 2-3x 20-22TB HDD am Onboard-SATA... aber die Neuanschaffung steht ja auch in keinem Verhältnis, dann bist halt auf 40W statt auf 70W.

Gibt es eine Plattform, die im idle stromsparender ist und auf der ich das RAM weiter nutzen kann? Ich habe nach Epyc CPUs geguckt, die scheinen im idle aber eher mehr zu verbrauchen.

4x diese Riegel: https://geizhals.de/samsung-rdimm-32gb-m393a4k40bb1-crc-a1378231.html

Gigabyte MJ11?

Gigabyte MJ11-EC1 NAS Server

Bei Ram-König werden gerade ITX Mainboard's mit AMD EPYC 3151 für 69€ Verschleudert. Das Mainboard kommt Inkl. dem ATX Adapter versandkostenfrei. Leider hat das Mainboard keinen PCI-e Slot dafür. Jedoch einen M2 Slot und bis zu 16 SATA Laufwerke passen an das Mainboard. Als Speicher wird u.a...

www.hardwareluxx.de

Sind wohl auch nicht alle nur happy damit.
Müsstest halt schauen, wie man die NIC aufs SlimSAS oder M.2 gefrickelt bekommt per Riser-Kabel aus China.
Nimmt zumindest deine RDIMM, wird weniger brauchen und hat genug Bumms für TrueNAS.


=> Imho sind deine 6 4TB Legacy-Drives das Hauptproblem. Wenns für dich gut läuft, tät ich einfach nix anfassen, egal was du machst, bist schnell 4-stellig.

 

[craxity]

=> Imho sind deine 6 4TB Legacy-Drives das Hauptproblem. Wenns für dich gut läuft, tät ich einfach nix anfassen, egal was du machst, bist schnell 4-stellig.

Der Hauptgrund für den relativ hohen Verbrauch im Leerlauf ist die Platform. Weniger HDDs würden den Verbrauch natürlich etwas senken, aber dafür würden die Kosten pro Nettokapazität steigen.

 

[MrWahoo]

Gigabyte MJ11?

Gigabyte MJ11-EC1 NAS Server

Bei Ram-König werden gerade ITX Mainboard's mit AMD EPYC 3151 für 69€ Verschleudert. Das Mainboard kommt Inkl. dem ATX Adapter versandkostenfrei. Leider hat das Mainboard keinen PCI-e Slot dafür. Jedoch einen M2 Slot und bis zu 16 SATA Laufwerke passen an das Mainboard. Als Speicher wird u.a...

www.hardwareluxx.de

Sind wohl auch nicht alle nur happy damit.
Müsstest halt schauen, wie man die NIC aufs SlimSAS oder M.2 gefrickelt bekommt per Riser-Kabel aus China.
Nimmt zumindest deine RDIMM, wird weniger brauchen und hat genug Bumms für TrueNAS.

Das Gigabyte MJ11-EC1 wäre auch mein Vorschlag. RAM könnte man weiter verwenden und Verbrauch wäre geringer bei guter Leistung. Eine NIC kann man easy durch den M.2-Slot integrieren.

 

[Fliwatut]

Danke für den Vorschlag mit dem Mainboard, das sieht ja mal richtig gut aus! Nur schade, dass dass Teil keinen PCIe-Slot hat. Und an SlimSAS kann ich maximal 4 SATA HDD anschließen?

Was sind denn die größten Probleme mit dem MB? In dem verlinkten Strang habe ich jetzt nur die letzten postings gelesen.

Edit: auf den Bildern sieht man 2x SlimSAS oder was ist das neben den SATA Ports?

 

[oNyX`]

Mit dem Brett wird <20W auch eher unmöglich, da würd ich dann eher das System das du jetzt hast behalten. Haste mal geschaut was deine Kiste unter Linux (ohne HDDs) zieht? Hab nen X9SRi-F / E5-2690v2 (viel älter) und 4x 16GB 1600er RDIMM hier, das liegt im Idle bei 40W...

 

[Fliwatut]

Haste mal geschaut was deine Kiste unter Linux (ohne HDDs) zieht?

Ich habe gerade mal Unraid gebootet und powertop laufen lassen, damit komme ich mit laufenden HDD auf knapp unter 60W. Ich würde aber unter Unraid kein ZFS machen, damit bekomme ich auch mehr Speicherplatz, mein pool ist randvoll.

Für neue HDD bin ich zu geizig, ich finde die Dinger sackteuer und bei refurbished Geräten habe ich bedenken :-/

 

[pwnbert]

Jo dann Augen zu und durch, bis du irgendwas angreifen musst, weils vorn und hinten nimmer reicht vom Speicherplatz her.

 

[Fliwatut]

Es wird wohl auf Unraid rauslaufen, da kann ich noch zwei HDD mehr laufen lassen. Das widerspricht jetzt zwar dem Stromspargedanken, aber die "Investition" von 600/700 EUR für drei neue Platten lohnt sich aus dem Blickwinkel nicht. Das MB ist günstig genug, um sich über die Laufzeit zu amortisieren.

Gibt es zu dem Mainboard Gigabyte MJ11-EC1 irgendwo ein Handbuch oder Bios, Treiber, etc.? Bei Gigabyte selber wird dieses Modell gar nicht gelistet, nur das EC0!? Wenn ich das richtig sehe, kommt das Ding aus einem GPU-Server (Mining?), diese 2,5" SSD Backplane könnte prinzipiell für ein NAS ganz interessant sein.

 

[sch4kal]

Mit dem MJ11 wirst du nicht viel Strom einsparen können, weil sich das Board nicht in tiefe Stromsparstates bewegen lässt. Afaik ist bei C2 Schluss. Hab das Board bei den Eltern als Server installiert mit Proxmox.

 

[Haldi]

1x Mellanox ConnectX-3.

Bau das Ding aus und du sparst 10-15W

 

[craxity]

@Haldi Garantiert nicht.

 

[oNyX`]

Eher so 3-5W.

 

[DJDark]

Mit dem Brett wird <20W auch eher unmöglich, da würd ich dann eher das System das du jetzt hast behalten. Haste mal geschaut was deine Kiste unter Linux (ohne HDDs) zieht? Hab nen X9SRi-F / E5-2690v2 (viel älter) und 4x 16GB 1600er RDIMM hier, das liegt im Idle bei 40W...

Ähnliches kann ich mit meinem X9 berichten, liegt im Idle mit einer SSD, 128gb RAM, 2NVMe und einem Perc bei 56w.

 

[schmidts1981]

Moin!

Folgender Server: Supermicro X10SRL-F, Xeon E5 2340V4, 128GB RAM, 1x SSD, 6x 4TB Seagate IronWolf NAS HDD im RAIDZ1, 1x Mellanox ConnectX-3. Hier läuft nur TrueNAS Core, keine VMs, Jails oder Plugins.

Der Kasten braucht im idle knapp 70W, ich kann mit TrueNAS die Drives nicht schlafen schicken, sie drehen sehr schnell wieder hoch, warum auch immer.

Würde hier ein Wechsel der Software helfen? Ich habe noch eine Unraidlizenz, damit war es wimre kein Problem, die HDD schlafen zu lassen.

Brächte es darüber hinaus etwas, in Server 1 eine kleinere CPU einzubauen? Die vorhandene CPU hat schon eine relativ geringe TDP (85W), das ist ja aber nur relevant, was die Spitzenlast angeht.

Ich weiß nicht, ob es einen Broadwell Xeon gibt, der im Idle weniger säuft.

Hat da jemand eine Idee? Oder gibt es im Bios Optionen, die den idle-Stromverbrauch senken? Unter advanced energy options habe ich alles aktiviert, was imho hilfreich sein könnte.

Oder wäre es besser, die alte Hardware nur noch als Backupserver zu nutzen und ganz neu anzufangen?

Vielen Dank schonmal für alle Tipps und Ideen!

Dein System klingt solide, aber ein paar Gedanken zu deinen Fragen:

1. Drives schlafen schicken: TrueNAS Core neigt tatsächlich dazu, die Festplatten häufiger aufzuwecken, gerade wenn Systemprozesse auf die Drives zugreifen. Ein Wechsel zu Unraid könnte dir in dem Punkt tatsächlich helfen, da Unraid sparsamer mit den Festplatten umgeht und sie im Ruhezustand hält, wenn keine Datenzugriffe stattfinden. Wenn das mit deiner Unraid-Lizenz schon mal funktioniert hat, wäre das einen Versuch wert.
2. CPU-Wechsel: Die TDP deiner aktuellen CPU (85W) ist für die Spitzenlast relevant, wie du schon sagst. Im Idle-Betrieb sollte der Verbrauch durch Energiesparfunktionen deutlich geringer sein. Ein Wechsel auf eine kleinere CPU könnte etwas bringen, aber der Unterschied wird vermutlich nicht riesig ausfallen, da sich Xeon-CPUs im Idle oft ähnlich verhalten. Es gibt Broadwell Xeons mit niedrigerer TDP, aber der Stromvorteil im Idle könnte minimal sein, da andere Komponenten (Mainboard, Netzteil) auch eine Rolle spielen.
3. BIOS-Einstellungen: Du hast bereits alles unter "Advanced Energy Options" aktiviert, das ist schon mal gut. Schau doch noch mal, ob C-States und SpeedStep im BIOS aktiviert sind. Diese Einstellungen helfen, den Prozessor in tiefere Schlafzustände zu versetzen und können den Idle-Verbrauch senken. Außerdem könnte es helfen, die Power Management-Optionen des Mainboards zu überprüfen, um sicherzustellen, dass alle Energiesparmodi wirklich greifen.
4. Backupserver und neue Hardware: Wenn du wirklich den Stromverbrauch deutlich senken willst, könnte ein komplett neues System mit energieeffizienterer Hardware eine gute Option sein. Gerade moderne CPUs (z.B. aus der Ryzen- oder Intel Core-Reihe) sind im Idle extrem sparsam. Deine alte Hardware als Backupserver zu nutzen wäre eine clevere Idee, da dieser nicht 24/7 laufen muss und so der Stromverbrauch insgesamt reduziert wird.

Hoffe, das hilft dir weiter!

 

[DJDark]

Letzten Endes sollte man auch gegen kalkulieren, wann sich die Investition in sparsamere Hardware amortisiert.
Tatsächlich hatte ich Anfang des Jahres auch schon mal ähnliche Überlegungen aber die Ersparnis wurde Jahre dauern.
Spaß kostet, dazu zähle ich auch meine Server bzw. auch den Rest dahinter. IPMI, HDDs, ECC RAM USV etc pp sind alles Dinge, die halt Leistung ziehen.
Selbst wenn du jetzt die 7k2 Platten gegen 5k4 austauscht, von 6 Platten auf 4 wechselt oder einen L-Xeon nimmst wirst du im Leerlauf vielleicht bei 60 Watt liegen. Die Investition in die Änderungen müssen also bei 10w Ersparnis gegen gerechnet werden. Gleiches bei einem Plattform Wechsel.
Vielleicht macht noch ein Wechsel auf ein effizientes Netzteil Sinn aber auch das wird nur ein paar Watt bringen wenn überhaupt.

 

[Haldi]

@Haldi Garantiert nicht.

Eher so 3-5W.

Na wenn ihr das sagt...

Also kurzerhand system ausgeschalten und alle 4 HDD's abgehänkt.
Power: 42W
okay.... weit weg von den 23W die das System ursprünglich mal hatte direkt nach installation....
Also nochmal off und PCI-E Netzwerk karte raus!
Ohne 10Gbit Mellanox ConnectX 3 Karte schwankt der verbrauch zwischen 28 und 33W

Bin auch nicht der einzige mit dem Problem.

The Curse of ASPM

You either get to C8 or you die trying.

z8.re

And we’re in C8! Yes!

The power meter reads 16W. I think this may just be the absolute minimum as far as power consumption goes.


Time to plug stuff back in. With the Mellanox ConnectX-3 back in my system, power usage shoots back up to 25W. powertop shows that the system is stuck at C2. Running powertop --auto-tune gets the system down to C3 and 23-24W. Something’s definitely not right.

Aber hey.
Versuch macht kluch.
Was hindert dich daran Stromverbrauch vorher zu messen. 10gbit Nic ausbauen, onboard NIC verbinden, Stromverbrauch wieder messen.

 

[pwnbert]

Ich würd einfach nix machen und wenn du nen Backupserver brauchst oder neue Serverhardware willst diesen Server zum Backupserver machen und den neuen einfach von Haus aus stromsparender auslegen.

Imho amortisiert sich das nie, hier irgendwas anzufassen hardwareseitig.

 

[craxity]

@Haldi

Ich persönlich habe nie mehr als 5W Unterschied mit einer Connectx-3 gemessen. Wichtiger ist für meine Einschätzung aber, dass der Leerlaufverbrauch ohne HDDs bei 46W liegt. Der Wert ist für ein System mit C612-Board, Fernwartung und 128GB RDIMMs schon sehr niedrig. Wenn die Connectx-3 noch 10-15W ausmachen würde, könnte man das System ohne die Connectx-3 auf 30-35W bringen. Das kann ich mir beim besten Willen nicht vorstellen.

 

[xrated]

Für reines NAS ist die HW komplett überdimensioniert. Wieviel MB/s schaffen denn die Disks überhaupt?
Muss das Gerät 24x7 durchlaufen? Vielleicht ist WOL auch eine Lösung.

 

[DJDark]

Für reines NAS ist die HW komplett überdimensioniert. Wieviel MB/s schaffen denn die Disks überhaupt?
Muss das Gerät 24x7 durchlaufen? Vielleicht ist WOL auch eine Lösung.

Das ist es aus meiner Sicht auch, 64GB RAM sollten reichen. Glaube mal irgendwo gelesen zu haben, das ein ECC Riegel 3-5 Watt zieht. Gemessen habe ich das nicht.

@Fliwatut: In welcher Config sind die Platten unter Truenas?

 

[sch4kal]

Na wenn ihr das sagt...

Nur, weil die CX3 tiefere C-States verhindert, heißt es nicht, das sie 10-12W verbraucht. Die NIC selbst braucht nicht so viel, verhindert aber halt, das die CPU weiter abschalten kann. Liegt daran, das die CX3 nie fürs Stromsparen entwickelt wurde, sondern für den Dauerlauf in RZ in richtiger Enterprise Server-HW, die selten was Tieferes als C1E/C2 sieht.

 

[pwnbert]

Glaube mal irgendwo gelesen zu haben, das ein ECC Riegel 3-5 Watt zieht. Gemessen habe ich das nicht.

RDIMM möglicherweise, glaub aber nicht an die Größenordnung, UDIMM (!) ganz bestimmt nicht.

Ich denke eher, dass es sich da um so einen Vergleich von Äpfeln mit Birnen handelt, weil die Plattformen mit ECC idr. RDIMM sind und dazu in der Regel die "dicken" CPUs verwenden, welche mehr PCIe Lanes und Speichercontroller/Kanäle haben.

Nur, weil die CX3 tiefere C-States verhindert, heißt es nicht, das sie 10-12W verbraucht.

Tja, je nach System kann man sagen, dass ein Entfernen 3-15W bringen kann. Wenn die Karte jetzt nunmal alleinschuldiger am Mehrverbrauch von 15W ist, ist eigentlich unerheblich, wo die herkommen - wenn man jetzt lösungsorientiert an die Sache heran geht, was im Internet allgemein und im Luxx speziell jetzt ja nicht so üblich ist...
Müsste man halt im Einzelfall prüfen statt 3 Seiten lang klugzuscheißen (damit mein ich jetzt niemand speziellen).


Ich bin immer noch der Einschätzung, dass der Verbrauch okay ist.
Mein TrueNAS 5750G mit B550 ohne IPMI und 128gb ECC UDIMM braucht mit 1x PLP M.2, 4x 20tb HDD und bissl Kleinkram der nicht zählt (non-PLP-SSDs) ca. 53W spinning (ohne der PLP SSD wären es ca. 45W).

Ich hab das echt sauber aufgebaut, sehr viel sparsamer geht echt nicht, ohne auf brauchbare Leistung zu verzichten.
Wenn ich da jetzt noch 2 HDDs und eine Mellanox dazu steck, trennen mich noch 10-15W vom genannten System.
Wenn ich jetzt noch das B550 Riptide gegen ein MC12LE0 mit HBA austausche (weil IPMI, und irgendwo müssen die Ports für die vielen HDDs ja herkommen), bleibt nicht mehr viel Luft zum TE.
Gut, der 5750G ist doppelt so schnell wie ein E5-2640V4 (nen Xeon E5 2340V4 gibts offenbar nicht, ist ein 2640V4 gemeint?) und unter Last wahrscheinlich massiv sparsamer (bei höherer Leistung), aber diese Lastzustände sind wsl. vernachlässigbar.

Ich meine, dass man da nix rausholen kann, ohne richtig Geld in die Hand zu nehmen.

 

[Davcom]

Ich habe einen DELL T330 mit folgender Konfiguration:

• CPU: E3-1270 v6
• 4x 8GB DDR ECC
• PERC H730
• 3x HGST He10 10TB
• 1x HDD 3TB
• 1x SSD 256GB
• 1x SSD 512GB

Darauf läuft TrueNAS SCALE, eine VM mit Home Assistant und 2x Docker-Containern. Der Verbrauch im Idle, wenn alle 4 HDDs im Spin-off sind, beträgt 43 Watt. Ich habe schon vieles probiert, aber weniger bekomme ich nicht hin. Man muss sich einfach darauf einstellen und damit leben.

Es ist halt ein Hobby, und wie jedes andere Hobby kostet es auch Geld. Wenn man nur einen Datenspeicher haben will, sollte man sich vielleicht eine Synology oder etwas Ähnliches holen.

 

[pwnbert]

Das ist halt unter anderem der Preis für die vielen PCIe Lanes.

Ist ja mit ein Grund, warum beim X570 die Chipsets auf einmal wieder aktiv gekühlt waren, nach so langer Zeit der passiven Mainboards.
Vermutlich ist das auch mit ein Grund, warum die AM4 Zen3 APUs nur PCIe 3.0 können...
Vermutlich brauchen anständige HBAs drum auch deutlich mehr Leistung als diese Schmalspurmodelle wie AMS1166 etc...

Die Einzelheiten läppern sich halt zusammen, und diese Xeon/Epyc Bretter/CPUs haben einfach vieeeel drauf.

beträgt 43 Watt.

Idle Spinning wär fast interessanter. NIC? Nur gbit? Irgendwas gutes Onboard?

Der Verbrauch ist imho auch voll okay.