Leiser und sparsamer Rack-Server

[Falo999]

Gerade nochmal nachgeschaut: die Xeon E5-1650 v3 ist eine CPU der Haswell-Generation, also noch nichts mit wirklich stromsparend.

Gerade die Haswell waren die Könige im Stromsparen vorallen im Idle weil sie teile der Spannungsversorgung mit auf das CPU Package intregriert hatten.
Die Nachfolger CPU haben erstmal im Idle Verbrauch wieder zugelegt.
Unter Last verbrauchen sie halt inzwischen 'mehr' weil halt ein paar CPU generationen älter sind.

Gerade bei 'Servern' spielen die Stromsparfunktionen der CPU praktisch keine Rolle da wird die Energie in den vielen Schnittstellen/Redundanz verbraten.

 

[spyfly]

Am Ende musst du dir die Frage stellen welche beiden Punkte die am wichtigsten sind: Effizienz, Preis-/Leistung oder Erweiterbarkeit.

Effizienz und Preis-/Leistung vereint die Xeon SMB Plattform mit Xeon E3 bzw. mittlerweile E-2x00, dafür geht's auf Kosten der Erweiterbarkeit, da basierend auf Desktop Plattform.

Preis-/Leistung und Erweiterbarkeit bekommst du mit den Xeon E5 bzw. mittlerweile Xeon Scalable, hier liegt der Fokus aber offensichtlich nicht auf Energiesparen.

Effizienz und Erweiterbarkeit bekommst du mit den Xeon D SoCs, dafür sind sie entsprechend teuer.

 

[Supaman]

Jetzt wird's richtig ambitioniert. Wozu braucht man für's Home Lab redundante PSU und ein echtes Server-Case mit Hotswap-Lüfter?
Ich meine, das Zeug kostet alleine schon >800€ (neu) und lohnt sich nur wenn man WIRKLICH Hot-Swap "everything" braucht.

Prestige! Als echter Nerd und Luxxer ist ein mittelschweres Rechenzentrum @Home Pflicht

Klar könnte man so ein Supermicro Tower her nehmen. Auf Ebay vielleicht sogar <300€. Dann kommt die Lüfter-tauschen-Challenge... Das Supermicro hat 8 und 9cm Lüfter... Da leidet der Airflow mit leisen Lüfter.
Und schwups sind alle Vorteile weg und man hätte gleich ein <100€ 4U Case selber kaufen und Server komplett selber bauen können.

Das würde ich so nicht sagen. Ab Werk ist das Case halt darauf ausgelegt in der Wüste unter Vollast genug Airflow zu liefern... oder so ähnlich.
Wenn man nur SSDs / wenige Laufwerke drin hat, ordentliche Tower Kühler für die CPU anstelle der passiv Rack Blöcke und das System nicht permananent auf 80%+
der Möglichen Leistung rennt, dann kann man anders dimensionierte Lüfter verwenden ohne das es zu Problemen kommt.

 

[timtaw]

Haswell waren die ersten die auf 800 MHz runtertakten konnten und diverse low-power states unterstützen. Ivy Bridge davor ging nur auf 1600 MHz runter und hat dementsprechend auch mehr im Idle gezogen.
[...]
Alternativ kann da aber auch Broadwell rein, die sind noch nen Ticken effizienter.

Gerade die Haswell waren die Könige im Stromsparen vorallen im Idle weil sie teile der Spannungsversorgung mit auf das CPU Package intregriert hatten.
Die Nachfolger CPU haben erstmal im Idle Verbrauch wieder zugelegt.

Ich kann mich jetzt täuschen, aber waren nicht die CPUs ab Skylake erst so richtig sparsam, wegen kleinerer Strukturbreite und anderen Stromsparverbesserungen? Haswell habe ich noch als stromhungriger in Erinnerung.

Prestige! Als echter Nerd und Luxxer ist ein mittelschweres Rechenzentrum @Home Pflicht

Ja, ich fürchte, soweit bin ich schon längst. Der "Neue" soll einfach ein weiteres wildes Tier in meinem Zoo sein

Am Ende musst du dir die Frage stellen welche beiden Punkte die am wichtigsten sind: Effizienz, Preis-/Leistung oder Erweiterbarkeit.

Effizienz und Preis-/Leistung vereint die Xeon SMB Plattform mit Xeon E3 bzw. mittlerweile E-2x00, dafür geht's auf Kosten der Erweiterbarkeit, da basierend auf Desktop Plattform.

Preis-/Leistung und Erweiterbarkeit bekommst du mit den Xeon E5 bzw. mittlerweile Xeon Scalable, hier liegt der Fokus aber offensichtlich nicht auf Energiesparen.

Effizienz und Erweiterbarkeit bekommst du mit den Xeon D SoCs, dafür sind sie entsprechend teuer.

Stromsparen hat für mich definitiv die Top-Priorität. Erweiterbarkeit ist nicht so wichtig, da ich das System in der Regel solange laufen lasse, bis es (1) tot oder (2) deutlich zu langsam ist. Leistung ist auch nicht so arg relevant, da ich verschiedene Use-cases mit unterschiedlichen Leistungsprofilen habe. Wird mir ein Server zu langsam, dann nehme ich einen neuen, der mehr "Wumms" hat, und der alte übernimmt andere Aufgaben. Die langsamsten fliegen irgendwann raus oder werden zu Ersatzteilspendern. Das Spiel spiele ich schon seit ~15 Jahren, meistens laufen die Server um die acht bis zehn Jahre. Passt für mich.

Den Traum von universeller Erweiterbarkeit habe ich längst aufgegeben. Habe da anfangs noch viel Wert darauf gelegt und entsprechend teure Komponenten genommen, aber dann im Endeffekt kaum die Erweiterungsfähigkeit genutzt, sondern nach obigem Schema aussortiert/ausgeschlachtet und bin dann auf neue Plattformen gegangen. Sprich: der Extra-Invest für die Erweiterbarkeit hat sich eigentlich nie wirklich gelohnt.

 

[Supaman]

Ich mache das für mich immer so, das ich etwas vernünftig aufsetze, etwas Luft nach oben einplane und dabei auch nicht zu sehr aufs Geld schaue, weil: wenn ein <gutes> System 5-10 Jahre in Betrieb ist und dabei keinen Ärger macht, ist das für mich der größere Nutzen.

 

[Ceiber3]

Den Traum von universeller Erweiterbarkeit habe ich längst aufgegeben. Habe da anfangs noch viel Wert darauf gelegt und entsprechend teure Komponenten genommen, aber dann im Endeffekt kaum die Erweiterungsfähigkeit genutzt, sondern nach obigem Schema aussortiert/ausgeschlachtet und bin dann auf neue Plattformen gegangen. Sprich: der Extra-Invest für die Erweiterbarkeit hat sich eigentlich nie wirklich gelohnt.

Weil das haben wollen meistens größer ist als dann später der eigentliche nutzen. War früher auch so blöd im Kopf.

 

[Nieter]

Moin,

doofe Frage, aber die vorne genannten Workstations / Server haben alle kein IPMI / iLO / iDRAC, oder?
Das wäre mir ja persönlich wichtig.

 

[timtaw]

Ne, aber die meisten haben zumindest Intel AMT (was mir persönlich fürs Homelab ausreicht).

 

[mrpasc]

Doch, das Asrock im Supermicro hat IPMI.
Zumindest bei Dell Precision Workstations muss man sehr aufpassen ob AMT mitgekauft wurde. Dell bietet das in verschiedenen Optionen an, vollständig AMT mit KVM ist äußerst selten.
Wenn das bei Kauf nicht bestellt wurde gibt es auch keinen Weg das nachträglich zu aktivieren.

 

[sweetchuck]

Gerade die Haswell waren die Könige im Stromsparen vorallen im Idle weil sie teile der Spannungsversorgung mit auf das CPU Package intregriert hatten.
Die Nachfolger CPU haben erstmal im Idle Verbrauch wieder zugelegt.

Haswell war zwar ein großer Schritt nach vorne, aber mit Skylake ging es noch ein Stück weiter runter, gesockelte Server mit unter 5 Watt im Leerlauf wurden möglich. Ein teilweise höherer Verbrauch lag also nicht an den CPUs, sondern an schlecht optimierten Boards.

 

[pumuckel]

Haswell war zwar ein großer Schritt nach vorne, aber mit Skylake ging es noch ein Stück weiter runter, gesockelte Server mit unter 5 Watt im Leerlauf wurden möglich. Ein teilweise höherer Verbrauch lag also nicht an den CPUs, sondern an schlecht optimierten Boards.

auch jetzt noch finde ich 1151 (v1) mit E3 v5 und 2011-3 mit E5 v3/4 preislich im gebraucht Markt den sweet Spot (wobei man kaum mehr boards für 2011-3 findet, aber sehr wohl komplette Server )

wobei ich zugeben muss, das ich atm grad ein Notebook mit nem AMD Pro 4650u als Proxmox Server nutze (ich muss grad viel rum und das Ding war billig und tut seinen Dienst sparsam)

[TUTORIAL] - How to set up Proxmox VE 7 on a laptop (workstation) with wifi (wlan)

Tested on a Lenovo Thinkpad P1 gen2 with the Proxmox 7.1-2 iso. An ethernet connection to internet is required during the installation process (because iwd is not installed by default). 1. Plug the ethernet cable 2. Install Proxmox 3. Reboot and login with root 4. Update the Proxmox...

forum.proxmox.com

 

[towatai]

Wie wäre es denn mit nem gebrauchten Dell Poweredge R720 bzw R730? Ich selbst hab hier nen R620 mit nem Xeon E5-2650L v2 und 128GB Ram laufen... mit zwei SATA SSDs unter Unraid hab ich die Kiste auf ~45W im Idle gedrückt bekommen und das wirklich wiiiirklich leise. Vorteil von nem R630 bzw 730 wäre ne noch sparsamere Plattform und ne richtige Masse an CPUs die verbaut werden können... Unter 40W sollten da machbar sein. Vorteil der 7er Modelle ist das größere Case und die Möglichkeit auch 3,5" Platten zu verbauen. Vorteile wie ne schöne iDRAC möchte man nicht mehr missen.

 

[Hipiman]

Wie wäre es denn mit nem gebrauchten Dell Poweredge R720 bzw R730? Ich selbst hab hier nen R620 mit nem Xeon E5-2650L v2 und 128GB Ram laufen... mit zwei SATA SSDs unter Unraid hab ich die Kiste auf ~45W im Idle gedrückt bekommen und das wirklich wiiiirklich leise. Vorteil von nem R630 bzw 730 wäre ne noch sparsamere Plattform und ne richtige Masse an CPUs die verbaut werden können... Unter 40W sollten da machbar sein. Vorteil der 7er Modelle ist das größere Case und die Möglichkeit auch 3,5" Platten zu verbauen. Vorteile wie ne schöne iDRAC möchte man nicht mehr missen.

Anhang anzeigen 790039

Also unter 40 Watt würde ich fast in Frage stellen.

Dabei darf nur eine CPU und maximal 4 RAM Sticks verwendet werden.

Danach muss noch ein 495Watt Netzteil oder kein redundantes Netzteil verwendet werden.

Gibts das überhaupt beim R720-730?

Onboard RAID Controller wäre auch favorisiert.
(5-10W weniger)

Zusätzlich nur 1-2 SSDs ohne SAS oder Enterprise Modelle verwenden.
Die verbrauchen sonst auch schon 2-5 Watt extra.

Ob das wirklich Sinn macht weiß ich nicht.

Dell R230-R240-R330-R340 oder HPE DL20 Gen9 -10

Diese Modelle können im Bereich 20-40 Watt betrieben werden.

Ich habe einen Dell T340 mit folgender Hardware
1x E-2136
2x32GB RAM
2x SSD
4x HDD
2x 495 Watt Netzteil
Onboard SATA Controller

Stromverbrauch 45-55Watt
Mit H330 55-65 Watt

 

[Supaman]

Etwas "wumms" + leise + wenig Verbrauch + IPMI und ECC geht, aber ist halt Selbstbau:

Supermicro 721TQ-250B2 NAS Gehäuse mit 4x Hotswap
Asrock Rack E3C246D2I
CPU Intel Xeon E-2146G -- 6c/12t / 3,5 Ghz Basetakt - 4,5 Turbo -- CPU Grafik Intel® UHD-Grafik P630
Ram 2x 32 GB ECC

Kühlung: CPU Kühler Passiv, 1x Noctua 120 mm, 1x Noctua 60 mm

SSD 250 GB
SSD 2 TB
SSD 2 TB
HDD 18 TB
2x HDD 2,5" 5TB

Verbrauch mit ESX und 5x Windows VM: Idle ca 30w // mit 2 SSDs ware es um die 20w.

 

[ITnetX]

Ist ziemlich unwahrscheinlich. Die R7xx Serie wird eigentlich mit 750 W Netzteilen ausgeliefert. 495 W findet man eher bei den R3xx bis R5xx. Ich glaube mich auch zu erinnern das die R7xx meckern bei 495 W Netzteile…

Sehr viel Leistung verbrät vor allem der Perc(RAID Controller) ~15Watt . Wenn dann muss hier was effizienteres rein. Das Contra für iDrac und ILO Management ist halt auch das die Systeme ihre Leistungsaufnahme haben und das durchweg. Alleine bei der iDrac sind das auch 10-15 Watt. Ich habe ein R620 im RZ mit zwei E5-2630L V2, 4 SSDs(an Perc7), 1 NVME und 256GB RAM. Dieser hat 130 Watt in Idle. Ich hab den bevor er ins RZ gekommen ist zuhause im Büro betrieben. Man hat ihn zwar gehört aber wenn man nicht direkt daneben sitzt konnte man auch problemlos arbeiten.

 

[timtaw]

Danke für eure Tipps. Aufgrund von fehlender Zeit für einen Selbstbau habe ich zu folgendem System gegriffen:

1. Lenovo ThinkServer TS150 1x Xeon E3-1225 v6 4x 3,3 GHz 16 GB RAM 2x 4 TB HDD
   1. => Die CPU-Leistung würde für mich passen. RAM würde ich auf 32 GB aufrüsten. Rackmount-Kit bestellbar.
   2. 399 EUR.

Das Ganze auf 32 GB RAM aufgerüstet und bin zufrieden. Lautstärke passt, Stromverbrauch mit 33 W im Idle (inkl. 2x Samsung SSD 870 EVO 250GB, 2x Samsung SSD 870 EVO 500GB und 2x HPE 4 TB 7200 rpm HDD) und 56 W unter Last für mich gerade noch so im Rahmen.

 

[asche77]

Der Preis war deutlich zu hoch für Gebrauchtware... ich hoffe Du hast weniger bezahlt (oder neu gekauft).

 

[timtaw]

Nachdem ich einige Zeit intensiv nach Angeboten gesucht habe und nicht fündig geworden bin, habe ich für 380 EUR zugeschlagen. Beim Dell Poweredge T30, den ich noch vor dem TS150 favorisiert hätte, war wohl ein anderer Forumsleser schneller.