Stromverbrauch Eurer HomeLabs

[Trambahner]

Hab am Ende letzter Woche mal angefangen, mit Proxmox VE 5 rumzuspielen und hab dazu mein altes Q77-Board entstaubt, welches ich als meinen ersten ESXI 5.0 und ZFS-Storage mal genutzt hatte (bis ich dann richtige Server-Hw auch mit ECC hatte):

- Intel DQ77MK
- i7 3770 (non K) mit boxed Kühler
- 2*8GB DDR3-1600 (non-ECC)
- 2*Samsung 840pro 256GB (als Zpool mit Raid0)
- OS: Proxmox VE 5 mit Root on ZFS.
- NT BeQuiet 300W TFX Gold
- Passivteil: Gehäuse Antec VSK2000-U3 (entspricht i.w. einem SFF Thinkcentre M93)

Softoff: 1,4W (AMT aktiv)
Idle: 19,2-19,3w Proxmox gebootet, 1 Lan (Gbit) aktiv, Kiste idle
1 VM mit Win2016, 2 Vcpu und 6GB Ram geladen, darin Oracle 12c zu Lern-/Spielzwecken (gibts ja als OTN-Lizenz gratis).: 40W wenn Windows+Oracle nix tun müssen

 

[MisterY]

hast du mal mit Powertop versucht den Verbrauch etwas zu optimieren?

 

[Trambahner]

Nope, aber ich finde schlecht sind die Werte eh nicht für nen alten eh Ivy-Desktop. Das größere Problem ist Fullload, weil der kleine Intel-Kühler schnell laut wird in dem kleinen Gehäuse weil zuwenig Luftzug.
Ich bekomm das Mainboard mit Prime95 sogar nach etwas Zeit zum Abschalten. Ist also alles andere als stabil aktuell. Eher was zum bissl rumspielen, wird nicht produktiv genutzt. Insofern stören mich da +- ein paar Watt eh nicht.

 

[mthormann]

Guten Morgen,

HP C7000 mit:
4*hp g7 Blade mit proxmox je 2*147gb sas
4*hp g8 Blade mit proxmox je 2*300gb sas
4*hp Storage Blades

2* HP switche
1*Bandlaufwerk von HP mit 8 eindschüben
2* qnaps mit16tb
2* hp g7 360 ds7000 mit 40*300gb sas
1* HP g7 mit 16* 2tb

4dsl Modems für Telekom
Und 1 Kabeldeutschland Modem für Backup

Und Kleinigkeiten z.b 4 * miningrigs 4*laptop apc usv, Drucker Scanner und so

 

[butcher1de]

1.Selbstbau Filer Z87 Board/I5/16 GB Ram//7x8TB/1x2TB SSD/1x128GB SSD/10 GBE Intel/2 Fach Nas (2x3TB) 86 Watt kein 24/7 Betrieb
2.Fritze/ 24 Port Switch mit 4 x 10 GBE/Hue Bridge/8 Kanal DVR 4 TB 3,5 Zoll 8 Cams) 58 Watt 24/7 Betrieb


@mthormann

Von deinem

HomeLab

würde ich gerne Bilder sehen.

 

[mthormann]

Hab gerade nur ein altes beim Einzug, neues kommt heute Abend.

Ähm wie kann ich hier Bilder hochladen?

Test=

 

[MisterY]

Guten Morgen,

HP C7000 mit:
4*hp g7 Blade mit proxmox je 2*147gb sas
4*hp g8 Blade mit proxmox je 2*300gb sas
4*hp Storage Blades

2* HP switche
1*Bandlaufwerk von HP mit 8 eindschüben
2* qnaps mit16tb
2* hp g7 360 ds7000 mit 40*300gb sas
1* HP g7 mit 16* 2tb

4dsl Modems für Telekom
Und 1 Kabeldeutschland Modem für Backup

Und Kleinigkeiten z.b 4 * miningrigs 4*laptop apc usv, Drucker Scanner und so

Bin ich blind oder steht da kein Stromverbrauch?

 

[mthormann]

Bin auf der Arbeit, Stromverbrauch liefere ich nach. Geh aber davon aus das er bei ca. 4500 bis 5500 Watt liegt. Bitte auch beachten das es mein Backup ist vom Rechenzentrum und das somit von den Kunden mit getragen wird. Ansonsten würde das mit dem Strom mich in die Insolvenz treiben.

 

[butcher1de]

@mthormann Jo wenn es Beruflich ist gehts ja von den Stromkosten. Als Homelab würde ich das aber nicht bezeichnen, wenns auch nett anzusehen ist.


Ich hoffe die ist in den Stromkosten mit drin

 

[LichtiF]

So teuer ist Strom nun auch nicht

 

[Opticum]

LichtiF: was sollen wir auch mit unserem ml310e Gen8 noch meckern, oder?

 

[Trambahner]

hast du mal mit Powertop versucht den Verbrauch etwas zu optimieren?

Heute mal probiert: bin auf 17-18W runter; bei geladenem Oracle-Server (wenn Idle) als VM unter Win2016 @ Proxmox.

Danke für den Tipp mit Powertop.

 

[MSN]

HP C7000 mit:
4*hp g7 Blade mit proxmox je 2*147gb sas
4*hp g8 Blade mit proxmox je 2*300gb sas
4*hp Storage Blades

mich würde interessieren was das einzeln verbraucht!

 

[teqqy]

• Ubiquiti 16 Port PoE (1 AP via PoE)
• Ubiquiti USG
• Synology DS916+ (3 x 2 TB SHR)
• Server siehe Signatur
• Philips Hue Bridge

Die USV zeigt mir derzeit knapp 55 Watt an. Sie selbst wird sicherlich auch noch etwas brauchen, also schätze ich so um die 60 Watt.

Proxmox unterstützt keine Stormsparfunktionen, weil man hier mit Stabilität argumentiert. Die Disks der Syno gehen in Standby, das Gerät läuft aber, wie der Server auch, 24/7.

 

[Zyrusvirus]

- Visualisierungssystem für Hausautomatisierung
- Unifi AP AC Pro 2x (PoE)
- Backupsystem
- IP Kameras (PoE)
- FritzBox 7490
- Schrankkühlung
- HP ProLiant Microserver Gen8 (umgebaut auf XEON)
- D-Link 48 Port (PoE) Switch
- KVM
- USV
____________________________________________________

182 Watt/h Min.
198 Watt/h Max.

 

[MisterY]

Heute mal probiert: bin auf 17-18W runter; bei geladenem Oracle-Server (wenn Idle) als VM unter Win2016 @ Proxmox.

Danke für den Tipp mit Powertop.

Gern

 

[StarGeneral]

Im Leerlauf sieht es ca. so aus:

Fileserver (G1610, 4GB DDR3, 2x 3TB WD RED, PicoPSU 90W + Leicke-Netzteil, 1 virtuelle Maschine läuft) = 30W
Firewall (Celeron embedded, 4GB DDR3, 60GB SSD, PicoPSU 60W + Leicke-Netzteil) = 7W
DMZ-Server (i3 4310, 16GB DDR3, 256GB SSD, PicoPSU 120W + Leicke-Netzteil, 2 virtuelle Maschinen laufen) = 12W
USV (APC 350VA) + Router (Speedport) + Telefon (Speedphone) + Switch (Ednet 16-Port Gigabit) = 15W

Summe: ~65W

 

[MisterY]

Kannst du ein paar Infos über deine Firewall geben?
Und DMZ-Server: was ist darunter zu verstehen?

 

[StarGeneral]

Na klar, bei der Firewall handelt es sich um einen normalen Desktop-PC mit einem ASRock Q1900M und drei zusätzlichen PCIe-Netzwerkkarten als Untersatz. Darauf läuft IPFire in der aktuellsten Version (64-bit) und es werden mehrere Subnetze verwaltet. Als generelle Policy ist der Whitelist-Ansatz in Verwendung, sprich alles, was nicht manuell freigegeben ist, ist gesperrt. Das maximiert zwar den Verwaltungsaufwand, aber auch die Sicherheit. Und wenn einmal alles freigegeben ist was man braucht, ist es auch nicht mehr so viel (Pflege-) Aufwand.

Auf dem Server in der DMZ laufen diverse virtuelle Maschinen, vor allem eine Hand voll Gameserver und ein Teamspeak-Server für den privaten Gebrauch.

 

[MisterY]

Danke Du hast den kompletten DMZ-Server also in eine DMZ gepackt oder nur einzelne VMs?

 

[smartis]

Hab mal angefangen auszumessen:

DL380 g7 (2xE5645, 96GB, SSD) = 119W
ML10 g9 (E3-1225, 40GB, 6x4TB WD Red, SSD, NC364T 4xGbE, Mellanox 10GbE SFP+, Fujitsu D2607) + HPE1920 + MacMini + RPi3 = 85W
APU2C4 pfsense + UPC Router + RPi3 + Archer C9 + 8Port Switch = 28W

 

[Trambahner]

Mein neuer kleiner Supermicro-Server:

X11SSH-CTF, E3-1240v5, 2*16GB Ram, 3*Fan a 1,2W, 1*Intel 1500pro, Maus, Keyboard, Monitor an AST2400 inkl. vga>hdmi-Konverter
Gehäuse: Antec VSK2000-U3 , Kühler NH-L9x65
NS: be quiet! TFX Power 2 300W Gold
OS: Win10x64 1709


5,8W Softoff, IPMI an, IPMI-Link vorhanden, 1*1GBE Link
29-39W nach Einschalten, während POST, SAS3008 disabled via Jumper
25W idle win10 desktop v1709 , Energiesparplan ausgeglichen (finde ich angesichts Dual 10Gbase-T und Server-Mainboard nichtmal schlecht )

109,4W fullload (prime95 v28.5, 8 Thread, maximum Heat)
134W "all ahead full" inkl. AVX: fullload (prime95 v28.5, 8 Thread, maximum Heat) (3,7Ghz)
=> hier gehts auf 90 Grad Coretemp. Definitiv am Rande was thermisch in dem kleinen Kisterl geht.


weitere Versuche mit ESXI und BSD werden folgen.

 

[MisterY]

Keine Festplatten?

 

[besterino]

Board: Supermicro X11SPi-TF
CPU: Xeon Silver 4108
RAM: 4x 16GB DDR4 2400 ECC RAM (Kingston)
PSU: BeQuiet Pure Power 10 600W
Storage:
4x HDD 4TB WD RED
8x HDD 4TB Seagate Constellation 2
4x HDD 1TB Samsung Spinpoint F2 Ecogreen
4x SSD 256GB ADATA SP920SS
2x SSD 120GB Samsung SM863
1x SSD 256GB Samsung 830
1x SSD 120 GB Sandisk Ultra II
1x SSD 256 GB Samsung SM961 M.2

PCIe:
2x Dell H200i (IT mode)
1x Dell H310i (IT mode)
1x Intel X540-T2
1x USB PCI Express 4 Port (4E) USB 3.0 Adapter (NEC/Renesas uPD720201 Chipsatz)

Kühlung (Bios-Setting: Optimal Speed):
3x Noctua NF-F12 industrialPPC-3000 PWM (Case, zurzeit 2x1600,1x1700RPM)
2x Noctua NF-A8 PWM (Case, zurzeit 1200RPM)
1x Noctua 2NF-A9 PWM (CPU, zurzeit 1100RPM)

OS: ESXi 6.5d mit aktuell 3VMs im "idle" (Solaris 11.3, SophosUTM, Ubuntu 16.04 (32Bit))

Macht zusammen: 201W out-of-the-box ohne jeden Stromsparzirkus.

 

[Trambahner]

Keine Festplatten?

Kiste ist noch nicht fertig, aber wird Flash-only für VMs. Hab dafür die 960pro oder PM863/SM863 im Auge. Die 960 als Mirror oder die 4x 863 als Striped Mirror. Leider gibt die 960Evo nicht mit 2TB. Bin mir da aber noch nicht ganz klar.
Die 960er-Variante für 2TB ist halt mit +2200,- recht teuer und von der Kapazität begrenzt, die 863er-Varianten sind nicht ganz so schnell aber wohl hinreichend und die Dinger als PM863 gibts mit viel Kapazität.
Die Optane 900p würd mich noch anlachen, dafür würde der PCIe 3.0x2 Slot des Boards gut ausreichen, sequentieller Zugriff ist ja nicht deren Hauptstärke.

Backups werden auf das HDD-Raidz2 der existenten Backupmaschine gesichert werden. Das HDD-Raidz2 des jetzigen Produktivservers kann ich ja bei Bedarf via NFS mounten.

Bevor das Ding produktiv geht, werden aber eh noch einige Experimente stattfinden (z.B. mit Bhyve).

 

[besterino]

Die PM/SM863 haben halt powerloss-protection, das hat die 960Pro (bzw. alle PCIe-m.2 von Samsung) nicht. Ist halt nicht so schön.

Wenn Du das nicht brauchst und - verständlicherweise auf PCIe-Speed scharf bist - bietet die PM-Serie m.E. eigentlich ein gutes Preis-Leistungsverhältnis bei 1TB-Größe.

Ja, nichts ist schneller als die 960Pro. Aber ob die max. (!) Read-Speed 3000 (PM) zu 3100 (SM) oder 3500 (Pro) oder Write-Speed 1700 (PM) zu 1800 (SM) oder 2100 (Pro) in der Realität einen spürbaren Unterschied machen... ich weiss nicht. Das sind ja auch nur Speeds bei hoher Queue-Tiefe, das hat man in der Realität@Home ja auch eher selten.

Ich hab die 1TB PM in meiner Daddelbox und bin's zufrieden.

Wenn Dir 1TB reichen kannst Du im Prinzip dann auch noch die 960EVO mit in Deine Überlegungen einbeziehen. Ist noch etwas günstiger als die PM.

 

[Trambahner]

Die 863 sind Sata III Aber z.B. genau dafür hat man ja den SAS3008 drin, um diese Dinger wo durchzureichen.

Haben aber wohl recht niedrige Latenzen und gutes, stabiles Durchhaltevermögen. Im Prinzip die Enterprise-Version der 850pro mit powerloss-protection.
Ursprünglich hatte ich die DC S3610 im Auge, aber die kommt in die Jahre und kann wohl bei den Latenzen nicht mit den Samsung Enterprise mithalten.
Haben auch höhere TBW als die 960Pro/Evo.

Die NVMe nutz ich vermutlich nicht aus, ich hab ja eine 960Evo 1TB in einem Server mit ZFS. Nutzen selbst meine Oracle-DBs nicht aus. Der ARC fängt da viel ab.

 

[besterino]

Jo, drum meine Ausführungen zu den m.2s und Speed unter dem Vorbehalt „wenn du Powerloss Protection nicht brauchst“. Willst Du PLP, bist du nicht mehr bei m.2, sondern u2 oder „echte“ PCIE-Steckkarte.

Bei meinem Budget würde ich innerhalb eines Verbindungstyps (SATA, SAS, NVME) immer Kapazität der höheren Geschwindigkeit vorziehen. Also lieber 1TB bei 1000MB/Read als 400GB und 2000+. Denn es ist dann einfach viel schlimmer, wenn der „schnelle Platz“ voll ist als wenn die SSD insgesamt ein bisserl schlechter performed. Und powerloss dann als Sonder-Prio für die spannenden Dinge (einige wenige VMs). Jedenfalls so meine Sicht.

EDIT: jetzt schweifen wir hier nach den m2-Adaptern schon wieder zu SSDs ab. Mach doch wirklich mal einen "SSD & Zubehör" Sammler oder so auf.

 

[MicroCane]

PLP ist auch eine Sache für sich.
Gehen wir davon aus, eine USV gehört eh zur Standartausrüstung und Unterscheiden klar Verfügbarkeit und Datensicherheit: Welchem der Punkte nutzt dann PLP?

PLP nutzt dann, wenn der Host trotz Nutzung einer USV "ausgeht".
Wann ist das der Fall? Richtig: Hardwaredefekt (auch wenn er danach einfach wieder bootet wäre ich skeptisch)

Kann ich dann verschmerzen, das Raid auf einem neuen System aus dem Backup wiederherzustellen? Ich denke schon.
Die Chance, dass der Hardwaredefekt einen Stromstoß oder ähnliches an die SSDs gegeben hat und diese ebenfalls defekt sind ist zusätzlich vorhanden.

Edit: Abschweifen macht auch mal Spaß.

 

[Trambahner]

Ohne große Stromsparsettings, nur powerd aktiv, komm ich bei meinem im Post #82 genannten System bei FreeBSD 11 idle (samba, x11 und kde geladen) auch auf ~25W. Kein Unterschied zu Win10. Wäre schonmal eine gute Voraussetzung als kleiner VM-Server mit bhyve.
Einziger Unterschied, statt einer SSD waren zwei im ZFS-Mirror drin.