[Sammelthread] HomeServer Vorstellung - Bilder + Kommentare

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich nutze für backups restic - geht auf jedem OS und hat deduplizierung eingebaut. Funktioniert bei mir sehr zuverlässig und läuft überall, sogar auf meinem mipsel Router ;)
 
Mal nur eine kurze Zwischeninfo zum Epyc 7551P:
Supermicro X11SSA-F + i3-7100 + 32G RAM + H310-SAS-Controller + Intel Expander (->16 Ports) + 10G-NIC + 2xSSD (+11 HDDs im Sleep) = 64W idle
Supermicro H11SSI-F (16xSATA onboard) + 7551P + 32G RAM + 10G-NIC = 57W idle

... ob der Server doch nochmal umgebaut wird? Ich bin jedenfalls schwer überrascht... Das Last-Szenario ist natürlich ein anderes, aber selbst mein i3-Server dümpelt ja doch eher vor sich hin, also dürfte auch ein Epyc sich selten von der Idle-Bank hochbewegen. Aber 32/64 Kerne....
An die Erfahrenen hier: Es dürften doch unterstellte 20VMs auf dem Epyc eher auf idle-Taktung laufen während der i3 schon in höhere Gefilde muss, richtig? Mit der Vermutung epyc -> 0,6 VMs pro echtem Kern, beim i3 10 pro echtem Kern.
Wäre dann der Gedanke "20VMs mit wenig Last laufen auf dem Epyc voraussichtlich stromsparender als auf dem i3" richtig?
Performance-Taktung geht natürlich beim Epyc auf das Vielfache vom i3, das vermute ich bei meinen Anwendungen aber nur in wenigen Minuten pro Woche.
Ich müsste den Gedanken vor den Experimenten erledigen, da ich extra einen neuen Epyc-Kühler für max 3HE kaufen müsste. Oder ein 5HE-Gehäuse... Der Noctua 17cm Kühler ist jedenfalls auch bei 4HE zu groß geraten. Fehlkauf... :/
 
Mal nur eine kurze Zwischeninfo zum Epyc 7551P:
Supermicro X11SSA-F + i3-7100 + 32G RAM + H310-SAS-Controller + Intel Expander (->16 Ports) + 10G-NIC + 2xSSD (+11 HDDs im Sleep) = 64W idle
Supermicro H11SSI-F (16xSATA onboard) + 7551P + 32G RAM + 10G-NIC = 57W idle

... ob der Server doch nochmal umgebaut wird? Ich bin jedenfalls schwer überrascht... Das Last-Szenario ist natürlich ein anderes, aber selbst mein i3-Server dümpelt ja doch eher vor sich hin, also dürfte auch ein Epyc sich selten von der Idle-Bank hochbewegen. Aber 32/64 Kerne....
An die Erfahrenen hier: Es dürften doch unterstellte 20VMs auf dem Epyc eher auf idle-Taktung laufen während der i3 schon in höhere Gefilde muss, richtig? Mit der Vermutung epyc -> 0,6 VMs pro echtem Kern, beim i3 10 pro echtem Kern.
Wäre dann der Gedanke "20VMs mit wenig Last laufen auf dem Epyc voraussichtlich stromsparender als auf dem i3" richtig?
Performance-Taktung geht natürlich beim Epyc auf das Vielfache vom i3, das vermute ich bei meinen Anwendungen aber nur in wenigen Minuten pro Woche.
Ich müsste den Gedanken vor den Experimenten erledigen, da ich extra einen neuen Epyc-Kühler für max 3HE kaufen müsste. Oder ein 5HE-Gehäuse... Der Noctua 17cm Kühler ist jedenfalls auch bei 4HE zu groß geraten. Fehlkauf... :/

Da ist mein Asus KNPA-U16 dann totaler Crap, denn mein 7351P nuckelt da selbst im Idle 200W unter ESXi. 57W idle mit dem 7551P halte ich jedenfalls für extrem unrealistisch mit 10G NIC. 157W sind es vielleicht eher :d
 
nein, ich bilde mir das nicht ein... IMG_20190423_224627.jpg

allerdings ist der Rechner natürlich beim Hochfahren über 130W, fährt auf das o.g. Leistungsniveau alsbald das Booten vom Linux (Proxmox) abgeschlossen ist.

Ich vermute, dem ESXI fehlt der richtige Kernel...

edit: +14W für die 100G-Karte, +2W für eine Creative-Soundkarte, +11W für eine Ironwolf 8TB

edit 2: Aber ja, ich bin ja auch überrascht...!
 
Zuletzt bearbeitet:
nein, ich bilde mir das nicht ein...Anhang anzeigen 465892

allerdings ist der Rechner natürlich beim Hochfahren über 130W, fährt auf das o.g. Leistungsniveau alsbald das Booten vom Linux (Proxmox) abgeschlossen ist.

Ich vermute, dem ESXI fehlt der richtige Kernel...

edit: +14W für die 100G-Karte, +2W für eine Creative-Soundkarte, +11W für eine Ironwolf 8TB

edit 2: Aber ja, ich bin ja auch überrascht...!

Das kann natürlich sein, aber das ein Epyc so runter fahren kann hätte ich auch nicht gedacht. Müsste man mal exakt mit einer kalibrierten Stromzange oder Oszi nachmessen, die Kill-a-Watt Teile von Voltcraft,Brennenstuhl und Co. haben zum Teil ordentliche Abweichungen. Würdest du mal das aktuell ESXi testen ? Was er nach dem Boot ohne laufende VMs zieht ?

*edit* gerade ein ESXi Update gemacht, ohne laufende VMs:
epyc_esxi6.7u2_idle.jpg
Epyc 7351P, 4x 32 GB RAM, Asus KNPA-U16 neuestes BIOS, iKVM aktiviert, Samsung 970 Evo 1 TB im M2 Slot, LSI 9300-8i HBA mit 8 HDDs (die HDDs sind vermutlich noch aus, spüre keine Vibrationen), Intel X520-DA2 mit einem SFP+ Transceiver und eine SATA SSD auf der ESXi läuft.

*edit2* Er pendelt sich jetzt mit allen angeschalteten VMs (derzeit 12) zwischen 150-160W ein. Mit 8 Festplatten aktiv/idle. Da wollte ich hin, scheint wirklich das ESXi Update gewesen zu sein. Energiesparplan ist übrigens "Ausgeglichen".
 
Zuletzt bearbeitet:
Ich weiß nicht wie das unter ESXi ist, aber unter FreeNAS takten manche CPUs auch erst nach einer manuellen Anpassung herunter.
Das Brennenstuhl-Teil was du hast habe ich auch und ist laut einigen Tests auch sehr zuverlässig. Manchmal nach dem Einstecken zeigt er aber die doppelte Menge an, da muss man einmal auf "reset" drücken und dann zeigt es den richtigen Wert an. Hast du das mal versucht?
 
Zuletzt bearbeitet:
86W mit HDDs off klingt plausibel im Vergleich zu meinem.
4x32GB RAM sind zwei Riegel mehr und doppelt so groß jeweils, ich vermute +8W, der Controller bei mind. +6W, der X520 zieht auch mehr als mein Tehuti, +1x SSD (?). Jede Platte wird schon ihre 8W haben, also >= +64W wenn active. 86+64 sind ja schon 150W, dann langweilt sich die CPU trotz VMs ja immer noch.

edit: Mein Epyc hat eine 500GB Sandisk Extreme M.2. Hatte ich in obiger Aufstellung ignoriert, da der i3 auch eine 1TB-SSD (Evo 840) fährt und die in etwa gleichauf liegen sollten.
 
Zuletzt bearbeitet:
Das Brennenstuhl-Teil was du hast habe ich auch und ist laut einigen Tests auch sehr zuverlässig. Manchmal nach dem Einstecken zeigt er aber die doppelte Menge an, da muss man einmal auf "reset" drücken und dann zeigt es den richtigen Wert an. Hast du das mal versucht?
Genau das wollte ich auch gerade schreiben. Bei ernsten Messungen, welche ich nicht schnell plausibilisieren kann, drücke ich immer prophylaktisch "Reset".
 
Von Euren Verbrauchswerten träume ich ja nur:

Ich komme auf 132W mit ESXi 6.7 mit 8 laufenden VMs bei 23% CPU-Last (3,4GHz von 14,4GHz) und mit der Hardware aus der Signatur, wobei in der 100gbit NIC zwei aktive Transceiver (100gbit und 10gbit) stecken - also ganz ohne drehende HDDs.

Hatte mich allerdings auch damit abgefunden, dass ESXi eher keinen Wert auf Stromsparen legt. Vielleicht muss ich den doch mal updaten.

@Danielmayer: zu Proxmox kann ich nichts sagen, aber unter ESXi laufen nahezu alle meine Linux-VMs irgendwie fast völlig vernachlässigbar und der Rest auch überschaubar mit jeweils folgender "Host-CPU" Last:
APCUPSD-VMs: je 5MHz (CentOS)
Teamspeak: 11MHz (CentOS)
VPN (eine aktive Verbindung): 13MHz (CentOS)
Sophos-UTM: 41MHz
Windows-VM (mit Passthrough-Graka/USB) 71Mhz
Solaris-Storage-VM: 670MHz
Minecraft: 1,7GHz (Ubuntu)

Der Minecraft-Server frisst also selbst im idle am meisten mit alleine 1,7GHz (ohne aktive Spieler).

Um das alles einzuordnen: ESXi rechnet wohl Kerne mal Standard-Takt als Gesamt-CPU-Kapazität und gibt das dann als Basis in GHz aus, wobei unechte Kerne und Turbo nicht berücksichtigt zu werden scheinen: bei meinem 4108 (8x1,8GHz) ergibt das dann die angegebenen 14.4GHz.

Ich fürchte, Dein Verbrauch bzw. die Last auf CPU und Kernen wird einfach extrem davon abhängen, was in den VMs passiert und wie gut dein HOST-OS eben Stromsparen kann...
 
Wie verhält sich eigentlich der ESXi bzw. die VMs (Win, CentOS, Debian,vcenter, etc) unter einem Epyc bez. NUMA/UMA ? Gilt es es da auf etwas besonderes zu achten ? Der 7251 Epyc interessiert mich nämlich als Alternative zum Xeon 4108.
 
Zuletzt bearbeitet:
Ich kann jetzt nur mit Verbrauchswerten über das IPMI Interface kommen, aber evtl für euch interessant:

ESXi.jpg

IPMI.jpg

Dabei laufen 8VM´s (4 Win, 4 Linux), 10*12Tb Platten, eine Optane PCIe, 2*SSD´s und 2*LSI9400 HBA´s.
 
Verbrauch ist momentan eher als niedrig anzusehen, ich bin gespannt wenn wir ab nächstem Monat voll drauf rechnen (dann circa 100 threads am Anschlag).
Und inwieweit die IPMI Angaben was taugen, kann ich leider nicht sagen.

BTW, dachte ich poste im ESX Thread, das ist natürlich ein Server@work, falls nicht gewünscht schmeiß ich ihn wieder raus.
 
Zuletzt bearbeitet:
Quark, passt schon (mMn).

Interessant: ich hab beim X11SPi-TF gar keine Angaben zur Power Consumption, ich hab nur Sensor Readings und Event Log.
 
War mir auch neu, ich hab noch einen Host mit einem Xeon-E5 auf Sockel 2011 laufen, da hab ich auch nur die von dir genannten Angaben.
Von dem H11DSi-NT bin ich bisher sehr begeistert, brauche nur noch Cisco kompatible LWL-Kupfer Umsetzer damit ich endlich auf 10G Netzwerk komme.

Falls mehr Informationen gewünscht sind, immer los.
 
Und das ist das "Problem".
Zieh mal die I2C-Verbindung vom NT zum MB ab und schau nochmal.

(die Daten kommen nicht vom MB, sondern werden aus der PDU des NTs an das MB geschickt und das zeigt es dann an)
 
Inwiefern Problem? Was meinst du?
 
Dass du die Werte siehst.

Wenn jemand anders ein 0815 NT verwendet, hat er im IPMI keine Daten, da das NT ja keine in das System einspeist.
 
Sonst bin ich ja bisher eher bei Dell und Supermicro und E3 Xeons unterwegs gewesen.

Hier mein aktuelles Vorhaben:
t620plus.jpg t620plus2.jpg

Unschwer als HP T620 Plus zu erkennen. Eine i350 fehlt mir noch (damit wisst ihr auch, was das Ding werden soll), aktuell wird deswegen eine X540 einspringen, um noch nen Lan-Port zu bekommen.
@Besterino: Nein, eine CX4 100Gbit kommt da nicht rein. Das dürfte das kleine Kasterl doch etwas überfordern. ;)

Nettes kleines Kisterl für 150,- Euro. Dabei war noch eine Firepro 2270, zusätzlich zur Standardausstattung von 4 GB Ram + 16GB SSD.
Nur der Stand hat gefehlt, aber den kann ich eh nicht wirklich brauchen.
 
Zuletzt bearbeitet:
@ Trambahner: Wenn du mir eine Skizze für den Stand machst ODER den auf Thingiverse findest, drucke ich dir den! :)
 
Initialpost mit meinem neuen (alten) Server.

Ausgangslage war:
Asrock J5005-ITX mit 2 x 4GB 2400 SO-DIMM
4 x WD Red. 3 TB (ZFS RAID-Z3, auch aus Paranoia)
PicoPSU 80W
Cooler Master Elite 120 Gehäuse
FreeNAS auf MLC USB-Stick

Darauf liegen hauptsächlich RAWs der letzten 7 Jahre. Da mir das Thema Datenintegrität mit non-ECC schon ein bisschen flau im Magen liegt, habe ich mich zum Wechsel Richtung Xeon und EEC entschlossen. Nach diversen Threads, die immer wieder um das selbe Thema kreisen, ist dann die Wahl auf folgende Komponenten gefallen:

Supermicro X11SCL-IF
32 GB ECC RAM (M391A4G43MB1-CTD)
Intel Xeon E-2136 (6C/12T) 3.30GHz So. 1151
Noctua NH-L9i Topblow Kühler (weil wenig Platz nach oben)
400 Watt be quiet! Pure Power 11 CM Modular 80+ Gold
Dell Perc H310 HBA
512 GB M.2 PCIe (lag noch rum) als lokaler DS.

Darauf läuft jetzt ESXi 6.7U2 mit:
FreeNAS VM (Dell Perc H210 PCIe passthrough)
pfSense VM (Kabelmodem an NIC1, LAN an NIC2)
Pihole VM

Alle Sensordaten des IPMI werden sauber an ESXi übertragen. Zur Leistungsaufnahme kann ich aktuell nichts sagen.

IMG_20190609_120908.jpg
 
@0xsepa: Gute Hardware-Wahl und schöner Aufbau. Aber wegen dem RAID-Z3 wundere ich mich etwas. Hast du kein Backup? Oder brauchst du wirklich solch hohe Verfügbarkeit?
 
@mastersteve1 & @besterino
Danke für die Blumen! :)

@RampageUser
Es hat schon seinen Grund, warum ich ein Foto von dieser Seite gemacht habe. :d
Auf der anderen Seite geht es schon eng zu. Das Modulare NT hilft da ganz gewaltig.

@craxity
Die Backups (offline) sind leider nicht so regelmäßig, wie ich mir das gerne wünsche. Die Platten hatte ich damals zumindest über Wochen hin gekauft, und immer darauf geachtet, dass das Produktionsdatum deutlich variiert.

Und Netto bei Z3 ist schon heftig.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh