[Sammelthread] HomeServer Vorstellung - Bilder + Kommentare
- Ersteller underclocker2k4
- Erstellt am
danielmayer
Enthusiast
- Mitglied seit
- 30.03.2005
- Beiträge
- 1.010
Mal nur eine kurze Zwischeninfo zum Epyc 7551P:
Supermicro X11SSA-F + i3-7100 + 32G RAM + H310-SAS-Controller + Intel Expander (->16 Ports) + 10G-NIC + 2xSSD (+11 HDDs im Sleep) = 64W idle
Supermicro H11SSI-F (16xSATA onboard) + 7551P + 32G RAM + 10G-NIC = 57W idle
... ob der Server doch nochmal umgebaut wird? Ich bin jedenfalls schwer überrascht... Das Last-Szenario ist natürlich ein anderes, aber selbst mein i3-Server dümpelt ja doch eher vor sich hin, also dürfte auch ein Epyc sich selten von der Idle-Bank hochbewegen. Aber 32/64 Kerne....
An die Erfahrenen hier: Es dürften doch unterstellte 20VMs auf dem Epyc eher auf idle-Taktung laufen während der i3 schon in höhere Gefilde muss, richtig? Mit der Vermutung epyc -> 0,6 VMs pro echtem Kern, beim i3 10 pro echtem Kern.
Wäre dann der Gedanke "20VMs mit wenig Last laufen auf dem Epyc voraussichtlich stromsparender als auf dem i3" richtig?
Performance-Taktung geht natürlich beim Epyc auf das Vielfache vom i3, das vermute ich bei meinen Anwendungen aber nur in wenigen Minuten pro Woche.
Ich müsste den Gedanken vor den Experimenten erledigen, da ich extra einen neuen Epyc-Kühler für max 3HE kaufen müsste. Oder ein 5HE-Gehäuse... Der Noctua 17cm Kühler ist jedenfalls auch bei 4HE zu groß geraten. Fehlkauf... :/
Supermicro X11SSA-F + i3-7100 + 32G RAM + H310-SAS-Controller + Intel Expander (->16 Ports) + 10G-NIC + 2xSSD (+11 HDDs im Sleep) = 64W idle
Supermicro H11SSI-F (16xSATA onboard) + 7551P + 32G RAM + 10G-NIC = 57W idle
... ob der Server doch nochmal umgebaut wird? Ich bin jedenfalls schwer überrascht... Das Last-Szenario ist natürlich ein anderes, aber selbst mein i3-Server dümpelt ja doch eher vor sich hin, also dürfte auch ein Epyc sich selten von der Idle-Bank hochbewegen. Aber 32/64 Kerne....
An die Erfahrenen hier: Es dürften doch unterstellte 20VMs auf dem Epyc eher auf idle-Taktung laufen während der i3 schon in höhere Gefilde muss, richtig? Mit der Vermutung epyc -> 0,6 VMs pro echtem Kern, beim i3 10 pro echtem Kern.
Wäre dann der Gedanke "20VMs mit wenig Last laufen auf dem Epyc voraussichtlich stromsparender als auf dem i3" richtig?
Performance-Taktung geht natürlich beim Epyc auf das Vielfache vom i3, das vermute ich bei meinen Anwendungen aber nur in wenigen Minuten pro Woche.
Ich müsste den Gedanken vor den Experimenten erledigen, da ich extra einen neuen Epyc-Kühler für max 3HE kaufen müsste. Oder ein 5HE-Gehäuse... Der Noctua 17cm Kühler ist jedenfalls auch bei 4HE zu groß geraten. Fehlkauf... :/
Da ist mein Asus KNPA-U16 dann totaler Crap, denn mein 7351P nuckelt da selbst im Idle 200W unter ESXi. 57W idle mit dem 7551P halte ich jedenfalls für extrem unrealistisch mit 10G NIC. 157W sind es vielleicht eher
danielmayer
Enthusiast
- Mitglied seit
- 30.03.2005
- Beiträge
- 1.010
nein, ich bilde mir das nicht ein...
allerdings ist der Rechner natürlich beim Hochfahren über 130W, fährt auf das o.g. Leistungsniveau alsbald das Booten vom Linux (Proxmox) abgeschlossen ist.
Ich vermute, dem ESXI fehlt der richtige Kernel...
edit: +14W für die 100G-Karte, +2W für eine Creative-Soundkarte, +11W für eine Ironwolf 8TB
edit 2: Aber ja, ich bin ja auch überrascht...!
allerdings ist der Rechner natürlich beim Hochfahren über 130W, fährt auf das o.g. Leistungsniveau alsbald das Booten vom Linux (Proxmox) abgeschlossen ist.
Ich vermute, dem ESXI fehlt der richtige Kernel...
edit: +14W für die 100G-Karte, +2W für eine Creative-Soundkarte, +11W für eine Ironwolf 8TB
edit 2: Aber ja, ich bin ja auch überrascht...!
Zuletzt bearbeitet:
Das kann natürlich sein, aber das ein Epyc so runter fahren kann hätte ich auch nicht gedacht. Müsste man mal exakt mit einer kalibrierten Stromzange oder Oszi nachmessen, die Kill-a-Watt Teile von Voltcraft,Brennenstuhl und Co. haben zum Teil ordentliche Abweichungen. Würdest du mal das aktuell ESXi testen ? Was er nach dem Boot ohne laufende VMs zieht ?
*edit* gerade ein ESXi Update gemacht, ohne laufende VMs:
Epyc 7351P, 4x 32 GB RAM, Asus KNPA-U16 neuestes BIOS, iKVM aktiviert, Samsung 970 Evo 1 TB im M2 Slot, LSI 9300-8i HBA mit 8 HDDs (die HDDs sind vermutlich noch aus, spüre keine Vibrationen), Intel X520-DA2 mit einem SFP+ Transceiver und eine SATA SSD auf der ESXi läuft.
*edit2* Er pendelt sich jetzt mit allen angeschalteten VMs (derzeit 12) zwischen 150-160W ein. Mit 8 Festplatten aktiv/idle. Da wollte ich hin, scheint wirklich das ESXi Update gewesen zu sein. Energiesparplan ist übrigens "Ausgeglichen".
Zuletzt bearbeitet:
Ich weiß nicht wie das unter ESXi ist, aber unter FreeNAS takten manche CPUs auch erst nach einer manuellen Anpassung herunter.
Das Brennenstuhl-Teil was du hast habe ich auch und ist laut einigen Tests auch sehr zuverlässig. Manchmal nach dem Einstecken zeigt er aber die doppelte Menge an, da muss man einmal auf "reset" drücken und dann zeigt es den richtigen Wert an. Hast du das mal versucht?
Das Brennenstuhl-Teil was du hast habe ich auch und ist laut einigen Tests auch sehr zuverlässig. Manchmal nach dem Einstecken zeigt er aber die doppelte Menge an, da muss man einmal auf "reset" drücken und dann zeigt es den richtigen Wert an. Hast du das mal versucht?
Zuletzt bearbeitet:
danielmayer
Enthusiast
- Mitglied seit
- 30.03.2005
- Beiträge
- 1.010
86W mit HDDs off klingt plausibel im Vergleich zu meinem.
4x32GB RAM sind zwei Riegel mehr und doppelt so groß jeweils, ich vermute +8W, der Controller bei mind. +6W, der X520 zieht auch mehr als mein Tehuti, +1x SSD (?). Jede Platte wird schon ihre 8W haben, also >= +64W wenn active. 86+64 sind ja schon 150W, dann langweilt sich die CPU trotz VMs ja immer noch.
edit: Mein Epyc hat eine 500GB Sandisk Extreme M.2. Hatte ich in obiger Aufstellung ignoriert, da der i3 auch eine 1TB-SSD (Evo 840) fährt und die in etwa gleichauf liegen sollten.
4x32GB RAM sind zwei Riegel mehr und doppelt so groß jeweils, ich vermute +8W, der Controller bei mind. +6W, der X520 zieht auch mehr als mein Tehuti, +1x SSD (?). Jede Platte wird schon ihre 8W haben, also >= +64W wenn active. 86+64 sind ja schon 150W, dann langweilt sich die CPU trotz VMs ja immer noch.
edit: Mein Epyc hat eine 500GB Sandisk Extreme M.2. Hatte ich in obiger Aufstellung ignoriert, da der i3 auch eine 1TB-SSD (Evo 840) fährt und die in etwa gleichauf liegen sollten.
Zuletzt bearbeitet:
Master Luke
Enthusiast
Genau das wollte ich auch gerade schreiben. Bei ernsten Messungen, welche ich nicht schnell plausibilisieren kann, drücke ich immer prophylaktisch "Reset".
besterino
Legende
Von Euren Verbrauchswerten träume ich ja nur:
Ich komme auf 132W mit ESXi 6.7 mit 8 laufenden VMs bei 23% CPU-Last (3,4GHz von 14,4GHz) und mit der Hardware aus der Signatur, wobei in der 100gbit NIC zwei aktive Transceiver (100gbit und 10gbit) stecken - also ganz ohne drehende HDDs.
Hatte mich allerdings auch damit abgefunden, dass ESXi eher keinen Wert auf Stromsparen legt. Vielleicht muss ich den doch mal updaten.
@Danielmayer: zu Proxmox kann ich nichts sagen, aber unter ESXi laufen nahezu alle meine Linux-VMs irgendwie fast völlig vernachlässigbar und der Rest auch überschaubar mit jeweils folgender "Host-CPU" Last:
APCUPSD-VMs: je 5MHz (CentOS)
Teamspeak: 11MHz (CentOS)
VPN (eine aktive Verbindung): 13MHz (CentOS)
Sophos-UTM: 41MHz
Windows-VM (mit Passthrough-Graka/USB) 71Mhz
Solaris-Storage-VM: 670MHz
Minecraft: 1,7GHz (Ubuntu)
Der Minecraft-Server frisst also selbst im idle am meisten mit alleine 1,7GHz (ohne aktive Spieler).
Um das alles einzuordnen: ESXi rechnet wohl Kerne mal Standard-Takt als Gesamt-CPU-Kapazität und gibt das dann als Basis in GHz aus, wobei unechte Kerne und Turbo nicht berücksichtigt zu werden scheinen: bei meinem 4108 (8x1,8GHz) ergibt das dann die angegebenen 14.4GHz.
Ich fürchte, Dein Verbrauch bzw. die Last auf CPU und Kernen wird einfach extrem davon abhängen, was in den VMs passiert und wie gut dein HOST-OS eben Stromsparen kann...
Ich komme auf 132W mit ESXi 6.7 mit 8 laufenden VMs bei 23% CPU-Last (3,4GHz von 14,4GHz) und mit der Hardware aus der Signatur, wobei in der 100gbit NIC zwei aktive Transceiver (100gbit und 10gbit) stecken - also ganz ohne drehende HDDs.
Hatte mich allerdings auch damit abgefunden, dass ESXi eher keinen Wert auf Stromsparen legt. Vielleicht muss ich den doch mal updaten.
@Danielmayer: zu Proxmox kann ich nichts sagen, aber unter ESXi laufen nahezu alle meine Linux-VMs irgendwie fast völlig vernachlässigbar und der Rest auch überschaubar mit jeweils folgender "Host-CPU" Last:
APCUPSD-VMs: je 5MHz (CentOS)
Teamspeak: 11MHz (CentOS)
VPN (eine aktive Verbindung): 13MHz (CentOS)
Sophos-UTM: 41MHz
Windows-VM (mit Passthrough-Graka/USB) 71Mhz
Solaris-Storage-VM: 670MHz
Minecraft: 1,7GHz (Ubuntu)
Der Minecraft-Server frisst also selbst im idle am meisten mit alleine 1,7GHz (ohne aktive Spieler).
Um das alles einzuordnen: ESXi rechnet wohl Kerne mal Standard-Takt als Gesamt-CPU-Kapazität und gibt das dann als Basis in GHz aus, wobei unechte Kerne und Turbo nicht berücksichtigt zu werden scheinen: bei meinem 4108 (8x1,8GHz) ergibt das dann die angegebenen 14.4GHz.
Ich fürchte, Dein Verbrauch bzw. die Last auf CPU und Kernen wird einfach extrem davon abhängen, was in den VMs passiert und wie gut dein HOST-OS eben Stromsparen kann...
Luckysh0t
Enthusiast
Wie verhält sich eigentlich der ESXi bzw. die VMs (Win, CentOS, Debian,vcenter, etc) unter einem Epyc bez. NUMA/UMA ? Gilt es es da auf etwas besonderes zu achten ? Der 7251 Epyc interessiert mich nämlich als Alternative zum Xeon 4108.
Zuletzt bearbeitet:
Ich kann jetzt nur mit Verbrauchswerten über das IPMI Interface kommen, aber evtl für euch interessant:
Dabei laufen 8VM´s (4 Win, 4 Linux), 10*12Tb Platten, eine Optane PCIe, 2*SSD´s und 2*LSI9400 HBA´s.
Dabei laufen 8VM´s (4 Win, 4 Linux), 10*12Tb Platten, eine Optane PCIe, 2*SSD´s und 2*LSI9400 HBA´s.
wenzilinho
Experte
- Mitglied seit
- 21.09.2018
- Beiträge
- 190
Boah. Heftiges Teil.. Sowohl von der Ausstattung, als auch vom Verbrauch..
Verbrauch ist momentan eher als niedrig anzusehen, ich bin gespannt wenn wir ab nächstem Monat voll drauf rechnen (dann circa 100 threads am Anschlag).
Und inwieweit die IPMI Angaben was taugen, kann ich leider nicht sagen.
BTW, dachte ich poste im ESX Thread, das ist natürlich ein Server@work, falls nicht gewünscht schmeiß ich ihn wieder raus.
Und inwieweit die IPMI Angaben was taugen, kann ich leider nicht sagen.
BTW, dachte ich poste im ESX Thread, das ist natürlich ein Server@work, falls nicht gewünscht schmeiß ich ihn wieder raus.
Zuletzt bearbeitet:
besterino
Legende
Quark, passt schon (mMn).
Interessant: ich hab beim X11SPi-TF gar keine Angaben zur Power Consumption, ich hab nur Sensor Readings und Event Log.
Interessant: ich hab beim X11SPi-TF gar keine Angaben zur Power Consumption, ich hab nur Sensor Readings und Event Log.
War mir auch neu, ich hab noch einen Host mit einem Xeon-E5 auf Sockel 2011 laufen, da hab ich auch nur die von dir genannten Angaben.
Von dem H11DSi-NT bin ich bisher sehr begeistert, brauche nur noch Cisco kompatible LWL-Kupfer Umsetzer damit ich endlich auf 10G Netzwerk komme.
Falls mehr Informationen gewünscht sind, immer los.
Von dem H11DSi-NT bin ich bisher sehr begeistert, brauche nur noch Cisco kompatible LWL-Kupfer Umsetzer damit ich endlich auf 10G Netzwerk komme.
Falls mehr Informationen gewünscht sind, immer los.
underclocker2k4
Mr. Alzheimer
@Storm, welches NT verwendest du?
Dieses hier, redundant. https://store.supermicro.com/1280w-1u-pws-1k28p-sq.html
underclocker2k4
Mr. Alzheimer
Und das ist das "Problem".
Zieh mal die I2C-Verbindung vom NT zum MB ab und schau nochmal.
(die Daten kommen nicht vom MB, sondern werden aus der PDU des NTs an das MB geschickt und das zeigt es dann an)
Zieh mal die I2C-Verbindung vom NT zum MB ab und schau nochmal.
(die Daten kommen nicht vom MB, sondern werden aus der PDU des NTs an das MB geschickt und das zeigt es dann an)
Inwiefern Problem? Was meinst du?
underclocker2k4
Mr. Alzheimer
Dass du die Werte siehst.
Wenn jemand anders ein 0815 NT verwendet, hat er im IPMI keine Daten, da das NT ja keine in das System einspeist.
Wenn jemand anders ein 0815 NT verwendet, hat er im IPMI keine Daten, da das NT ja keine in das System einspeist.
Trambahner
Urgestein
Sonst bin ich ja bisher eher bei Dell und Supermicro und E3 Xeons unterwegs gewesen.
Hier mein aktuelles Vorhaben:
Unschwer als HP T620 Plus zu erkennen. Eine i350 fehlt mir noch (damit wisst ihr auch, was das Ding werden soll), aktuell wird deswegen eine X540 einspringen, um noch nen Lan-Port zu bekommen.
@Besterino: Nein, eine CX4 100Gbit kommt da nicht rein. Das dürfte das kleine Kasterl doch etwas überfordern.
Nettes kleines Kisterl für 150,- Euro. Dabei war noch eine Firepro 2270, zusätzlich zur Standardausstattung von 4 GB Ram + 16GB SSD.
Nur der Stand hat gefehlt, aber den kann ich eh nicht wirklich brauchen.
Hier mein aktuelles Vorhaben:
Unschwer als HP T620 Plus zu erkennen. Eine i350 fehlt mir noch (damit wisst ihr auch, was das Ding werden soll), aktuell wird deswegen eine X540 einspringen, um noch nen Lan-Port zu bekommen.
@Besterino: Nein, eine CX4 100Gbit kommt da nicht rein. Das dürfte das kleine Kasterl doch etwas überfordern.
Nettes kleines Kisterl für 150,- Euro. Dabei war noch eine Firepro 2270, zusätzlich zur Standardausstattung von 4 GB Ram + 16GB SSD.
Nur der Stand hat gefehlt, aber den kann ich eh nicht wirklich brauchen.
Zuletzt bearbeitet:
0xsepa
Experte
- Mitglied seit
- 03.03.2017
- Beiträge
- 97
Initialpost mit meinem neuen (alten) Server.
Ausgangslage war:
Asrock J5005-ITX mit 2 x 4GB 2400 SO-DIMM
4 x WD Red. 3 TB (ZFS RAID-Z3, auch aus Paranoia)
PicoPSU 80W
Cooler Master Elite 120 Gehäuse
FreeNAS auf MLC USB-Stick
Darauf liegen hauptsächlich RAWs der letzten 7 Jahre. Da mir das Thema Datenintegrität mit non-ECC schon ein bisschen flau im Magen liegt, habe ich mich zum Wechsel Richtung Xeon und EEC entschlossen. Nach diversen Threads, die immer wieder um das selbe Thema kreisen, ist dann die Wahl auf folgende Komponenten gefallen:
Supermicro X11SCL-IF
32 GB ECC RAM (M391A4G43MB1-CTD)
Intel Xeon E-2136 (6C/12T) 3.30GHz So. 1151
Noctua NH-L9i Topblow Kühler (weil wenig Platz nach oben)
400 Watt be quiet! Pure Power 11 CM Modular 80+ Gold
Dell Perc H310 HBA
512 GB M.2 PCIe (lag noch rum) als lokaler DS.
Darauf läuft jetzt ESXi 6.7U2 mit:
FreeNAS VM (Dell Perc H210 PCIe passthrough)
pfSense VM (Kabelmodem an NIC1, LAN an NIC2)
Pihole VM
Alle Sensordaten des IPMI werden sauber an ESXi übertragen. Zur Leistungsaufnahme kann ich aktuell nichts sagen.
Ausgangslage war:
Asrock J5005-ITX mit 2 x 4GB 2400 SO-DIMM
4 x WD Red. 3 TB (ZFS RAID-Z3, auch aus Paranoia)
PicoPSU 80W
Cooler Master Elite 120 Gehäuse
FreeNAS auf MLC USB-Stick
Darauf liegen hauptsächlich RAWs der letzten 7 Jahre. Da mir das Thema Datenintegrität mit non-ECC schon ein bisschen flau im Magen liegt, habe ich mich zum Wechsel Richtung Xeon und EEC entschlossen. Nach diversen Threads, die immer wieder um das selbe Thema kreisen, ist dann die Wahl auf folgende Komponenten gefallen:
Supermicro X11SCL-IF
32 GB ECC RAM (M391A4G43MB1-CTD)
Intel Xeon E-2136 (6C/12T) 3.30GHz So. 1151
Noctua NH-L9i Topblow Kühler (weil wenig Platz nach oben)
400 Watt be quiet! Pure Power 11 CM Modular 80+ Gold
Dell Perc H310 HBA
512 GB M.2 PCIe (lag noch rum) als lokaler DS.
Darauf läuft jetzt ESXi 6.7U2 mit:
FreeNAS VM (Dell Perc H210 PCIe passthrough)
pfSense VM (Kabelmodem an NIC1, LAN an NIC2)
Pihole VM
Alle Sensordaten des IPMI werden sauber an ESXi übertragen. Zur Leistungsaufnahme kann ich aktuell nichts sagen.
mastersteve1
Enthusiast
- Mitglied seit
- 31.12.2013
- Beiträge
- 180
Sauber [emoji1303]
besterino
Legende
Fein! 
RampageUser
Experte
Schönes Ding ,
das kleine Cooler Master ist ein 1A Gehäuse indem auch mein erster Server schlummerte. Nur beim Kabelmanagement muss man sich eben Mühe machen.
Aber das sieht auf den ersten Blick Top aus.
,das kleine Cooler Master ist ein 1A Gehäuse indem auch mein erster Server schlummerte. Nur beim Kabelmanagement muss man sich eben Mühe machen.
Aber das sieht auf den ersten Blick Top aus
.
0xsepa
Experte
- Mitglied seit
- 03.03.2017
- Beiträge
- 97
@mastersteve1 & @besterino
Danke für die Blumen!
@RampageUser
Es hat schon seinen Grund, warum ich ein Foto von dieser Seite gemacht habe.
Auf der anderen Seite geht es schon eng zu. Das Modulare NT hilft da ganz gewaltig.
@craxity
Die Backups (offline) sind leider nicht so regelmäßig, wie ich mir das gerne wünsche. Die Platten hatte ich damals zumindest über Wochen hin gekauft, und immer darauf geachtet, dass das Produktionsdatum deutlich variiert.
Und Netto bei Z3 ist schon heftig.
Danke für die Blumen!
@RampageUser
Es hat schon seinen Grund, warum ich ein Foto von dieser Seite gemacht habe.
Auf der anderen Seite geht es schon eng zu. Das Modulare NT hilft da ganz gewaltig.
@craxity
Die Backups (offline) sind leider nicht so regelmäßig, wie ich mir das gerne wünsche. Die Platten hatte ich damals zumindest über Wochen hin gekauft, und immer darauf geachtet, dass das Produktionsdatum deutlich variiert.
Und Netto bei Z3 ist schon heftig.