[Kaufberatung] Kleiner Stromsparender ESXi mit 10Gb Ethernet

[Sasch]

Da ich gerade meinen HP Microserver gen8 verkauft habe suche ich was neues.

Es soll ein ESXi drauf laufen (6.7). Im moment habe ich ca 6 Ubuntu Server drauf laufen die Dienste wie Pihole, unms, nextcloud , AirVideo Hd und noch ein paar dienste bereitstellen. Die meisten brauchen 1 cpu und 1gb ram. Nur AirVideo Hd habe ich 4 Cores und 4gb zugewisen da er teilweise auch 4k Videos transcodieren sollte.

Ich dachte vielleicht an einen Supermicro E300-8D. Der hat schon 10Gb Ethernet drin und kann bis 128gb ram. Allerdings ist bei dem gerät die cpu verlötet. Da bin ich nicht so der freund davon.

Dann habe ich noch ein Asus z170i itx Board mit einem 6700k rumliegen, welches ich auch nehmen könnte. Der esxi 6.7 läuft ohne probleme darauf . Wegen Stromverbrauch muß ich mal messen.

10gb Ethernet pcie Karten sind vorhanden
Welche empfehlungen habt ihr noch ?

 

[Trambahner]

Die kleinen E300-Supermicro haben 40mm-"Luftschleudern", die sehr laut werden können. Sie haben halt mit der Größe nen gewissen "Schnuckelfaktor", aber wg. mangelnde Ausbaufähigkeit und potentieller Krach der 40mm-Fans halte ich persönlich nicht viel von diesen Kleinstgehäusen. Paul Braren ("TinkertyIT") hat da getestet/reviewed. Auch das neue mit 4core Xeon D 2100. Einfach auf Google und/oder Youtube suchen. Da Ding zieht aber bereits im Idle relativ viel Strom.
6700K kann halt kein ECC, falls Du da Wert drauf legst und endet bei 64GB. Ferner haben die Consumerboards kein IPMI zur Fernsteuerung/Überwachung, wie es z.B. die Supermicros haben. Das ist das Supermicro-Äquivalent zu HPs ILO. Wenn die Kiste headless irgendwo im Eck steckt, will man das nicht mehr missen.

Oder von Supermicro den Xeon D 1541 Microtower. Der ähnelt noch am meisten dem Gen8, hat aber den Xeon D 1540/1541 drauf, kann 128GB und hat 8 Kerne. Paul hat den auch und intensiv gereviewt. Aber: Xeon D 15xx ist noch Broadwell-Generation.
Xeon D 21xx dagegen hat mehr Takt, schluckt aber relativ viel Strom für das gebotene.

Wenn Du mit 64GB auskommst, würde ich eher zu einem E3-Xeon v5/v6 und µATX raten. Supermicro X11SSM/SSL/SSH z.B. ; genaues Modell je nach gewünschter Konnektivität. Bei Xeon D wirst Du nämlich nur verlötete finden.
Ich hab das X11SSH-CTF (hat 10GBase und SAS HBA) mit nem E3-1240v5 drauf, 64GB, 4*Sata SSD, 1*M.2 960 Evo, 1*Intel 900p, 6*HGST 6TB HDD. Braucht wenn die 6 HDDs schlafen etwa 40W Idle unter ESXI. Der Xeon D 21xx E300-Prototyp mit 4 Rams und einer SSD bereits ~55-60W.

 

[Anarchist]

Dein Titel "klein, stromsparend, 10GB und Vmware ESXi kompatibel" beschreibt die Xeon-D´s schon sehr gut.

Vom Xeon D 21xx würd ich eher Abstand nehmen wenn dir der Verbrauch wirklich wichtig ist. Stromsparend sind die nicht mehr, da kann man gleich auf eine Sockel 3647 Platform gehen.

Den Xeon D 1541 mit 128GB kann ich sehr empfehlen. Hat mächtig Bums als Homeserver und lässt sich klein verpacken wenn man es braucht.
Nur mit der Kühlung ist es nicht so einfach. Der Supermicro Lüfter ist nicht leise und einen Noctua NF-A6x25 PWM so wie ich ihn habe kannst du nicht einfach anschrauben. Da musst du kreativ werden.

Rein von der CPU Leistung her liegt dein 6700k mit dem Xeon D 1541 gleich, beide Passmark von knapp über 11000 Punkte. Dein Asus Board kann aber max. 32GB Ram, wäre mir für VMs viel zu wenig.

Wenn du klein bleiben willst müsstest du für mind. 64GB Ram trotzdem auf uATX gehen was gar nicht mehr soo klein ist.

Wie machst du denn das Storage? Lokal mit beim ESXi oder per NAS, anderer Server?

Müsst ich mich aktuell komplett neu entscheiden würde ich wohl folgende Kombination wählen:
Supermicro X11SPM-TF retail Preisvergleich Geizhals Deutschland
Intel Xeon Silver 4110, 8x 2.10GHz, boxed Preisvergleich Geizhals Deutschland

Aber der Xeon-D hält hoffentlich noch viele Jahre

 

[Sasch]

Danke für die vielen Tips. Ja die Xeon-D würde mir schon gefallen. Ich dachte vielleicht an das Board X10SDV-TP8F mit dem Gehäuse 505-203B. Da bekommt man 4 x 2,5 " Festplatten rein. Das würde für meinen ESXi reichen. Da habe ich 4 Platten drin im Moment. Das Storage läuft nebendran auf einem Freenas welches auf einem HP Microserver Gen8 läuft. Der wird aber auch ausgetauscht sobald ich einen Käufer gefunden habe. Die 16GB sind mir etwas zu wenig was der HP kann. Verbunden sind die über einen Edge Switch XR16 (10GB Switch) welche auch das Routing übernimmt. Als HP Ersatz dachte ich dann an das Xeon D 1541 . Allerdings für das Freenas braucht man nicht viel CPU Power - eher Arbeitsspeicher. Der Esxi würde mit dem D-1518 ganz gut laufen. Wie gesagt habe da nur 6 oder 7 Ubuntu Server laufen die kleinere Dienste übernehmen. Was mich im Moment noch etwas abschreckt sind die hohen Ram Speicher Preise. Das MBD-X11SPM-TF-O sieht auch nett aus. Allerdings ist die CPU etwas oversized. Ich habe noch einen hoch gepimpten MacPro mit 12 Kernen . Das reicht zum arbeiten ;o))

 

[Trambahner]

Schau Dir dann doch den SYS-5028D-TN4T an.

Das Gehäuse gibt es übrigens als CSE-721TQ-250B auch solo, dann kannst ein günstigeres/schwächeres ITX-Board verbauen

 

[Toranaga]

Vorsicht. Das X10SDV-TP8F ist Flex ATX und das Gehäuse ITX. Das X11SPM-TF-O ist sogar mATX.

Würde aber eher das Gehäuse als das Board wechseln. Hier laufen 3 Stück des langsameren x10sdv-2c-tp8f als Proxmox-Ceph Cluster recht gut.

Gruß
Andreas

Andreas

 

[Sasch]

Auf der Webseite steht das es passen würde

Chassis (Optimized for X10SDV-TP8F )

1U Chassis:
SC504-203B
SC514-505
SCE300
SC505-203B
SC515-R407
SC813MTQ-350CB

 

[Toranaga]

Stimmt, die Boardliste beim Gehäuse sagt Flex aber der Form Factor sagt ITX. Auch das Handbuch sagt 6,75x6,75 also ITX.

Flex ist tiefer und breiter. Breite sehe ich kein Problem, bei der Tiefe müssen die im Handbuch gezeigten Lüfter evtl. raus. Dann würde es wohl gehen. Wenn man auf die Lüfter verzichten kann.

Bin bei Supermicro in der Hinsicht ein gebranntes Kind. Was geschrieben steht und was funktioniert sind zwei Dinge. X11SBA-LN4F und seine 4 Netzwerkkarten. Kann gehen, muss aber nicht.

Gruß
Andreas

 

[Sasch]

Hm stimmt

dann das
X10SDV-4C-TLN4F

oder das

X10SDV-4C+-TLN4F

Ist das kompliziert bei Supermicro. Wo kauft ihr die Sachen am günstigsten ?

 

[besterino]

Mein größter (weil einziger) Wermutstropfen ist die Lüftersteuerung bei den Supermicrobrettern. Aktuell versuche ich meinem x11SSM-F beizubringen, mit einem Noctua NF-12PWM umzugehen und den nicht zu weit runterzuregeln, dass der gar nicht mehr dreht - dann bricht nämlich das Board in Panik aus und dreht alle Lüfter auf Max, nur um dann wieder runter zu regeln worauf der wieder aus geht und das Spiel beginnt von vorne. Total nervig.

Hab schon die Threshold mit den Ipmi-Tools angespasst, aber noch nicht herausgefunden, wie ich die Settings für die minimal-Geschwindigkeit speziell bei den aktuelllen X11er-Boards setzen kann. Muss vielleicht mal nen Thread dazu aufmachen....

Zurück zu diesem Fred: habe mit Sona.de gute Erfahrungen für Supermicro gemacht. Sind häufig am unteren Ende der Geizhals-Preisskala aber seit einiger Zeit dort nicht mehr gelistet.

 

[Anarchist]

Habe mein Board und 2x32GB Speicher ebenfalls bei sona.de gekauft. die anderen beiden 32er GB gabs dann später bei mindfactory glaub ich.

 

[Trambahner]

Bin auch schon das eine oder andere Mal sona.de Kunde bzgl. Supermicro gewesen. Nie was auszusetzen gewesen.

Jo, die Lüftersteuerung musste ich auch anpassen. Ich hab halt noch die LowNoise-Adapter vorgeschaltet und dann die Threshold angepasst. Das war wirklich nervig, bis das lief wie ich wollte. Mei, die Boards sind halt logischerweise für 24/7 Server gebaut, nicht für empfindliche Ohren.

Daher würde ich von diesen kleinen E300-Büchsen mit ihren 40er Lüftern eher abraten. Denn die müssen drehen, damits nen brauchbaren Luftzug für den Xeon D gibt. IMO ist das eher was für Steuerschränke mit wenig Platz. Aber nicht fürs Heimregal.

1151 µATX ist da schon wesentlich handsamer, auch bzgl. Kühllösungen. Da kann ich halt leise Consumer-Kühler draufpacken. Ausserdem hat so ein E3 noch den Vorteil, dass er bei Bedarf auch Singlethread-Anwendungen durch hohen Takt die Sporen geben kann. Grad daheim ist das manchmal nicht unwichtig. Gleichzeitig sind die Dinger im Idle schon recht sparsam.
Ich sehe die E3 daher für den typischen Homeserver (Storage, Video, evtl. Firewall oder Smarthome, mal VDI wenn man nur ein schwachbrüstiges Laptoperl hat) immer noch als die universellste und kostengünstige Lösung, solange die 64GB reichen.

 

[Sasch]

Habe jetzt den ESXi vom Hp Microserver auf den Asus Z170i mit I7 umgezogen. Läuft ohne Probleme. Die 10GB Ethernet Karte läuft auch. Der bekommt jetzt insgesamt 32GB Speicher rein und gut. Das reicht erstmal . Überlege auch ob ich den I7 gegen einen I5 tausche. Die CPU Auslastung mit den 6 VMs ist 1% und der Arbeitsspeicher ist bei 8 GB. Insgesamt brauch der Asus I7 + HP Microserver (Celeron) und der ubiquiti Switch XG16 ca 116 Watt. Ich denke da kann man noch etwas optimieren.

Es wird eher intressant den HP durch einen anderen zu ersetzen. Habe da 4x 3,5" Festplatten drin für das FreeNas. Allerdings macht der auch nicht wirklich viel. CPU dümpelt auch nur bei 2-3% rum und hält sich bei 38 Grad. Vielleicht laß ich es wie es ist und spare mir das Geld. Aber juckt schon unter den Fingern was neues zusammenzustellen ;o))

 

[zumselziege]

Stimmt, die Boardliste beim Gehäuse sagt Flex aber der Form Factor sagt ITX. Auch das Handbuch sagt 6,75x6,75 also ITX.

Flex ist tiefer und breiter. Breite sehe ich kein Problem, bei der Tiefe müssen die im Handbuch gezeigten Lüfter evtl. raus. Dann würde es wohl gehen. Wenn man auf die Lüfter verzichten kann.

Bin bei Supermicro in der Hinsicht ein gebranntes Kind. Was geschrieben steht und was funktioniert sind zwei Dinge. X11SBA-LN4F und seine 4 Netzwerkkarten. Kann gehen, muss aber nicht.

Gruß
Andreas

Was genau meinst Du mit den 4 Netzwerkkarten und "Kann gehen, muss aber nicht".
a) Das Board kann in das Gehäuse passen, ist aber nicht sicher oder
b) die Netzwerkkarten funktionieren nicht zuverlässig?

 

[Trambahner]

Es ging vermutlich drum, die einzelnen Ports als eigene NICs getrennt an verschiedene VMs durchreichen zu können. Was man z.B. ggf. machen will, wenn man z.B. eine virtualisierte Pfsense oder andere Firewall betreiben will.

 

[Toranaga]

Nein es geht wirklich um die Funktion der NIC.

Unter Linux laufen alle 4 NIC perfekt. Jessy - Buster, alles ok.
Aber mit ESXi läuft nur NIC1 sauber, die anderen haben einen miesen schwankenden Ping und hängen machmal sogar längere Zeit. Das liegt an diesem Extender der auf dem Board zwischen den Netzwerkports und dem Prozessor sitzen. Da gab es am Anfang auch unter Linux extreme Probleme und eine neue Mainboardversion. Da das Board/Prozessor ESX aber eh nicht offiziell unterstützt, wurde dem bei Supermicro bzgl. ESX wohl nie nachgegangen.

Ob man die NIC einzeln durchreichen kann? Nein, das X11SBA-LN4F kann gar nichts durchreichen, kein VT-d, nur VT-x.