ESXi NUC - Ablösung gesucht

[kossmann]

Hallo zusammen,

ich habe momentan (seit 5 Jahren) einen NUC6i5SYH als ESXi Server zu Hause im Einsatz (16 GB RAM, 250 GB M.2 SSD, 2 TB SATA HDD). Dieser kommt langsam an seine Grenzen, RAM wird eng, Storage platzt aus allen Nähten.

Eigentlich würde eine Aufrüstung auf 4 TB Storage ausreichen, RAM bekomme ich noch gehandelt (obwohl 32 GB besser wären). Die CPU langweilt sich die meiste Zeit. Es laufen permanent 5 Linux-Server, bei Bedarf ggf. 1-2 weitere und unabhängig davon noch 2 Windows Clients (ebenfalls nur bei Bedarf). Allerdings bekomme ich die 4 TB nur als SSD eingebaut (2,5" HDDs sind mit 15mm zu hoch) und das Geld könnte man direkt für neue Hardware investieren. Des Weiteren hätte ich den NUC gerne als zweiten HomeOffice-Rechner, der deutlich stromsparender läuft, als mein Gaming-PC, der zur Office-Zeit nur für Google und Co genutzt wird (und dabei 185 Watt zieht). => Es muss also neue ESXi-Hardware her!

Meine Anforderungen:
- ESXi Kompatibilität (auch inoffiziell inkl. Flings)
- Hosting der o.a. VMs
- 2x LAN (gerne 2,5 GBit/s aufwärts, gerne auch noch mehr Interfaces)
- stromsparend (gerne in der jetzigen Situation des NUCs mit <20 Watt Idle)

19" wäre auch eine willkommene Option ist aber nicht zwingend nötig, wenn´s weiterhin im vergleichbaren Format wie der NUC beleibt.

NUC11TNHv50L oder -70L (immer noch nicht lieferbar) wären momentan in der engeren Wahl, allerdings habt ihr ggf. noch andere Ideen. Intel Xeon mit mehr Kernen macht sicher auch Sinn.

Wohlgemerkt... der Stromverbrauch (im Verglich zur aktuellen Hardware) ist ein wesentlicher Faktor für die zukünftige Lösung.

Danke euch!

 

[p4n0]

Ich werf meinen Liebling ins Rennen:
Dell T40.

Wenn ichs richtig im Kopf habe frisst meiner etwa ~30 Watt mit einigen VMs am laufen.
1 x m.2 ssd
4 x sata ssd
1 x Dual Port 10G Intel NIC

Ohne 10G Nic und ohne ZFS vm + Firewall vm wie bei mir kommst du sicher iwo in die ~20W Region mit dem Ding.
Laeuft absolut stabil und komplett stressfrei!

 

[kossmann]

Ist aber leider ein Tower und deutlich (!) größer, als ein NUC. Wenn ich mich vergrößere, wird es ein kleiner 19" Schrank (6-8 HE).

 

[p4n0]

Uff ok, habe nicht sauber gelesen.
Dann wirds schwierig. Eventuell der G10 Microserver von HP. Ist jedoch teuer und relativ zickig, weil eben HP.
Und auch ne ganze Ecke groeßer als der NUC.

Weiß nicht genau was du mit dem Ding anstellst, ECC ist kein Requirement?

 

[kossmann]

Ich bin bis jetzt ohne ECC ausgekommen, daher ist das in Zukunft auch nicht zwingend nötig. Würde ich aber vermutlich nehmen, wenn´s unterstützt wird.

Die HPE MicroServer gibt es doch nur bestückt (RAM) und damit auch limitiert, oder? Kaufen, RAM ausbauen und einlagern ist ja nicht zielführend - auf 32 GB RAM würde ich gehen wollen.

Hauptsächlich laufen die Linux-Server, die Aufgaben wie die folgenden erfüllen:
- Webserver für Zugriff von außen (Hosting mehrerer Websites ohne nennenswerten Traffic), inkl. kleinen Datenbanken
- VPN-Server (1-2 Clients)
- PiHole (als VM)
- Heimautomatisation und diverse kleinere Dienste für´s LAN
- NAS (Seafile Pro)

Bei Bedarf:
- 2x Windows Clients für unterschiedliche Nutzung, aber nur für 1-2 Stunden alle paar Wochen
- virtueller Multi-WAN-Router
- Test/Entwicklungs-Server

Alles nichts wildes, aber die VMs "bei Bedarf" bräuchten eigentlich etwas mehr RAM, das NAS aber v.a. mehr Storage.

 

[p4n0]

Wenn dich ECC nicht kuemmert ist vielleicht diese Kiste hier ne Option fuer dich:

AsRock bringt DeskMini für AMDs Ryzen

Asrock Deskmini: Mini-PC mit chipsatzlosen Ryzen-APUs Für HTPC-Besitzer die eierlegende Wollmilchsau. Die Intel-NUCs schaffen aktuell kein 4K@60p HDR - die AMD RavenRidge aber schon. Die gibt es bislang leider nur auf ITX. AsRock schickt sich an, das zu ändern - und arbeitet am STX-Format...

www.hardwareluxx.de

Eventuell laufen auf dem Ding auch die Ryzen Pro cpu's drauf, dann sollte auch ECC ne Option sein. Musst dich aber selbst mal durch den Thread arbeiten.
Kleiner und Leistungsstaerker wirst warscheinlich nichts vergleichbares finden.

 

[Pandora]

Du könntest die Festplatten auch einfach extern betreiben, USB oder SATA verlängern. Alternativ ein Eigenbau, nen kleines ITX System ist nicht viel größer als ein NUC.

 

[p4n0]

Festplatten per USB am Server.
Wer empfiehlt so ne Scheiße?

 

[Stueckchen]

Festplatten per USB am Server.
Wer empfiehlt so ne Scheiße?

Naja so abwägig ist es nun auch nicht, es ist halt auch die Frage wie man es konkret Löst. Die Qnap oder Syno expansion boxen mit 4 bzw. 5 HDDs sind auch per USB oder eSATA angeschlossen.

@kossmann Wie ist denn dein Budget?
Wenn es klein sein soll könnte mann auch über einen Supermicro SuperServer E300-9D mit Atom Board nachdenken, da du ja keine große cpu Last hast. 19" fähig sind die auch über einen Winkel, leider nicht ganz billig.

Da du eh 19" sagtes gibts da auch schöne und kurze 1HE 19" Server von Supermicro, die mit Noctua Lüfter auch schön leise sind mit. z.b. SuperChassis 510-200B, gäbe es sogar mit 2x 2.5" Hot Swap.

​

 

[Spackibert]

Ich habe so etwas als Server für ein Storageprojekt:

(DISCONTINUED)ODROID-H2+ – ODROID

www.hardkernel.com

Wenn du irgendwo noch so einen auftreiben kannst und dir die CPU-Power ausreicht, dürfte das die stromsparendste Lösung sein.

Beitrag automatisch zusammengeführt: 01.07.2021

Du könntest die Festplatten auch einfach extern betreiben, USB

Bist du ungefähr im Bilde, was eine USB-Festplatte für einen Stromverbrauch hat? Insbesondere im Verhältnis zu einem NUC?

(Mal ganz davon abgesehen, dass USB ganz grober Dreck ist, wenn es um Zuverlässigkeit geht - Stichwort "Server")

 

[Pandora]

Wie konnte ich nur vorschlagen eine einzelne 2,5" Platte per USB an einem Heimserver anzubinden, muss wohl an der Uhrzeit gelegen haben

 

[Spackibert]

Wie konnte ich nur vorschlagen eine einzelne 2,5" Platte per USB an einem Heimserver anzubinden

Ach auch noch 2.5 Zoll, das heisst, dass es sich bei seiner Anforderung von 4TB definitiv um eine SMR-Platte handeln würde.

Dann muss ich davon ja noch energischer abraten...

 

[n3cron]

Bei mir zuhause läuft ganz gut über USB, sogar an einer Frittenbox dient als einfache Backup für mein System. Seit Monaten Fehlerfrei, backups werden mit VEEAM durchgeführt.

 

[kossmann]

Eine externe Platte per USB anschließen scheidet definitiv aus, wenn überhaupt per iSCSI. Allerdings soll die vorhandene Hardware (der NUC) ja im HomeOffice genutzt werden, so dass der komplette "Server" ersetzt werden soll.

Budget ist relativ, wenn´s deutliche Vorteile hat (v.a. stromsparend oder mehr Schnittstellen oder Platz für zukünftige Erweiterungen), darf´s auch etwas mehr kosten. Ich gehe momentan davon aus, dass ich sowieso vierstellige Euro-Dollar auf den Tisch legen muss.

 

[Brokk]

Wenn dich ECC nicht kuemmert ist vielleicht diese Kiste hier ne Option fuer dich:

AsRock bringt DeskMini für AMDs Ryzen

Asrock Deskmini: Mini-PC mit chipsatzlosen Ryzen-APUs Für HTPC-Besitzer die eierlegende Wollmilchsau. Die Intel-NUCs schaffen aktuell kein 4K@60p HDR - die AMD RavenRidge aber schon. Die gibt es bislang leider nur auf ITX. AsRock schickt sich an, das zu ändern - und arbeitet am STX-Format...

www.hardwareluxx.de

Eventuell laufen auf dem Ding auch die Ryzen Pro cpu's drauf, dann sollte auch ECC ne Option sein. Musst dich aber selbst mal durch den Thread arbeiten.
Kleiner und Leistungsstaerker wirst warscheinlich nichts vergleichbares finden.

Die Asrock Minis können kein ECC RAM. Ich habd getestet und wenn man ECC einbaut starten der PC nicht. ich hab einen R5 2400GE Pro drauf

 

[fdsonne]

Wohlgemerkt... der Stromverbrauch (im Verglich zur aktuellen Hardware) ist ein wesentlicher Faktor für die zukünftige Lösung.

Das Problem aktuell ist - Stromsparender als die alte Riege wird es aktuell nicht. Ja unter Last sind die neuen CPUs stromsparender im Vergleich. Vor allem mit vielen Kernen bringen sie Multithread Leistung ohne dass der Verbrauch explodiert. Aber unten im idle ist leider gerade nicht soooo viel los.
Ich steh btw. vor nem ähnlichen Problem und möchte meinen alten T20 mit nem 4C/4T Xeon ersetzen. Ein T40 wurde schon genannt, die größeren Ableger des T140 oder T340 können das auch nicht besser - sowas wie diese drei sind heute die so ziemlich kosteneffizienteste Methode da "mehr" und neuer zu kommen.

AMD fällt leider häufig raus. Sowohl die 3000er als auch die 4/5000er Ryzen CPUs haben einen vergleichsweise hohen idle Verbrauch. Also nicht die CPU selbst, die ist sparsam - die Kombo aus Board und CPU und GPU. Du wirst damit eher Faktor 1,5-2 oder gar mehr über dem Verbrauch deines NUCs liegen. <20W mit AMD ist aktuell meines Wissens nach nicht drin. Ggf. ist das aber verschmerzbar, wenn man mehr Teillast fährt? Weil da sind die Dinger halt auch gut effizient.

Das doofe ist, bei Intel gehts auch nicht so richtig voran. Der genannte T40 hat 2100 oder 2200er Xeons. Das ist leider auch "nur" Technik von Assbach mit Skylake-Verschnitt aus irgendwo initial gesehen, 2017 oder so. Die neuen Modelle lassen (noch) auf sich warten. Ein 10nm TigerLake Mobile Xeon bspw. wäre wahrscheinlich das Strom-Effizienteste was aktuell geht. Gibts aber nicht zu kaufen... IceLake auf dem großen Sockel ist auch nicht so wirklich gut geeignet, zudem auch ein riesen Trümmer und vergleichsweise teuer für den Einstieg. Und das, was in der Mitte ist, hat wieder nur die alte Fertigung mit 14nm und Intel kloppt da mit Ineffizienz durch Takt drauf.

Interessant könnte maximal noch eine 5000er Ryzen APU von AMD werden. Aber dann mit nem Board ohne externen Chipsatz. Ob da vSphere ESXi läuft, keine Ahnung, nie probiert. Wirklich "toll" ist das aber nicht. Da sind dann häufig Realtek "günstig" NICs verbaut, das mit dem Storage ist so Lala usw. Schön wäre ein "X300" based Board gepaart mit einer Ryzen Pro APU, nebst ECC und anständigen OnBoard Komponenten in einem Entry Level Server von HP, Dell und Co. Aber auch sowas gibt es meines Wissens nach aktuell nicht am Markt.



Wenn Selbstbau in Frage kommt und dich das alter der Technik der Xeons nicht stört, wäre vllt noch ein Xeon E-2236 auf nem Supermicro X11SCL-IF interessant. Ist halt Mini ITX, also 17x17cm in der Größe. Irgend ein Gehäuse deiner Wahl und nen ausreichend dimensionierten Kühler. Ohne genau gesucht zu haben, aber die beiden I210-AT NICs dürfte man in vSphere zum laufen bekommen. Ohne Raid läuft idR auch das SATA Zeug native und die M.2 SSD sollte normalerweise auch funktionieren. RAM geht bis 64GB rein, UDimm mit ECC wenn du die richtigen Riegel kaufst. Mit sowas liebäugel ich atm - wenns halt nicht so arsch altes Zeug wäre...

 

[Trambahner]

Der Deskmini X300 kann auch mit Pro-APUs wohl kein ECC. Im Bios ist nichts davon zu sehen. Mit einem 4350G und 32GB Non-ECC braucht er unter Windows10 6-7 Watt Idle, bei Linux+ESXI etwas mehr.

Aber Asrock hat erst kürzlich den Deskmini Max auf Basis "Chipsatz X300" (also Dummy) vorgestellt und dort ist ECC angegeben. Sprich man braucht (derzeit) einen Pro 4x50G. Die 5000er Pro -APU sind derzeit nicht bzgl. ECC noch verifizierbar. Im Barebone-Folder hier im Forum ist er auch von Forumskollegen vor ein paar Tagen bereits verlinkt worden.
Board ist Mini-ITX und sieht vielversprechend bzgl. Leistungsaufnahme aus. Ich würde den zwischen dem original Deskmini und einem sparsamen B550 einschätzen. Nachteil weiterhin die Realtek-NIC.

Am servernächsten, und nicht mal zu "durstig" bezogen auf die Features, ist bei AMD das X570D4U (-2L2T), aber da sind wir von einem NUC und dessen Leistungsaufnahme weit weg. Ich meine ein B550D4U oder B550D4I gibts auch bzw. ist geplant.

 

[Supaman]

Wie schon erwähnt, such Dir ein Mini-ITX Board mit c242 oder c246 Chipsatz von Supermicro oder Asrock Rack raus, dazu entweder einen i3-93xx (die können ECC) oder Xeon E22xx. Je nach Leistungsaufnahme ggf passives Pico PSU als NT, und dann in ein Gehäuse und CPu Kühler Deiner Wahl. Heist konkret, mit den richtigen Komponenten geht das ganz bequem in klein und passiv.

Ob das Ding dann letzt endlich 20w oder 40w zieht, macht sich nicht wirklich bemerktbar. Damit meine ich, wenn Du auch nur 2 Kuchen mehr backst, hast Du in etwa den gleichen Verbrauch wie die Jahresdifferenz.

 

[kossmann]

Ein i3 als Hypervisor? Hyper-Threading u.v.a. mehr Kerne wären da schon nicht so verkehrt oder habe ich gerade einen Denkfehler?

Selbstbau wäre kein Problem, aber da stellt sich dann die Frage, ob da wirklich ESXi drauf läuft - mir den fertigen Kisten ist die Recherche einfacher und der Community-Support wohl höher, vermute ich.

Mit den Kuchen bzw. der Differenz hast du eigentlich Recht. Geld spielt für Dinge die ich haben möchte nur eine untergeordnete Rolle (so lange wir uns im normalen Rahmen bewegen), allerdings weine ich jedem Cent hinterher, der unnötig raus geht - halt ein Pfennigfuchser, v.a. wenn´s um laufende Kosten geht (300,- Euro mehr bei der Anschaffung sind egal, aber wehe das Ding zieht 20 KWh mehr pro Jahr, als nötig 😱).

 

[Fr3@k]

Ich bin ein Freund von diesen Supermicro 19" Servern mit kurzer Tiefe https://www.servershop-bayern.de/Supermicro-1U-UP-Xeon-D-2100-Skylake-D-Server-VMware-ready
Gibts mit 4, 8 und 12 Cores und hat 2x 10GBe OnBoard - ist halt eine Preis Frage

 

[Spackibert]

Ein i3 als Hypervisor? Hyper-Threading u.v.a. mehr Kerne wären da schon nicht so verkehrt oder habe ich gerade einen Denkfehler?

Der hat doppelt so viele Kerne wie dein aktueller NUC

 

[kossmann]

Ich bin ein Freund von diesen Supermicro 19" Servern mit kurzer Tiefe https://www.servershop-bayern.de/Supermicro-1U-UP-Xeon-D-2100-Skylake-D-Server-VMware-ready
Gibts mit 4, 8 und 12 Cores und hat 2x 10GBe OnBoard - ist halt eine Preis Frage

Der sieht auf den ersten Blick sehr interessant aus. Hast du eine Idee, wieviel Watt der im Idle-Modus zieht? 60W TDP sind ja nicht zu unterschätzen - ich befürchte, die gönnt er sich dann auch.

 

[fdsonne]

Ob das Ding dann letzt endlich 20w oder 40w zieht, macht sich nicht wirklich bemerktbar. Damit meine ich, wenn Du auch nur 2 Kuchen mehr backst, hast Du in etwa den gleichen Verbrauch wie die Jahresdifferenz.

Würde ich so nicht unterschreiben.
20W macht bei 0,29€ pro KWh ziemlich genau 13,92 Cent pro Tag. Bei 40W sind das halt doppelt so viel (27,84 Cent). Rechne halt selbst hoch. Macht 101,62€ und 40W Dauerverbrauch aufs Jahr. Oder eben nur die Hälfte bei 20W Und da reden wir über idle, was so ein System ja idR eh nie wirklich hält. Man wird je nach Auslastung wohl eher niedrige bis mittlere Teillast fahren. Sprich auf die Idle Angabe kommt dann das Lastdelta oben drauf. Lass den Prozessor im Schnitt sagen wir noch 20W "Last" Verbrauch drauf drücken. Dann bist du schon bei 150€ aufs Jahr - für so ne Spielerei.

Am Ende läppert sich der Spaß zusammen...
Aber ja, man kann sich das auch andersrum schön reden. 150€ im Jahr sind 12,50€ im Monat. Das sind heute wohl nichtmal mehr zwei Schachel Kippen. Oder ein Kasten Bier. Also rückwärts auch nichts, was einen wirklich finanziell ruiniert

Der sieht auf den ersten Blick sehr interessant aus. Hast du eine Idee, wieviel Watt der im Idle-Modus zieht? 60W TDP sind ja nicht zu unterschätzen - ich befürchte, die gönnt er sich dann auch.

Die 2x10G Kupfer NICs saufen schon paar Watt. Wenn man das nicht unbedingt braucht/will, wäre da eher anderes sinnig. Ansonsten ist sowas auch vergleichsweise effizient. Allerdings ist das noch ältere Technik. Die 2100er Xeon D sind halt noch eine Generation älter und haben auch die Meltdown Mitigation nicht. Sprich wird dann via Software mitigiert und kostet im Falle von Kontext Wechseln viel Performance. Ob du das privat mitigieren musst, musste allerdings selbst wissen

Ansich ist sowas aber seeehr cool. Würde allerdings nicht mehr den 4C Prozessor nehmen. Wenn dann 6 oder 8C.
Der Nachfolger der alten Xeon D Reihe kommt aber erst noch:

Intel Ice Lake-D: Kleine Server-CPUs kommen Ende 2021 mit bis zu 20 Kernen

Ice Lake-SP ist da, aber der Nachfolger für Intel Xeon D muss noch warten. Frühestens Ende des Jahres bringt Ice Lake-D bis zu 20 Kerne.

www.computerbase.de

Dauert allerdings noch bisschen

 

[Supaman]

Ein i3 als Hypervisor? Hyper-Threading u.v.a. mehr Kerne wären da schon nicht so verkehrt oder habe ich gerade einen Denkfehler?

Selbstbau wäre kein Problem, aber da stellt sich dann die Frage, ob da wirklich ESXi drauf läuft - mir den fertigen Kisten ist die Recherche einfacher und der Community-Support wohl höher, vermute ich.

Mit den Kuchen bzw. der Differenz hast du eigentlich Recht. Geld spielt für Dinge die ich haben möchte nur eine untergeordnete Rolle (so lange wir uns im normalen Rahmen bewegen), allerdings weine ich jedem Cent hinterher, der unnötig raus geht - halt ein Pfennigfuchser, v.a. wenn´s um laufende Kosten geht (300,- Euro mehr bei der Anschaffung sind egal, aber wehe das Ding zieht 20 KWh mehr pro Jahr, als nötig 😱).

Klar sind mehr Kerne immer toll, i3 ist was für Sparfüchse, sowohl was Anschaffung als auch Verbrauch angeht. Wenn man keine Drölfzillionen VMs laufen hat, aber völlig ausreichend und im Vergleich zu Deiner Vorgänger Hardware immer noch ein großer Schritt nach vorne.

Für die Supermicro Bretter gibts extra Kompatibilitätslisten, bei Asrock Rack steht es in der Specs Übersicht. Im wesentlichen kann man sagen: Intel c242 + c246 mit Intel LAN drauf = ESXi 6.x / 7.0 kompatibel.

 

[kossmann]

Ich glaube, ich bleibe jetzt doch bei der NUC-Architektur und warte mit dem Bau eines 19" Schranks noch ein paar Jahre (v.a. auch da ich den Strombedarf der verschiedenen Ideen 0,0 einschätzen kann) - der neue NUC kann dann wieder als Office-PC genutzt werden. Der aktuelle Plan sieht wie folgt aus:

Intel NUC11TNHv50L, i5-1145G7
Der "kleinste" NUC 11 Pro (Intel Core i5, 4 Kerne, 8 Threads) mit 2x 2,5 GBit LAN (per Fling von ESXi nutzbar), AX-WLAN, vPro und weiteren Spielereien (Thunderbolt 3 und 4, USB 3.2, ...)

Kingston HyperX HX432S20IBK2/32, DDR4-3200, 32 GB Kit, Dual Rank, CL20
32 GB Dual-Channel, Dual-Rank RAM mit CL20 bei JEDEC DDR4-3200.
Der noch schnellere G.Skill F4-3200C18D-32GRS mit CL18 scheidet aus, da der auf XMP angewiesen ist und der NUC das wohl nicht mitmacht. Kingston und Crucial würden mit CL22 laufen und kosten nicht wirklich weniger.

Samsung 980 Pro, 2 TB, TLC SSD NVMe, PCIe 4.0
Damit hätte ich wohl eine performante SSD, auf der die aktuellen VMs laufen können. V.a. die selten genutzten Windows-Clients, die momentan auf der HDD liegen und eine grottenschlechte Festplatten-Performance haben, werden es hoffentlich danken.

Samsung 870 EVO, 4 TB, TLC, SATA 2,5"
Das "Datengrab" für Filme, Aufnahme-Ziel der Sat-Receiver und Cloud-Speicher-Anbindung (Dropbox u.ä.). In den NUC würde mit 7mm maximaler Höhe nur eine 2 TB HDD passen, die dann permanent läuft. Das wird auf Dauer auch nicht ausreichen, so dass ich in den sauren Apfel beiße, und "teure" SSD-Storage nehme. Den Aufpreis zur 870 QVO mit QLC kann ich dann auch noch investieren.
Eine externe Lösung per iSCSI o.ä. würde die Energiebilanz ("Stromkosten") deutlich verschlechtern.

Das einzige Problem: Damit liege ich bei gut 1.600,- Euro ... aber Malle ist bekanntlich nur einmal im Jahr 😵 Ich habe es immerhin nicht auf die Spitze getrieben, sonst wäre die Sabrent Rocket 4 Plus mit 4 TB als NVMe in Betracht gekommen 😖

Wie seht ihr die angedachte Konfiguration?