[Kaufberatung] Neuer Esxi-Server mit HBA

[Curry00]

Liebe HardwareLuxx Community,


ich lese seit vielen Jahren hier als ruhiger Lurker mit.
Da ich das Know-How sehr schätze, wollte ich mit folgendem Anliegen an euch herantreten:


Aktuelle Situation:

Intel NUC 5i3RYH
=> 128GB m2 SSD und 1TB WD Red HDD (2.5")
=> OS: VMWare Esxi mit 3 VMs (1. Debian für Docker / 2. Debian für Nextcloud / 3. BastelVM)

Banana Pi Pro (M1)
=> 1TB 2.5" HDD (zum Testbetrieb mit Nextcloud)
=> Gigabit LAN
=> OS: Openmediavault mit NFS Freigabe der HDD


Zielsetzung:

1) Ich möchte gerne den vorhandenen Speicher erweitern. Für Mediendateien + Nextcloud sind ca 12TB angedacht, sodass man in Zukunft erstmal ausgesorgt hat.

2) Da ich ein großer Freund der Virtualisierung bin, möchte ich Esxi treu bleiben, entweder auf dem NUC, oder bei der zukünftigen Anschaffung (weiteres weiter unten)

3) Durch die steigenden Strompreise bedingt, lege ich Wert auf ein effizientes System. Dies ist natürlich sehr subjektiv, allerdings kommt für mich kein 70W Idleverbrauch in Frage. Zielsetzung sollen 25W sein. Umwelt und Geldbörse werden es mir danken.

Optional:
4) Gerne würde ich das neue Setting sehr "klein" halten. Stichwort: (Mini-)ITX.


Fragestellung:


Um beide Anforderungen (Speicher und Virtualisierung) zu vereinen, würde sich ein Server anbieten, der mehr Platz für Festplatten hat. (min. 2x 3.5" HDD)

Der Intel NUC ist leider (durch die Höhe des HDD Cages) auf 2TB HDD Speicherplatz begrenzt.
Klar könnte man jetzt eine 4TB/8TB SSD einbauen, jedoch sehe ich diese Investition für den 7 Jahre alten NUC nicht mehr ein.
Selbst eine 8TB Comsumer SSD beginnt bei fast 600€. Von Enterprise Hardware garnicht zu sprechen. Desweiteren sollen hauptsächlich Filme/Videos auf dem Speicher liegen. Dafür muss es keine 600€ teure SSD sein.


Zu Debatte stehen 2 Optionen:

1) Ein Synology NAS (z.B. DS220+ / DS720+) und dafür eine 12TB WD Red Plus (Für Backup ist bereits gesorgt)

- Der Speicherplatz wird dann z.B. per NFS an die VMs (nicht dem Esxi) auf dem Intel NUC freigegeben und genutzt.

2) Die "eierlegende Wollmilchsau"

- Damit gemeint ist ein Server, welcher für die Virtualisierung genutzt wird UND Platz für Speicher hat.
- Die VMs selber sollen auf einer (512GB)SSD liegen
- Die (Daten-)Festplatten sollen an eine VM durchgereicht werden. Hierfür müsste es ein Board sein, welches das unterstützt oder ein HBA.
- Der Arbeitsspeicher sollte 32GB groß sein.
- Die CPU kann durchaus "nur" ein i3 sein. An die Grenzen der CPU Belastung ist der Intel NUC bisher nicht wirklich gekommen.



Für Option 2 wäre ich sehr dankbar, wenn Ihr mir Konfigurationen nennen könntet. Hier bin ich nicht so bewandert und wäre für Input sehr dankbar.

Auch Pro/Contra Argumente für und gegen eine der beiden Optionen bin ich immer offen.


Mit bestem Dank und freundlichen Grüßen

Curry00

 

[Curry00]

Push - Hat niemand eine Idee?

 

[Gohst_oc]

Na für Option 2 (welche ich dir auch empfehle) gibt es doch zig hunderte von Möglichkeiten.
Da muss du sicher mal ein Budget festlegen.

Die Anforderungen an Performance etc. sind zunächst nicht sonderlich hoch.

Fragen:

1. Wie viele VM's
2. Was sollen die VM's machen (Annahme: 1x Nextcloud, 3x Linux VM's, 1x OMV bzw. ein NAS-OS)
3. Spezielle Wünsche bezüglich Grösse, Lautstärke, Stromverbrauch, Aufrüstbarkeit?

 

[Curry00]

@Gohst_oc Vielen Dank erstmal für die Antwort.

Ich habe mir bereits einige Möglichkeiten angesehen hier im Forum. Viele davon waren (zu) groß dimensioniert für mein Vorhaben.
Budget bin ich recht offen, weil ich das als langfristige Investition betrachte. Ohne WD Red soll es ca. 600-800€ nicht überschreiten. Weniger darf es gerne sein.

Zu den Fragen:
1 / 2) Virtuelle Maschinen sind derzeit folgende geplant:
- 1x Debian für Nextcloud
- 1x Debian mit den Dockercontainern (ca. 5 Stück)
- 1x NAS VM zum druchreichen des Speichers

Temporär (werden bei Bedarf mal eingeschaltet):
- 1x Windows VM zum basteln
- 1x Debian VM zum basteln

3)
Der Server soll im Tower oder Cube Format sein und so klein wie Möglich gehalten werden. Gerne Mini-ITX. Kleiner wird es nicht gehen.
Stromverbrauch gerne unter 30W. Gerne auch unter 20W, wobei mir das inkl. HBA und 1x 3.5 WD RED als unerreichbares Ziel erscheint.
Verbaut werden soll 1x SSD (gerne m2) und 1xSATA 3.5". Wenn noch Platz für eine zweite WD Red ist, dann top.
Da das System im Wohnzimmer steht (Mietwohnung, Router und TAE Dose im Wohnzimmer) sollte es so leise wie möglich sein.


Vielen Dank schonmal für eure Tipps

 

[BobbyD]

Na wenn Verbrauch eine große Rolle spielen soll, dann kein HBA.
Durchreichen des SATA-Controllers an ESXi sollte doch die möglichen Optionen überschaubar halten?

 

[Rego123]

Hallo,

ich würde hier einfach mal eine "größere" Synology DS ins Rennen schmeißen. Eine DS720+ oder 920+ supporten zwar offizielle nicht die Menge an RAM, doch meist klappt es trotzdem ganz gut. Oder man könnte auch eine DS1522+ mit Ryzen und Support für 32GB RAM nehmen.

Virtualisierung ist damit auch sehr gut möglich und NVME-Steckplätze für SSDs wären auch vorhanden.

Gruß
Rego

 

[Supaman]

Intel c246 Chipsatz + Passende CPU mit Board von ASrock Rack oer Supermicro, gibts auch als miniITX.
Zieht mit 2 Platten ca. 20w im Idle.

 

[besterino]

Zu 2) & vorab: 25W im idle wird mit ESXi m.E. generell eine Herausforderung. Aber: m.E. maximale Flexibilität und Stabilität (wenn's einmal grds. läuft).

Am billigsten und gleichzeitig stromsparendsten kommst Du weg, wenn es Dir gelingt, einen Onboard SATA-Kontroller an Deine Storage-VM durchzureichen und Du ESXi selbst auf 'ne kleine PCIE-NVME packst. Bei welchem Board das klappt, ist allerdings ein wenig Glückssache. Bei AMD hatte ich schon häufiger Pech, bei Intel ging's bei mir hingegen bei verschiedenen Plattformen.

Wenn Mini-ITX (find' ich wegen der Limitierung bei Erweiterungswünschen kacke für'n Server, aber muss jeder selbst wissen) würde ich eine Brett/CPU-Kombination nehmen, wo ENTWEDER die CPU bereits eine Grafik hat und die auch genutzt werden kann ODER ein Board mit IPMI. Wäre ja doof, den einzigen Slot für eine Grafikkarte verballern zu müssen.... oder bei Problemen immer umstecken oder oder oder. IPMI würde ich persönlich immer ernsthaft erwägen (will am liebsten gar nix mehr ohne), geht aber auch wieder auf den Stromverbrauch und kostet außerdem mehr bei der Anschaffung.

Bei ASROCK können auch sehr viele Consumer-mITX-Bretter zusätzlich Bifurcation auf dem einzigen PCIE-Slot, d.h. den kann man bisweilen sogar in 4/4/4/4 aufteilen - also z.B. 4 Geräte (wie z.B. NVMe-SSDs) in diesem Slot mit entsprechendem Adapter betreiben. Oder per Riser-Karte zwei x8 Karten oder oder oder - wobei man mit einer Riser-Karte regelmäßig das Problem hat, das man diese und die Karten daran nicht mehr vernünftig in 08/15-Gehäuse eingebaut bekommt.

Wie Du siehst, es geht vieles aber eben mehr oder weniger als (zum Teil auch "fauler") Kompromiss.

 

[Gohst_oc]

Bei diesen Anforderungen (insb. Windows VM) würde ich kein NAS von Synology oder QNAP kaufen. Da fehlt dann doch die CPU Power im bezahlbaren segment.

Z.B sowas:

CPU: i3 9100F (CPU braucht je nach Mainboard keine iGPU - spart Geld)
RAM: 1x 16GB DDR4 ECC (ECC ist immer ein gutes Nice-to-Have)
Motherboard: ASRock Rack C246 WSI (hat remote Management mit integrierter Grafik)

Gehäuse (was nettes mit HDD Einschüben wie man es von einem NAS kennt):

• Chenbro SR301 Plus
• SilverStone Case Storage CS01-HS

Netzteil: be quiet! Pure Power 11 400W (ATX für's Chenbro Gehäuse) oder be quiet! SFX Power 3 300W (SFL für's Silverstone)

CPU Kühler: EKL 21909 (Hauptsache besser als Boxed)

Solche configs sind alle unter 600€ machbar und bieten Reserven zum Aufrüsten.

Oder wenn es ganz günstig oder kompakt werden soll:

Celeron N5095 ITX Board auf Aliexpress

DATTO MB10-DATTO Xeon D-1521 DDR4 MiniITX Hauptplatine mit E/A-Schutz | eBay

Entdecken Sie DATTO MB10-DATTO Xeon D-1521 DDR4 MiniITX Hauptplatine mit E/A-Schutz in der großen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

 

[underclocker2k4]

Bei diesen Anforderungen (insb. Windows VM) würde ich kein NAS von Synology oder QNAP kaufen. Da fehlt dann doch die CPU Power im bezahlbaren segment.

Was ist denn ein bezahlbares Segment?
Die angesprochene Syno oder auch die QNAP -Variante (253-D) schaffen eine Windows VM spielend. Die Frage ist eher, was die machen soll.
(Unterschiede Syno und QNAP wurden im Forum schon 100x erörtert.

Vorteil ist, alles fertig und kompakt.
Nachteil, es ist sehr kompakt, also 2 HDDs/SSDs intern ist nicht so viel. Braucht man wieder Erweiterung oder die größeren Varianten und das geht dann weiter ins Geld. Mit weniger Kapaanforderungen sicherlich machbar.

Zum Rechner wurde schon was gesagt. Ich werfe nochmal das SM X11SCL-IF in den Raum. Das kann aber glaube kein Bifu, wobei es ein ITX Board gab das konnte das bei SM, entweder eine Gen neuer oder älter, komme nicht mehr drauf.
Auch da kannst du eine non iGPU CPU mit ECC nehmen und hast einen soliden Unterbau.

Ich verwende für einen Server mit dem MB eine ältere Ausführung des angesprochen Chenbro Cases. Dazu habe ich eine passiven ArticCooling Kühler und einen Noctua-Lüfter auf default position. Dann noch ein kleines SFX mit ATX-Blende NT und gut ist.
Vorteil ist, dass neben den hot swap Slots auch 2 intern non hot-swap 2,5" Slots sind.

Weiterhin die Frage, wie man dann weiter machen will. In den M.2 Slot könnte man einen SATA Controller packen (oder einen SATA Port multiplier ) und so bis zu 5 weitere Drives haben.
TrueNAS als Unterbau könnte z.B. auch RAID1 fürs boot Device (eben über Software). Das kann ein ESX so nicht.

Generell ist ESX nicht so der Stromsparer, dafür natürlich ein schönes System.
Wenn Strom wirklich ein Thema ist, dann würde ich da einfach mal ein paar Tests machen mit verschiedenen Varianten. Dann kann man sich nochmal entscheiden. Proxmox wäre auch noch eine Variante, neben TrueNAS.
Vorteil TrueNAS, der VM-Unterbau liefert eben gleich die NAS-Funktion mit eben auch ZFS. (dann natürlich mit +1 HDD)
So spart man sich den HBA. Natürlich könnte man noch nen HBA nutzen. Oder man schaut, wenn man eh de 0815 SATA Controller hat, ob man entweder den oder den onboard durchreicht. Auch ein HBA zieht nicht so wenig Strom, das sollte man auch bedenken.

1) Ein Synology NAS (z.B. DS220+ / DS720+) und dafür eine 12TB WD Red Plus (Für Backup ist bereits gesorgt)

Warum solch überteuerte Platte?
Eine WD HC550 oder 16/18TB, 2 Jahre mehr Garantie, eine höhere MTBF und kostet entweder minimal weniger oder minimal mehr.
(wenn Kapa reicht, dann die kleinere nehmen)

EDIT:
Nochmal was zum Thema ZFS. Backup hin oder her, ZFS hat schon ein paar Mechaniken mehr, die ein einfaches Backup so nicht abdeckt.

 

[gravis]

Was wurde nun aus dem Vorhaben?

 

[Curry00]

Was wurde nun aus dem Vorhaben?

Ich habe das Vorhaben erstmal auf Eis gelegt.
Bei den aktuellen Stromkosten und der Kostenentwicklung habe ich mich dafür entschieden, dass alte Setup weiter zu betreiben.