[Kaufberatung] ESXi 6.7 Server für NAS VM mit VMDirect Path

M

Merwin

Neuling
Thread Starter
Mitglied seit
11.11.2011
Beiträge
10
Hallo zusammen,

ich möchte meinen in die Jahre gekommenen ESXi 5.5 Heim Server ersetzen. Darauf laufen eine Windows Server VM mit einem Hostbus Adapter LSI SAS 9211-8i HBA.
Dieser Hostbus Adapter wird per VM Direct Path in die VM durchgereicht und fungiert als NAS. Daneben laufen noch zwei weitere Windows VMs.

Meine Anforderungen:
- VMDirect Path für den Hostbus Adapter
- Server Board mit ECC und IPMI (also KVM over LAN)
- Evtl. neuer Hostbus Adapter?! (an sich tut es der alte auch noch)
- ESXi 6.7 support


Meine Vorschläge für Komponenten:

- Chenbro Gehäuse ist vorhanden
- Mainboard: Supermicro X11SSH-F retail (MBD-X11SSH-F-O)
- CPU: Intel Xeon E3-1245 v6, 4x 3.70GHz, boxed (BX80677E31245V6)
- RAM: Kingston ValueRAM DIMM Kit 32GB, DDR4-2400, CL17-17-17, reg ECC (KVR24R17S8K4/32)
- SSD: Samsung SSD 970 EVO 500GB, M.2 (MZ-V7E500BW)
- Enermax Netzteil

Was meint ihr? Kann man irgendwo sparen oder klüger vorgehen?

Danke für die Hilfe!
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
- Du brauchst keinen E3 mit Grafik (12x5), sofern Du später keine Nachverwendung hast. Die Grafikeinheit wird nicht verwendet, schadet aber auch nicht. => Das nehmen, was billiger zu haben ist.
- vom X11SSH gibt es Varianten mit SAS3008 (=Broadcom 9300-8i) onboard und/oder auch mit 2x10GBase-Lan statt 2x1Gbit. Die Variante mit beidem heisst dann X11SSH-CTF (hab ich mit ESXI 6.7 U1 und Passthrough des Onboard HBA in Betrieb; CPU ist dabei ein 1240v5; siehe meine Systeminfo).
Den SAS3008 kannst Du mit IR (Raid 0/1/10) oder IT-Firmware (als HBA für ZFS) flashen
- NT hab ich ein BeQuiet Straightpower 400W (kleiner gibts nich) im Einsatz; sehr leise bis unhörbar und bisher störungsfrei.

Das X11SSH-CTF hat damit alles Wichtige onboard: 2x10Gbit Lan, 1xLan für IPMI, SAS HBA, M.2 PCIe-Slot (Achtung: Schraube ist für nur 60mm lange SSDS platziert, normale 2280 M.2 passen aber auch; muss man halt etwas anders fixieren). Dazu noch einen Slot PCI3.0x8 und einen PCI3.0x2 (in x4 Sockel).
Hinweis: PCIe-Bifurcation (damit man den x8 Sockel mit einem passiven Adapter für 2*M.2 PCIex4 nutzen könnte) hab ich ich bisher nicht zum Laufen bekommen
 
Zuletzt bearbeitet:
Reg. ECC RAM läuft doch gar nicht mit den E3 Xeons - und wenn, warum überhaupt alte Technik?
Die aktuelle Reihe wäre eher die Xeon E 2000er Reihe. Ich würde wahrscheinlich dann auch direkt in Richtung 6C/12T schauen - bspw. den 2136 Xeon E auf S1151 mit passendem Board nach Wahl von SM dazu...

Achte beim Speicher auf UDimms, also non Reg., ECC.

Ob du nen neuen Controller brauchst hängt wohl in erster Linie von deinen Vorstellungen ab. Der alte müsste normalerweise tun - wenn ich das richtig sehe steht der noch auf der HCL, Treiber gibts auch. Also warum wechseln, wenn es nicht unbedingt brennt??
 
fdsonne hat recht. Als Neu-Invest würde ich da nicht mehr unbedingt einsteigen, sofern man die Komponenten nicht besonders günstig bekommt oder in Teilen reuse machen kann.

Für HDD-Pools reicht der LSI9211, soll es ein SSD-Pool werden wird der relativ schnell an den Anschlag kommen.

(Btw, Xeon E 2000er fehlen mir noch ein paar spannende Boards von SM mit SAS und 10G drauf. Eine Art "X11SCH-CTF" z.B.)
 
Zuletzt bearbeitet:
Trambahner schrieb:
fdsonne hat recht. Als Neu-Invest würde ich da nicht mehr unbedingt einsteigen, sofern man die Komponenten nicht besonders günstig bekommt oder in Teilen reuse machen kann.

Für HDD-Pools reicht der LSI9211, soll es ein SSD-Pool werden wird der relativ schnell an den Anschlag kommen.

(Btw, Xeon E 2000er fehlen mir noch ein paar spannende Boards von SM mit SAS und 10G drauf. Eine Art "X11SCH-CTF" z.B.)
Zum Vergrößern anklicken....

Mit SAS gibts doch welche, 10G rüstet man per PCIe Karte einfach günstig nach.
 
Zuletzt bearbeitet:
butcher1de schrieb:
Warum immer alle zuerst nach Intel Xeon Systemen schauen anstelle die aktuellen AMD Epyc ins Auge zu fassen. Da du ECC R Ram benutzen willst kommt leider kein AM4/TR4 System in Betracht. Nur EEC Ram kein Problem mit AM4/TR4 aber dann fehlt die KVM möglichkeit wenn benötigt.

AMD EPYC 7000 | Server Motherboard - GIGABYTE B2B Service zb. oder was von Supermicro Super Micro Computer, Inc. - Products | Motherboards | EPYC 7000-series
Zum Vergrößern anklicken....

Naja Epyc positioniert sich nur super zum Xeon E5 / Silver/Gold, der E3 hat einen viel höheren Takt und wenn man nicht so viel Kerne braucht ist man damit besser bedient. Laut Intel soll im Q1 2019 ein BIOS-Update nachgereicht werden um selbst mit 1151v2 128 GB RAM zu nutzen.
 
Das ist genau der Punkt. Epyc ist eine spannende Plattform, aber für viele Homelabs sind weniger Kerne und mehr Takt wichtig. Ein taktoptimierter Epyc a la 7371 geht da in die richtige Richtung; ein 8core mit 4Ghz und Anbindung aller Lanes und ich kaufs.

Und für viel Rumidlen ist die Leistungsaufnahme der Plattform einfach zu hoch. Dito halt beim TR. Die 115x sind da bei niedriger Last einfach sinnvoller.
Epyc würd mich total reizen; aber wofür am Ende. Ich kanns nicht sinnvoll auslasten.

BTW, ein SM-Board mit C242/246 inkl. SAS HBA und 10G (also CTF) hab ich bislang nicht entdeckt.
Mit nem i3-8100 oder i3-8300 drauf wär das ne tolle günstige Sache für Storage und niedrige Lasten. Diese i3 haben mit ECC, vt-d und 4 echten Kernen alles was viele brauchen und sind eigentlich ne ziemlich günstige Möglichkeit. Später kann man dann bei Bedarf ja auf Xeon E 8kerner mit HT aufrüsten (der vmtl. ja noch kommen dürfte), ohne viel investiertes Geld zu verbrennen.
 
Zuletzt bearbeitet:
butcher1de schrieb:
Warum immer alle zuerst nach Intel Xeon Systemen schauen anstelle die aktuellen AMD Epyc ins Auge zu fassen. Da du ECC R Ram benutzen willst kommt leider kein AM4/TR4 System in Betracht. Nur EEC Ram kein Problem mit AM4/TR4 aber dann fehlt die KVM möglichkeit wenn benötigt.
Zum Vergrößern anklicken....

Welchen Epyc Prozessor bekommst du denn für deutlich unter 500€??
Der kleiste (7251) liegt immernoch bei 500+ - liefert auch nur 8C bei 2,1-2,9GHz.
Zumal das Epyc design mit seinen 4x NUMA Nodes pro CPU gerade beim Virtualisierungsumfeld gewisse Anforderungen setzt, die man berücksichtigen sollte - einerseits sinkt die Energieeffizienz, wenn du permanent die IF stark belastest und andererseits hat man meist privat selten sehr gleiche Belastung oder ausschließlich NUMA aware Software.

Epyc ist in der aktuellen Form kein Konkurrent zum Xeon E - das leistet bestensfalls noch der Ryzen Pro, aber die Boardauswahl ist leider recht begrenzt und wirklich günstig/besser fährt man am Ende damit auch nicht. Vor allem wenn man eine Art Funktionsgarantie möchte anstatt Gefruckel mit Treibern. (ESXi)

sch4kal schrieb:
Naja Epyc positioniert sich nur super zum Xeon E5 / Silver/Gold, der E3 hat einen viel höheren Takt und wenn man nicht so viel Kerne braucht ist man damit besser bedient.
Zum Vergrößern anklicken....

Nichtmal das trifft pauschal zu - denn entgegen der meisten Aussagen kauft man idR. nicht die Top Modelle - um so kleiner der Epyc, desto stärker kommen die Designgrenzen zum Tragen. Ein 32C Epyc macht zwar auf dem Papier ne gute Figur, aber in der Praxis muss man trotzdem die Nachteile ausblenden/umschiffen können damit das effektiv aufgeht. Ich kann auf nem 8C Xeon 8x vCPUs bedenkenlos fahren und muss nicht auf die RAM Zuweisung achten - bei Epyc brauch ich für 8x vCPUs idealerweise den 32C Epyc und darf bei Vollbestückung der Speicherkanäle nur 1/4tel des RAMs zuweisen um im gleichen NUMA Node zu bleiben. Von Lizenzkosten usw. mal ganz zu schweigen. Allerdings wird AMDs Umsetzung von Rome interessant - das wäre wenn sich alles so bewahrheitet wie aktuell angenommen mit einem Schlag die Eliminierung aller bisherigen Epyc Nachteile - sogar mit Umkehrung der Vorzeichen. Das Ding könnte wahrscheinlich als 64C Single NUMA Design arbeiten - wenn das die OEMs so anbieten würde ich gar nen 1P 32C Rome ggü. dem 2P 16C Xeon vorziehen...
 
Zuletzt bearbeitet:
Die NUMA-Grenzen werden hier im Homeserver-Bereich eher nicht erreicht, ESXi ist NUMA-aware, zumindest kann ich die Affinity jeder VM einem NUMA-Core zuweisen. Ob das dann noch mit einem 8-Kern Epyc Sinn macht ist die andere Frage, mMn. ist im < 1000 € Segment sowieso nur der 16C 7351P interessant. Zur Not rüstet man auf Epyc 2 auf, die Plattform bleibt ja dieselbe. Mich hält der hohe Idle-Stromverbrauch noch etwas davon ab zu einem Epyc zu greifen, da hat Trambahner schon Recht, der Xeon E ist hier wesentlich effizienter, allerdings hinsichtlich seinen IO-Kapazitäten und max. RAM-Ausbau eingeschränkt, was gerade bei IO-lastigen Filern mit ZFS Sinn macht.
 
Aber gerade da ist die Grenze das Problem - privat will man idR. wenig VMs mit vielen vCPUs, selten hat man viele viele eher kleine Maschinen die sich gut verteilen lassen - und dass der ESXi NUMA aware ist, ist ja nicht das Problem, dass Problem ist, dass die Software in der VM es oft (gerade auch privat) nicht ist. Du also bei Überbuchung eines Nodes mit zu vielen Ressorcen die IF belastest, was nicht nur Leistung kostet, sondern auch mehr Energieaufnahme bedeutet. Ich sehe aktuell keinen Vorteil darin hier Richtung Epyc zu gehen, denn weder ist er günstiger noch macht er im konkreten Zusammenhang irgendwo etwas besser, was Anforderung wäre. Eher im Gegenteil. Klar kann man dann noch die Augen vor den Nachteilen zumachen - mMn wirds damit aber nicht besser. Und aufrüsten auf Rome - auch das halte ich für keine sinnvolle Idee, dann wartet man gleich auf Rome. Wäre der Übergangs Epyc für nen schmalen Taler zu haben, kein Akt, aber doch nicht bei 500€+ gepaart mit der Unbekannte, dass heute keiner weis was überhaupt kommt, außer das oben 64C stehen werden :fresse:
 
Ok schon mal vielen Dank für die Antworten.

@fdsonne
Der Hinweis auf den Intel Xeon E-2136, 6x 3.30GHz war gut, der ist mir sympathisch und hat auch noch 6 Kerne. Allerdings hab ich mit dem 1155v2 Sockel mit den
Mainboards etwas Probleme:
Intel Xeon mit Hersteller: Supermicro, Sockel: Sockel 1151 v2, M.2 M-Key (PCIe) gesamt: ab 1x, Besonderheiten: ECC-Untersttzung/IPMI Preisvergleich Geizhals Deutschland

Sind ja fast nicht verfügbar?!

RAM dann von hier?
Speicher mit Standard: DDR4, Bauform: DIMM, Typ: unbuffered ECC (UDIMM), Einzelmodulgre: 8GB Preisvergleich Geizhals Deutschland
Kingston ValueRAM Server Premier DIMM 8GB, DDR4-2666, CL19-19-19, ECC (KSM26RS8/8MEI)

Ziel wäre knapp unter 1000€ zu bleiben...

Meinen HBA werde ich erstmal behalten der tut seinen Dienst noch gut. Noch Angaben zu den VMs:
- Windows Server (NAS mit ReFS)
- Windows 10 (Emby Media Server, FTP Server für NVR, Logitech Media Center)
- Docker VM
- Windows 10 (Downloader, Testing)


Kann ich bei einer CPU ohne Grafik dann auf den Server nur über IPMI zugreifen? Oder ist da auf dem Mainboard eine minimal VGA Grafik verbaut?
 
IPMI und Co beinhalten immer eine vollwertige Grafikkarte. Gerade die CPUs der großen Server haben überhaupt keine iGPU.
Die Frage ist, was man als vollwertig ansieht. Zum Administrieren reicht das aus, Battlefield wird wohl nicht tun.

Schau doch mal in das Handbuch eines von dir ausgesuchten MBs, dann sollte schnell klar werden, was da passiert.
 
Das reicht mir als Aussage, um mehr als Administration geht es ja nicht....
 
Anmelden, um zu antworten.

Ähnliche Themen

A
[Kaufberatung] NAS / VM Server
Antworten
16
Aufrufe
1K
amittel
A
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh