Geplanter ESXI Server

[hardwarezzz]

Hallo zusammen,

ich wollte mal kurz eure Meinung zu meinem geplanten ESXI hören.

Es soll ein Supermicro X11SSH-CTF werden.
Prozessor: Intel® Xeon E3-1230v6, Prozessor
RAM: Kingston ValueRAM DIMM 32 GB DDR4-2133 Kit ECC (2X16GB)
Gehäuse: Nanoxia Deep Silence 5 Rev.B, Big-Tower-Gehäuse
PCI SSD: Kingston KC1000 240 GB, Solid State Drive
SATA SSDs: 3 X Samsung EVO xxx GB
SATA HDDs: 6 X WD RED x TB
USB Stick

Der Plan ist, den ESXI 6.5 auf den USB Stick zu installieren.
Eine Storage VM (evtl Freenas oder NAS4Free) auf die PCI SSD legen.
Die 2 internen Speicher Controller (Intel und Broadcom) an die Storage VM durchreichen.
Ein Raidz2 aus den HDDs für Daten und große VMs.
Ein Raidz aus den SSDs für VMs.

Es sollen ca. 10-15 VMs laufen.
Windows Server, AD, Exchange, ein paar Linux Kisten, Edomi, XPnology usw...

Was haltet Ihr von der Konfig?

Vielen Dank!

 

[AliManali]

Hi

Ohne jetzt das Supermicro Board zu kennen: mit dem Durchreichen der beiden onboard Controllern könnte es Probleme geben. Das geht nur bei einigen Boards. Bislang habe ich das nur auf Sockel 2011 Brettern gesehen. Aber auch bei S. 2011 Systemen ist das nur begrenzt möglich, und keinenfalls Standard. Das nur so zur Info, da können Andere sicher noch besser Auskunft geben.

Und ich weiss auch nicht, ob Du Spass an den VM's hast, wenn die auf Platten liegen. Bei mir liegen alle VM's auf SSD. Sind auch so um die 15 rum.

Wenn Du die PCIe SSD für die Storage VM streichst, welche meiner Meinung nach auch oversized ist, hast Du freien Platz für einen HBA. Die Storage VM kannst Du dann nativ an den onboard Controller hängen. So mache ich das.

 

[negotiator]

Das Durchreichen des Broadcom / LSI ist doch m.E. übliche Praxis und sollte problemlos funktionieren.

Bei den SATA-Ports des C236 sieht es ein wenig anders aus, allerdings gibt es auch hier einen Weg - ob ich den aber im professionellen Umfeld einsetzen würde ist ein anderes Thema.
Ich bin kürzlich bei meinem Home-Server von Proxmox (wieder zurück) auf ESXi umgestiegen. ESXi boote ich von USB, eine Solaris-Storage-VM starte ich von der NVMe-SSD. Die on-board-SATA-Ports kann man auf der Kommandozeile des ESXi für Passthrough freischalten und bei mir klappt es seit einigen Wochen vollkommen problemlos, diese an die Storage-VM durchzureichen. Meinen alten LSI-HBA kann somit - solange die 8 SATA-Ports ausreichen - in Rente schicken und spare einige Watt an Strom... Board ist ein X11SSH-TF.

 

[besterino]

Beim mir ging passthrough des Onboard Controllers auch über die WebGUI. Allerdings nur getestet, nicht dauerhaft im Betrieb gehabt.

 

[andrer250282]

Also 10-15 VMs, AD und Exchange und das alles mit 32GB RAM? Das wird eng. Ich würde mehr RAM einplanen

 

[Digi-Quick]

Exchange alleine löppt doch erst ab 32 GB "vernünftig"


@AliManali
Für PCIe passthrough benötigt man zwingend eine CPU die VT-d unterstüzt, mehr nicht! (und natürlic eine saubere Implemantation von VT-d im BIOS/UEFI, daß ist aber bei Supermicro kein Problem)

 

[hardwarezzz]

Guten Morgen,

Danke für eure Meinungen.
Ram kann ja wenn es sein muss auf 64GB rauf. Darum kaufe ich 16 GB Module.

Aber ansonsten passt die Config ja, oder?

Oder soll ich gleich auf ein X11sph oder sowas gehen?
Dann würde halt mehr RAM gehen. Und das Board hätte sogar M.2 für die Storage VM.

Fazit: Das Durchreichen des C236 sollte klappen, oder?

Danke euch!

 

[Trambahner]

Ich hab ja ein X11SSH-CTF mit Xeon und habe sowohl den SAS3008 als auch den SATA Controller durchgereicht. Für den SATA des C236 muss man in 1-2 Configdatein die Pcieadresse eintragen (per Texteditor), dann kann man im GUI den SATA zum Durchreichen anklicken. Läuft bei mir (esxi 6.5u1) bislang stabil.
Meine Konfig ist ja nicht unähnlich dem Vorhaben, Du siehst sie im Vorstellungsthread.
Btw, das X11SSH-CTF hat ja auch einen M.2 mit 4x PCIe Anbindung, aber nur als 2260 Größe. Sprich, ein 2280-Modul musss man mit 1/2 cm^2 powerstrip oder doppelseitigem Klebeband leicht fixieren und elektrisch isolieren weil die Halteschraube an der falschen Stelle. Aber es ist Platz für eine 2280-SSD.

Ich würde aber keine EVOs nehmen, sondern dauerlasttaugliche SSDs, für die Exchangedaten ggf. auch Optanes 900p.

 

[hardwarezzz]

Ich hab ja ein X11SSH-CTF mit Xeon und habe sowohl den SAS3008 als auch den SATA Controller durchgereicht. Für den SATA des C236 muss man in 1-2 Configdatein die Pcieadresse eintragen (per Texteditor), dann kann man im GUI den SATA zum Durchreichen anklicken. Läuft bei mir (esxi 6.5u1) bislang stabil.
Meine Konfig ist ja nicht unähnlich dem Vorhaben, Du siehst sie im Vorstellungsthread.
Btw, das X11SSH-CTF hat ja auch einen M.2 mit 4x PCIe Anbindung, aber nur als 2260 Größe. Sprich, ein 2280-Modul musss man mit 1/2 cm^2 powerstrip oder doppelseitigem Klebeband leicht fixieren und elektrisch isolieren weil die Halteschraube an der falschen Stelle. Aber es ist Platz für eine 2280-SSD.

Ich würde aber keine EVOs nehmen, sondern dauerlasttaugliche SSDs, für die Exchangedaten ggf. auch Optanes 900p.

Danke für deine Meinung. Ich habe die Komponenten nach deinen Beiträgen ausgewählt. ;-)

Der Exchange wird nur eine Testmaschine werden. Nichts was wirklich laufen muss. Im Moment.... ;-)

 

[Bambuleee]

Danke für deine Meinung. Ich habe die Komponenten nach deinen Beiträgen ausgewählt. ;-)

Der Exchange wird nur eine Testmaschine werden. Nichts was wirklich laufen muss. Im Moment.... ;-)

Auch produktiv braucht ein Exchange Server keine 32 GB ....

 

[Digi-Quick]

Auch produktiv braucht ein Exchange Server keine 32 GB ....

Wieviele Exchangeserver verwaltest du?

Matürlich läuft er auch mit 8 oder 16 GB, ich sprach aber von vernünftig
(Bei einer Testumgebung natürlich irrelevant)

 

[Bambuleee]

Exchange 2016 DAG mit 6 Knoten. 16 GB RAM jeweils. 70000 Mails am Tag. Völlig ausreichend.
Es ist wie bei fast allen Themen: Es kommt darauf an ...