[Kaufberatung] ESXi Hardware + napp-it VM

[Tandaril]

Hallo zusammen,

ich möchte gerne meinen VM Host ersetzen und von Proxmox auf VMWare migrieren.
Da ich bei dem Hardware Thema ehrlich gesagt nicht mehr so firm bin, hoffe ich auf eure Hilfe.

Das System wird ausschließlich privat genutzt und dient mir, unter anderem auch für Tests mit bestimmten Produkten.

Derzeit habe ich einen HP ML310e Gen8 v2 im Einsatz, der mit dem neuen System komplett abgelöst werden soll.

Anforderungen an die Hardware:
- Leise
- Stromsparend (sollte im Verhältnis zu der Leistung stehen)
- 24/7 Betrieb
- Remote Management (am liebsten über dedizierte NIC)
- Kompakte Bauweise (microATX)

Anforderung an den VM Host:
- Min. 64GB Ram (mit Möglichkeit auf RAM Erweiterung)
- 10 – 15 VMs (mittlere bis höhere Hardware Anforderungen Windows u. Linux)
- Zwei NICs (1GB) für den VM traffic

Aufbau:
- ESXi auf USB Stick oä. installieren
- Den Controller des Boards würde ich gerne an eine napp-it VM durchreichen
- Mit der napp-it VM soll dann das von gea beschriebene all in one Konzept umgesetzt werden
- Als Storage würde ich vorerst meine vorhandenen WD Reds weiterverwenden
- Um evtl. etwas mehr Performance in den Storage Pool zu bekommen würde ich dann noch, wenn sinnvoll eine SSD für Cache dazu packen
- Kann ich auch eine normale noch vorhanden SSD dafür verwenden?

Zusätzlich würde ich dann gerne noch eine weitere VM als Filer aufsetzen um meine Nutzdaten verfügbar zu machen. Hier weiß ich jedoch noch nicht in welcher Form und womit ich das machen möchte. Und vor allem wie ich dem Filer das Storage verfügbar mache um die Vorteile von zfs zu nutzen.

Für die Auswahl der richtigen Komponenten hoffe ich nun auf eure Hilfe. Durch den AMD thread habe ich mich auch schon ein wenig durchgelesen, jedoch scheint das Setup noch nicht so optimal zu laufen und eine etwas höhere Stromaufnahme zu haben.

Daher scheint mir der Xeon noch die optimalere Wahl zu sein.
Selberbauen ist kein Problem, auch einen fertigen Server würde ich wählen jedoch sind diese meistens deutlich lauter.

Mein Budget ist nicht statisch, ich investiere so viel wie es Sinn macht um ein stabiles und vernünftiges System zu bekommen – jedoch sollte es sinnvoll bleiben. Ich gehe davon aus das es sich unter 2.500 € realisieren lassen sollte.


Vielen Dank schon einmal im Voraus für eure Hilfe.


Viele Grüße
tandaril

 

[martingo]

Die erste Frage ist mal: wieso soll das alte Gerät abgelöst werden? Irgendeinen Schmerz scheinst Du damit ja zu haben.
Soll es aus irgendeinem Grund Selbstbau sein?
Formfaktor und Größe egal?
2.5 inkl. Platten oder ohne? Wie viele Platten? Formfaktor?

 

[jonofe]

Ich hatte ähnlich Anforderungen und bin vor knapp 2 Jahren hiermit gestartet:

https://geizhals.de/?cat=WL-879616

Einzige Limitierung im Vergleich zu deinen Anforderungen sind hier die maximalen 64GB RAM. Und es sind keine 10GBit/s Netzwerkschnittstellen vorhanden.
Ansonsten gleiches Konzept, ESXi von USB, napp-it all in one, Optane 900 als SLOG/L2ARC Device, Onboard-HBA und onboard-SATA an napp-it durchgereicht. 11 VMs laufen aktuell darauf (1xWin10, 10x Linux). Überhaupt keine Probleme

Derzeit plane ich ein Upgrade mit diesen Komponenten, um 10GBit/s und mehr RAM zubekommen. Der obige Server soll dann als Backup Server fungieren.

https://geizhals.de/?cat=WL-1293185

 

[Tandaril]

Hallo zusammen,

ersteinmal vielen Dank für eure Antworten.

Die erste Frage ist mal: wieso soll das alte Gerät abgelöst werden? Irgendeinen Schmerz scheinst Du damit ja zu haben.~snip~

Zum einem primär aufgrund des max. RAM von 32GB und er ist er einfach zu laut.

~snip~
Soll es aus irgendeinem Grund Selbstbau sein?
Formfaktor und Größe egal?~snip~

Wie schon im Eingangspost geschrieben, muss es nicht primär Selbstbau sein, jedoch vermute ich das die meisten Server der einschlägigen Hersteller nicht in wirklich leise zu bekommen sind. Wenn Ihr da etwas kennt kann es gerne auch ein fertiger Server sein. Formfaktor und Größe ungefähr wie der HP Server.

~snip~
2.5 inkl. Platten oder ohne? Wie viele Platten? Formfaktor?

Die WD RED die ich im ersten Post erwähnt hatte sind 3,5" und sollen ersteinmal mit übernommen werden als Storage.

~snip~
https://geizhals.de/?cat=WL-879616
~snip~
https://geizhals.de/?cat=WL-1293185
~snip~

Super das gibt auf jeden Fall schonmal einen guten Indikator, ich versuche mal die Komponenten an meine Bedürfnisse anzupassen.

Muss es für das SLOG eine Optane sein, oder hast du die aus anderen Gründen gewählt?

Eine weitere Frage hätte ich noch zu den Sockeln, welcher wäre denn jetzt ratsam? Macht es Sinn direkt auf den Sockel 3647 zu setzen oder Sockel 1151 bzw 1151V2?


Viele Grüße
tandaril

 

[besterino]

Sockel 3647 bietet halt grds. mehr Flexibilität in Sachen RAM, PCIe-Lanes und Kerne. Auf der negativ-Seite stehen dafür eher höhere Kosten (Mainboard und CPU, dafür ist RAM grds. etwas günstiger), höherer Stromverbrauch (= leise Kühlung evtl. aufwändiger) und größerer Platzbedarf. So ist die Auswahl an mATX schon arg gering: Intel Xeon mit Sockel: Sockel 3647, Formfaktor: ATX Preisvergleich Geizhals Deutschland

Sind eigentlich nur 2 Boards:
TPF=10Gbit mit SFP+/Glas
TF=10Gbit mit RJ45/Kupfer

Das F würde ich nicht nehmen: a) Marvel-NIC statt nur Intel und b) kein 10Gbit bei gleicher Anzahl PCIe-Slots.

Ich würde bei 3647 aber mindestens zu ATX greifen, ansonsten lassen sich einfach nicht genug PCIe-Slots unterbringen.

Ansonsten kann ich 3647 aber sehr empfehlen (siehe Signatur).

 

[Tandaril]

@besterino

Danke dir. Die Auswahl an Boards ist wirklich sehr bescheiden...
So richtig überzeugt bin ich daher noch nicht von dem Sockel.
Danke für den Hinweis mit dem -F das hatte ich auch schon gesehen und ist damit auf jeden Fall raus.

Der Punkt ist halt, das ich die ganzen zusätzlichen PCIe Slots gar nicht benötige.

Daher würde mir ein micro ATX wirklich reichen und wahrscheinlich auch weniger Strom verbrauchen oder?

Diese Hardware Suche ist in der Tat nicht so wirklich einfach.


/tandaril

 

[sch4kal]

Ne Optane ist eben das beste SLOG Device was es momentan zu kaufen gibt.

 

[asche77]

Würden zwei kleinere enterprise SSDs als Raid1 für die VMs nicht zunächst ausreichen statt einer Optane als SLOG?

 

[sch4kal]

Und wie viel spart man dabei im Gegensatz zu einer Optane ?

 

[Tandaril]

Eine erste Zusammenstellung habe ich jetzt erstellen können mit Sockel 1151:

ESXinapp-it Preisvergleich Geizhals Deutschland

Was meint Ihr dazu? Vor allem passt der RAM aus eurer Sicht? Dazu habe ich einen Beitrag im Server the home Forum gefunden, der User dort hatte diese Kombi auch im Einsatz.

Wie sieht eure Eischätzung zu dem Netzteil mit der Hardware + drei vorhanden 3TB WD REDs.

Danke für die Info mit der Optane.

Bzgl. napp-it VM:
Kann ich den gesamten Controller des Boards eigentlich so durchreichen oder muss ich diesen noch irgendwie flashen. Oder benötige ich sogar noch einen zusätzlichen Controller?

 

[Ceiber3]

Du brauchst ein HBA/Raid Controller im IT-Mod.
Sonst finde ich deine Config i.o... Ist halt auf deine Bedürfnisse angepasst.

 

[gea]

Bei einem SAS Controller unter ESXi kann man den kompletten Kontroller oder einzelne Platten im physical raw Modus (über die GUI) an eine VM durchreichen.

Ansonsten
Es gibt 3 Arten von Festplattencontroller

1. Controller die Platten nur an ein OS durchreichen
Das sind HBA mit einer IT Firmware oder Onboard Sata im AHCI Modus

2. Controller die neben dem einfachen Durchreichen Raid-1 oder Raid 10 beherrschen.
Das sind HBA mit einer IR Firmware

3. Controller mit häheren Raid-Levels (Raid5/50, Raid6/60)
Das sind HBA mit Raid5 Firmware oder "echte" Hardware Raid Controller meist mit Cache und BBU

Prinzipiell eignen sich nur 1. und 2. für Softwareraid.
1. Hat die "einfachste" und schnellste Firmware und ist damit ideal. 2. Geht aber auch sehr gut z.B. für ZFS.

Prinzipiell braucht man für jede Firmware einen anderen Treiber. Auch da gilt, dass der IT Modus Treiber meist der ausgereifteste/schnellste ist. Ein HBA mit IR Firmware kann man, muss man aber nicht umflashern

Bei den HBA immer einen mit LSI Chipsatz 2008, 2307 oder 3008 nehmen.

 

[besterino]

Wenn sich RDM vermeiden lässt, würde ich das tun: man kann nämlich nicht mal eben Festplatten im laufenden Betrieb der VM ziehen/tauschen, da sich das in der VM anders auswirkt: jedenfalls Solaris 11.3 denkt, die Platte wäre noch da und versucht die permanent anzusprechen —> es hagelt timeouts in Dauerschleife und das komplette System wird massiv ausgebremst. Man muss dann die virtuelle Platte, die der ehemals physischen Disk entsprach, unter ESXi manuell aus der VM entfernen.

So jedenfalls mit ESXi 6.5U2 und Solaris 11.3.

Dazu kommt noch, dass das VM-OS keinen Zugriff auf die Smartwerte und native SAS-/SATA-Funktionen des Controllers hat.

 

[Tandaril]

Vielen Dank für die ganzen Infos.

Daher war ja auch die Idee, den gesamten Controller an die VM durchzureichen, wenn ich das jetzt richtig verstanden habe, ist genau das die richtige config oder?

Gibt es denn von Supermicro auch ein Board welches gleich den richtigen Controller hat? Somit könnte ich mir eine weitere Zusatzkomponente sparen oder?

 

[Stueckchen]

Bedenke man kann auch den SATA Controller durchreichen. Sofern man kein SAS will/braucht und ehe eine pcie SSD (optane) nutzt spart man auch noch Strom und Hitze (6-12W).

 

[jonofe]

Gibt es denn von Supermicro auch ein Board welches gleich den richtigen Controller hat? Somit könnte ich mir eine weitere Zusatzkomponente sparen oder?

Ja, aber ich glaube es gibt keines bei den Xeon® E-2100 Boards.
Da müsstest du entweder bei Xeon® E3-1200 v6/v5 Family Boards oder bei den UP Xeon® Motherboards - Socket P (LGA 3647) schauen:

Das sind immer die, die ein -C in der Bezeichnung haben:

• X11SSL-CF
• X11SSH-CTF
• X11SPW-CTF
• X11SPH-nCTPF
• X11SPH-nCTF

Das ist aus meiner Sicht die Ideallösung für die napp-it AIO Lösung. Der Controller muss dann allerdings in den IT Mode geflasht werden. Die ersten beiden aus der Liste sind allerdings auf 64GB beschränkt.

 

[Tandaril]

Vielen Dank für die guten Tipps und Infos.

Aufgrund des guten input habe ich die Zusammenstellung noch einmal angepasst:

ESXiv2 Preisvergleich Geizhals Deutschland

Ich würde mich freuen wenn Ihr nochmal drüber schaut und mir sagt was Ihr dazu denkt, oder ggbfs. an Verbesserungsvorschlägen habt.

Soweit wie ich das gesehen habe, sollte der Controller auf dem Board auch passen und kann auf den IT Mode geflasht werden.

Dank der Website von gea habe ich auch schon gefunden wie man das am besten anstellt, die Webseite ist im wirklich sehr informativ - Vielen Dank dafür.


Was meint Ihr zu dem Netzteil, reichen die 400 Watt aus?

Derzeit bin ich noch am überlegen mir die Optane zu sparen und das Geld in vernünftige SSDs zu investieren. Dann sollte ich mir die Optane doch ohne Probleme sparen können oder?

Daher wäre meine Frage welche SSDs könnt Ihr mir empfehlen? Gängig scheinen die 1.92 TB SSDs zu sein, davon würde ich dann einen Pool aus 4 bauen um auf ca. 6TB Speicher zu kommen.


Vielen Dank bereits im voraus.

 

[Tandaril]

Die Idee mit den dem reinen SSD Storage ist erst einmal wieder verworfen.

Somit bin ich jetzt wieder bzurück bei der Empfehlung mit der Optane.

Hierzu hätte ich jetzt noch ein paar Fragen:

- Ist die PCIe Optane die optimale Lösung?
- Welche Größe sollte die Optane aufweisen / was hat den besten Nutzungsfaktor?
- Eine der wohl wichtigsten Fragen wenn es die PCIe Variante werden soll, wird diese dann einfach an die napp-it VM mit durchgereicht?
- Funktioniert das als einfache PCIe Erweiterungskarte?
- Gibt es dabei noch etwas auf das ich achten sollte?
- Ist diese Optane: Intel Optane SSD 900P 280GB, PCIe 3.0 x4 ab Preisvergleich Geizhals Deutschland optimal?

Wenn Ihr noch Optimierungen an der sonstigen Hardware seht, freue ich mich über Input.

 

[sch4kal]

Die Idee mit den dem reinen SSD Storage ist erst einmal wieder verworfen.

Somit bin ich jetzt wieder bzurück bei der Empfehlung mit der Optane.

Hierzu hätte ich jetzt noch ein paar Fragen:

- Ist die PCIe Optane die optimale Lösung?
- Welche Größe sollte die Optane aufweisen / was hat den besten Nutzungsfaktor?
- Eine der wohl wichtigsten Fragen wenn es die PCIe Variante werden soll, wird diese dann einfach an die napp-it VM mit durchgereicht?
- Funktioniert das als einfache PCIe Erweiterungskarte?
- Gibt es dabei noch etwas auf das ich achten sollte?
- Ist diese Optane: Intel Optane SSD 900P 280GB, PCIe 3.0 x4 ab Preisvergleich Geizhals Deutschland optimal?

Wenn Ihr noch Optimierungen an der sonstigen Hardware seht, freue ich mich über Input.

Würde die U.2 Variante mit M.2 Adapter nehmen: Intel Optane SSD 900P 280GB Preisvergleich Geizhals Deutschland
Ist dieselbe, belegt dir aber nicht einer der beiden PCIe-Slots, und ist günstiger.
Das SLOG muss nicht sehr groß sein, aber du kannst auf die 280GB z.B. auch die Storage-VM drauf legen und vielleicht 1-2 VMs als HighPerformance DataStore.
Reich die Optane nicht durch, sondern partitionier sie mit VMFS und gib der Storage VM eine kleine SLOG Partition, eine Partition wo die VM selbst drauf läuft und den Rest nach belieben an andere VMs.
Von der Größe würde theoretisch auch die DC P4801X mit 100 GB tun, aber die kostet nur marginal weniger als o.g. und hat weniger Performance, dafür aber PlP (obwohl das die Optanes theoretisch auch können, hat Intel wohl aus Marketinggründen von der Produktseite entfernt, sonst wären ihre teureren DC-Varianten ja quasi obsolet).