Unterstützung Serverzusammenstellung - ESXI / ZFS / NAPP-IT /

[Marco92]

Hallo zusammen,

nach einiger Zeit als stiller Mitleser, wird es Zeit für meine erste Frage.
Aktuell nutzen wir privat eine kleine Synology - NAS und habe einige Container bei Bedarf am laufen.
Virtualisierung nutze ich primär an meinem Haupt-Rechner (Virtualbox) um verschiedene Dinge auszuprobieren und zu testen.

Da wir dieses Jahr in unser neues Haus ziehen, plane ich auch das Thema Server neu aufzusetzen, da die Synology mittlerweile auch zu klein wird.

Ansatz wäre primär ein All-in-One-System mit ESXI und NAPP-IT aufzubauen.
Finde den Ansatz persönlich genial und habe auch Spass dran neue Sachen auszuprobieren.

Bei der Planung bin ich aktuell aber in einer Sackgasse, da ich noch ein Verständnisproblem habe. Hoffe ihr könnt Licht ins Dunkel bringen

1. Die SSD für ESXI + NAPP-IT kommt direkt an einen SATA-Port des Mainboard. Korrekt?
2. Die Datenfestplatten kommen an die Anschlüsse des HBA. Korrekt?
3. Bietet sich für evtl. VMs ein separater Datastore aus SSD's an? Diese dann auch an den HBA? Oder evtl. sogar als PCI-E SSD, welche durchgereicht wird?
4. SLOG/ZIL muss auch an den HBA?

Somit wären wir bei 6 HDDs + 2 SSDs + 1 SLOG/ZIL bei 9 HBA Anschlüssen. Das leider einer zuviel..
Wie habt ihr das gelöst?

Gruß,
Marco

 

[asche77]

1 - ja
2 - ja
3 - ja, entweder (1) SATA-SSD an den HBA oder (2) PCIe-SSD als VMDisk (a) direkt in ESXi nutzen oder (b) an die Storage-VM durchreichen und dann per NFS zurück sharen an ESXi (also echtes All In One)
4 - SLOG/ZIL brauchst Du vermutlich nicht. Lass das im Zweifel erstmal weg

 

[jonofe]

Ich habe ein ähnliches Setup und habe folgende Variante gewählt:

1. ESXi auf USB Stick (Bootmedium für den Server)
2. Günstige NVMe SSD (Intel 600p 120GB) via M.2 Adapter Karte als ESXi Datastore für Storage VM (napp-it)
3. SATA Controller und LSI HBA an napp-it VM durchreichen => 16 SSD/HDD können von napp-it gemanaged werden
4. SSD Pool am HBA als ESXi Datastore für VMs
5. HDD Pool am SATA als Datengrab
6. Backup via XSIBackup (VMs) und BORG (Daten)

Inzwischen habe ich die Intel 600p aus 2. durch eine Intel Optane 900p 280GB ersetzt und habe weiterhin die napp-it VM drauf und zuätzlich SLOG und L2ARC für den SSD und HDD Pool. Das funktioniert super und ich würde es immer wieder so machen.

 

[alen]

Ich erlaube mir mich hier anzuhängen, da ich eine ähnliche Frage habe.
1. Müssen denn ESXi und die Storage VM (FreeNas,OMV, napp-it9) auf zwei separaten Disks laufen (z.B. USB Stick und günstige SSD) - was ist der Vorteil ? Oder kann man nicht beides auf eine günstige SSD installieren? Dies wird ja ebenfalls oft empfohlen hier im Forum.

2. Wie handhabt ihr das mit der Ausfallsicherheit des USB Sticks/SSDS, auf denen EXSi und die Storage VM laufen. Wenn die ja ausfallen läuft gar nicht mehr - ist ja sozusagen eine Single Point of Failure..... sollte man diese nicht "spiegeln" mit RAIDXYZ oder zumindest ein Backup erstellen.

Gruss
Alen

 

[morumbinas]

Ich erlaube mir mich hier anzuhängen, da ich eine ähnliche Frage habe.
1. Müssen denn ESXi und die Storage VM (FreeNas,OMV, napp-it9) auf zwei separaten Disks laufen (z.B. USB Stick und günstige SSD) - was ist der Vorteil ? Oder kann man nicht beides auf eine günstige SSD installieren? Dies wird ja ebenfalls oft empfohlen hier im Forum.

2. Wie handhabt ihr das mit der Ausfallsicherheit des USB Sticks/SSDS, auf denen EXSi und die Storage VM laufen. Wenn die ja ausfallen läuft gar nicht mehr - ist ja sozusagen eine Single Point of Failure..... sollte man diese nicht "spiegeln" mit RAIDXYZ oder zumindest ein Backup erstellen.

Gruss
Alen

1. Beides auf eine SSD.

2. Lt. gea ist ein Raid sogar kontraproduktiv (soweit ich mich erinnern kann hat er dies mal erwähnt), da du durch zB Stromausfall eher mal zu Startprobleme kommen kann. Bei einer SSD bist du auf der Sicheren seite.

Backup benötigst du nicht, weil die Storage VM nicht groß konfiguriert werden soll. Schreib dir alles auf was genau in ESXi und der Storage VM konfiguriert wurde, dass kannst du dann innerhalb kurzer Zeit einstellen. Ich würde mir vielleicht eine 2. SSD neben dem Server legen, auf der schon Esxi und die Storage VM liegen, dann musst du nur noch die Pools importieren und paar kleine Einstellungen vornehmen.

Ich habe es so gemacht, dass im Server noch ne leere SSD liegt, die ich bei Bedarf (Ausfall der Esxi und Storage VM SSD) via Intel AMT Remote "befülle", falls ich nicht zu Hause sein sollte.

 

[jonofe]

zu 1. Beide Varianten sind möglich. manchmal gibts Probleme von NVMe zu booten. Vom USB Stick funktionierts problemlos.
Wenn du das Bootdevice an den Onboard Controller hängst, dann kannst du ihn nicht mehr an die STorage VM weiterreichen, daher habe ich dies nicht gemacht.

zu 2. ESXI als auch Napp.it lassen sich mit minimalem Aufwand neu installieren. Ich habe meinen USB Stick kopiert und muss im Fehlerfall den Stick tauschen und dann ggf. den Storage und die VMs einbinden. Bei Napp-it ist es ähnlich, Napp-it VM neu in ESXi einbinden und ggf. Pools neu Einlesen. Sollte in beiden Fällen nicht mehr als 15 Minuten dauern, sofern man keine weiteren speziellen Services auf der Storage VM konfiguriert. Das mache ich dann in anderen VMs, die in meinem NFS Datastore laufen.

Ist immer die Frage, wieviel Aufwand man bei einem Fehler in Kauf nehmen will.

 

[asche77]

1. Müssen denn ESXi und die Storage VM (FreeNas,OMV, napp-it9) auf zwei separaten Disks laufen (z.B. USB Stick und günstige SSD) - was ist der Vorteil ?

Vorteile USB Stick sind wohl allenfalls:
1. Leichteres Upgrade / recovery, da man einfach den USB mit ESXi austauscht und die VMs neu importiert/registriert. (nicht getestet)
2. Mit USB + PCIe-NVME kann man den SATA Controller an die Storage-VM durchreichen. (nicht getestet)

 

[Marco92]

Erstmal vielen Dank für den Input. Hilft mir schonmal extrem weiter

@jonfoe
Finde deinen Ansatz mit USB und Adpter für SSD sehr interessant. Kannst du mir hierzu noch paar Infos geben, welcher USB und welchen Adapter du hier nutzt?

 

[gea]

Für Home und Lab Betrieb ist Backup bei ESXi und napp-it schlicht unnötig.
Das ist dafür viel zu schnell und viel zu einfach neu aufzusetzen oder wiederherzustellen.

Ich habe kritische Machinen mit Hardware-Raid (BBU+Cache) für ESXi und lokales Datastore.
Ich habe da aber auch Intel DC SSDs und hatte damit noch nicht einen Ausfall in all den Jahren.

Ich habe auch mehrere Server mit 2 x 2,5" Icy box Raid-1 Einschüben. Da hatte ich unabhängig von der SSD Qualität schon öfter Probleme bei aktivem Raid-1. Die sind aber ideal um eine Platte aktiv zu haben und auf eine zweite zu spiegeln. Ich ziehe die dann immer (hot) und habe damit eine aktuelle cold spare und rebuilde die von Zeit zu Zeit. Das und Intel DC SSD ist mein aktueller Favorit.

 

[jonofe]

@Marco92: Ich setze einen Integral Memory INFD32GBFUS3.0 32GB Stick ein. Dieser steckt im USB3.0 Slot der direkt auf dem Board ist.

 

[netresident]

Mit vim-cmd lässt sich meines Wissens die Konfiguration des ESXi auch speichern, falls Du da exotischere Konfigurationen vorgenommen hast.
Ansonsten bin ich bei gea: die Standardkonfiguration ist im Notfall in wenigen Minuten wieder hergestellt. Backup der VMs und Daten ist deutlich wichtiger.