[Kaufberatung] ESXI auf AM4 Plattform für VM LanCache und VM NAS

[NeKo06]

Hallo Zusammen,

ich habe schon länger einen "Server" (zusammengeworfen aus alten Builds) neben mir stehen, auf dem ich für Freunde Gameserver hoste oder auch Rumtüfftele.
Mein Plan ist es wie im Titel schon beschrieben, einen ESXI Server aufzusetzten mit RAID und ECC um einen NAS im VM zu hosten (mit Raid abgesichert!) und einem Steamchache (Daten hier sind egal, also kein Raid nötig).
Es können weitere VMs hinzukommen. Daher sollte der Server genug restleistung haben um dies zu bewerkstelligen oder erweitertbar sein. Ich habe zum rumprobieren mal ESXI auf den Server geschmiessen und testweise eine VM mit LanCache samt netData für Überwachung aufgesetzt.
Das hat eigentlich ganz gut geklappt. Genug zu vorgeschichte, ich würde gerne ein HomeLab langfristig Deployen, leider unterstützt der derzeitige Server kein ECC und die Platten sind alt (8 Jahre min.) und haben unterschiedliche größen von 250 GB zu 1TB. Diese werde ich nach der Fertigstellung des Servers entsorgen. Von den Platten soll höchstens die Boot SSD als Cache SSD im neuen Build genutzt werden (Da sollte eigentlich ok sein oder?)

Gerade verwendete Hardware im "Server" (Rest aus meinem Letzten PC Build):
I7 6700K
MSI Z170A Carbon Gaming
450W PSU
16 GB RAM LPX
Eine Boot SSD, alte HDD platten.

Hier mein grober Plan:

Hardware(Offen für Vorschläge):
CPU: z.B. AMD Ryzen 5 PRO 4650G oder AMD Ryzen 5 PRO 3600 oder gibt es evtl. CPUs neu oder Gebraucht, die besser für meine Anforderungen zu gebrauchen sind?

• Min. 6 Kerne
• Komplett ECC kompatibel
• GPU (nicht zwingend, da ich noch alte Graka da habe und ESXI dann eh über das Webportal Konfiguriere)
• Kühler ist vorhanden: Noctua Top-Blower

Motherboard:

• Komplette ECC unterstützung
• RAM 4 slots, max. 128 GB untersützen.
• 2.5 GBit Ethernet
• Wenn IGPU vorhanden bei CPU, dann IGPU kompatibel

RAM (gelpant ist gebrauchten Server ECC DDR4 RAM zu kaufen 32 Gb oder 64 GB)

SSD :

• SSD Boot Drive (Evtl. gespiegelt).
• SSD Boot Cache (SSD Cache Drive hier sollte kein RAID nötig sein).

HDD: (Hier warte ich noch auf einen Guten Deal oder gute Vorschläge)

• Optimal wäre RAID 6.
• Das Raid sollte die VMs beinhalten bis auf den "LanCache". In der NAS VM soll kein zustäzliches Raid zum einsatz kommen.
• geplant ist einen gebrauchten IT geflasthen HBA anzuschaffen.
• Sollten so groß wie möglich sein, damit mit der Mindestanzahl von HDDs für RAID6 möglichst viel platz vorhanden ist.
• Platten sollten Vertikalen einbau unterstützen

Grobe aufteilung des Speichers:
1 TB LanCache
2x256 GB Boot Drive für alle OS(Ubuntu Server, ESXI, TrueNas) (gespiegelt)
4-5X 4-8 TB RAID6 bekommt das RAID

Case: Intertech IPC 2U-20240

Zur Absicherung des Servers sollte ein USV angeschafft werden, er nur einen sicheren Shutdown zu gewährleisten muss.

Geplannte OS und VMs
ESXI oder Virtualisierungsalternative als Host
Ubuntu Server für Steamcache (wir haben nicht das beste internet und ein paar Games hätte ich gerne gecached) als VM
Denke mal für das NAS: TrueNAS mt ZFS? als VM. Auf das NAS werden höchstens 2 Leute gleichzeitig zugreifen.

Dazu ein Cloud speicher der die Wichtigsten Daten vom NAS Synchronisiert. (Noch keine endgültige Lösung. Derzeitig Datensicherungen auf diversen Cloud Diensten vorhanden)

Ich bin offen für Vorschläge, Ideen und insbesondere der Dimensionierung von Ressourcen. Ich hoffe ich habe alles erwähnt, wenn ich etwas vergessen habe trage ich es gerne nach.
Ich habe keine erfahrungen mit ECC und RAID, außer theoretischem Halbwissen, aus der Berufsschule.
Ist es möglich bei einem Defekten RAID Kontroller, den RAID unter einem neuen RAID Kontroller zu verfplanzen und wiederherzustellen?
Ein Konkrettes budget habe ich nicht. Denke mal das es so um die 1000€ werden. Da ich nicht alles auf einmal Kaufe wäre es auch gut zu wissen ob es etwas ausmacht, wenn ich z.B. die HDDs später kaufe.
Vielen Dank im Voraus.

 

[gea]

Prinzipiell alles ok so, auf folgendes achten:

Als Bootdevice (ab 100 GB) eine SSD oder M2 NVMe, darauf kommt ESXi und die Storage VM, sonst nix, alles andere als VM z.B, Debian oder Windows
Für die Storage VM ist TrueNAS die häufigste Lösung für ZFS. Ich bevorzuge Solaris basierte Unix Systeme (da kommt ZFS her) wie OmniOS da diese den geringsten Resourcenverbrauch haben, dazu den in das OS/ZFS integrierten genialen SMB (viel einfacher als SAMBA mit ntfs artigen ACL) und NFS Server. Für TrueNAS alleine sollte man ab 8-16GB RAM rechnen, für OmniOS ab 4-8GB. Mehr macht ZFS schneller.

In jedem Fall Virtualisierungsumgebung und die Storage VM so minimalistisch wie möglich halten, VM Server und Storage müssen immer laufen, auch mit regelmäßigen Security und Bugfixes. Macht auch ein Neuaufsetzen bei Hardwareausfall einfacher und man muss sich keine Gedanken um Tagesaktuelles Disaster Recovery machen.

Mit ZFS kein Raid-6 nutzen sondern Z2 (gleiche Redundanz aber viel besser und sicherer), VMs auf einen SSD/NVMe Pool.
ZFS Softwareraid läßt sich auch bei einem völlig anderen Controller importieren (z.B. Sata -> SAS HBA)

Falls man ein M.2 zum Booten hat kann man auch den LSI HBA sparen und Sata an die Storage VM durchreichen.

z.B.

OmniOS Community Edition

illumos based server OS with ZFS, DTrace, Crossbow, SMF, Bhyve, KVM and Linux zone support

omnios.org

Dazu habe ich eine fertiges ESXi ZFS Storageserver Template für ESXi ab 6.7 und eine Web-UI (freie Version reicht at home)

napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris : Downloads

napp-it.org - ZFS NAS SAN Server mit einer durch den Benutzer anpassbaren Weboberfläche // All In One server = virtualisierter lauffähiger ZFS-Server

www.napp-it.org

Anleitung

napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris : Manual

napp-it.org - ZFS NAS SAN Server mit einer durch den Benutzer anpassbaren Weboberfläche // All In One server = virtualisierter lauffähiger ZFS-Server

www.napp-it.org

 

[NeKo06]

Danke für die Empfehlung werde ich mal auf den jetzigen "Server" installieren und testen.

 

[gea]

In dem .ova template ist die neueste napp-it dev integriert um ESXi via soap oder ssh zu steuern, sichere ZFS hot memory oder quiesce snaps laufender VMs anzulegen und bei Bedarf wiederherzustellen. ZFS snaps und ZFS Replikation kann damit als vollwertiges ESXi Backup Verfahren für NFS datastores genutzt werden.

ESX / ESXi - Hilfethread

Habs auch drauf. Meinst du VMKernel-Netzwerkkarten? Hab 3 Stück, sind alle da und fluppen (Management, NFS und iSCSI).

www.hardwareluxx.de

Remote ESXi VM and Snap management via Soap

to automate ESXi management. I included it in napp-it to create safe ZFS snaps of VMs on ZFS/NFS filesystems with embedded ESXi snaps. This allows a ZFS snap rollback/ restore where you can then go back to the ESXi snap with hot memory or coalesce state (freezed VM filesystem ). Without this a...

forums.servethehome.com

 

[asche77]

In dem .ova template ist die neueste napp-it dev integriert

Die braucht langfristig aber eine Lizenz, oder?

 

[gea]

Nein, lediglich wenn man Support oder Pro Extras braucht.
Direktes Update auf .dev Versionen geht mit der free Version nur mit einem kostenlosen evaluation-key. Die 23.dev (=aktuelle 23.06) ist hier aber dabei und kann frei genutzt werden (ohne Pro Features wie z.B. Keyserver für Verschlüssellung oder Clustering etc). Soap (community add-on hier aus dem Forum) und ESXi ssh gehen auch mit der freien Version.

 

[Ceiber3]

Mit dem Steamcache mit Ubuntu musst du mal ausprobieren, ich hatte da einige Perfomance Probleme. Wo ich wieder nen normalen DNS Server eingetragen hatte warn die weg.