Storage und VMs, zwei getrennte Server?

[Knogle]

Hallo Freunde ich grüße euch.
Ich habe aktuell ein Desaster hinter mir mit meinem EPYC System, und daher möchte ich wieder was neues.
Zu der Vorgeschichte, die letzten 2 Jahre hatte ich ein System mti ASRock Rack X470D4U, und Ryzen 1700 und 4x 32GB Patriot ECC RAM.
Dort hatte ich einen LSI SAS Raid Controller durchgereicht an meine FreeNAS VM, und habe 64GB Der FreeNAS VM zugewiesen.
Auf den anderen VMs liefen Webseite, OpenVPN, und vorallem Minecraft Server (Vorallem viel Performance pro Kern notwendig).
Das System war im Durchschnitt auf 65% Auslastung (Wo liegt so das Effizienz Optimum?).

Dann habe ich mir gedacht, nö, kaufste dir ein EPYC System, mal was richtiges.
Daher habe ich mir für 500 einen EPYC 7551P gekauft + Supermicro H11 Board, und 256GB REG ECC RAM. Das Board hat leider Probleme gemacht bei NVMe Platten, welche zu einem PCIe Lockup im System führten.
Darauf habe ich mir dann ein ASRock Rack EPYC8DT gekauft, welches am Anfang stress gemacht hat, und ich den BMC neu flashen musste nachdem das Ereignisslog wegen PCIe #SERR Fehlern übergelaufen war.
Nun denn, das System lief ganz gut, ab und zu PCIe Fehler welche meine RAIDs mal zerfressen haben. Leider habe ich ein paar Probleme mit der Pro-Kern Performance gehabt, vorallem bei Minecraft Servern ziemlich massiv. (CPU Taktet nur auf 2GHz). Die CPU Auslastung lag im Schnitt bei 15%, ich denke da liegt wohl zuviel Leistung brach.
Nun hat es das Board leider zerlegt.

Daher habe ich eventuell darüber nachgedacht folgendes Konzept zu fahren.
Variante 1:
Ich habe vor 1 ASRock Rack X470D4U zu kaufen, und für Storage zu verwenden, da ich einen Ryzen 2600X geschenkt bekommen habe, und den dafür einsetzen würde, und dann noch 32GB DDR4 ECC RAM draufmachen würden (Speziell ECC, da ZFS).
Ich kaufe mir ein 2. ASRock Rack X470D4U, verwende das für die virtuellen Maschinen und setze 128GB DDR4 (Non-ECC!) RAM drauf, welcher deutlich bezahlbarer ist, und der Storage in System 1 die einzig kritische Ressource ist.

Oder

Variante 2:

Ich baue mir wieder ein System auf wie ich es zu Beginn hatte, mit einem ASRock X470D4U, kaufe 128GB DDR4 ECC RAM, und hole mir eine etwas leistungsstärkere CPU, z.B einen Ryzen 5800X, und betreibe VMs + Storage auf dem gleichen System.

Welche Variante würdet ihr bevorzugen? Oder habt ihr eventuell ganz andere Ratschläge?

 

[fdiskc2000]

Also Ich habe beides in einem System. Einfach weil 2 Systeme eben auch doppelt Strom verbrauchen. Und für den Betrieb müssen wir beide quasi laufen, damit auch der Storage vorhanden ist. Bei mir ist es ein 3900 X komm mal Ich denke mal der reicht für Storage und VM mehr als aus

 

[besterino]

Habe notgedrungen aktuell zwei Systeme im Dauerbetrieb, weil mein Mainserver mit seinem xeon 4108 Silver (8/16 und nur 1,8GHz) für meine Gameserver gleichzeitig zu Storage & Co. zu schwach ist.

Den Xeon haben diverse Minecraft-, Conan Exiles- und vor allem ARK Survival-Instanzen in die Knie gezwungen.

Jetzt schiele ich aber durchaus darauf, den Kram irgendwann doch mal wieder auf einer Box zu konsolidieren… angedacht ist konkret, den TR3960X aus meinem aktuellen Desktop dafür zu nehmen. Ein TRX40D8 liegt schon hier…

Dafür brauch ich aber vor allem mal ZEIT: vor allem um sicher zu sein, dass Board und CPU mit ESXi & Peripherie auch wirklich 24/7 zuverlässig laufen, bevor ich den Xeon tatsächlich in den Ruhestand schicke.

 

[p4n0]

Kann zwar nicht direkt beitragen, wollte aber mein Mitleid aeußern. Soviel Pech wie du kann man wohl mit SM nicht haben

 

[konfetti]

Ich hatte früher getrennte Storage und VM-Systeme
Vorteil: Storage war zentral nur dafür da, reicht ggf. ne kleinere CPU/RAM - Flaschenhals ggf. das Netzwerk/Anbindung/Disks
VMserver hatte ich auch nicht einen großen, sondern mehrere kleine, die ich bei Bedarf eingeschaltet hab, oder eben nicht - Da war nur RAM, CPU und 1 USB-Stick drin, Plattenplatz für die VMs gabs vom Storage.

Nachteil - viele Systeme / Kabel / Verbrauch / Platz
-
Aktuell nutze ich ein AiO, sprich einen Host mit entsprechend CPU/RAM und Controller, der an die Storage-VM durchgereicht ist. - Der Host selber hat aber auch Speicher, nativ für diverse VMs - so kann auch die Storage-VM idlen - Umbau is halt nicht immer gleich möglich, weil auch die Firewall als VM darauf läuft - in Summe ist das aktuell aber sparsamer.

Beim Systemupgrade auf aktuellere Hardware werde ich aber vorerst beim AiO bleiben.
Das Multi-System mit dediziertem Storage und 3 VM-Testservern hab ich nur noch zum ausprobieren für Spielereien 1x im Quartal...

 

[underclocker2k4]

Man nimmt einfach nen VMware vSAN, der kann auch Fileshares nebenbei.

 

[Morpheuz]

Net jeder will aber 200 Geldstücke dafür im Jahr abdrücken, noch ist das nebenbei des einfachste Konstrukt.

 

[konfetti]

Die Frage ist halt, was die Zielsetzung ist, danach würde ich eben gehn.
Wenn der Fileserver nicht als direkter Storage für VMs mit den ZFS-Features wie Snapmirroring genutzt werden soll, sondern rein als "dummes" Datengrab, dann kann man sich natürlich überlegen, ob man sich nicht eher ein NAS hinstellt und 1-2 lokale SSDs in den VM-Host...
Solange es nur 1 Host ist, braucht es auch kein Netzwerkspeicher im eigentlichen Sinn - der macht ja erst Spaß/Sinn, wenn ich mehrere Hosts mit Daten versorgen will... (Henne-Ei)

 

[Supaman]

Mal so als gedankliche Anregung: man kann die Anforderungen oft deutlich entzerren, wenn man den Datenbestand aufteilt in Online und Offline. Oft ist es so, das der überwiegende Teil der Daten für das Offline Datengrab anfällt, das nur bei bedarf eingeschaltet wird. Je weniger Daten man permanent vorhalten muss, desto einfach ist der Server umzusetzen.

 

[p4n0]

Will man sich wirklich damit rumschlagen jedes mal ne Dose hochzufahren weil man grad Lust hat das Urlaubsarchiv zu durchforsten?

 

[MisterY]

Ich habe Fotos und sowas auf meinem Main-Server. Nur große Mediendateien und weitere Dinge, die ich nicht oft brauche, sind auf dem Fileserver.