[Kaufberatung] AiO Kaufberatung

[kettil]

Hallo,

da meine beiden Server (FreeNas und Proxmox) langsam in die Jahre kommen, wollte ich beide durch ein AiO Server ersetzen. Da viele von der Kombi esxi + napp-it schwärmen, möchte ich mich an diese Kombi wagen. Deshalb brauche ich eure Hilfe/Beratung...

Durch lesen verschiedener Beiträge habe ich folgende Konfig zusammengestellt:

• 1x ASRock Rack X570D4U-2L2T
• 1x AMD Ryzen 5 3600, 6C/12T, 3.60-4.20GHz, boxed (100-100000031BOX)
• 2x Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/32ME)
• 1x be quiet! Pure Power 11 CM 400W ATX 2.4 (BN296)
• 2x Samsung SSD 870 EVO 250GB, SATA (MZ-77E250B)
• 2x Samsung SSD 970 EVO Plus 1TB, M.2 (MZ-V7S1T0BW) oder
  2x Patriot Viper VPN100 1TB, M.2 (VPN100-1TBM28H)
• 1x Fractal Design Define R6 Black, schallgedämmt (FD-CA-DEF-R6-BK) oder
  1x Fractal Design Define R5 Black, schallgedämmt (FD-CA-DEF-R5-BK)
• 1x Sata/SAS-Karte: LSI 3008 IT mode (über Ebay)

Auf den beiden Sata SSDs wollte ich ESXi und napp-it installieren.

Die M2-SSD wollte ich gespiegelt für die VMs benutzen. Ich habe gelesen, dass man dafür nicht jede M2-SSD nehmen sollte, daher meine Frage, welche von den beiden würdet ihr empfehlen (oder sind beide ungeeignet)? Oder machen M2-VM-Storage im privaten Bereich keinen Sinn?

Ich habe hier noch 2x 3TB Platten, die ich ebenfalls gespiegelt als VM Storage benutzen möchte.

Welche M2-PCIe-SSD könnt ihr als L2ARC empfehlen?

Später möchte ich noch 3 Platten (raidz) für Daten dazu kaufen. Dafür habe ich folgende Platten im Sinn:

3x Toshiba Enterprise Capacity MG07ACA 14TB, 512e, SATA 6Gb/s (MG07ACA14TE) oder
3x Seagate Exos X X16 16TB, 512e/4Kn, SATA 6Gb/s (ST16000NM001G) oder
3x Seagate Exos X X16 14TB, 512e/4Kn, SATA 6Gb/s (ST14000NM001G)

Mit dieser Hardware Konfig sollte ESXi 7 mit ECC RAM laufen oder?

Vielen Dank im voraus

 

[sch4kal]

Nimm bitte keine Consumer SSDs für einen Server, das rächt sich in sehr kurzer Zeit.
Außerdem reicht es, wenn du ESXi auf microSD oä. installierst, das läuft nachher ohnehin komplett im RAM.
Die napp-it VM kannst du dann auf das L2ARC Device schieben, dazu würde ich nur Intel Optane in Betracht ziehen.
Die kannst du dann in ESXi "partitionieren", für die napp-it VM sollten 20 GB genügen, evtl. sogar nur 10 GB.
L2ARC bringt übrigens viel weniger als immer angenommen, ZIL auf die Optane SSD auslagern hilft bei dem drehenden Pool sehr viel mehr (meine Erfahrung).
Die Seagate Exos / Toshiba Enterprise HDDs dürften klar gehen.

Also:
- Streiche 870/970 Evo und nimm anständige Enterprise SSD
- Verabschiede dich von L2ARC, nimm lieber mehr RAM oder eine andere Plattform (Epyc mit günstigem Naples bietet sich da an, die bekommt man gebraucht hinterhergeworfen, da sparst dir dann auch den HBA, da du die SATA-Ports von Epyc durchreichen kannst).
- Für ZIL und die napp-it VM kannst eine Intel Optane nehmen, für ZIL würde ich sogar gar nichts Anderes nehmen.

 

[asche77]

Es reicht dann übrigens 1 SSD/USB Stick für ESXi, braucht man nicht spiegeln. Auch die OmniOS (napp-it) VM braucht keinen mirror (sondern lieber regelmäßige Backups). Beides kannst du dann schnell neu einspielen, falls doch wider Erwarten die Boot SSD schlapp macht.

Ausnahme: keine downtime zulässig. Auch dann aber vielleicht für Frage, ob dann ein zweiter Server als HA nicht sinnvoller wäre (denn es kann ja viel mehr ausfallen als nur die SSD).

Schließlich: man könnte ggfs auf ZIL erstmal verzichten und "nur" mit NVME Disks als VM Pool arbeiten, vielleicht reicht die Performance ja ohnehin.

Keinen HDD Pool (mit einem vdev) für VMs.

 

[kettil]

Vielen Dank erstmal für die Anregung und Tipps.

Zu der SSD 870 EVO, auf die eine wollte ich den ESXi installieren und auf die andere napp-it.
Ich wollte am Anfang mit 64GB anfangen und später auf 128GB aufrüsten. Über den Punkt L2ARC und ZIL muss ich nochmal nachdenken...


@sch4kal
Fällt die Patriot Viper VPN100 für dich unter Enterprise SSD? Ist natürlich auch eine Frage des Preises und wenn es zu teuer ist und "consumer" SSD/M2 nicht empfehlenswert sind, dann würde ich zu normalen Platten greifen.

Kennst du ein Mainboard mit Epyc was ähnliche specification hat? Wie ist der Stromverbrauch mit einem Epyc?

@asche77
Es wird ein Homeserver, also downtime sind möglich

Was meinst du mit dieser Aussage?

Keinen HDD Pool (mit einem vdev) für VMs.

 

[asche77]

1 vdev HDD = ca 100 IOPs. Das gibt ziemlichen Stau, wenn Du da VM darauf laufen lässt. Gebrauchte Enterprise SSD (SATA) gibt es immer wieder zu kaufen; besser davon zwei und dann immer die alten ZFS snapshots/backups auf HDD schieben, dann solltest Du mit dem Platz auskommen.

Es genügt übrigens 1 SSD für esxi und napp-it zusammen. Da würde ich sogar sagen eine normale consumer SSD genügt; esxi schreibt wenig auf Platte (Logs, uU aber auch Swap) und OmniOS ebenso.

Aber eine Intel s3700 mit 100-200GB kostet gebraucht auch nur ca 20€ und wäre besser als Samsung consumer SSD.

 

[Supaman]

Nimm bitte keine Consumer SSDs für einen Server, das rächt sich in sehr kurzer Zeit.

Es kommt immer drauf an, was man macht und welche Ansprüche es gibt. Wenn man einen Stapel VMs laufen lässt, die nicht viel Last erzeugen, sondern primär einfach nur verfügbar sind, spricht auch nichts gegen preiswerte SSDs. Ein Kompromiss sind Consumer SSDs mit Power-Loss Protection im Raid-1.

Außerdem reicht es, wenn du ESXi auf microSD oä. installierst, das läuft nachher ohnehin komplett im RAM.

Ja funktioniert, hat aber den Nachteil das man die Konfig neu aufsetzen muss wenn sich der USB Stick/MicroSD zerlegt, was gar nicht so selten ist. Bei den heutigen Preisen für 250er SSDs würde ich 2x 250 als Raid-1 nehmen, kostet unwesentlich mehr, dafür ist man auf der sicheren Seite.

1x be quiet! Pure Power 11 CM 400W ATX 2.4 (BN296)
1x Fractal Design Define R6 Black, schallgedämmt (FD-CA-DEF-R6-BK) oder
1x Fractal Design Define R5 Black, schallgedämmt (FD-CA-DEF-R5-BK)
Ich habe hier noch 2x 3TB Platten, die ich ebenfalls gespiegelt als VM Storage benutzen möchte.

Ich vermute mal mal, das Du des gerne Stromsparend und leise haben möchtest. Da gibt es Potential:
- großen Klotz CPU Kühler
- passives NT oder sogar externes Laptop NT + picoPSU
- anstelle mehrer kleiner 1x große 3,5" Platte
- oder 2x 5TB 2,5" Platte verwenden

Je weniger Lärm das System macht, desto weniger musst Du dämmen. Wärmeabfuhr brauchst Du trotzdem, aber das kann man über entprechende Lüfter (beQuiet Silent Wings/Noctua etc) sehr fein Regeln.

Und nicht vergessen, ein internes bzw direkt angeschlossenes Backup einzurichten. Weil: intern/direkt geht immer

 

[Trambahner]

L2Arc aus meiner Sicht erst, wenn Ram maximal ausgebaut ist. Das bringt wesentlich mehr, denn der L2Arc braucht selber Ram zur Verwaltung und ist auch nur nützlich bei Lesezugriffen und nicht-sequentiellen Dingen.
Für Medienstreaming im Heimnetz bringt er z.B. fast nix. Ram dagegen dient auch als Schreibcache.
Bzgl. Ram: Achtung bei Vollbestückung mit Dualrank-Modulen. Das drückt auf 2933. Kein Problem, aber muss man drauf achten. Vollbestückung mit den Ryzens ist ja nicht immer so einfach.

Virtualdisks mit OS und Anwendersoftware von aktiv genutzten VMs definitiv nur auf SSD-Pools packen, nicht auf HDD. Grund: Performance/Response der VMs.
Muss nicht NVME sein, kommt auf die Last drauf an. Meine liegen auf nem SSD-Pool aus 6 Sata-Datacenter-SSDs (3x Mirrorpärchen, alles Samsung SM863/SM883). Welche SSDs, hängt immer vom notwendigen I/O-Verhalten der VMs ab. Datenbanken brauchen was anderes einfache als Office-Desktops.

Beim ZIL/Slog bedenken: Das ist kein allg. Schreibcache, sondern beschleunigt nur Sync-Writes durch Absicherung dieser Writes auf das Slog-Device, bis sie auf dem endgültigen Platz commited sind. Asynchrone Writes, wie sie bei Fileshares die Regel sind, gehen da eh nicht drüber. D.h. mit Slog-Device können Syncwrites dadurch maximal auf knapp unterhalb von Async-Writes beschleunigt werden.
=> Dann interessant, wenn z.B. ein ZPool per NFS in ESXI als Storage eingebunden ist und VMs drauf liegen. NFS sind sync-writes in ESXI. Man kann natürlich im Dataset einfach sync komplett deaktivieren und alles asynchron dadurch erzwingen. Ob man das will: hmm, ist ne andere Frage. Im Homelab: maybe.

Eine Patriot Viper VPN100 ist Consumer-grade; da besteht nicht der geringste Zweifel.

Bei den HDD: Hands off von Laufwerken mit SMR-Aufzeichnung und Raid/ZFS. Das kann zu sehr unschönen Verhalten führen. 2,5" sind mittlerweile oft SMR, oberhalb 1TB glaub ich immer.

Kühler: NH-D15/NH-D15S oder ähnliches, yup. Der lächelt über den 6kerner und darf dann annähernd immer auf Minimum drehen und würde auch mit einem potentiellen CPU-Upgrade noch sehr gut zurecht kommen.

Das X570D4 (-U2L2T) hat keinen Chipsatzkühler, dat Ding kann heiss werden und braucht Luftstrom. Am besten kleinen leisen 40er/60er Noctua vor Chipsatz (und in Richtung M.2-Slots wenn genutzt) pusten lassen. Hört man nicht, hält die Temps ok.
Auch die 10Gbit Lan-Chips des 2L2T brauchen einen gewissen Luftstrom, das bitte beim Airflow-Konzept beachten.

CPU: Wenns nicht auf den letzten Euro ankommt, lieber den 5600X. Die 3000er sind gut, aber die 5000er sind pro Takt bis zu 15-20% schneller. Und daheim hat man es oft mit Anwendungen zu tun, die eher von Singlethread-Leistung profitieren. Bei 5000ern aufs Bios achten, mein Board kam mit 1.25, das musste ich erst per IPMI upgraden damit der 5000er lief. War aber kein Problem, geht ja dank IPMI ohne CPU.

Btw, der "Trambahner" nutzt ein X570D4U-2L2T mit 5600X. Mit ESXI und ZFS-VM (allerdings Xigmanas, also FreeBSD).