Architekturvorschlag ESXi Free Host mit ZFS VM als Storage

[Cluster_]

Hallo,

nachdem ich hier nun bzgl. ZFS als Storage VM einiges an Informationen bekommen habe hoffe ich jetzt auf ehrliche Meinungen und Vorschläge bzgl. meiner angedachten Hardware. (Danke nochmal für die Hilfe)

HW Allgemein:

Case: CS381 mit 750 W Corsair 80+ Platinum – Effizienz-Sweetspot bei knapp unter 50 % Auslastung (daher auch die 750 W)
MB: Supermicro X11SPM-TPF
CPU: Intel Xeon Platinum 8160 (150 W TDP) + Dynatron L13 Liquid Cooling
RAM: 6 x 64 GB LRDIMM ECC 2666 MHz
HBA: „LSI“ 9400-16i (an PCIe 3 x8)
Switch: ZyXEL XGS1210-12 angebunden über 2 10Gb/s SFP+ DAC

Storage am 9400-16i:

HDD: 8 x 8 TB WD Gold SATA an zwei SFF-8643 angebundenen Backplanes (vom CS381)
Cache: 2 x 240 GB Optane 900P an SFF-8639 U2 jeweils an einem HBA Anschluss

Storage an zusätzlicher ASUS Hyper M.2 X16 V2 Card

NVMe: 4 x 2 TB WD RED SN700

Zur Verfügung am MB stehen noch ein NVMe Slot + diverse SATAs

Laufen soll nativ ESXi 7 free. Konzept ist Boot ESXi + Storage VM (wahrscheinlich TrueNAS, oder Nexenta) – Boot über ??? (SuperDOM / MB NVMe Slot – Das weiß ich noch nicht genau)

Der Storage soll dann über (lassen wir es jetzt mal bei TrueNAS) TrueNAS die 8 x 8 TB als einen Pool + 2 Optanes im Mirror als SLOG per NFS an ESXi weiterreichen. Selbiges gilt für die 4 x 2 TB WD RED, hier nur ohne SLOG, da wahrscheinlich ohnehin nicht notwendig. Die beiden Adapter (HBA / ASUS M2) werden per VMDirectPath I/O an die ZFS VM durchgereicht.
Die TrueNAS VM wird knapp 128 GB RAM erhalten und über vSwitch an den ESXi angebunden.

Die nachfolgenden VMs sollen systemseitig auf dem NVMe Pool laufen und speicherseitig auf den Spindeln. (Insofern keine erhöhte I/O Performance notwendig ist für manche VMs) Evtl einfach VMs auch direkt auf den Spindeln (z.B. PowerChute)

Weitere VMs

• Windows Enterprise als Application Server für unliebsame Programme die ich gerne nicht direkt auf meinem System habe
• MailServer (grommunio)
• PowerChute USV Verwaltung
• NextCloud OnlineCloud
• Bitwarden Passwordsafe
• AdGuard DNS Server
• pfSense Router
• Observium Monitoring System
• XPEnology für die Internen SMB Freigaben (hier wird auch der meiste Spindelplatz landen)
  Angenehm da ich mein Datenbackup über HyperBackup auf den Synology C2 ziehen kann.
• VLAN Gateway
• Public Systems VLAN Gateway (entweder wie jetzt eigener ForwardProxy – oder NGinxProxy)
• Ein bis zwei ML Systeme für Übungszwecke

Selbst mit obigen Systemen sollte ich noch einiges an CPU und MEM übrig haben um die nächsten Jahre ohne Probleme nichts neues anschaffen zu müssen.

Nicht sicher bin ich mir jedoch immer noch nicht bzgl.

• Speicherlayout (3 x Raid10 + 2 Spare / 4 x Raid 10 / 2 x Raidz2 / oder …?)
  Ich bin ein etwas gebranntes Kind was den Ausfall von Speicherarrays angeht und gehöre daher eher zur Raid 6 Fraktion. Der Durchsatz bei NFS wird dann allerdings (nehme ich an) nicht wirklich rosig sein. Und hier möchte ich jedoch immer noch rel. guten Durchsatz haben.
• Optanes als SLOG (Der CPU unterstütz selber kein Optane - Das sollte jedoch kein Problem sein wie ich verstanden habe [?] )
• Für die WD RED NVMes hätte ich an Raid 10 gedacht. Die VMs kann ich ja per ESXi cron auf die Spindeln wegsichern
• Bootlaufwerk / Konfiguration für ESXi + ZFS Server

Ein HW Raid möchte ich vermeiden, da mir die Integrität der Daten einfach wichtiger ist.

Ich hoffe hier noch ein wenig Rückmeldung zu bekommen bevor ich anfange zu bestellen. Vor allem aber auch bzgl. des letzten Teils.

Gruß & Dank im Voraus
Thomas

P.S.: Da ist auch viel "warum ? - Weil ich kann und will" dabei. Die Lebenszeit des Systems sollte > 7 Jahre sein.
Grund ist unter anderem das Konsolidieren der alten HW und ein besserer Stromverbrauch als jetzt (und vor allem auch effizienter)

 

[mrpasc]

• XPEnology für die Internen SMB Freigaben (hier wird auch der meiste Spindelplatz landen)
  Angenehm da ich mein Datenbackup über HyperBackup auf den Synology C2 ziehen kann.

Den Sinn verstehe ich nicht. Wenn du dir ein TrueNAS oder Nexenta baust und die HBA, Platten und NVMes dahin durchreichst, warum die SMB Freigaben nicht darüber?

Nicht sicher bin ich mir jedoch immer noch nicht bzgl.

• Optanes als SLOG (Der CPU unterstütz selber kein Optane - Das sollte jedoch kein Problem sein wie ich verstanden habe [?] )

Das ist kein Problem, dass hast du richtig verstanden. Dein Platinum unterstützt keinen Optane NVDIMM "RAM", aber Optane SSD ist Prozessor- unabhängig.

• Für die WD RED NVMes hätte ich an Raid 10 gedacht. Die VMs kann ich ja per ESXi cron auf die Spindeln wegsichern

Die WD RED sind jetzt nicht erste Wahl für ein VM Storage. Kleine sync random IOPs welche der ESXi erzeugt sind nicht deren Spezialität.

P.S.: Da ist auch viel "warum ? - Weil ich kann und will" dabei. Die Lebenszeit des Systems sollte > 7 Jahre sein.
Grund ist unter anderem das Konsolidieren der alten HW und ein besserer Stromverbrauch als jetzt (und vor allem auch effizienter)

Kann ich voll verstehen, auch wenn man ja eigentlich Hardware auf die aktuellen Anforderungen + 3 Jahre optimiert.

Bedenke bitte bezüglich Stromverbrauch: ESXi legt wenig Wert auf Stromsparmechanismen. Der Platinum geht unter Windows und auch Linux bei wenig Last bis iddle schön runter im Verbrauch, mit ESXi zieht der aber ordentlich....

 

[Cluster_]

Den Sinn verstehe ich nicht. Wenn du dir ein TrueNAS oder Nexenta baust und die HBA, Platten und NVMes dahin durchreichst, warum die SMB Freigaben nicht darüber?

Die XPEnology bietet mir eine einfach Möglichkeit vor allem die Backups auf C2 durchzuführen. Außerdem sind ein paar Pakete mit bei deren Administration durch die Oberfläche wirklich gut und schnell zu erledigen ist. Ich könnte aber natürlich die SMB einfach auf der XPEnology mounten - Daran hatte ich noch nicht gedacht. (Viele Bäume, wenig Wald)

Die WD RED sind jetzt nicht erste Wahl für ein VM Storage. Kleine sync random IOPs welche der ESXi erzeugt sind nicht deren Spezialität.

Die RED hatte ich aufgrund der Endurance ausgewählt. Hättest Du möglicherweise eine anderweitige Empfehlung?

Bedenke bitte bezüglich Stromverbrauch: ESXi legt wenig Wert auf Stromsparmechanismen. Der Platinum geht unter Windows und auch Linux bei wenig Last bis iddle schön runter im Verbrauch, mit ESXi zieht der aber ordentlich....

Die Erfahrung konnte ich jetzt bei meinem ESXi mit dem Xeon 1280v2 nicht machen, oder ist das eher CPU abhängig?

Gruß & Dank
Thomas

 

[gea]

Nexenta ist ein kommerzieller Storageserver der nach Kapazität lizensiert wird und einer arg limitierten Community Edition. Wenn man den kommerziellen Support für Hard- und Software nicht braucht ist OmniOS (basiert wie Nexenta auf dem Solaris Fork Illumos) eine mehr als attraktive Alternative. Auch da hat man den gleichen Multithreaded SMB Server wegen dem man gerne bei Solaris bleibt. Meist schneller als SAMBA, viel einfacher (hat nicht ganz soviel Optionen), unterstützt ntfs artige ACL und Windows SMB Gruppen und ZFS Snaps als Windows vorherige Version tut ohne wenn und aber.

AiO mit ESXi propagiere ich seit über 10 Jahren vgl https://napp-it.org/doc/downloads/napp-in-one.pdf

 

[Digi-Quick]

wozu bitte 750 W Netzteil?
sollen da auch GrakAs rein?
Ich betreibe 20 HDDs mit 550 Watt und staggered Spinup über die LSI-HBAs/Controller
bei deiner Grundlast ist dein Platinium Netzteil immer noch ineffizienter als meine 550W Gold....
Bei 8 HDD und 5 NVMEs dürfte selbst 400 Watt ausreichen - mit staggered Spinup

P.S.: mWn reichst du die NVMEs direkt durch, die ASUS Steckkarte ist in dem Sinne kein Controller, den man durchreichen kann. >> theoretisch müsste es folglich möglich sein von einer M2-NVME direkt auf dem Board zu booten

 

[Cluster_]

wozu bitte 750 W Netzteil?
sollen da auch GrakAs rein?
Ich betreibe 20 HDDs mit 550 Watt und staggered Spinup über die LSI-HBAs/Controller
bei deiner Grundlast ist dein Platinium Netzteil immer noch ineffizienter als meine 550W Gold....
Bei 8 HDD und 5 NVMEs dürfte selbst 400 Watt ausreichen - mit staggered Spinup

P.S.: mWn reichst du die NVMEs direkt durch, die ASUS Steckkarte ist in dem Sinne kein Controller, den man durchreichen kann. >> theoretisch müsste es folglich möglich sein von einer M2-NVME direkt auf dem Board zu booten

Hallo,
Nein, keine GraKa.
Das Netzteil habe ich aufgrund der höchsten Effizienz von knapp 93,6 % bei 40 % Load gewählt. Das heißt bei der Stromaufnahme unter Last müsste das Netzteil des Systems am effizientesten sein. Ich rechne mit bis knapp 300 Watt je nach Auslastung für das System. (ohne Spin up) Im Bereich zwischen 30 und 70 % Load ist das NT konstant auf > 93 % Effizienz.

Corsair SF Series 750 W Review

With 750 Watts, the Corsair SF750 is the strongest SFX power supply money can buy today. We saw great performance in almost all tests, and it operates quietly. Thanks to the included SFX-to-ATX adapter, you'll be able to pair it with a standard sized system, too.

www.techpowerup.com

Netter Nebeneffekt ist, dass der Lüfter erst ab 300 Watt überhaupt anfängt zu drehen und selbst dann extrem leise ist.
Außerdem können sich die sonstigen Parameter für ein SFX Netzteil wirklich sehen lassen. (SFX weil im CS381 case)

Gruß
Thomas

Beitrag automatisch zusammengeführt: 02.06.2022

Nexenta ist ein kommerzieller Storageserver der nach Kapazität lizensiert wird und einer arg limitierten Community Edition. Wenn man den kommerziellen Support für Hard- und Software nicht braucht ist OmniOS (basiert wie Nexenta auf dem Solaris Fork Illumos) eine mehr als attraktive Alternative. Auch da hat man den gleichen Multithreaded SMB Server wegen dem man gerne bei Solaris bleibt. Meist schneller als SAMBA, viel einfacher (hat nicht ganz soviel Optionen), unterstützt ntfs artige ACL und Windows SMB Gruppen und ZFS Snaps als Windows vorherige Version tut ohne wenn und aber.

AiO mit ESXi propagiere ich seit über 10 Jahren vgl https://napp-it.org/doc/downloads/napp-in-one.pdf

Vielen Dank
Das werde ich mir mal heute noch zu Gemüte führen.

 

[Cluster_]

Hallo,

eine Frage noch. Ich stehe momentan vor dem Problem, den CPU und den Speicher auszuwählen.
Optionen:
- Xeon Platinum 8160 (Skylake) + 6 * 64 GB LRDIMM
- Xeon Gold 6240r (2nd gen) (Cascade Lake) + 6 * 64 GB RDIMM

Aufpreis Gold-Option knapp 1000,-. Dafür würde ich jedoch die Option auf RDIMM statt LRDIMM vom MB bekommen, der Takt wäre 2933 statt 2666 MHz und die Optane Unterstützung wäre mit dabei. Ich hadere gerade ob der Gold die auf Dauer stimmigere Lösung wäre.

Den Platinum würde ich mit 1 Jahr Gewährleistung gebraucht bekommen und den Gold neu mit dementsprechender Gewähr + Garantie.

Gruß & Dank
Thomas

 

[Digi-Quick]

Punkt 1 : LRDIMM ist sparsamer als RDIMM
Punkt 2: RDIMM vermutlich besser gebraucht zu bekommen
Punkt 3: der maximale Speicherausbau ist i.d.R. mit LRDIMM höher
Punkt 4: der Xeon Platinum 8160 (Skylake) schränkt dich grundsätzlich nicht auf LRDIMM ein, wobei hier offenbar nur max. 32GB Module bei RDIMM möglich zu sein scheinen...

Punkt 5: der Speichertakt hat hier wohl die geringste Auswirkung auf die Systemleistung, die Latenzen sind bei den höher getakteten Modulen meist 2-3 Takte schlechter.
Punkt 6: LRDIMM hat i.d.R. höhere Latenzen als RDIMM

Entscheidender ist die Frage, ob die neuere Gold CPU ggü. der älteren Platinum eine 1000 € entsprechende Mehrleistung bietet und diese benötigt wird....

P.S. was soll der Schwachfug mit 2 NAS Distributionen? (Xpenology und FreeNAs o.ä.?)

P.P.S: wozu brauchst du 384 GB RAM?

 

[Cluster_]

Hallo ,
Die zwei NASen wenn man so will sind FreeNAS(o.ä.) -> Storage ESXi
Die XPenology der Einfachheit halber für Nutzerdaten (und ein paar Pakete die ich gerne nutze) . Auch das deduplizierte und verschlüsselte Backup auf das Synology C2 durch den integrierten HyperBackup Client werde ich nutzen. Rein für Nutzerdaten.

Mir ist schon klar das ich das im Prinzip auch selber auf dem FreeNAS o.ä. machen kann. Aber das ist jetzt erstmal die Idee. Wie die finale Lösung bezüglich der Nutzerdaten aussieht muss ich auch erst mal evaluieren.

Bzgl des Mehrwerts für 1000€ - Das ist genau das Problem. Ich habe keine wirklichen Vergleiche gefunden diesbezüglich und daher immer die Hoffnung das hier jemand evtl. Erfahrungen hat die er/sie teilen kann.

Bzgl RAM -> Hatte ich mit 96 - 128 GB RAM nur für FreeNAS gerechnet, der Rest dann für die VMs .
Ob es jetzt 6*64 oder 6*32 GB RAM sein müssen ist schon eine berechtigte Frage, allerdings ist der Aufpreis den ich für die 64er Riegel zahle auch unter Faktor 2, eher 1.5

Gruß
Thomas

 

[Digi-Quick]

Die 128 GB Ram für die Storage-VM bringen dir aber nur wirklich Vorteile, wenn da wirklich wiederholt immer die gleichen Daten gelesen werden, ansonsten sind 32 GB meistens ausreichend.
Die VMs sollen ja eh auf den SSD Pool - vermute ich mal.

Zu den CPUs:
Ich vermute mal, daß beide sich die Eier schaukeln, bei den VMs die darauf laufen sollen...
ein höher getakteter 12/16 Kerner (z.B. Ryzen 5900X / 5950X) dürfte a) erheblich kostengünstiger und b) nahezu genauso schnell sein

Intel Xeon Platinum 8160 Benchmark

Passmark 26485/1984

AMD Ryzen 9 5900X Benchmark

Passmark 39442/3494

AMD Ryzen 9 5950X Benchmark

Passmark 46191/3497

Insgesamt würde das sicherlich ein lekkeres System werden aber mMn völlig überdimensioniert.

zu den Optanes:
ZFS kann kein Caching so wie du dir das vorstellst.
L2ARC und/oder SLOG sind was ganz anderes!

 

[Cluster_]

Hallo,

Zu den CPUs:
Ich vermute mal, daß beide sich die Eier schaukeln, bei den VMs die darauf laufen sollen...
ein höher getakteter 12/16 Kerner (z.B. Ryzen 5900X / 5950X) dürfte a) erheblich kostengünstiger und b) nahezu genauso schnell sein

AMD und ESXi ist immer ein gewisses Glücksspiel . Außerdem möchte ich eben bewusst keine consumer CPU verwenden, abgesehen von den TDPs der AMDs.
Aber ja, Du hast natürlich recht. Ich werde diese CPUs definitiv nicht auslasten , zumindest nicht immer - ab und an ein ML oder FEM Projekt wäre schon gut. Im Idealfall beides (aktuelles Projekt) wäre schon gut.

zu den Optanes:
ZFS kann kein Caching so wie du dir das vorstellst.
L2ARC und/oder SLOG sind was ganz anderes!

Mittlerweile ist mir das auch klar, nur die Ausdrucksweise ist irgendwie noch nicht up to date
Frage:
- Kann ich auch (also können kann ich, das weiß ich - Nur macht es Sinn) die Optane in Partitionen unterteilen und nvme0p0 + mirror nvme1p0 = SLOG und jeweils p1 als Datapool verwenden - Gibt es hier evtl. Erfahrungswerte bzgl Performance
Hintergrund ist die 280 GB Größe der 900P. Hier wäre es schön (auch zweck wear leveling) einen Teil der Optanes als mirrored SLOG und den übrigen als Datapool zu nutzen. Hier würden sich diverse Prozesse sicher freuen (FEM meshing / DB / etc..)

Gruß & Dank
Thomas

 

[gea]

Optane NVMe hat keine Probleme wie konventionelle NVMe. Alle Zellen können direkt angesprochen werden und nicht in großen Pages wie klassisches Flash. Trim wird nicht benötigt. Auch sind die sehr langlebig, insbesondere die Datacenter Versionen.

Optane als Slog für einen Plattenpool (auch partitioniert mit ca 20GB) ist perfekt wenn man da sync write möchte. Bei einem guten NVMe Pool bringt ein Optane Slog kaum noch etwas, bei einem guten SSD Pool etwas. Wenn man einen langsameren Pool hat und nur relativ wenig Daten (sync sicher) maximal schnell braucht, so könnte man aus Optane auch einen special vdev Mirror machen und einzelne Dateisysteme per recsize darauf zwingen und da einfach sync aktivieren. Bringt 100% Optane Performance für diese Dateisysteme.

Mit Epyc unter ESXi habe ich gute Erfahrung gemacht, https://napp-it.org/doc/downloads/epyc_performance.pdf

 

[Trambahner]

AMD und ESXI ist heute wahrlich kein Glücksspiel mehr, egal ob Ryzen (Pro), Threadripper oder Epyc. . Zu Zeiten von Ryzen Zen1 war das noch anders, weil Vmware in ESXI Anpassungen erst vornahm.
Sofern man nicht unbedingt den Sata-Controller oder die iGPU einer APU per Passthrough durchreichen will, ist das mit dem richtigen Board und NIC kein Hexenwerk.

Bislang lief jeder meiner AMD-Builds mit ESXI und Proxmox und ECC-Ram. Der Xeon 1240v5 auf seinem Supermicro X11SSH-CTF hat performancetechnisch hinter dem 5600X auf X570D4U hergeschaut wie der Koyote dem Roadrunner. Und mittlerweile werkelt ein 5950X (inkl. PBO) drauf. Mit ESXI 7.01, mehreren Passthrough-Geräten (NVMe-SSDs und HBA). Und das bei einer sehr netten Idle-Leistungsaufnahme.

 

[Digi-Quick]

Frage:
- Kann ich auch (also können kann ich, das weiß ich - Nur macht es Sinn) die Optane in Partitionen unterteilen und nvme0p0 + mirror nvme1p0 = SLOG und jeweils p1 als Datapool verwenden - Gibt es hier evtl. Erfahrungswerte bzgl Performance
Hintergrund ist die 280 GB Größe der 900P. Hier wäre es schön (auch zweck wear leveling) einen Teil der Optanes als mirrored SLOG und den übrigen als Datapool zu nutzen. Hier würden sich diverse Prozesse sicher freuen (FEM meshing / DB / etc..)

Gruß & Dank
Thomas

Die Optanes hängen am LSI und dieser wird komplett an die Storage-VM durchgereicht.
Da ZFS "eigentlich" nur komplette Disks (ohne Partitionierung) nutzt ist die kurze Antwort Nein.
(FreeNAS partitioniert nun aber doch jede HDD für SWAP und ZFS, so wie ich es verstehe bleibt die Antwort aber trotzdem bei Nein : https://plone.lucidsolutions.co.nz/storage/network/freenas/how-freenas-paritions-zfs-disks)

Theorie:
ZFS VDEVs können auch aus Dateien bestehen, ob das aber ein praxistauglicher Umweg wäre wage ich auch bei Optanes zu bezweifeln.

Tatsächlich wäre es mMn da eher sinnvoll die Optanes an die ASUS Hyper M.2 X16 V2 anzubinden, weil die würden dann unter ESXI verwaltet. Dann kann man da unter ESXI virtuelle Disks darauf anlegen und diese dann an ZFS durchreichen - verliert dabei natürlich 2 M2 Ports.

 

[Cluster_]

Hallo

Da ZFS "eigentlich" nur komplette Disks (ohne Partitionierung) nutzt ist die kurze Antwort Nein.

Ich hätte da an manuelles (x/y = Optane drive dev)

gpart create -s gpt x
gpart create -s gpt y

gpart add -i 1 -t freebst-zfs -s 30g x
gpart add -i 2 -t freebst-zfs x
gpart add -i 1 -t freebst-zfs -s 30g y
gpart add -i 2 -t freebst-zfs y

glabel status | grep x
glabel status | grep y

zpool add HDDSTORAGE log mirror gptid/%Optane20G1_glabel% gptid/%Optane20G2_glabel%
zpool create OPTANESTORAGE mirror gptid/%OptaneRESTG1_glabel% gptid/%OptaneRESTG2_glabel%

gedacht.
Das sollte doch so eigentlich funktionieren. Zwar nicht über etwaige Oberflächen, aber immerhin.

Gruß & Dank
Thomas

 

[Trambahner]

Wird mit GPT-Partitionen funktionieren, das ist kein Problem.
Hatte ich mal selber so gemacht mit ner 900P, die als Slog, L2Arc und Restpartition für Daten gedient hatte.

Auch meine Vdev-Devices leg ich nach wie vor grundästzlich als Partitionen an. Alte Gewohnheit seit der Zeit, als man 4k-Alignment von Hand sicherstellen musste bzw. um für Overprovisioning bei SSDs Platz zu lassem.

 

[Digi-Quick]

Dann braucht man den Umweg über Dateien nicht und der "FreeNAS Ansatz" funktioniert auch mit mehreren Partitionen.
Cool!

Ich gehe mal davon aus, daß es Performancetechnisch keinen großen Unterschied macht, wenn die Optanes nur mit 2 PCIe Lanes über den LSI angebunden sind ggü. 4 Lanes.

 

[Cluster_]

Hallo,

Ich gehe mal davon aus, daß es Performancetechnisch keinen großen Unterschied macht, wenn die Optanes nur mit 2 PCIe Lanes über den LSI angebunden sind ggü. 4 Lanes.

wenn ich dieses U.2 enabler Kabel (btw. 100 € !) richtig interpretiere, sollte er sowieso 4 lanes nutzen

Allerdings halt x4 für beide

Zur Not noch tiefer in die Tasche greifen und den 9405-16i Tri-Mode HBA

Ha, aber danke für den Einwand - Das spart Geld. Dann braucht ich nur noch einen -8i HBA und eine PCIe x8 auf M.2 Karte die eh fast nix kostet.


Gruß
Thomas

 

[Cluster_]

Hallo,
so langsam trudeln die Bestellungen ein. Ich bin mal echt auf das Teil gespannt

<Dynatron L13>

Und der HBA wird jetzt ein OEM Fujitsu C400i zurück auf original Avago 9300-8i crossgeflashed. (Funktioniert erwiesenermaßen, und für einen 9300-8i für 130,- ist echt in Ordnung)

Gruß
Thomas

 

[Daimonion1980]

Hi, bin gespannt wie es weiter geht.