Proxmox High Performance Server Einschätzung

[Hipiman]

Hallo zusammen,

Ich plane gerade meinen neuen Server.
Aktuell arbeite ich mit einem Raid Controller (RAM+BBU) und Hyper-V.

Das neue System soll ZFS verwenden und mit Open Source betrieben werden.

Darum soll der neue Hypervisor Proxmox VE sein.
Mit Proxmox habe ich nur Tests gemacht und noch nicht produktiv im Einsatz gehabt.

Darum wäre meine Frage, ob meine Konfig so Sinn macht.


Server Hardware:

SERVER: DELL PowerEdge R540
CPU: 2x Intel Xeon Silver 4210 (20Kerne/40Threads)
RAM: 256GB DDR4 RegECC
SSDs: 4x Intel 480GB SATA Enterprise SSDs mit PLP und 2x Kioxia SAS12 SSDs mit 960GB
U.2 SSD: PCIE Adapter 2x WD DC SN640 3200GB 2DWPD
HDD: 2x HGST 18TB SATA oder 4x HGST 14TB SATA
HBA: DELL PERC H330 IT Mode

Das Netzwerk wird mit LACPs 1Gbit/s gebaut.

LACP NIC 1-2 (OS MGMT)
LACP NIC 3-6 (VM)
(VLANS und die Firewall ist mit 10Gbit/s angebunden)

Geplanter Aufbau:

Variante1:

Variante 2

Variante 3

Auf dem OS POOL soll nur der Hypervisor installiert werden und ISOs abgelegt werden.
Damit ein Change des Systems nicht unnötig erschwert wird.

VM:

VM 1-4: Windows VMs
VM 5-8: Ubuntu Server VMs
VM9-12: Test VMs

Ein Rebuild dauert bei den 18TB Platte bestimmt 48Stunden :S.

Backup Server ist auch schon in Planung mit 8x 4TB RAIDZ2 + 2x 250GB SSD Boot OS.

Das System muss nicht Business Critical aufgebaut sein aber meine eigenen Ansprüche sind hoch.
Zusätzlich ist das System Oversized
Betriebsart: 95% Privat / 5% Business

USV ist natürlich auch vorhanden.

Ziel High Performance Nextcloud Instanzen und zentrale Home Dienste.

Performance über LAN wird nur fürs Backup benötigt.

ZFS POOLs würde ich gerne Verschlüsselt haben (Backup und Hypervisor)


Danke vorab für eure Einschätzung.

 

[Supaman]

Mit Proxmox habe ich nur Tests gemacht und noch nicht produktiv im Einsatz gehabt.

Kommt auf Deine Ansprüche in Bezug auf "Gewährleistung der Betriebsyssicherheit" an.
Wenn das Ding laufen muss/nur sehr kurze oder keine Ausfälle haben darf,
hast Du das "Restrisiko" das Du es unter Umständen bei Problemen nicht so schnell
wieder ans laufen bekomst, wie es sein müsste, weil:

Für Produktivsysteme sollte man nur das Einsetzen das man gut kennt,
inkl. der Vorgehensweisen für Desaster-Recovery.

Darum wäre meine Frage, ob meine Konfig so Sinn macht.

Wenn Du in der Größenordnung "angreifst", könnte man auch einen 3-Node Proxmox Cluster in betracht ziehen,
setzt aber wie oben entprechende Kenntnisse voraus.

 

[b99]

warum so eine Menge Speicher für das Betriebssystem? da würde auch 1/10 ausreichen

 

[Hipiman]

warum so eine Menge Speicher für das Betriebssystem? da würde auch 1/10 ausreichen

Das liegt primär daran, dass zwei Intel DC S3510 mit 480GB zur Verfügung stehen.
Zwei neue 240GB PLP gesicherte SSDs extra zum Booten zu kaufen, wäre für mich aktuell Unsinn.

OS: 1x DWPD
VM SATA: 3x DWPD
VM SAS: 3x DWPD
U.2 NVME: 2x DWPD
Zusätzlich schreibt Proxmox relativ viele Logs auf den OS Platten und das System soll auch erstmal 5 Jahre laufen.

Ich überlege aber eine Dell BOSS Karte mit 2x 240GB M.2 SATA zu kaufen.
Diese laufen dann als Hardware RAID 1 (ohne ZFS)
Dann wäre auch 2x 3,5 Slots frei.



Erfahrungen:
Also ich habe jetzt mal einen HDD/SSD Ausfall simuliert und über die Shell repariert.
Hat ohne Probleme funktioniert.
Ich werde erst mal einiges testen, bevor ich meine Systeme austausche.

Clusterbetrieb ist aktuell nicht gewünscht, weil der idle Stromverbrauch um einiges höher ist und die Hardware zum großen Teil vorhanden ist.

Ich sehe aktuell keine Probleme im Fehlerfall.
LACP ( i350-T4v2) für die VMs arbeitet perfekt mit VLAN Tagging in der vNIC.
LACP Management arbeitet Untagged und wird in keiner VM verwendet.

Das OS läuft als ZFS Mirror (RAID1)


FYI:
System verbrauch aktuell ohne HDDs 88 Watt.
Mit "powersave" | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor verbrauch das System 84 Watt.
Mit DELL BIOS CPU Verwaltung sind es dann schon 93 Watt.