Fragen zum Storage (Proxmox & Backup)

[n3]

Hallo Zusammen,

ich stelle derzeit meinen HomeServer zusammen und nach lesen von einigen Beiträgen hier, bin ich mir nicht sicher, ob meine bisherige Überlegung passt. Was ich möchte:

1. Proxmox zum Virtualisieren. Vorher sollte es ein Hyper-V Server werden, aber Proxmox wird aktiv weiterentwickelt, ist OpenSource, unterstützt Container und bietet mehr Funktionen
2. ECC soll bisher verwendet werden
3. Virtaulisert werden soll z.B. HomeAssistant, NextCloud, Sophos, etc.
4. Backup der Daten/VMs

Anfangs ging ich von einer SSD für den Hypervisor aus und ein Software RAID6 für die Massenspeicher. Das Backup sollte in jeder VM individuell gelöst werden. Wenn ich es jetzt richtig verstanden habe, dann kann Proxmox die VMs inkrementell sichern. Das wäre natürlich sehr praktisch. Wenn ich es richtig verstanden habe, dann wird ein RAID1 für Proxmox empfohlen und für die VMs ZFS. Jetzt weiß ich aber nicht, ob ein RAID6 mit "normalen" HHDs hier passt. Das RAID6 soll nur dazu sein, das bei einem Ausfall der Platten das System weiterläuft. Das Backup wäre in der Cloud/Internetserver.

Ist meine Grundüberlegung richtig? Sprich

• (Software RAID1) SSD für Proxmox
• Software RAID6 mit HDDs und ZFS
• Inkrementelles Backup der VMs mit Proxmox in die Cloud

Falls ZFS Hardware RAID benötigt, kann ich auch ein anderes Dateisystem verwenden? Möchte keinen Hardware RAID.

Danke schon einmal

 

[Trambahner]

Für ZFS ist Hardware-Raid Gift ! ZFS will direkten Zugriff auf die Datenträger und daher sind dumme Sata-/SAS-Ports (wie sie einfache Hostbusadapter im IT-Mode liefern) sowie PCIe-SSDs ohne jegliche Raid-Schicht sowieso das Beste.
Bitte keine VM-Systemimages auf HDD-Zpools, das macht von der Performance her keinen Spaß. Pack diese auf einen extra SSD-Pool.

Idealerweise:
- SSD für Proxmoxboot, ggf. als Mirror.
- SSD-Pool, als Mirror, für VMs und ggf. stark genutzte Arbeitsdateien. Bitte keine Billig SSDs hier verwenden, sondern gute Qualität mit Dram-Cache, welche was aushalten. Idealerweise Datacenter SSDs mit Powerloss-Schutz.
- HDD-Pool, Raidz2, für große Mediendateien, weniger performance-kritische Arbeitsdateien


Der Trambahner nutzt zwar ESXI und Xigmanas, hat aber ein ähnliches Storage-Konzept.
- ESXI bootet von USB-SSD (500GB Seagate).
- 2 "Scratch"-SSDs für temporären ESXI-Krempel (Images, Rumspiel-VMs) als direkter Datastore für ESXI
- SSD-ZPool aus 6x SM863 a 960GB (als 3 Mirrorpärchen eingerichtet). Da liegen alls Datasets für VMs drauf sowie eben ein SMB-Share mit Arbeitsdateien + Software, die ich schnell im Zugriff haben will.
- HDD-ZPool aus 6xUltrastar HC530 im Raidz2.

Der SSD-Zpool ist als NFS-Share wieder an ESXI als Datastore exportiert (Gea's AIO-Konzept).

Backups der Pools erfolgen als ZFS-Snapshot und werden inkrementell an eine zweite ZFS-Maschine (die hat nur HDD-Pool) per zfs send/receive erstellt.

Der SSD-Pool soll demnächst mal durch ein Mirror aus 2 Samsung PM9A3 7.68TB ersetzt/ergänzt werden.

 

[n3]

Danke für die schnelle Antwort!

1. Meinst du beim Mirror für den Proxmoxboot und SSD-Pool Software RAID1?
2. Danke für den Hinweis mit Raidz2. Wieder was gelernt
3. Würde das Backup wie geplant funktionieren? Sowohl für die VMs auf dem SSD-Pool, als auch den HDD-Pool?

Die Daten in den VMs sind meistens sehr gering, sodass ich hier vermutlich alles auf den SSDs haben werde. Der HDD-Pool wird dann für die NextCloud sein, wo größtenteils meine Bilder/Videos liegen werde. Darauf wird aber nicht gearbeitet. Zum Arbeiten werden ich mir immer ein Sync auf den Arbeits-PC machen, wo dafür eine SSD zur Verfügung steht.

 

[Trambahner]

Wenn, Proxmox, dann immer ZFS. Nie Hardwareraid, nie Chipsatzraid.
Mirror ist der ZFS-Begriff für "Raid1".

Ich empfehle, das OS (Proxmox) und die VMs nicht zu mischen, sondern getrennte Mirrors vorzusehen. Warum? Weil damit im Falle einer Neuinstallation von Proxmox Du den
Zpool mit den VMs wieder "dranhängen" (=importieren) kannst und Dir ein Rücksichern aus dem Backup sparen kannst. Der Server ist damit schneller wieder "in action".
Oder Du die VM/HDD-Pools einfach an eine andere Maschine dranhängen und importieren kannst.

 

[n3]

Ich empfehle, das OS (Proxmox) und die VMs nicht zu mischen, sondern getrennte Mirrors vorzusehen. Warum? Weil damit im Falle einer Neuinstallation von Proxmox Du den
Zpool mit den VMs wieder "dranhängen" (=importieren) kannst.

Ja, dass hatte ich auch vor. Habe dein Edit erst eben gesehen und war am Anfang etwas verwirrt, weil du von dir in der dritten Person gesprochen hast 😄

Also ich hänge einfach meine SSDs und HDDs in den Server, boote Proxmox und richte mir die Platten im Setup ein. Sprich, SSD0 und SSD1 als Mirror für Boot, SSD2 und SSD3 als VM-Pool und alle HDDs als Raidz2 und Proxmox macht den Rest.

Wieso nutzt Trambahner ESXI und Xigmanas anstelle von Proxmox?

Kann ich die ZFS Snapshots auch an einen normalen Cloudspeicher schicken? Muss mal schauen, ob es ggf. ZFS Storages im Netz zu mieten gibt.