[Sammelthread] Proxmox Stammtisch

[markyman]

Tach zusammen,

ich bin hier bei dem Stammtisch aufgrund einer Google Suche " gelandet " . Ich hatte bis vor 3 Monaten noch ein Synology NAS, dem muss man wirklich zugestehen das Synology und seine Community viel für den NAS auf die Beine stellt. Damit geht wirklich schon unfassbar viel.

warum bin ich dann zu Proxmox gekommen? Ich hatte zuletzt auf dem NAS Docker als Container mit Homeassistant laufen. Ein Update von docker hat mir dann die ganze Homeassistant config zerschossen, mit Backup aber alles soweit grob wieder hergestellt. Aber mir ging es etwas gegen den Strich das ALLES, sei es Cloudsync, Docker, Homeassistant, Fileserver etc. etc. auf EINEM System lief. Was ich dann durch eine Suche gefunden habe war Proxmox. Wichtige Systeme wie Homeassistant, eine eigene Nextcloud, eine getrennte Dokumentenverwaltung mit Paperless, richtigen Fileserver mit allem drum und dran via OMV und das alles getrennt in eigene " Systeme " unterteilt. Passiert ein Updatefehler kann ich gezielt den LXC oder die VM aus einem Snapshot wiederherstellen, auf Knopfdruck. Das alles hat mich dann am ende überzeugt einen Mini PC ( Dell 7050 Micro mit Intel I5 7500T, 2tb NVME und 16gb Arbeitsspeicher ) zu Kaufen. Letztendlich hat mich alles auch sehr viel Nerven gekostet, auch ein Punkt ist natürlich Linux und Shell. Wenn man wie ich fast NUR mit Windows und die Klickbaren Konfigurationen kennt und genutzt hat, tja da ist eine Linux Shell etc. wirklich ein Krampf. Aber schlussendlich läuft nun alles.

Was ist nun meine Frage:
Ich sichere alle VM´s und LXC per Snapshot Backup extern auf meinem alten NAS den ich bald dann auch Extern lagern werde ( falls nun doch mal die Hütte brennt wäre doof wenn mein Backup neben der Quelle steht ).
WIE sichert ihr denn Proxmox selber?? Ich muss gestehen, ich suche eine leichte - wenn möglich - "OneKlickLösung" um auch Proxmox selbst zu sichern. Gehen wir mal davon aus das zb. mein Mini Pc den Geist aufgibt, dan besorge ich neue Hardware und Installiere dort wieder Proxmox. jedoch ohne Config Daten werden die gesicherten Snapshots ja nich laufen oder??

Ich hoffe auf einen regen Meinungsaustausch,

Gruß
Mark

 

[Supaman]

Proxmox Backup Server

Proxmox Backup Server is an enterprise backup solution, for backing up and restoring VMs, containers, and physical hosts.

www.proxmox.com

Proxmox Backup Server ist das was Du suchst

 

[MisterY]

Nein, ist es nicht. Er möchte nicht die LXCs/VMs sichern, sondern den Host selber.

Einfach den Ordner /etc/pve sichern und gut ist.

 

[n3cron]

Veeam Linux Agent(community), Synologys backup for business wenn du schon ne NAS von denen hättest. Acronis uvm. Wirklich "one klick" gibt es nichts.

 

[millenniumpilot]

Nein, ist es nicht. Er möchte nicht die LXCs/VMs sichern, sondern den Host selber.

Einfach den Ordner /etc/pve sichern und gut ist.

selbstverständlich kann man auch den Host auf den PBS wegsichern. Einfach wie bei jedem anderen Linux auch den proxmox-backup-client installieren und per CLI oder cronjob nutzen.

 

[markyman]

Moin,

und genau ist dieses Problem. Einige haben Vorschläge ( Veeam, PBS, oder EINFACH!! pbs- client installieren...cli..cronjob... ). Als nicht Linux begabter eine farce . Zb. PBS, WO Installieren?? Wenn ich die Backups auf einem entfernten ( woanders stehenden ) NAS sichern möchte, kommt der Client da drauf?? Würde sich jemand erbarmen evtl. per PN die Sache mit mir anzugehen??

 

[DFFVB]

Nix für ungut, wer aber proxmox betreibt sollte die basics beherrschen, aus eigener Erfahrung kann ich nur sagen, dass es sich lohnt die lernkurve mitzunehmen, client auf dem. Zielsystem? Eher wenige, das sprichst du via gewähltem Protokoll an. Frag dich mal auch, was du alles auf proxmox anpasst, und ob die neu Installation im Zweifel nicht schneller geht als die unter Linux gerne hakelige Wiederherstellung...

 

[Supaman]

Den PBS kannst Du auf separater Hardware installieren (=dedizierter Backup Server) oder als VM in Proxmox erstellen.

 

[Mike67]

Servus zusammen,
hab mir vor einigen Tagen einen Lenovo m720q geschossen
Der gute besitzt aktuell eine Samsung NVMe mit 250GB und eine Intenso SATA III SSD

Mit Proxmox habe ich mich vor einigen Jahren auseinander gesetzt, aber seit dem mein Home Assistant Bare Metal laufen lassen.
Ich bin am überlegen, das Ganze in Zukunft Richtung Proxmox zu verschieben

Wie würdet ihr das Layout / Filesystem aufsetzen
Hab Google schon bemüht, aber irgendwie gibts Tips von Single ZFS Drive, über EXT4 bis hin zu ZFS über beide Laufwerke

Was würdet Ihr raten? Evtl. hat jemand auch nen guten Guide der Einblicke liefert in ne "Best Practice" Installation von Proxmox

Am Ende werden ca. 2-3 VMs laufen auf dem Gerät
- Homeassistant
- Docker Host für weitere kleinere Dienste
- Adguard oder PiHole

So ist zumindest der grobe Plan aktuell

 

[Luckysh0t]

Den PBS kannst Du auf separater Hardware installieren (=dedizierter Backup Server) oder als VM in Proxmox erstellen.

Oder wie ich als Paket auf dem PVE Host selbst.So hat der direkten zugriff auf die zweite SSD in meinem Host - ohne LXC "gebastel". Allerdings ist dieser PBS nur der zweite der sich die Backups vom kostenlosen PBS Angebot von tuxis.nl holt.

 

[Fischje]

Also bei mir läuft irgendwas grundsätzlich schief:

Mein Host packt 6 TB LXC und VMs (ZFS z2) über 10 GBit an den angeschlossenen PBS in 30 Stunden (!) rüber als snapshots. Da stimmt doch was nicht. Habe mit dem ETH Tool geguckt, beide sind mit 10 GBit angebunden. Woran könnte das noch liegen?

Auf beiden Maschinene langweilen sich die CPU und RAM ist auch noch genügend vorhanden. Der VM Host hat nen Raid Z-2 mit 5 SSDs, der PBS hat ein stripped mirror (Raid10) mit 4 Platten.

 

[MisterY]

Das wird daran liegen, dass PBS afaik sequentiell sichert, d.h. jede VM nacheinander.

 

[mrpasc]

Der VM Host hat nen Raid Z-2 mit 5 SSDs, der PBS hat ein stripped mirror (Raid10) mit 4 Platten.

Pack auf den PBS Host ein Metadata Special VDev hinzu mit (Enterprise)SSDs, das wirkt Wunder. Die Backups sind keine ZFS snapshots sondern eine Eigenentwicklung von Proxmox, viieeeeeele kleine Dateien. Da geht ein reiner HDD Pool ganz schnell in die Knie.
Siehe https://pbs.proxmox.com/docs/installation.html#minimum-server-requirements-for-evaluation

 

[toscdesign]

Ich hab mal ne Frage an den Stammtisch:

Wie habt ihr das gelöst, wenn ihr die Daten der VMs verschlüsselt ablegen wollt.

Habt ihr den Proxmoxx Host verschlüsselt oder das System in den VMs?

 

[n3cron]

Ich hab mal ne Frage an den Stammtisch:

Wie habt ihr das gelöst, wenn ihr die Daten der VMs verschlüsselt ablegen wollt.

Habt ihr den Proxmoxx Host verschlüsselt oder das System in den VMs?

Das ist mal nicht nur für Proxmox, das geht halt beides.
Wie bei Dateien du kannst auf Dateiebene Verschlüsseln oder das ganze Volume.
Das eine ist halt performanter als das andere, den wen jede VM einen anderen Schlüssel hat brauchst das etwas Rechenzeit.
Aus Sicherheitsaspekt per Maschine/Virtuellem Datenträger. Sollte jemand Zugang zum Hauptsystem kommt er nicht unbedingt einfach so auf die Maschinen.
(das Volume rauskopieren/extrahieren und mounten würde dann ohne Schlüssel nicht gehen bzw. wäre nicht nutzbar)
Es sei denn der Schlüssel ist zugänglich.

Ich würde das nach Relevanz der Daten wählen. Auch Verschlüsselung hat seine Tücken, es brauch nur einen Bitfehler schon sind die Daten verloren. Das Risiko ist Minimal aber möglich.

 

[toscdesign]

Im Grunde geht es mir rein um den Diebstahl der Hardware bzw. den Weiterverkauf gebrauchter Datenträger.

Wenn jemand im Netzwerk drin ist und das Laufwerk entschlüsselt ist, habe ich sowieso verloren.

 

[n3cron]

Im Grunde geht es mir rein um den Diebstahl der Hardware bzw. den Weiterverkauf gebrauchter Datenträger.

Wenn jemand im Netzwerk drin ist und das Laufwerk entschlüsselt ist, habe ich sowieso verloren.

Ja macht Sin. Datenträger irgendwie geschlossen in der Produktion von nicht mobilen Geräten zu verschlüsseln z. B ist nicht unbedingt notwendig.

 

[Fischje]

Das verstehe ich nicht.

Pack auf den PBS Host ein Metadata Special VDev hinzu mit (Enterprise)SSDs, das wirkt Wunder. Die Backups sind keine ZFS snapshots sondern eine Eigenentwicklung von Proxmox, viieeeeeele kleine Dateien. Da geht ein reiner HDD Pool ganz schnell in die Knie.
Siehe https://pbs.proxmox.com/docs/installation.html#minimum-server-requirements-for-evaluation

Oh das ist in nächster Zeit erstmal raus: Fangen wir mal mit dem Host an. Ich hab 6 x 6 TB hier liegen. Ich will ne gute Mischung aus Redundanz und Performance? Was fahr ich da? RaidZ5, RaidZ6 oder gar stripped mirror oder raidz gemirrored ala raid50?

 

[mrpasc]

Für VM/Container Storage? Unbedingt striped Mirrors falls HDD.
Aber das verstehe ich jetzt nicht, schriebst du nicht:

Der VM Host hat nen Raid Z-2 mit 5 SSDs, der PBS hat ein stripped mirror (Raid10) mit 4 Platten.

Wo genau sollen die 6x6TB jetzt hin? 🤔

 

[Rarity]

die theoretischen Limits der Raid-Varianten.
n=Anzahl der Datenträger im Raid-Verbund (ohne Ersatzlaufwerke).
m=Anzahl der Datenträger pro Spiegel-Verbund (d.h. pro Raid1)

Der jeweils kleinste und langsamste Datenträger setzt die Leistungsgrenzen vom gesamten RAID-Verbund.

Bsp: n=6, m=2 (hdd)	Lesen	Schreiben	Kein Datenverlust solange nur Anzahl #hdd ausfallen	Speicher-kapazität
raid 5 / Raid-Z1	(n-1)	(n-1)	1 (beliebige HDD)	(n-1)
raid 6 / Raid-Z2	(n-2)	(n-2)	2 (beliebige HDD)	(n-2)
Raid-Z3	(n-3)	(n-3)	3 (beliebige HDD)	(n-3)
striped mirror (raid 10)	n	(n/m)	1 bis (n/m) bestimmte(!) HDD (mind. 1 hdd aus jedem Mirror muss lauffähig bleiben um Gesamtausfall zu vermeiden)	(n/m)

striped mirror hat den Vorteil von leichter Erweiterbarkeit, schnell beim Lesen, langsam beim Daten schreiben.
Raid-Z2 hat evtl. Vorteil bei Datenintegrität (verkraftet Ausfall von 2 *beliebigen* HDD's), .
Raid-Z1 ... Mittelding mit geringer Datenintegrität (ich würde es vermeiden)
Alle Raid-Z Varianten haben den Nachteil das die HDD's jeweils einen großen Block bilden.

wie wärs mit Striped mirror ? Alternativ Z2.

Änderungen: Benennung Raid-Levels und Text, Raid-Z3 hinzugefügt.

 

[gea]

Ich hab mal ne Frage an den Stammtisch:

Wie habt ihr das gelöst, wenn ihr die Daten der VMs verschlüsselt ablegen wollt.

Habt ihr den Proxmoxx Host verschlüsselt oder das System in den VMs?

Man könnte ganz konventionell Platten verschlüsseln. Da man ZFS hat kann man auch einzelne ZFS Dateisysteme verschlüsseln wobei jedes einen eigenen Schlüssel haben kann und man diese auch "raw" verschlüsselt sichern kann.

Man hat aber noch ein anderes Problem mit VMs Dateisystemen vor allem mit laufenden VMs. ZFS ist wegen CoW crashsicher. Allerdings gibt es dann keine Garantie dass ein VM Gastdateisystem danach (oder im Snap) einen konsistenten, wiederherstellbaren Zustand hat. ZFS hat das sync write Konzept das dafür sorgt dass alle bestätigten ZFS Schreibvorgänge auf dem Pool sind - das gilt zwar nur für ZFS und nicht für Gast-Dateisysteme, verbessert aber die Sicherheit der VMs erheblich.

ZFS sync + Verschlüssellung ist aber übel langsam da die dabei entstehenden kleinen Datenblöcke extrem schlecht verschlüsselbar sind,
siehe z.B. enc + sync write Performance in https://www.napp-it.org/doc/downloads/epyc_performance.pdf

ZFS + enc + sync write sollte man vermeiden, ZFS + VM ohne sync ist aber auch keine gute Idee.

Zu mechanischen Platten, billig auch mit hohen Kapazitäten aber für VMs eher ungeeignet (nur ca 100 iops).
Für VMs würde ich immer einen zweiten SSD Pool nehmen (oder einen SSD Mirror als special vdev auf die man komplette Dateisysteme zwingen kann)

Da SSD sehr viele iops haben, bringt da ein Raid-10 nicht soviel Vorteile gegenüber Raid-Z
- wobei Desktop SSD oft nach einiger Zeit schreiben oder mixed read/write oft stark einbrechen

 

[Rarity]

@gea:
ist unter "raw" encryption ein ungemountetes, ungeöffnettes ZFS Datenset (im Prinzip ein Datenblob) zu verstehen ?
Hat in diesem speziellen Fall ein "zfs send" den Einblick welche (encrypted) Blöcke im Blob belegt bzw. nicht belegt sind ?

 

[gea]

Ja.
zfs raw send überträgt ein Dateisystem verschlüsselt so wie es ist (unter Beibehalten des Schlüssels) - egal ob das Dateisystem gerade geöffnet ist oder nicht.
(Nur Open-ZFS, Original Oracle ZFS macht das nicht sondern will immer unverschlüsselte Transfers um die Dateisysteme dann mit dem globalen Schlüssel des Backup Dateisystems zu verschlüsseln. Ersteres ist at Home praktischer, letzteres ist in großen Firmen praktikabler um Schlüsselchaos zu vermeiden)

 

[toscdesign]

@gea
Der Proxmox Host ist schon etwas älter und wurde immer auf die neuste Proxmox Version hochgezogen. Der läuft noch auf ext4.

Festplatten sind auch keine vorhanden, die Kiste hat nur eine SSD. Wenn die futsch ist, sind im Grunde keine wichtigen Daten weg, man hat nur den Aufwand des neu aufsetzens.

Und wenn ich gerade dran denke auch keine Internetverbindung, da dort die Firewall VM läuft 😬

Neben der Firewall läuft noch eine Honeassistant VM und eine Ubuntu Server VM.

Nur bei letzterer wären auch Daten die besser verschlüsselt wäre, ist aber nur der "Cache" und ein paar LetsEncrypt Zertifikate der Netz-internen Domain vom NGinx Proxy Manager.

Da auch nur ein mSATA Slot vorhanden ist, wird ein SSD Mirror schwierig, außer man organisiert sich aus China ein SATA zu mSATA Adapter.

Aber wo ich eigentlich hinaus möchte ist, ich hätte den Cache und die Daten nichtmal in der Ubuntu VM, wenn MariaDB problemlos auf NFS Freigaben speichern könnte, dann lägen nämlich die Daten auf dem TrueNAS System verschlüsselt mit Snapshots und Replication.

(Nochmals Danke für die super Erklärung im Buildlog, die hat mir extrem weitergeholfen 👍)


Und für dieses System muss ich mir jetzt überlegen, wie ich die Daten verschlüsselt bekomme.

 

[n3cron]

Das verstehe ich nicht.


Oh das ist in nächster Zeit erstmal raus: Fangen wir mal mit dem Host an. Ich hab 6 x 6 TB hier liegen. Ich will ne gute Mischung aus Redundanz und Performance? Was fahr ich da? RaidZ5, RaidZ6 oder gar stripped mirror oder raidz gemirrored ala raid50?

RAID 10 oder striped Mirror, ist ein guter Kompromiss aus Redundanz und Performance. RAID5 ist halt gute Rest Kapazität bei Einfacher Redundanz. RAID6... naja macht meiner ansicht nach nur bedingt Sinn. Du verlierst viel und bekommst relativ wenig.

 

[MisterY]

Das verstehe ich nicht.


Oh das ist in nächster Zeit erstmal raus: Fangen wir mal mit dem Host an. Ich hab 6 x 6 TB hier liegen. Ich will ne gute Mischung aus Redundanz und Performance? Was fahr ich da? RaidZ5, RaidZ6 oder gar stripped mirror oder raidz gemirrored ala raid50?

RaidZ5 bzw RaidZ6?? Du möchtest bei 6 Platten eine Redundanz von 5 bzw 6 Platten haben? Also entweder 6 oder 0TB zur Verfügung haben?

 

[gea]

Oh das ist in nächster Zeit erstmal raus: Fangen wir mal mit dem Host an. Ich hab 6 x 6 TB hier liegen. Ich will ne gute Mischung aus Redundanz und Performance? Was fahr ich da? RaidZ5, RaidZ6 oder gar stripped mirror oder raidz gemirrored ala raid50?

Nur damit niemand verwirrt wird.
Raid50 bedeutet dass man zwei Raid-5 Arrays hat die gemeinsam in Art eines Raid-0 gestriped (nicht gemirrored) werden. Bei ZFS ist es genauso. Bei einem ZFS Pool aus mehreren vdevs werden diese auch gestriped.

Bei 6 Platten gibt es eigentlich zwei ZFS Haupt-Optionen:

3 x Mirror vdevs
Schreibperformance (sequentiell und iops)= 3x Einzelplatte
Leseperformance (sequentiell und iops)= 6x Einzelplatte (ZFS liest von beiden Mirrorhälften gleichzeitig)
Kapazität = 3x Einzelplatte
Redundanz: max 3 Platten dürfen ausfallen aber nicht aus dem gleichen Mirror

Ein Z2 vdev aus 6 Platten
Schreib/Leseperformance (sequentiell)= 4x Einzelplatte (in der Realität weniger)
Schreib/Leseperformance (iops)= 1x Einzelplatte (ca 100iops)
Kapazität=4x Einzelplatte
Redundanz: 2 beliebige Platten dürfen ausfallen

Ich würde ein Z2 machen, dazu für performancekritische Sachen ein extra SSD Pool oder ein special vdev SSD/NVMe mirror um einzelne Dateisysteme darauf zu zwingen.

 

[Ceiber3]

Ich hatte zuletzt auf dem NAS Docker als Container mit Homeassistant laufen. Ein Update von docker hat mir dann die ganze Homeassistant config zerschossen, mit Backup aber alles soweit grob wieder hergestellt.

Dann hast du alle Docker Container falsch configuriert und keine Mount Pfade auf das Nas gelegt wo die wichtigsten Configs drin sind. Dann werde diese bei einen Update automatisch überschrieben und der Container beginnt wieder von Null.

 

[Fischje]

RaidZ5 bzw RaidZ6?? Du möchtest bei 6 Platten eine Redundanz von 5 bzw 6 Platten haben? Also entweder 6 oder 0TB zur Verfügung haben?

ja ich wieder - gemeint war natürlich z2 bzw z3

Nur damit niemand verwirrt wird.
Raid50 bedeutet dass man zwei Raid-5 Arrays hat die gemeinsam in Art eines Raid-0 gestriped (nicht gemirrored) werden. Bei ZFS ist es genauso. Bei einem ZFS Pool aus mehreren vdevs werden diese auch gestriped.

Bei 6 Platten gibt es eigentlich zwei ZFS Haupt-Optionen:

3 x Mirror vdevs
Schreibperformance (sequentiell und iops)= 3x Einzelplatte
Leseperformance (sequentiell und iops)= 6x Einzelplatte (ZFS liest von beiden Mirrorhälften gleichzeitig)
Kapazität = 3x Einzelplatte
Redundanz: max 3 Platten dürfen ausfallen aber nicht aus dem gleichen Mirror

Ein Z2 vdev aus 6 Platten
Schreib/Leseperformance (sequentiell)= 4x Einzelplatte (in der Realität weniger)
Schreib/Leseperformance (iops)= 1x Einzelplatte (ca 100iops)
Kapazität=4x Einzelplatte
Redundanz: 2 beliebige Platten dürfen ausfallen

Ich würde ein Z2 machen, dazu für performancekritische Sachen ein extra SSD Pool oder ein special vdev SSD/NVMe mirror um einzelne Dateisysteme darauf zu zwingen.

performance-kritisch nicht. es gibt z.b. eine filer-vm. da hätte ich gerne die 10 Gbit Anbindung ausgenutzt. irgendwie zumindest.

Hat denn jemand hiermit schonmal Erfahrung gesammelt. Klingt praktisch: https://gitlab.com/gmatheron/zfs-backups-manager

 

[gea]

performance-kritisch nicht. es gibt z.b. eine filer-vm. da hätte ich gerne die 10 Gbit Anbindung ausgenutzt. irgendwie zumindest.

Wenn man nicht gerade häufig viele ultra kleine Dateien hat, rechne ich phi mal Daumen mindestens 120 MB/s pro Platte bei gemischten Daten. Ein Raid-Z2 mit 4 Datenplatten bringt dann ca 500MB/s (wenn RAM und CPU nicht bremst). 10G ohne Tuning oder Jumbo Frames liegt mit SMB in der gleichen Größenordnung.