[Sammelthread] Proxmox Stammtisch

[Spliffsta]

Das ist….ein interessanter Weg das einzurichten wenn du noch n Hypervisor darunter hast.

Ich bin relativ unerfahren in dem Bereich.
Also proxmox ist das Haupt "OS".
Darauf dann als vm tns (inkl der plugins), ein lxc für docker, eine vm für home assistant und eine vm für umbrel OS.
Also bin ich komplett "bescheiden" aufgestellt? Lieber neu einrichten?

 

[MisterY]

mMn: ja.

Lieber alles in separate LXCs packen. Ist dann auch besser mit den Snapshots und Backups

 

[Trambahner]

In meinem aktuellen Server, welcher am Ende mein neuer ZFS-Backup Server wird habe ich als HBA (Passtrough) einen IBM Lenovo M1215 verbaut.
Damals auch hauptsächlich, weil er gut für den ESXi geeignet war.
Ist das Modell auch für Proxmox (Passthrogh) gut geeignet, dann würde ich einen zweiten erwerben oder sind hier andere Modelle mehr zu empfehlen?

Nativ "direkt am Blech" wird er höchstwahrscheinlich keinerlei Probleme machen. Passthrough kann ich Dir nicht sagen, da ich da in Proxmox noch keine Erfahrungen hab.

Wobei ich sagen muss, dass ich bei Proxmox kein Passthrough für ZFS anstrebe, für meine Zwecke reicht einfach Samba und nen iScsi server nachinstallieren.

 

[gea]

- Bei Pass-through muss der Hypervisor den HBA nicht unterstützen. Treiber werden in der VM benötigt.
- HBA Pass-through ist üblicherweise recht problemfrei. Wo ich zumindest mit ESXi gerne Probleme hatte war NVMe passthrough mit einigen Modellen
- Da Proxmox selber auf Debian und ZFS aufbaut, ist es eine enorm resourcensparende Option, Basis-Fileserverdienste wie SMB mit SAMBA direkt unter Proxmox zu installieren, statt einer Storage VM die selber gerne 16GB oder mehr für ein weiteres Debian mit SAMBA samt web-gui und ZFS caching hätte und CPU Resourcen verbraucht ohne einen Zusatznutzen wie bei einer Solaris Storage-VM wegen den Extras mit dem kernelbased SMB Server. Für erweitertes ZFS Management auf Proxmox gibts ja mehrere GUIs wie z.B. mein napp-it (se oder cs) oder Poolsman neben der CLI Option zfs und zpool + ein paar Basisscripts für Routine Aufgaben.

 

[BobbyD]

Kann es sein, dass die OOTB Einrichtung der Harddisk suboptimal ist? "Local-lvm" bekommt weniger als die Hälfte, obwohl da die VMs darauf liegen? Oder anders gefragt, wäre es von vornherein besser, die Installation von dem Rest zu trennen? Und könnte man den Rest, also die "Nutzlast", ggf. auch einfach bei einer frischen Installation wieder einhängen?

 

[Supaman]

Harddisk ist eh suboptimal, SSDs kosten nichts mehr.

Ich verwende nur dann EINEN Datenträger, wenn da nur wenige bzw (Linux) Spiel VMs draufkommen.

Immer dann, wenn ich Produktiv Systeme mit Datenmengen einsetze, nehme ich eine 250er SSD nur für das OS.
Das hat den Charme, das man gefahrlos den PVE komplett plattmachen kann, ohne die VMs zu gefährden oder erst umkopieren zu müssen.

 

[BobbyD]

Das hat den Charme, das man gefahrlos den PVE komplett plattmachen kann, ohne die VMs zu gefährden oder erst umkopieren zu müssen.

Das ist ja meine Frage, geht das so einfach? Oder besser gefragt, welche Schritte muss man unternehmen, eine bestehenden Disk mit VMs einem neuen Host zuzuordnen?

Ich nutze Proxmox ja aktuell nestet in Hyper-V, spreche daher von Harddisk eh nur als Images.

 

[millenniumpilot]

das mit dem Trennen von BS und Datastore bei Proxmox habe ich mir abgewöhnt.
Die Config der VMs und CTs liegt ja immer mit auf der Proxmox-Systemplatte (/etc/pve/) und was nützen mir nur die VM-images...

Ich verlasse mich da voll und ganz auf den PBS (ProxmoxBackupserver) und spiele bei einer Neuinstallation des Proxmox-Host einfach die Backups wieder ein. Inkl. deren Config und allem PiPaPo.

 

[Kavendish]

Ursprung: https://www.hardwareluxx.de/community/threads/wie-konfiguriere-ich-zusätzliche-10g-direktverbindung-in-win11-debian-12-lxc.1356706/
Es wurden zwei TEG-10GECSFP-v3 https://www.trendnet.com/langge/pro...abit-pcie-sfp-network-adapter-TEG-10GECSFP-v3 und die sind nun per DAC verbunden.
Der NIC im Win11 PC habe ich die 192.168.100.10 verpasst. kein Gateway, kein DNS bzw. auf auto.
Proxmox wird sie auch erkannt und scheint einen passenden Treiber zu haben:

lspci:
01:00.0 Ethernet controller [0200]: Aquantia Corp. AQC100 10G Ethernet MAC controller [AQtion] [1d6a:00b1] (rev 02)

Wie reiche ich enp1s0 an den NAS LXC durch?
NAS LXC ist ein Debian 12 container, in dem 45 drives Cockpit + addon läuft, um den SMB-Share zu handhaben. Dort ist mein ZFS-Mirror als Mountpoint enthalten und soll schneller befüllt werden als bisher über die 1Gbit.

Was müsste ich dann im LXC noch konfigurieren, damit diese paralle 10Gbit Direktverbindung funktioniert?
Reicht es der NIC dann einfach nur eine statische Adresse, 192.168.100.5/24, in der /etc/network/interface zu verpassen, und dann das bekannte share über diese IP im Win11 Rechner zu mounten?

Wäre ein komplett andere Lösung besser, welche nicht den Kauf eines weiteren Switches mit SPF+ Ports beinhaltet?
SMB direkt auf dem Host realisieren und mir den LXC sparen?

Die Lösung ist war viel simpler.
Zweite Bridge im Proxmox-Host erstellt, die 10G NIC dieser zugeweisen, statische IP aus anderem Bereich eingestellt.
Die zweite Bridge dem LXC zugewiesen, ebenfalls statische IP dort für eth1 in /etc/network/interface eingetragen.

Win11 brauchte aber noch per Group-Policy die Vorgabe, dass es diese unidentifzierte Netzwerk als Privates und nicht öffentliches betrachten zu hat, dauerhaft.

 

[MisterY]

du erstellst eine Bridge auf enp1s0 (braucht keine IP) und gibst die in dem nas-LXC an

 

[MPHxxxLegend]

Ich bin nun auch in der Proxmoxwelt angekommen.
Bin mir mit meiner Backupstrategie noch unsicher, es wird (empfohlen) bei VMs immer Stop als Mode zu wählen um Datenbankfehler zu vermeiden. Jedoch hab ich auch gelesen, dass man per Qemu Agent die VM in einen freeze versetzen kann und somit auch Snapshot ohne Probleme funktioniert.
Hat hier jemand Erfahrung mit?

 

[BobbyD]

Hat hier jemand Erfahrung mit?

Bei mir läuft Snapshot zuverlässiger als stop, leider.

 

[MPHxxxLegend]

Mit oder ohne qemu agent?

 

[BobbyD]

Mit oder ohne qemu agent?

Bei mir läuft der überall mit.

Beitrag automatisch zusammengeführt: 04.09.2024

Bei mir läuft Snapshot zuverlässiger als stop, leider.

Ich nutze gerne Stop, weil ich es mag, wenn die VMs täglich neugestartet werden, damit nicht irgendwelche Session ewig offen gehalten werden können (Security). Die allermeisten nutzen aber vermutlich lieber Snapshot, weil es keine Downtime gibt.

 

[Supaman]

Du auch per lokalem Task auf der VM eine interne Kopie der DB erzeugen, und dann je nach Größe mehrere vorhalten. Zusätzlich Proxmox Backups.

 

[MPHxxxLegend]

Ich nutze gerne Stop, weil ich es mag, wenn die VMs täglich neugestartet werden, damit nicht irgendwelche Session ewig offen gehalten werden können (Security). Die allermeisten nutzen aber vermutlich lieber Snapshot, weil es keine Downtime gibt.

Klingt auch nach einer Lösung, aber Firewall will ich ungern stoppen bzw. wenn möglich vermeiden. Dann gibt es also nicht die Lösung, sondern wieder individuell für jeden Fall.

Die große VM mit vielen Datenbanken läuft jetzt mal als Snapshot, mal schauen, wann Fehler auftreten

 

[Shihatsu]

Wenn Firewall = OPNsense, dann go HA. Firewall virtualisieren ohne HA ist Stinkepups.

 

[Da_Maddy]

HA?

 

[Cyrrel]

High Availability

 

[janos66]

Die große VM mit vielen Datenbanken läuft jetzt mal als Snapshot, mal schauen, wann Fehler auftreten

Du brauchst ein Script das die Datenbanken vor dem Snapshot in den Hot Backup Mode versetzt, andernfalls sind deine Datenbanken unter Umständen nach einem restore nicht konsistent.

Stichwort -> Application-aware backup

 

[hs_warez]

Kurze Frage für meine künftige Planung/Umstellung auf Proxmox:

Macht es Sinn, wenn man Proxmox und die "Maschinen" (virtuelles Win + TrueNAS + Container) auf getrennten (jeweils gespiegelt) SSD's installiert?

Oder kann man alles auf 1 Paar SSD's zusammenschmeißen!?
Man könnte sich so die Kosten von 2 SSD's und deren jährlichen Stromverbrauch sparen.


Danke!


LG

 

[Luckysh0t]

Ich habe alles auf einem SSD ZFS mirror. Da PVE bzw Qemu/KVM das anders handhabt wie VMware, hast du eh immer einen Teil der VM auf der root SSD.
War einer meiner ersten "Fallstricke" als ich daheim von esxi zu pve gewechselt bin und meine VMs erstmal wie gewohnt auf einem NFS Store lagern hatte..da lag dann nur die virtuelle HDD...

 

[pwnbert]

Ich hab da so ähnliche Fragen, was nimmt man da? ZFS wegen dem ARC? Was anderes? ext4 weil schnell? ...

Wie ist das mit Proxmox allgemein? Muss erst meinen Backupserver zusammen sammeln, damit ichs am Blech testen kann... braucht das auch ein "Boot Drive" wie TNS, oder kann man da das Proxmox OS selbst und div. virtuelle Drives für die VMs dann alle aufs gleiche Drive (bzw. Mirror) machen? Und da wieder die Frage des Filesystems.

 

[millenniumpilot]

wurde doch schon ein paar Beiträge vorher beantwortet.

 

[KurantRubys]

Ich bin ja hier afaik nicht der einzige mit der Kombination Proxmox und Jellyfin als LXC. Ich hatte das ganze schon mal mit Transcoding über die iGPU am laufen, das geht aber anscheinend nicht mehr. Streams zum Apple TV laufen problemlos, da aber afaik auch ohne Transcoding. Habs jetzt vorhin mal im Browser versucht, sobald ich Tone Mapping für HDR Content aktiviere geht nix mehr. Hab im Log dann ohne Ende die Meldungen

[2024-09-06 21:00:10.581 +02:00] [ERR] FFmpeg exited with code 134
[2024-09-06 21:00:10.593 +02:00] [ERR] Error processing request. URL "GET" "/videos/c5d89468-34db-c675-2b46-b8c0f24257b5/hls1/main/0.ts".
[2024-09-06 21:00:12.188 +02:00] [WRN] Slow HTTP Response from "http://192.168.9.12:8096/Sessions/Playing/Stopped" to "192.168.9.134" in 0:00:01.5693335 with Status Code 204

Mein Verdacht ist, dass das mit der iGPU nicht mehr klappt, bin mir aber nicht mehr sicher wie ich das ganze testen kann. Mit cat /sys/kernel/debug/dri/0/i915_gpu_info ging das mal meine ich, jetzt bekomm ich nur ein permission denied. Der Proxmox Host hat einen i5 10500T, keine weitere GPU. Bin grad schon fast versucht das direkt unter TrueNAS aufzusetzen damit Ruhe ist, aber eigentlich wollte ich Storage und Compute schon getrennt halten. Jemand eine Idee dazu?

 

[Knogle]

Hat jemand hier irgendwie einen Witness Server am laufen? Wenn ja unter welcher Platform?

 

[Supaman]

Info: Veeam Backup & Restore 12.2 unterstützt jetzt auch PVE !

Mit der Community Edition bis 10 VMs kostenlos. Mit dem Linux Agent <sollte> sich auch der PVE sichern lassen.
(muss ich bei Gelegenheit noch testen)

https://www.veeam.com/veeam_backup_12_2_release_notes_rn.pdf

 

[LehmannE]

wurde doch schon ein paar Beiträge vorher beantwortet.

Hallo, hast da auch eine Beitragnummer oder eine Umfrage?
Wann lohnt sich was!
Wenn man viel VM hat, 1 Platte OS und 1 VM?
Oder ein mirror für OS und VM, wenn man nicht viele VM's hat.

 

[Supaman]

"Lohnen" liegt immer im Auge des Betrachters und "viel VM" ist relativ...
Ein Mirror gibt redundanz, ersetzt aber kein Backup. Wenn sich eine VM zerlegt, hast Du den Schrott in doppelter ausführung.

Wie man Backups sinnvoll gestaltet, hängt von der Datenmenge und der zur Verfügung stehenden Zeit ab, bis es wieder laufen muss.

Grundsätzlich halte *ich* es wie folgt:
OS und VMS auf separaten Platte - kann man im zweifelsfall einfacher restoren, Partitionierungen ändern oder Platten tauschen.
Auf der OS Platte sind zwar noch Teile der VM Konfig in bestimmten Verzeichnissen, aber das kann man per Script irgendwo hin schieben.

Zusätzlich eine automatische Sicherung der VMs per PBS auf separate Platte über Nacht, wenn einzelne VMs öfter gesichter werden sollten, diese individuell konfigurieren.

 

[Supaman]

Nachtrag zu Veeam:
Die Datenbank ist von MS sql Express auf Postgres geändert worden. Bei <40 GB meckert Veeam den freien Speicher an, kann man aber übergehen. Windows 10 mit 30 GB frei reicht aus, dann sind noch so ~7GB frei.

Zur verbesserung der Performance möchte Veeam eine "Worker VM" auf dem PVE instalieren, diese bekommt die nächste freie pve ID, ist ein Rocky Linux und belegt 100GB Speicher.

Und hier noch eine paar "known issues" aus dem Changelog: