[Sammelthread] Proxmox Stammtisch

[eehm]

Oder hast du alles komplett über Ubiquiti Hardware gelöst?

Aber wie MisterY schon geschrieben hat, ist nur wichtig für "Profi-Kram".

Ja, habe vor einer Zeit alles auf Ubiquiti umgestellt.
Und dann bei der Anlage der Netzwerke keine Domain vergeben. Deshalb wusste ich jetzt nicht, was hier zu wählen ist!

 

[Weltherrscher]

kein stress, wenn du Bock hast, kannst ja immer noch was mit der TLD .lan machen.

 

[MisterY]

ich kann das mit domains und DNS sehr empfehlen. Ich tippe lieber "cloud.home.lab" ein statt "http://192.168.0.121:8080" oder so.

 

[BobbyD]

*.internal wäre wohl vorzuziehen, wenn Du keine eigene Domain hast oder nutzen willst. *.home.arpa ginge auch, ist mir aber zu lang. Letztlich kannst Du es aber machen, wie Du willst, solange du keine schon vergebenen Namen verwendest.

 

[pwnbert]

Wie isn das mit dem LVM-Thin?

Also wenn ich jetzt bei der Installation von Proxmox einen Z1 Mirror mach... und dann auf dem gleichen Drive (der anderen "Partition", diesem LVM Thin) eine VM anlege, die ZFS nutzt (z.B. TrueNAS), ist das dann böses ZFS on ZFS oder ZFS on "raw" (oder so)?

 

[gea]

Thin/Thick bedeutet ja nur dass man eine Partition anlegt die den kompletten Platz sofort belegt oder langsam wachsen kann. Entscheidend ist ob die Partition direkt auf Platte, ext4 oder ZFS angelegt wird.Ist das ZFS, so hat man in der Tat ZFS auf ZFS. Für eine Linux OS VM wie TrueNAS wäre das aber egal, weil eine OS Systemdisk performancemäßig irrelevant ist. Datenpools ZFS auf ZFS ist performancetechnisch eher ungünstig. Habe ich aber auch schon gemacht mit iSCSI targets auf zvols.

Gravierender ist der Resourcenverbrauch einer StorageVM (Debian + ZFS auf Debian + ZFS). Bei TN reden wir hier von 16GB RAM und CPU Last. Wenn man nur einen SMB Filer braucht, ist es viel effektiver lediglich SAMBA auf Proxmox zu installieren - ganz ohne StorageVM. Bei einer OmniOS StorageVM hätte man wenigstens den Mehrwert des ZFS/kernelbasierten SMB Servers.

 

[pwnbert]

Das geht aber nicht, weil ich zu ungeschickt / unerfahren bin, das so zu machen...

RAM hab ich 128 gb und nen 8 Core Zen 3, muss reichen.
Im Maximalausbau möcht ich drauf ein TrueNAS und 2-4 VMs und so Kleinzeug (Backup-Lösung, Home-Assistant und evtl. irgend ne Cloud-Geschichte), hab mir das noch nicht so genau angesehen.
Müsste sich ganz gut ausgehen...

Bin nur unschlüssig, wie ich das genau aufteile...
Für den Filer mag ich den ganzen HBA durchreichen (wie ich das mit M.2 mach, muss ich mir erst ansehen), die VMs hätte ich einfach auf die gleiche SSD wie Proxmox (die müssen ja nicht sonderlich performant sein).

Ob ich das Boot-Drive vom TrueNAS nun auch an den HBA hänge, oder ob ich dafür einen virtuellen Datenträger nehme? Eigentlich wäre es schade um den Steckplatz... die paar GB kann ich ja locker abzwacken, und die TBW sind auch überschaubar.


=>
Bin mir jetzt nur nicht sicher, wie ich das anlege... Mirror wäre vllt. nicht verkehrt. Aber ob man da nun ZFS, ext4 oder Btrfs nimmt?

Kein Plan, wie viel "unnötige Last" ZFS wirklich erzeugt.
Wie ist das mit dem ARC-Cache auf Proxmox (wenn es ZFS verwendet) - profitieren die VMs stark davon?
Also sollte man nicht nur dem Filer seinen (relevant großen) ARC-Cache geben sondern auch dem Proxmox-Host selbst? => Dann werden 128gb RAM schnell wenig ...

 

[pwnbert]

So, ich hab hier noch nen SATA Controller JMB58-irgendwas, 5 Ports.

Ich würd den SATA-Controller gern an die VM durchgeben, geht aber nicht.
Der Controller hängt an PCIe Lanes direkt von der CPU (also nicht Chipset, hab schon mit ner M.2 rausgefunden, dass man die CPU Lanes braucht, weil die nicht gruppiert sind... mit der Samsung 980 ging das dann an den CPU Lanes, nicht aber an den Chipsatz-Lanes).

Kann der JMB einfach kein Passthrough, oder mach ich was falsch?

Beitrag automatisch zusammengeführt: 02.10.2024

Ah, ROMBAR=0 geht offenbar.

 

[pwnbert]

Also, der JMB-585 hat einen "Reset Bug" - so wie es aussieht.

Zum Aufheben dessen reicht nicht der Reset via BMC, man muss die Maschine Spannungfrei machen.
(Da hab ich nen Life-Hack, ne Shelly Steckdose vorm non-IPMI Server und im Bios "power on after power loss" - Enterpriseler hassen diesen Trick )

Testhardware:
MC12LE0, 5650G, 32gb non-ecc-ram
1x 250gb HDD
3x 8tb/10 HDD WD red/gold mix
1x nmve Samsung 980 non-pro
1x USB3 2.5 GbE NIC RTL8126B (proxmox läuft über die Onboard 1 GbE)
(dann JMB 585)
(dann 850 pro)

1) Hab TNS baremetal installiert auf die 250gb HDD, 1x Z1 auf den 3 WDs, 1x ZFS Einzelvolume auf der 980. NIC dann von der 1 GbE auf die USB gewechselt.
2) JMB 585 rein, 250gb HDD + 3x WDs dran, 980 in den CPU-powered PCIe x4 Slot (wichtig)
3) Proxmox auf die 850 pro installiert (diese direkt am Mainboard SATA)
4) In Prox ne VM erstellt ohne Drives, PCIe Passthrough 980 und JMB-585
5) VM gebootet =>
5.1) Erster Boot nach Power-Restore (wenn man alles richtig einstellt) => Win... TrueNAS bootet wie wenn es baremetal wäre, lät alles nach... findet alle Datasets, die USB NIC mit den alten IP Settings etc... läuft.
5.2) Boot "warm"... => Proxmox crasht weil vmtl. Reset-Bug... bis man absteckt oder Shelly-Trick macht.
5.2.1) Wahrscheinlich könnte der AMD-Resetbug-Fix-Trick helfen, das is irgend son Script mit dem man irgendwas "unmountet und mountet" (ist der falsche Begriff), dazu kann ich aber nix sagen, da mir das (noch) zu komplex ist.

Hab noch nen anderen SATA Controller hier liegen. Müsste ich mal testen.
ASM1166 wäre interessanter, hab aber leider keinen und mag keinen kaufen, wenn jemand im Großraum Wien einen hat...

 

[AliManali]

@pwnbert habe keine Erfahrung mit TNS. Hatte erst diverse Filer ausprobiert. Habe den VM Store auch virtualisiert und reiche den per NFS zurück an den ESXi. Mit proxmox hatte ich das auch getestet. Würde mir echt mal geas napp-it ansehen. Nutze die ESXi AiO .ova, aber für proxmox hatte ich OpenIndiana mit napp-it aufgesetzt. Lüppt für mich am besten, was ZFS/NFS/SMB anbelangt. Hatte mich gerade heute mal wieder mit einem xigmanas rum geschlagen. Kein Vergleich.

Wenn Du für die VMs einen Filer im Zusammenhang mit NFS nutzen möchtest, brauchst Du für NFS allerdings ein separates Netzwerk, weil NFS irgendwie keine Passwörter kennt. Warum auch immer. Lüppt hier im management LAN.

 

[pwnbert]

Ja, ich weiss, werd mir napp-it mal ansehen. Aber... passt schon so erstmal. Ich mag das eigentlich nicht direkt machen.
Dachte die Sache interessiert vielleicht wen, bezügl. Reset-Bug und so.

Hab mir von nem befreundeten ITler sagen lassen, dass NFS nicht unbedingt so viel besser ist, und ich im Mischnetz ruhig allein SMB nehmen kann, das tut sich nix, meint er (solangs nicht so Server-Server Kram is), und dass die NFS ACLs noch komischer wären als die SMB...

Kann natürlich auch Stuss oder persönliches Empfinden sein.

 

[AliManali]

Naja, bei proxmox hast Du ZFS nativ. Beim ESXi ist es halt so, dass man auf Storage nicht wirklich Zugang hat ausser per SSH. Und halt auch nur beschränkt ohne die teuren Lizenzen. Da ist ein Filer dann echt ein Mehrwert, gerade auch, weil man da dann per SMB darauf zugreifen möchte. Sollte wie gesagt bei proxmox auch auf dem Host machbar sein. Aber wenn Du da schon einen HBA durchreichen möchtest...

Aber von den ganzen Berechtigungen vergeben war das bei napp-it super easy, im Gegensatz zu den ganzen sonstigen NAS OS. Ich hatte wochenlang rum probiert mit NAS4FREE, xigmanas und FREENAS, bis ich bei napp-it gelandet bin.

Hast Du denn nun proxmox baremetal mit 128 GB am laufen? Weil dann kannst Du echt viel virtuell und paravirtuell testen. Bin grad auch wieder am basteln.

 

[pwnbert]

Ne, hab Proxmox erstmal mit 32gb laufen am 2. System zum rumspielen.
Bin mir noch nicht sicher, wie ichs am Ende mach. Ob ich alles auf eine Kiste werf, oder ob ich einfach Filer und V-Host trenne. Ich kanns dir echt (noch) nicht sagen.

Ich muss mich auf jeden Fall in das Thema einarbeiten, idealerweise natürlich mit Proxmox, weil jetzt noch mit ESXi zu beginnen scheint mir wenig schlau (Bestand ist natürlich was anderes).
Muss ohnehin etwas fit werden, probieren, rumspielen, lernen...

In TrueNAS bin ich schon recht fit und hab damit einfach gute Erfahrung, drum möcht ichs erstmal nicht durch etwas ersetzen, in dem ich weit schlechter bin... hat mich jetzt schon 1 Jahr äußerst zuverlässig begleitet.

 

[AliManali]

Ja, jetzt noch auf ESXi gehen zu wollen macht natürlich keinen Sinn. Aber Du willst ja auf proxmox den Filer virtualisieren mit durchgereichtem HBA. Ist dasselbe in Grün. Würde in dem Fall halt den VM Store auch auf dem Filer ablegen, und per NFS an den Host zurück geben. Und dazu eignet sich halt napp-it ganz gut, kann man sich auch wunderbar paravirtuell aufbauen zum testen. Aber hast ja eh schon einen baremetal host, umso besser.

Und wüsste nicht, was gegen Filer/NAS als AiO spräche. Firewall würde ich nicht gerade virtualisiert machen, aber gegen Filer bestehen von meiner Seite aus keine Bedenken.

 

[pwnbert]

Steht auch noch die Überlegung im Raum den Filer allein als Filer laufen zu lassen mitm extra V-Host.
Aber so oder so, Virtualisierung und den ganzen Kram werd ich brauchen.

Würde in dem Fall halt den VM Store auch auf dem Filer ablegen, und per NFS an den Host zurück geben.

Ja jein, so große Datenmengen hab ich in den VMs nicht, da drin würden mir ein 2 TB SSD Mirror oder sowas überschaubares locker reichen.
Datengrab dann per LAN.

Und wüsste nicht, was gegen Filer/NAS als AiO spräche.

Wie gesagt, dass ich mir den V-Host mit Passthrough-Experimenten wohl recht gut abschießen kann, was für den Filer nicht so toll ist.
Ist im Regelbetrieb natürlich egal... aber bis man mal dort ist... je nach dem, was man so machen mag... na mal sehn.


Nochmal ein Thema, das ich aufgreifen will:

Ich hab ne Frage zur Spice-Verbindung.
Wenn ich als Display Spice auswähle, kann ich mir ja so ein "Einweg-VV" File runterladen, welches mir Spice öffnet, was natürlich ordenltich ist so.

Bei TrueNAS als Hypervisor hatte ich ein permanentes .vv File erstellt, wo Zieladresse, Zugangsdaten (Name&Passwort) plaintext drin liegen, natürlich ist das unsicher, aber für meinen Zweck wars praktisch. Hatte das im Quicklaunch verknüpft und so recht praktischen Zugriff auf ne VM (da ist eh nix heikles drin und die Zugangsdaten sind ja auch nur für diese eine VM, also nicht so kritisch alles).

Wie richtet man so einen Zugang ein?

 

[pwnbert]

Meh, jetzt weiss ich, warum virtuelle Desktops immer scheiße laufen.
Qemu hat ne refresh rate von 33 Hz hardcoded, lol.

GTK display refresh rate is throttled (#700) · Issues · QEMU / QEMU · GitLab

Guest OS running with GL enabled GTK display shows a reduced refresh rate, e.g. moving cursor around with iGVT-g DMA Buf. A default refresh interval GUI_REFRESH_INTERVAL_DEFAULT...

gitlab.com

meh!

 

[Fusseltuch]

Bin mir nicht sicher, ob wir das Thema hier schon mal hatten, aber nutzt jemand Proxmox mit Nvidia Grid vGPUs? KVM ist bei Nvidia ja irgendwann mal offiziell in die Support-Liste gewandert. Ich habe das letzte Woche auf einem System umgesetzt und habe VMware Horizon ersetzt. Ja, wenn man alle Horizon- und VMware Features nutzt, wird es wohl nicht für jeden funktionieren, aber um VMs mit GPUs zu befeuern tut es auch unter Proxmox erstaunlich gut.

Einrichtung der 16.7 LTS Version für zwei RTX 8000 war erstaunlich einfach, Lizenzserver-Upgrade für den Nvidia-Kram stand eh noch auf meiner to do Liste und jetzt kann ich in Proxmox auch VMs mit verschiedensten Nvidia-Profilen erzeugen, alles via GUI ohne CLI. Da hat sich echt gut was getan. Und ich kann mittelfristig alle Hosts umstellen und den Horizon-Kram (+ Overhead) loswerden.

 

[Weltherrscher]

Hassu Anleitungen dazu?
Ich bin am überlegen, mir ne M60 in der Bucht zu angeln.
Hab dazu auch schon im Profi-Forum im KI-Thread gefragt...

 

[Fusseltuch]

M60 sind in unseren anderen beiden Hosts verbaut. Da ist der 16er Branch der letzte, in dem die M60 unterstützt werden. Also bis Juli 2026. Danach war's das.

Im Prinzip bin ich nach dieser Anleitung vorgegangen: https://pve.proxmox.com/wiki/NVIDIA_vGPU_on_Proxmox_VE

Den SR-IOV-Kram brauchte ich für die RTX 8000 nicht, das betrifft ggf. nur neuere Karten. Die größte Hürde ist, dass der Kernel 6.8, egal in welcher Version, zumindest von dem 16er Branch nicht unterstützt wird. Läuft nur mit Kernel 6.5.x, was für meine sonstige Hardware aber nicht relevant ist. Und "gescheitert" bin ich erst an der GUI von Proxmox für die Nvidia-Karten. 😅 MDev war immer ausgegraut und ich konnte dort keine Profile einstellen:

Dass man zuerst ein Raw Device auswählen muss und dann erst Profile einstellen kann, hat mich eine Weile gekostet. 🙈

Wir betreiben mit dem Setup ein paar CAD-Arbeitsplätze und bis jetzt, nach 10 umgestellten Maschinen, ist das Feedback durchweg positiv. Mir gefällt daran, dass es so schön simpel ist. Auf Proxmox fühle ich mich zu Hause und kann jetzt die Grafikvirtualisierung gleich mit abfrühstücken. Horizon hat auch funktioniert, keine Frage, aber war manchmal etwas eigen. Klar, ich habe keinen Verbindungsbroker, kein Gateway für die Nutzung von extern ohne VPN und den ganzen anderen VMware-Kram, aber genutzt haben wir das sowieso nicht.

Wenn ich so eine Lösung doch noch bräuchte, würde ich mir aber UDS Enterprise ansehen. Das muss man zwar auch lizenzieren, aber man wäre trotzdem nicht im VMware/Broadcom-Kosmos gefangen...

 

[Weltherrscher]

Danke dir, das mit dem Kernel Pinning auf 6.5 hab ich auch schon gelesen.
Dann scheints ja so stressig nicht zu sein.

Was passiert, wenn ich die vGPUs nicht lizensiere?
Ich hab mal was von "nach 15 min auf 15fps begrenzt" gelesen...

//Edit:
Was passiert dann (aus Homelab-Sicht) mit dem 16er Branch nach 2026?
Bleiben die VMs aus, explodiert der ProxMox?
Oder interessiert es mich als privaten Enthusiasten einfach nicht? =)

 

[Fusseltuch]

Du wirst alle 30 Sekunden damit genervt, dass keine gültige Lizenz abgerufen werden kann. Zumindest unter Windows ist das lästig. Was in einer VM nur mit CLI für CUDA etc passiert, weiß ich nicht. Ob das tatsächlich Performance-Drosselungen nach sich zieht, habe ich bisher nicht im Detail beobachtet. Die Einrichtung in Proxmox war bis auf Kernel-Pinning und mein Unverständnis der GUI tatsächlich herrlich unkompliziert.

Im Prinzip ist es aus Homelab-Sicht nicht so schlimm, auf dem alten Branch zu bleiben. Wobei man ja im Prinzip noch fast 2 Jahre Zeit hat. Als größtes Problem sehe ich die Kernel-Updates, wenn man aus Kompatibilitätsgründen dann auf einer alten Version bleiben muss. Wenn man aktuell aber sowieso nur Hardware betreibt, die in 6.5 bereits tadellos funktioniert, ist das wohl auch zu vernachlässigen. Man hat halt im schlimmsten Fall ungepatchte Sicherheitslücken. Das muss aber jeder für sich selbst entscheiden, wie real da ein Bedrohungsszenario ist.

Ich hatte deinen Beitrag zwecks ML kurz durchgelesen, ich glaube dafür tut eine M60 in jedem Fall. Bleibt als Elefant im Raum im Prinzip die Lizenzierung übrig...

 

[pwnbert]

Wie starte ich eine VM direkt von meinem HBA?

Ich muss von "1. Legacy option rom"" starten (manuell).
Dann bootet mein TrueNAS (in der VM, alle Drives inkl. Boot-Drive am HBA LSI 9207).

Automatisch geht das aber nicht, da ist er in ner Art Boot-Loop gefangen, initialisiert den HBA und startet dann nach kurzer Zeit neu, da mus sich manuell ins Bootmenü vom SeaBios und bin dann am Screenshot.

Sollte freilich automatisch gehen - aber wie?

 

[MisterY]

musste man da nicht secure boot im "bios" der VM ausschalten?

 

[Supaman]

musste man da nicht secure boot im "bios" der VM ausschalten?

Nein, Secure Boot ist ein UEFI Feature - er hat Seabios = Legacy aktiviert.

Wie starte ich eine VM direkt von meinem HBA?

Legacy Option Rom in der Boot Reihenfolge ist richtig... aaaaber Du musst im HBA auch aktivieren: booten von HDD oder virtual Drive xxx.

 

[pwnbert]

Das Boot hab ich ausgewählt, sonst würde er ja auch gar nix finden.

Außerdem gibts da noch so ne Option, die ich nicht "gescreent" hab, dort konnte man sinngemäß einstellen "boot from bios" "boot from OS" "boot from bios and OS" "disabled", hab natürlich "bios and OS" genommen.

Mit dem UEFI unter Proxmox kenn ich mich nicht so ganz aus, bzw. wenn ich darauf umschalte find ich auch nix (die Sache mit dem Bios File, auf die im Dialog im Prox hingewiesen wird, mit der hab ich mich noch nicht auseinandergesetzt, was das am Ende bedeutet).

 

[AliManali]

Also wenn Du den HBA an einen Filer durchreichen-, und von dem Storage aus eine VM starten möchtest (verstehe ich da richtig?):

1. auf dem "normalen" Proxmox Storage einen Filer anlegen
2. dem Filer den HBA durchreichen
3. auf dem Filer die ZFS Filesystems Deiner Wahl anlegen und per NFS freigeben
4. die NFS Freigabe an den Host zurück reichen
5. auf dem Host mit der NFS Freigabe wie mit lokalem Storage umgehen, bzw. darauf Deine VMs anlegen

zumindest mache ich das so. Für die Filer habe ich also eine extra SSD, welche onboard dran hängt.

Ist der HBA in den IT Mode geflasht? Bei meinem Perc H310 sehe ich im IT Mode kein BIOS vom HBA.

 

[wenzilinho]

Nein, er will Truenas auf einer SSD installieren, die selbst am durchgereichten HBA hängt.
Macht eigentlich nur Sinn, um im Fehlerfall die SSD samt Platten in einen anderen Rechner bauen zu können.

 

[AliManali]

Ja, das habe ich schon verstanden. Nur würde ich den Schuh halt andersrum anziehen. Und dann im Fehlerfall die Filer SSD mit umziehen. Oder halt den Filer neu aufsetzen, und kurz die Pools samt Berechtigungen importieren. Geht super easy.

Dass da wer den Filer im durchgereichten HBA Storage hochzieht, höre ich zum ersten mal. Macht das wer?

 

[wenzilinho]

Nein.
OS virtuell und dann den HBA mit den Datenplatten durchreichen ist richtig.

Oder auf Truenas verzichten und den Filer komplett virtualisieren. Manchen reicht auch ein LXC.

 

[pwnbert]

Also, mein Problem:
Verwende ich SeaBios, gibts ja kein echtes Bios, in das ich "rein" kann, oder? Nur dieses Boot-Menü, wo ich eben manuell wählen muss (warum auch immer).

Verwende ich UEFI, so kann ich zwar SecureBoot abstellen, es findet den HBA aber nicht als Boot-Device.


Ich hab Boot-Drive und alle Daten-Drives von baremetal TrueNAS an den HBA gehängt und den durchgereicht, das funktioniert auch, allerdings nur mit manueller auswahl, selbstverständlich soll die VM aber automatisch starten können.

Beitrag automatisch zusammengeführt: 09.10.2024

Nein.
OS virtuell und dann den HBA mit den Datenplatten durchreichen ist richtig.

Warum soll das "richtig" sein? Warum soll ich das OS aufn virtuelles Drive machen, geht doch wunderbar auf ein durchgereichtes.
Muss nur irgendwie automatisch gehen.

Oder auf Truenas verzichten und den Filer komplett virtualisieren. Manchen reicht auch ein LXC.

Sorry, die Antwort ist sinnlos. Das is so wie "welche Grafikkarte soll ich für den Gaming PC kaufen" und jemand sagt "kauf einfach ne PS5". Yeah right.

Sorry, ist einfach keine Hilfe.


Nachtrag:

Dass da wer den Filer im durchgereichten HBA Storage hochzieht, höre ich zum ersten mal. Macht das wer?

Warum nicht, funktioniert ja grundsätzlich.
Vorteil ist, dass das OS erstmal unabhängig ist und theoretisch baremetal ebenso lauffähig ist ohne groß was anzugreifen bzw. als ganzes "mitgenommen" werden kann.
Inwiefern das in der Praxis sinnvoll, wichtig oder brauchbar ist (oder vielleicht sogar unsicher und daher gar nicht so schlau), ist wiederum eine eigene Sache für sich.

Nachdem es grundsätzlich gut geht, warum nicht? Die Frage ist nur, wie man den manuellen Eingriff wegbekommt - was ja möglich sein sollte - wahrscheinlich sogar recht einfach - wenn man denn nur weiss wie.