proxmox, vm, jellyfin, nvenc, nvidia pci-passthrough - ich bin zu blöd...

[Shihatsu]

Moin, ich weiß hier wirklich gerade nicht mehr weiter.
Ich betreibe einen proxmox server, auf dem laufen diverse Dienste, unter anderem eben auch eine debian VM mit jellyfin. Diese bekomme ich zur Zeit nicht geupdatet, und da die Installation uralt ist dachte ich: Machste neu! Klappt nur nicht...
Ich wollte folgendermaßen vorgehen:

1. Aktuelles debian in einer proxmox-VM installieren
2. jellyfin installieren: https://jellyfin.org/docs/general/installation/linux
3. Karte hinzufügen via pci passthrough
4. nouvou blacklisten und nvidia treiber installieren: https://wiki.debian.org/NvidiaGraphicsDrivers#Debian_12_.22Bookworm.22 && https://jellyfin.org/docs/general/administration/hardware-acceleration/nvidia/
5. NVENC aktivieren und glücklich sein

Meine derzeitige VM ist ähnlich installiert, allerdings stammt sie aus den Kindergartentagen von jellyfin, die Installation lief da noch sehr viel manueller ab.
So, mein Problem ist der Treiber. Ich lande immer an folgender Stelle nach der nvidia installation:

shihatsu@jellyfin2:~$ nvidia-smi
No devices were found

Device ist vorhanden:

shihatsu@jellyfin2:~$ lspci
00:00.0 Host bridge: Intel Corporation 82G33/G31/P35/P31 Express DRAM Controller
00:1a.0 USB controller: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #4 (rev 03)
00:1a.1 USB controller: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #5 (rev 03)
00:1a.2 USB controller: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #6 (rev 03)
00:1a.7 USB controller: Intel Corporation 82801I (ICH9 Family) USB2 EHCI Controller #2 (rev 03)
00:1b.0 Audio device: Intel Corporation 82801I (ICH9 Family) HD Audio Controller (rev 03)
00:1c.0 PCI bridge: Red Hat, Inc. QEMU PCIe Root port
00:1c.1 PCI bridge: Red Hat, Inc. QEMU PCIe Root port
00:1c.2 PCI bridge: Red Hat, Inc. QEMU PCIe Root port
00:1c.3 PCI bridge: Red Hat, Inc. QEMU PCIe Root port
00:1d.0 USB controller: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #1 (rev 03)
00:1d.1 USB controller: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #2 (rev 03)
00:1d.2 USB controller: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #3 (rev 03)
00:1d.7 USB controller: Intel Corporation 82801I (ICH9 Family) USB2 EHCI Controller #1 (rev 03)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev 92)
00:1f.0 ISA bridge: Intel Corporation 82801IB (ICH9) LPC Interface Controller (rev 02)
00:1f.2 SATA controller: Intel Corporation 82801IR/IO/IH (ICH9R/DO/DH) 6 port SATA Controller [AHCI mode] (rev 02)
00:1f.3 SMBus: Intel Corporation 82801I (ICH9 Family) SMBus Controller (rev 02)
01:00.0 VGA compatible controller: NVIDIA Corporation GP107GL [Quadro P620] (rev a1)
05:01.0 PCI bridge: Red Hat, Inc. QEMU PCI-PCI bridge
05:02.0 PCI bridge: Red Hat, Inc. QEMU PCI-PCI bridge
05:03.0 PCI bridge: Red Hat, Inc. QEMU PCI-PCI bridge
05:04.0 PCI bridge: Red Hat, Inc. QEMU PCI-PCI bridge
06:03.0 Unclassified device [00ff]: Red Hat, Inc. Virtio memory balloon
06:12.0 Ethernet controller: Red Hat, Inc. Virtio network device
09:01.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI

Und Treiber geladen:

shihatsu@jellyfin2:~$ lspci -nnk | egrep -i --color 'vga|3d|2d' -A3 | grep 'in use'
        Kernel driver in use: nvidia

Und nu weiß ich nicht weiter. nouveou ist blacklisted via folgendem Vorgehen, das hab ich aus der vorherigen Installation übernommen:

1. cd /etc/modprobe.d/
2. Create a new file:
   sudo nano blacklist-nvidia-nouveau.conf
3. Add the following to the new file then save/close:
   blacklist nouveau
   options nouveau modeset=0
4. Create another new file:
   sudo nano nvidia.conf
5. Add the following to the new file then save/close:
   options nvidia NVreg_OpenRmEnableUnsupportedGpus=1
6. Update kernel init ram fs:
   sudo update-initramfs -u
7. Reboot the system.

Die VM selber sieht so aus:

und der Fehler ist ja oben beschrieben bei nvidia-smi. Was tun? Irgendwelche Ideen? Mache ich irgendetwas falsch? Was könnte ich noch versuchen? Zefix!

 

[n3cron]

Hast du noch ein Backup der alten Installation?

=>versuch mal zu schauen ob irgendwelche Berechtigungen fehlen würden. Linux ist da durchaus empfindlich. sowohl in Proxmox als auch in der VM

 

[Shihatsu]

Berechtigungen wofür? Und ja, Backup ist vorhanden, doch nach dem letzten hin- und her findet die mittlerweile auch nichts mehr via nvidia-smi

 

[n3cron]

https://itslinuxfoss.com/fix-nvidia-smi-command-not-found-error/

versuch es damit mal, es werden irgendwelche Nvidia Treiber utilities installiert - neben dem eigentlichen Treiber, vielleicht fehlt dieser ja?

Beitrag automatisch zusammengeführt: 19.08.2024

https://forums.developer.nvidia.com...ere-found-although-driver-is-installed/278118 hier auch schon mal nachgeschaut?

Ich komme da gerade nicht drauf.

Hier wird beschrieben das was im Bios fehlt? https://www.infinitivehost.com/know...-missing-gpu-when-sr-iov-is-disabled-in-bios/

 

[Weltherrscher]

Ich nehme mal an, du installierst den 535er nVidia-Treiber?

Dumme Frage:
Hast du mal nen HDMI-Loop-Adapter probiert?
Oder spaßhalber mal nen Monitor an die Graka beim Starten der VM.
Damit sie aktiv wird.

//Edith:
Ich glaub da gabs bei den Minern mal was, dass die HDMI-Stöpsel brauchten, damit die Graka denkt sie hängt an nem Monitor, weil sie sonst nicht aktiv wurde.

//Edith2:
Jop:

https://www.amazon.de/Headless-Emulator-Passform-headless-1920-1080-3840/dp/B06XT1Z9TF

 

[besterino]

Das ist m.W. auch heute noch bei VMs so…

 

[Speeddeamon]

Habe auch soclhe teile für meine Gamestream VM für Sunshine & moonlight

 

[Shihatsu]

Erstmal danke das ihr euch meines Problems annehmt - ich war davon dermaßen frustriert das ich es erst einmal "verdrängt" habe, nu ist genug Zeit vergangen und ich wills lösen - sorry also fürs späte antworten.

https://itslinuxfoss.com/fix-nvidia-smi-command-not-found-error/

versuch es damit mal, es werden irgendwelche Nvidia Treiber utilities installiert - neben dem eigentlichen Treiber, vielleicht fehlt dieser ja?

Beitrag automatisch zusammengeführt: 19.08.2024

https://forums.developer.nvidia.com...ere-found-although-driver-is-installed/278118 hier auch schon mal nachgeschaut?

Ich komme da gerade nicht drauf.

Hier wird beschrieben das was im Bios fehlt? https://www.infinitivehost.com/know...-missing-gpu-when-sr-iov-is-disabled-in-bios/

Also zu dem ersten Link: Das ist nicht mein Problem, mein Problem ist das nvidia-smi keine Karte findet, nicht das nvidia-smi nicht gefunden wird.
Das zweite Problem hilft mir auch leider nicht weiter, da ich dem offiziellen Guide von jellyfin/debian folge um den nvidia Treiber zu installieren.
SR-IOV ist es ganz bestimmt nicht, dann würde mein TrueNAS nicht laufen und ich hätte ganz andere Probleme.

Ich nehme mal an, du installierst den 535er nVidia-Treiber?

Dumme Frage:
Hast du mal nen HDMI-Loop-Adapter probiert?
Oder spaßhalber mal nen Monitor an die Graka beim Starten der VM.
Damit sie aktiv wird.

//Edith:
Ich glaub da gabs bei den Minern mal was, dass die HDMI-Stöpsel brauchten, damit die Graka denkt sie hängt an nem Monitor, weil sie sonst nicht aktiv wurde.

//Edith2:
Jop:

https://www.amazon.de/Headless-Emulator-Passform-headless-1920-1080-3840/dp/B06XT1Z9TF

Wie ich schrieb: Ich folge dieser Anleitung:

NvidiaGraphicsDrivers - Debian Wiki

wiki.debian.org

Und darin dem Text hier:

Spoiler

Debian 12 "Bookworm"​

Version 535.183.01​

For support of GeForce 700 series and newer GPUs (supported devices). For older devices, you must use nouveau, which should be already installed and in use.

1. Add "contrib", "non-free" and "non-free-firmware" components to /etc/apt/sources.list, for example:
   # Debian Bookworm
   deb http://deb.debian.org/debian/ bookworm main contrib non-free non-free-firmware
2. Update the list of available packages, then we can install the nvidia-driver package, plus the necessary firmware:
   # apt update
   # apt install nvidia-driver firmware-misc-nonfree
   DKMS will build the nvidia module for your system, via the nvidia-kernel-dkms package.
   • Note about Secureboot: if you have SecureBoot enabled, you need to enroll your machine owner's key (MOK) to use DKMS modules. Detailed instructions are available here.
3. Restart your system to load the new driver.

Also ja, 535.183.01 - das mit dem HDMi war bisher auch nicht nötig, und Jellyfin sagt explizit das headless sowohl von nvidia als auch jellyfin unterstützt wird - hat bisher ja auch ohne geklappt, macht also irgendwie keinen Sinn, sorry. Aber okay, ausprobieren kann man es ja mal - hab mir mal so ein Ding bestellt. Monitor einfach anschließen geht nicht, die Karte hat 4* Mini DP als Ausgang, Anzahl MiniDP Kabel in diesem Haushalt: 0. In Worten: Null. :x
Ich bezweifle stark das es daran liegt, denn die Karte wird ja als aktiv erkannt....

Ach Menno

 

[Shihatsu]

Also, Es geht jetzt. Die Lösung mit dem Blindstopfen hat nichts gebracht, wie gefürchtet. Ich hab jetzt das ganze WE investiert in Proxmox komplett neumachen, inklusive hardware Kontrolle und "Frühjahrsputz".
Am Ende hab ich pve neuinstalliert und meine VMs vom Backup eingespielt und eine ganz neue Jellyfin-VM "from scratch" erstellt. Und nu gehts. Frag mich einer warum. Sehr sehr ungutes Gefühl, aber es geht. Endlich Kapa frei für andere wichtigere Dinge (da liegt ein 100g Switch rum der darauf wartet in bEtrieb genommen zu werden...). Dank euch vielmals!