Hallo zusammen,
ich fange mit einem kleinen OffTopic an um die Historie zum aktuellen Problem zu schildern, wen es interessiert daher den Spoiler lesen
Hardware:
Mainboard: Supermicro X11SCH-LN4F (Bios 1.9 - 09/19/2022)
CPU: Intel Xeon E-2146G
RAM: 128 GB M391A4G43BB1-CWE
Boot-Festplatte: Intel Optane P1600X
PCI: DigitalDevices Cine S2
Problem: PCI: DigitalDevices Cine S2 im PCI Passthroug funktioniert nicht / nicht zuverlässig
Ziel ist es unter Proxmox eine tvheadend Maschine zu betreiben. Im Legacy Betrieb habe ich es hinbekommen nach aktivieren von IOMMU die tvheadend VM zum laufen zu bekommen, aber nicht zuverlässig, im EFI Betrieb gar nicht.
Leider die Fehlermeldungen nicht rauskopiert, finde ich in meiner google orgie auch nicht mehr heraus. Kann ich aber nachrreichen.
Da ich Neuling bin was proxmox angeht habe ich also versucht tvheadend unter dem mir bekannten ESXi zum laufen zu bekommen, was auch augenscheinlich nach Installation von ESXi 8 und der tvheadend in einer VM unter Debian auch funktionierte. Dann aber Update von ESXi nachgeschoben und nach reboot wurde die PCI Karte nicht mehr unter den Hardware PCI-Geräten aufgeführt, VM startete nicht.
Nach einem Neustart war diese wieder da aber Passthroug deaktiviert -> musste wieder aktiviert werden.
Misstrauisch also wieder aktiviert und nach 5 reboots wieder das selbe Spiel, musste 2 x neustarten bis die Karte wieder auftausch, auch im Bios!!! Nach POPO (PowerOff-PowerON) wird die Karte gefühlt etwas eher erkannt ist aber auch keine Garantie. Ich habe also im Bios Einstellungen kontrolliert / geändert und protokolliert aber komme einem stabilen System nicht näher und bin mit meinem Latein am Ende.
Karte wird nur in dem unteren SLOT5 (x8) erkannt.
Nachfoldend ein paar Screenshots / Grafiken / Settings in der Hoffnung das diese hilfreich sind.
Wenn es funktioniert:
an den De-emphasis Control / Power Limit / Payload habe ich nichts verändert da ich mir dessen Settings nicht bewusst bin und werde.
Wenn PCI PERR/SERR aktiviert ist lässt sich dieser Fehler reproduzieren:
Danach wird die Karte weder im Bios noch ESXi gelistet:
nach 1-3 reboots wieder dann aber halt deaktiviert:
Hier wäre das Handbuch von dem Mainboard zu finden:
https://www.supermicro.com/manuals/motherboard/X11/MNL-2105.pdf
Wie gesagt ich bin mit meinem Latein am Ende und verzweifel so langsam. Ist das Board ungeeignet oder hat es eine Macke das spukt mir aktuell nur noch im Kopf herum, oder sehe ich den Wald von lauter Bäumen nicht
Was mich aber stört ist das im ESXi das Device unterhalb von dem x16 / SLOT6 angezeigt wird es aber definitiv im SLOT5 x8 Steckplatz steckt ...
Und dann noch hier die Settings der PCIe Config vom Bios: (hatte noch nie ein Bios gesehen wo man einzeln EFI / Legacy pro Device einstellen kann ...)
Ich danke Euch für Eure Ratschläge / Denkanstöße oder gar Lösung?
Schönen Abend!
ich fange mit einem kleinen OffTopic an um die Historie zum aktuellen Problem zu schildern, wen es interessiert daher den Spoiler lesen
Vor einigen Jahren mit einem HP Microserver begonnen, diesen jedoch nach kurzer Zeit aufgrund Erweiterungsmöglichkeiten durch einen Proliant ML310 ersetzt inkl. P420 2GB FBWC Controller.
Dieser verrichtete einige Jahre lang zuverlässig seinen Dienst mit einigen VMs und einem TV-Server mit einer PCIe Karte von DigitalDevices, eine Cine S2, durchgereicht per PCI Passthrough, Hypervisor immer ESXi.
Letztes Jahr habe ich, nachdem ich lange Zeit schon unzufrieden mit der Performace war, mich dazu entschlossen diesen zu ersetzen. Die Wahl fiel aufgrund des Forums auf ein System mit Fujitsu D3644-B Mainboard und der HBA wurde durch einen Perc H310 im IT-Mode ersetzt. Verwöhnt durch die nun zufriedenstellende Leistung wurden die VMs mit mehr RAM bedacht und neue zogen mit ein, es machte wieder Spass sich mit neuem zu befassen
Dieser wurde mir nun wieder genommen nachdem ich auf ESXi v8 geupgradet habe, HBA offiziell nicht mehr unterstützt und um VMs gemäß MS compliance mit TPM etc. zu betreiben nun vSphere notwendig also war wieder RAM das Nadelöhr.
Kein Problem dachte ich und da das D3644-B gemäß C246 Spezifikation und Internetrecherche 128 GB RAM kann 4 x 32GB RAM besorgt.
VMWare gefrustet wollte ich nun aber aus Prinzip keine ESXi mehr einsetzen und zu proxmox wechseln, gesagt getan, jedoch habe ich dadurch auch gemerkt das das D3644-B wenn man es mit 4x32GB Modulen statt 4x16GB betreibt zu dauerhaften ECC Fehlern kommt (consolen Meldungen und memtest86 bestätigt) (mit unterschiedlichen Riegeln getestet - im Bios keinerlei Möglichkeiten am RAM was einzustellen) dazu auch habe ich es nicht hinbekommen per Intel vPro AMT Console nach dem grub von proxmox noch auf dieser per remote eine Monitorausgabe zu bekommen, bootet proxmox kein problem aber im Fehlerfall (steht halt nicht nebem Schreibtisch ...) ... also mich dazu entschlossen das das Board gewechselt wird hin zu 128GB Unterstützung und IPMI -> und hier beginnt der Weg mit dem Supermicro Board ...
Dieser verrichtete einige Jahre lang zuverlässig seinen Dienst mit einigen VMs und einem TV-Server mit einer PCIe Karte von DigitalDevices, eine Cine S2, durchgereicht per PCI Passthrough, Hypervisor immer ESXi.
Letztes Jahr habe ich, nachdem ich lange Zeit schon unzufrieden mit der Performace war, mich dazu entschlossen diesen zu ersetzen. Die Wahl fiel aufgrund des Forums auf ein System mit Fujitsu D3644-B Mainboard und der HBA wurde durch einen Perc H310 im IT-Mode ersetzt. Verwöhnt durch die nun zufriedenstellende Leistung wurden die VMs mit mehr RAM bedacht und neue zogen mit ein, es machte wieder Spass sich mit neuem zu befassen
Dieser wurde mir nun wieder genommen nachdem ich auf ESXi v8 geupgradet habe, HBA offiziell nicht mehr unterstützt und um VMs gemäß MS compliance mit TPM etc. zu betreiben nun vSphere notwendig also war wieder RAM das Nadelöhr.
Kein Problem dachte ich und da das D3644-B gemäß C246 Spezifikation und Internetrecherche 128 GB RAM kann 4 x 32GB RAM besorgt.
VMWare gefrustet wollte ich nun aber aus Prinzip keine ESXi mehr einsetzen und zu proxmox wechseln, gesagt getan, jedoch habe ich dadurch auch gemerkt das das D3644-B wenn man es mit 4x32GB Modulen statt 4x16GB betreibt zu dauerhaften ECC Fehlern kommt (consolen Meldungen und memtest86 bestätigt) (mit unterschiedlichen Riegeln getestet - im Bios keinerlei Möglichkeiten am RAM was einzustellen) dazu auch habe ich es nicht hinbekommen per Intel vPro AMT Console nach dem grub von proxmox noch auf dieser per remote eine Monitorausgabe zu bekommen, bootet proxmox kein problem aber im Fehlerfall (steht halt nicht nebem Schreibtisch ...) ... also mich dazu entschlossen das das Board gewechselt wird hin zu 128GB Unterstützung und IPMI -> und hier beginnt der Weg mit dem Supermicro Board ...
Hardware:
Mainboard: Supermicro X11SCH-LN4F (Bios 1.9 - 09/19/2022)
CPU: Intel Xeon E-2146G
RAM: 128 GB M391A4G43BB1-CWE
Boot-Festplatte: Intel Optane P1600X
PCI: DigitalDevices Cine S2
Problem: PCI: DigitalDevices Cine S2 im PCI Passthroug funktioniert nicht / nicht zuverlässig
Ziel ist es unter Proxmox eine tvheadend Maschine zu betreiben. Im Legacy Betrieb habe ich es hinbekommen nach aktivieren von IOMMU die tvheadend VM zum laufen zu bekommen, aber nicht zuverlässig, im EFI Betrieb gar nicht.
Leider die Fehlermeldungen nicht rauskopiert, finde ich in meiner google orgie auch nicht mehr heraus. Kann ich aber nachrreichen.
Da ich Neuling bin was proxmox angeht habe ich also versucht tvheadend unter dem mir bekannten ESXi zum laufen zu bekommen, was auch augenscheinlich nach Installation von ESXi 8 und der tvheadend in einer VM unter Debian auch funktionierte. Dann aber Update von ESXi nachgeschoben und nach reboot wurde die PCI Karte nicht mehr unter den Hardware PCI-Geräten aufgeführt, VM startete nicht.
Nach einem Neustart war diese wieder da aber Passthroug deaktiviert -> musste wieder aktiviert werden.
Misstrauisch also wieder aktiviert und nach 5 reboots wieder das selbe Spiel, musste 2 x neustarten bis die Karte wieder auftausch, auch im Bios!!! Nach POPO (PowerOff-PowerON) wird die Karte gefühlt etwas eher erkannt ist aber auch keine Garantie. Ich habe also im Bios Einstellungen kontrolliert / geändert und protokolliert aber komme einem stabilen System nicht näher und bin mit meinem Latein am Ende.
Karte wird nur in dem unteren SLOT5 (x8) erkannt.
Nachfoldend ein paar Screenshots / Grafiken / Settings in der Hoffnung das diese hilfreich sind.
Wenn es funktioniert:
an den De-emphasis Control / Power Limit / Payload habe ich nichts verändert da ich mir dessen Settings nicht bewusst bin und werde.
Wenn PCI PERR/SERR aktiviert ist lässt sich dieser Fehler reproduzieren:
Danach wird die Karte weder im Bios noch ESXi gelistet:
nach 1-3 reboots wieder dann aber halt deaktiviert:
Hier wäre das Handbuch von dem Mainboard zu finden:
https://www.supermicro.com/manuals/motherboard/X11/MNL-2105.pdf
Wie gesagt ich bin mit meinem Latein am Ende und verzweifel so langsam. Ist das Board ungeeignet oder hat es eine Macke das spukt mir aktuell nur noch im Kopf herum, oder sehe ich den Wald von lauter Bäumen nicht
Was mich aber stört ist das im ESXi das Device unterhalb von dem x16 / SLOT6 angezeigt wird es aber definitiv im SLOT5 x8 Steckplatz steckt ...
Und dann noch hier die Settings der PCIe Config vom Bios: (hatte noch nie ein Bios gesehen wo man einzeln EFI / Legacy pro Device einstellen kann ...)
Ich danke Euch für Eure Ratschläge / Denkanstöße oder gar Lösung?
Schönen Abend!