[Gelöst] PCIe Karte deaktiviert onboard LAN / NIC

[Jaschkopf]

Servus,

nach ewiger Abstinenz hier im Forum benötige ich dringend Hilfe.

Ich habe einen, ich nenne es mal "Home-Server", aufgesetzt, auf dem Proxmox läuft. Es ist folgende Hardware verbaut:

Gigabyte C246-WU4
Intel i3-9100
2x 16GB Kingston Server Premier KSM24ED8/16ME DDR4-2400 ECC DIMM
2x WD_BLACK 250 GB SN750 NVMe SSD
300 Watt be quiet! Pure Power 11 Non-Modular 80+ Bronze


Bei der Proxmox Installation habe ich die beiden M2 SSD als ZFS RAID 1 konfiguriert. Dort laufen jetzt die VM's meines Smart-Home drauf, sprich ioBroker, PiHole, Raspberrymatic und Deconz, jeweils in einer eigenen Debian VM.

Jetzt habe ich auf ebay einen Dell PERC H710 Controller gekauft. Es wurde vom Vorbesitzer bereits die IT-Mode Firmware geflashed. Laut Vorbesitzer lief die Karte bis zum Schluss problemlos, allerdings bekomme ich sie nicht zum Laufen.

Sobald ich die Karte einbaue, deaktiviert sich die Netzwerkverbindung und ich habe keinen blassen Schimmer wieso. Im BIOS wird die Karte als PCIe Device erkannt. Der LAN Port wird im BIOS auch als connected erkannt und blinkt auch noch. Sobald dann Proxmox bootet habe ich keine Verbindung mehr am LAN Port, wenn ich die Karte wieder ausbaue funktioniert der LAN Port wieder. Kann sich das jemand erklären?

Hintergrund ist, dass ich die H710 als HBA komplett an eine VM mit FreeNAS durchreichen will um dort alle angeschlossenen Platten direkt zu nutzen.

Vielleicht hat jemand eine Idee woran es liegt. Vermutlich nur eine Einstellung im BIOS? Danke für eure Hilfe!

Gruß Jaschkopf

 

[tolga9009]

Hast du BIOS Update probiert? Ansonsten denke ich bei Problemen mit Storage Karten immer direkt an http://yannickdekoeijer.blogspot.com/2012/04/modding-dell-perc-6-sas-raidcontroller.html?m=1.

 

[Jaschkopf]

Hast du BIOS Update probiert? Ansonsten denke ich bei Problemen mit Storage Karten immer direkt an http://yannickdekoeijer.blogspot.com/2012/04/modding-dell-perc-6-sas-raidcontroller.html?m=1.

Hey @tolga9009 danke für deine Antwort. Das BIOS habe ich schon auf die neuste Version gebracht, leider ohne Erfolg. Ich habe den Artikel im Link mal überflogen, aber dort geht es ja darum, dass das System beim Booten hängen bleibt.

Wenn ich den H710 Controller einstecken bootet das System ganz normal. Das kann ich auf dem Monitor beobachten. Auch die VM's scheinen zu starten. Lediglich die onboard Netzwerkadapter funktionieren beide dann nicht mehr, weshalb ich nicht mehr auf die Weboberfläche von Promotion zugreifen kann.

Als würde der HBA die Kommunikation der Netzwerkkarten blockieren oder stören. Kann sowas möglich sein?

Bleibt nur die Frage ob es ein Bug oder Feature ist 🤣

Gruß Jaschkopf

 

[p4n0]

Hast du schon nen andern PCI-E Slot getestet?
Riecht fuer mich irgendwie nach 'Lane-clash'.

 

[oNyX`]

Was sagt lspci, dmesg? Kommt das OPROM vom Perc?

 

[Jaschkopf]

So ich habe jetzt neue Erkenntnisse: Das System bootet nur mit dem PERC auf dem x16 oder x8 Slot. Auf den beiden x4 Slots bleibt er beim Booten bei "C4" stecken und startet neu.

@oNyX` die Karte hat kein OPROM, weil sie als HBA mit der IT MODE Firmware geflashed wurde.

Hier die Ausgabe von lspci und dmesg. Vielleicht werdet ihr da Schlau draus:



Gruß Jaschkopf

Beitrag automatisch zusammengeführt: 17.11.2020

Hast du BIOS Update probiert? Ansonsten denke ich bei Problemen mit Storage Karten immer direkt an http://yannickdekoeijer.blogspot.com/2012/04/modding-dell-perc-6-sas-raidcontroller.html?m=1.

Ich habe gerade nochmal den Mod aus dem Link probiert, aber ohne Erfolg. Auch mit abgeklebten Pins B5 und B6 werden die LAN Ports deaktiviert. Die PERC wird trotzdem erkannt (identische Ausgabe von lspci)

Kann es mit der begrenzten Anzahl an PCIe Lanes des i3-9100 zusammen hängen? Dieser stellt nur 16 Lanes bereit. Davon sind bereits 4+2 von den 2x M.2 SSD belegt.

Gruß Jaschkopf

 

[tolga9009]

Laut Handbuch wird mit installierter M.2 SSD der unterste PCIe x4 Slot deaktiviert - mehr aber auch nicht. Der Rest müsste eigentlich laufen.

Vieles läuft auch über den Chipsatz, der agiert quasi als ein "PCIe Switch". Das passt mit den Lanes (PCIe ist abwärtskompatibel).

Kannst du mal testen, ob's vielleicht im UEFI-only Mode läuft? Dazu musst du EFI Boot auswählen und CSM deaktivieren. Wenn's keine Veränderung gibt, kannst du es wieder rückgängig machen.

Hast du schon Firmware Update der Karte probiert?

 

[oNyX`]

Ich versteh das Problem nicht, der PERC und die NIC werden doch bei lspci angezeigt, lshw und ifconfig sagt was?

 

[craxity]

So ich habe jetzt neue Erkenntnisse: Das System bootet nur mit dem PERC auf dem x16 oder x8 Slot. Auf den beiden x4 Slots bleibt er beim Booten bei "C4" stecken und startet neu.

Für den PERC gibt es doch am vernünftigsten in einem der beiden PEG-Slots zu stecken. Wenn er da läuft und die LAN-Ports funktionieren, ist doch alles gut.

Einer der PCIx4-Slots wird wegen der NVMe-SSD deaktiviert. Im anderen PCIx4-Slot sollte der PERC eigentlich laufen, aber er würde dort nur 4 Lanes bekommen und müsste sich die Bandbreite mit dem NVMe-RAID teilen, was suboptimal ist.

 

[Jaschkopf]

Ich versteh das Problem nicht, der PERC und die NIC werden doch bei lspci angezeigt, lshw und ifconfig sagt was?

Die NIC werden zwar bei lspci angezeigt, aber sind ohne Funktion. Kabel steckt, aber keine Kommunikation (LED's am Port bleiben aus).

Für den PERC gibt es doch am vernünftigsten in einem der beiden PEG-Slots zu stecken. Wenn er da läuft und die LAN-Ports funktionieren, ist doch alles gut.

Einer der PCIx4-Slots wird wegen der NVMe-SSD deaktiviert. Im anderen PCIx4-Slot sollte der PERC eigentlich laufen, aber er würde dort nur 4 Lanes bekommen und müsste sich die Bandbreite mit dem NVMe-RAID teilen, was suboptimal ist.

Das System bootet auch nur wenn der PERC in einem PEG-Slot steckt. aber weiterhin bleiben die beiden LAN-Ports ohne Funktion.

Kannst du mal testen, ob's vielleicht im UEFI-only Mode läuft? Dazu musst du EFI Boot auswählen und CSM deaktivieren. Wenn's keine Veränderung gibt, kannst du es wieder rückgängig machen.

Probiere ich jetzt nochmal aus und werde berichten.

Hast du schon Firmware Update der Karte probiert?

Nein noch nicht. Da ja bereits die IT-Mode FW drauf ist weiß ich auch nicht welche Version. Wie finde ich das raus und wo gibt es ggf Updates dafür?

Gruß Jaschkopf

Beitrag automatisch zusammengeführt: 18.11.2020

Weder im UEFI, noch im legacy Mode, egal ob mit CSM oder ohne, bleiben die LAN-Ports dunkel.

Gruß Jaschkopf

 

[Jaschkopf]

Servus. Es gibt interessante Neuigkeiten. Nachdem ich den Plan mit der Dell Perc H710 verworfen habe, möchte ich nun eine Nvidia Quadro P620 einbauen um damit auf meiner Shinobi-CCTV VM die Objekterkennung zu berechnen. Nachdem ich die Karte eingebaut habe, wieder der selbe Fehler. Die Onboard LAN Ports sind dunkel und der Server ist im Netzwerk nicht erreichbar. Das System bootet aber normal hoch. Mit direkt angeschlossenem Bildschirm komme ich auf die Konsole. Ist das Mainboard vielleicht defekt? Ich kann mir das Fehlerbild nicht erklären...

Gruß Jaschkopf

 

[Jaschkopf]

So das Rätsel ist gelöst. Durch das einstecken einer PCIe Karte wurde die Netzwerkschnittstelle von "enp8s0" zu "enp9s0" umbenannt. Diese Änderung muss manuell in /etc/network/interfaces eingetragen werden. Nach einem Reboot läuft jetzt alles wieder wie es soll. Vielen Dank an alle die geholfen haben!

Gruß Jaschkopf

 

[tolga9009]

Wahnsinn.

Danke für die Rückmeldung, wieder was gelernt. Rückblickend war war der Tipp von @oNyX` genau der richtige.