LSI / Broadcom 9400-8i: Niedrige Performance mit Expander Backplane

[java4ever]

Ich versuche mein Glück mal hier.

Ich habe ein komisches Problem mit Broadcom / LSI 9400-8i Controllern in Verbindung mit Expander Backplane.


9400-8i: 250MByte/s sequentiell lesend von SSD
9300-8i: 500MByte/s sequentiell lesend von SSD

Setup: Expander Backplane (BPN-SAS3-826EL1), Proxmox mit Kernel 6.8, Ryzen 5950X auf ASrock Rack board.

Zwischen den Tests ist auch alles gleich (SSD, Kabel, Backplane, Slot der Karte, Command, etc). Ich habe einfach nur stupide die Controller durchgetauscht.

Was ich schon versucht habe:

• Mehrmals probiert -> 100% reproduzierbar, 9300-8i performt immer gut wie erwartet -> Keine defekten Kabel, schlechte Steckverbindung, defekte Backplane, etc
• Firmware auf der Backplane selbst geupadted -> Keine Veränderung
• Mehrere verschiedene 9400-8i probiert -> Keine Veränderung -> Kein defekter Controller
• Firmware auf den Karten selbst gecheckt -> Alles aktuell

Aktuell sehe ich zwei mögliche Erklärungen:

1. Die 9400-8i sind aus unerfindlichen Gründen inkompatibel mit Expander Backplanes
2. Alle meine 9400-8i sind ehemals Lenovo (430-8i und 530-8i), auf normale Stock Firmware geflasht. Möglicherweise gibt es dort einen Zusammenhang. Um das auszuschließen habe ich einen normalen 9400-8i zum Test bestellt

Hat noch jemand eine andere Idee?

 

[Supaman]

Das sieht doch sehr systematisch geprüft aus.

Bleiben eigentlich nur die Treiber vom Proxmox, wird für beide Controller der gleiche verwendet ?

 

[danielmayer]

Gibt es eine Message in dmesg, mit welcher PCIe-Bandbreite der Controller erkannt wird? Evtl im BIOS die PCIe-Rev und Speed manuell einstellen? Sieht fast nach einer x1-Verbindung aus.
Ich habe Fujitsu-Saal-Controller (mit LSI-Firmware), die in manchen Mainboards überhaupt nicht erkannt werden, also sind Inkompatibilitäten nicht auszuschließen.

 

[java4ever]

Gibt es eine Message in dmesg, mit welcher PCIe-Bandbreite der Controller erkannt wird? Evtl im BIOS die PCIe-Rev und Speed manuell einstellen? Sieht fast nach einer x1-Verbindung aus.
Ich habe Fujitsu-Saal-Controller (mit LSI-Firmware), die in manchen Mainboards überhaupt nicht erkannt werden, also sind Inkompatibilitäten nicht auszuschließen

Hab ich noch via lspci gecheckt gestern, linken sich beide mit 3.0 x8

LnkSta: Speed 8GT/s, Width x8
    TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-

Auch extra nochmal gecheckt ob sich alle 8 SAS-Lanes Richtung Backplane richtig linken:

Spoiler

root@ryzen-1:~# for i in $(seq 0 7); do ./storcli64 /c0/p$i show | grep "PhyNo SASLinkSpeed" -A2 ; done
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    0 12.0 Gbps    500605B00DAFC4B0 Y    17   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    1 12.0 Gbps    500605B00DAFC4B1 Y    13   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    2 12.0 Gbps    500605B00DAFC4B2 Y    16   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    3 12.0 Gbps    500605B00DAFC4B3 Y    12   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    4 12.0 Gbps    500605B00DAFC4B4 Y    18   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    5 12.0 Gbps    500605B00DAFC4B5 Y    14   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    6 12.0 Gbps    500605B00DAFC4B6 Y    19   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    7 12.0 Gbps    500605B00DAFC4B7 Y    15   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N

PHY Error Counter haben ich ebenfalls gecheckt, die waren alle auf 0.

Bleiben eigentlich nur die Treiber vom Proxmox, wird für beide Controller der gleiche verwendet ?

Wenn ich mich nicht irre ist das beides mpt3sas, der Linux mainline ist

 

[danielmayer]

Im sth hatte jemand mit dem 9400-16i und dem gleichen Expander Probleme.
Sth
P17+ drauf?

 

[java4ever]

Im sth hatte jemand mit dem 9400-16i und dem gleichen Expander Probleme.
Sth
P17+ drauf?

Selbstverständlich. Wie gesagt, neueste Firmware. Aktuell ist 24.00.00.00 drauf

 

[danielmayer]

Mal mit einer oder zwei Versionen niedriger probiert? Beim H310 war das eine Zeit lang good practice.
Sorry, ich rate nur mit...