LSI / Broadcom 9400-8i: Niedrige Performance mit Expander Backplane

java4ever

Experte
Thread Starter
Mitglied seit
12.01.2018
Beiträge
928
Ort
Darmstadt
Ich versuche mein Glück mal hier.

Ich habe ein komisches Problem mit Broadcom / LSI 9400-8i Controllern in Verbindung mit Expander Backplane.


9400-8i: 250MByte/s sequentiell lesend von SSD
9300-8i: 500MByte/s sequentiell lesend von SSD

Setup: Expander Backplane (BPN-SAS3-826EL1), Proxmox mit Kernel 6.8, Ryzen 5950X auf ASrock Rack board.

Zwischen den Tests ist auch alles gleich (SSD, Kabel, Backplane, Slot der Karte, Command, etc). Ich habe einfach nur stupide die Controller durchgetauscht.

Was ich schon versucht habe:
  • Mehrmals probiert -> 100% reproduzierbar, 9300-8i performt immer gut wie erwartet -> Keine defekten Kabel, schlechte Steckverbindung, defekte Backplane, etc
  • Firmware auf der Backplane selbst geupadted -> Keine Veränderung
  • Mehrere verschiedene 9400-8i probiert -> Keine Veränderung -> Kein defekter Controller
  • Firmware auf den Karten selbst gecheckt -> Alles aktuell
Aktuell sehe ich zwei mögliche Erklärungen:
  1. Die 9400-8i sind aus unerfindlichen Gründen inkompatibel mit Expander Backplanes
  2. Alle meine 9400-8i sind ehemals Lenovo (430-8i und 530-8i), auf normale Stock Firmware geflasht. Möglicherweise gibt es dort einen Zusammenhang. Um das auszuschließen habe ich einen normalen 9400-8i zum Test bestellt

Hat noch jemand eine andere Idee?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Das sieht doch sehr systematisch geprüft aus. (y)

Bleiben eigentlich nur die Treiber vom Proxmox, wird für beide Controller der gleiche verwendet ?
 
Gibt es eine Message in dmesg, mit welcher PCIe-Bandbreite der Controller erkannt wird? Evtl im BIOS die PCIe-Rev und Speed manuell einstellen? Sieht fast nach einer x1-Verbindung aus.
Ich habe Fujitsu-Saal-Controller (mit LSI-Firmware), die in manchen Mainboards überhaupt nicht erkannt werden, also sind Inkompatibilitäten nicht auszuschließen.
 
Gibt es eine Message in dmesg, mit welcher PCIe-Bandbreite der Controller erkannt wird? Evtl im BIOS die PCIe-Rev und Speed manuell einstellen? Sieht fast nach einer x1-Verbindung aus.
Ich habe Fujitsu-Saal-Controller (mit LSI-Firmware), die in manchen Mainboards überhaupt nicht erkannt werden, also sind Inkompatibilitäten nicht auszuschließen
Hab ich noch via lspci gecheckt gestern, linken sich beide mit 3.0 x8

Code:
LnkSta: Speed 8GT/s, Width x8
    TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-

Auch extra nochmal gecheckt ob sich alle 8 SAS-Lanes Richtung Backplane richtig linken:
Code:
root@ryzen-1:~# for i in $(seq 0 7); do ./storcli64 /c0/p$i show | grep "PhyNo SASLinkSpeed" -A2 ; done
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    0 12.0 Gbps    500605B00DAFC4B0 Y    17   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    1 12.0 Gbps    500605B00DAFC4B1 Y    13   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    2 12.0 Gbps    500605B00DAFC4B2 Y    16   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    3 12.0 Gbps    500605B00DAFC4B3 Y    12   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    4 12.0 Gbps    500605B00DAFC4B4 Y    18   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    5 12.0 Gbps    500605B00DAFC4B5 Y    14   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    6 12.0 Gbps    500605B00DAFC4B6 Y    19   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N   
PhyNo SASLinkSpeed HBASASADDR       Enbl APhy AhDH AhDevAddr        Port Vendor   SMPT SMPI STPT STPI SSPT SSPI SEPDI ATAPT DIRAD SATAH SATAE DTYPE ABS
--------------------------------------------------------------------------------------------------------------------------------------------------------
    7 12.0 Gbps    500605B00DAFC4B7 Y    15   000d 50030480183E24BF 0    Broadcom 1    0    0    0    0    0    0     0     1     0     0     2     N

PHY Error Counter haben ich ebenfalls gecheckt, die waren alle auf 0.

Bleiben eigentlich nur die Treiber vom Proxmox, wird für beide Controller der gleiche verwendet ?
Wenn ich mich nicht irre ist das beides mpt3sas, der Linux mainline ist
 
Mal mit einer oder zwei Versionen niedriger probiert? Beim H310 war das eine Zeit lang good practice.
Sorry, ich rate nur mit...
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh