[Sammelthread] 10Gbit Homenetzwerk

[Mick1306]

Hallo ich habe seit dem ich Debian Jessie mit dem Kernel 4.3 nutze Probleme mit meiner Borcade 1020 10Gbit/s Karte

Linux bonkers-nas 4.3.0-0.bpo.1-amd64 #1 SMP Debian 4.3.3-7~bpo8+1 (2016-01-19) x86_64 GNU/Linux

Leider Lädt mein NAS nicht die aktuelle firmware (ctfw-3.5.2.1.bin) sondern noch die ctfw-3.2.3.0.bin.

root@bonkers-nas /lib/firmware # dmesg | grep bfa
[    2.454084] bfa 0000:02:00.0: firmware: direct-loading firmware ctfw-3.2.3.0.bin
[    2.455332] bfa 0000:02:00.0: Running firmware version is incompatible with the driver version
[    2.652458] bfa 0000:02:00.0: bfa init failed
[    2.654283] bfa 0000:02:00.1: Running firmware version is incompatible with the driver version
[    2.852201] bfa 0000:02:00.1: bfa init failed
[  240.052416] INFO: task bfad_worker:693 blocked for more than 120 seconds.
[  240.052496] bfad_worker     D ffffffff810a2850     0   693      2 0x00000000
[  240.052519]  [<ffffffffa040b2b0>] ? bfad_read_firmware+0xc0/0xc0 [bfa]
[  240.052540] INFO: task bfad_worker:698 blocked for more than 120 seconds.
[  240.052613] bfad_worker     D ffffffff810a2850     0   698      2 0x00000000
[  240.052626]  [<ffffffffa040b2b0>] ? bfad_read_firmware+0xc0/0xc0 [bfa]

Weitere Infos:

root@bonkers-nas /lib/firmware # modinfo bfa
filename:       /lib/modules/4.3.0-0.bpo.1-amd64/kernel/drivers/scsi/bfa/bfa.ko
version:        3.2.23.0
author:         Brocade Communications Systems, Inc.
description:    Brocade Fibre Channel HBA Driver fcpim
license:        GPL
firmware:       ct2fw-3.2.3.0.bin
firmware:       ctfw-3.2.3.0.bin
firmware:       cbfw-3.2.3.0.bin
srcversion:     10563E7D2C3CE826D3E38CE

root@bonkers-nas /lib/firmware # modinfo bna
filename:       /lib/modules/4.3.0-0.bpo.1-amd64/kernel/drivers/net/ethernet/brocade/bna/bna.ko
firmware:       ct2fw-3.2.5.1.bin
firmware:       ctfw-3.2.5.1.bin
version:        3.2.25.1

Brocade 1020 Bios:


Kann man das Bios der Karte irgendwie aktualisieren?

Kann mir jemand bei meinem Problem helfen?

 

[danielmayer]

Jo. So eine alte Firmware habe ich ja lange nicht gesehen
Also:
Zwei Möglichkeiten, 1)+2) oder 3), letztere habe ich noch nicht probiert, könnte aber 2) obsolet machen.
1) Firmware-Update
a) Leider "retro": unter Qlogic Downloads die Multi-Boot-Firmware-CD laden, auf CD brennen (ggf. geht USB-Stick) und booten.
b) in der Kommandozeile mit "ls" prüfen, ob du im richtigen Verzeichnis mit der Firmwaredatei bist (eine .bin-Datei). Ansonsten mit "cd" in das richtige Verzeichnis gehen.
c) im richtigen Verzeichnis mit "bcu --help" den richtigen Befehl zusammenstellen. Weiß ich gerade nicht auswendig. Sowas wie "bcu boot upgrade a=1 i="brocade-3-2-6-0xxx.bin""... in etwa jedenfalls

2) In Linux muss leider auch Hand angelegt werden:
a) Nachschauen: "ls /lib/firmware/ct*": es müssen Dateien mit -3.2.5.1.bin vorhanden sein.
b) Kernel selbst übersetzen, nachdem in drivers/scsi/bfa/bfad.c, Zeilen +- 66-68 die Dateiversionen von cbfw, ctfw und ct2fw von 3.2.3.0 auf 3.2.5.1 geändert wurden.

oder
3) evtl. bei Qlogic die Firmware 3.2.3.0 suchen ("previous released versions"), wie in 1) flashen und Linux läuft ohne weitere Arbeiten. Kann funktionieren

Gruß

 

[Mick1306]

So Firmwareupdate auf 3.2.6.0 hat funktioniert

2) In Linux muss leider auch Hand angelegt werden:
a) Nachschauen: "ls /lib/firmware/ct*": es müssen Dateien mit -3.2.5.1.bin vorhanden sein.
b) Kernel selbst übersetzen, nachdem in drivers/scsi/bfa/bfad.c, Zeilen +- 66-68 die Dateiversionen von cbfw, ctfw und ct2fw von 3.2.3.0 auf 3.2.5.1 geändert wurden.
Gruß

Die 3.2.5.1 Datein sind unter /lib/firmware/ vorhanden

Aber was meinst du jetzt mit Punkt b)

 

[danielmayer]

Also erst mal kannste probieren, ob es jetzt läuft. Wenn nicht - so glaube ich - dann musst Du noch dem Kernel beibringen, die aktuellsten Firmware-Dateien zu nutzen.
Dazu musst Du im Kernel eine Datei ändern (z.B. /linux-4.4.2/drivers/scsi/bfa/bfad.c), in den Zeilen 66-68 steht, dass der Kernel zwingend die Dateiversionen 3.2.3.0 nehmen muss. Also in der Datei die Zahlen austauschen gegen 3.2.5.1 und speichern. Danach Kernel übersetzen und installieren.
Außer, Du hast noch nie einen Kernel übersetzt...?

 

[Mick1306]

Also habe mir jetzt via apt-get install linux-source-4.3 die Kernel Source geholt.

Dann hab ich unter drivers/scsi/bfa/bfad.c folgendes gändert.

#define BFAD_FW_FILE_CB         "cbfw-3.2.5.1.bin"
#define BFAD_FW_FILE_CT         "ctfw-3.2.5.1.bin"
#define BFAD_FW_FILE_CT2        "ct2fw-3.2.5.1.bin"

Muss ich jetzt einen ganzen Kernel kompilieren/übersetzen oder reicht das Modul neu zu bauen?

 

[danielmayer]

Try and die? "make -j4 modules && make -j4 modules_install && update-grub" kann reichen.

 

[Mick1306]

Immer noch das selbe problem ...

root@bonkers-nas ~ # dmesg | grep bfa
[    1.511337] bfa 0000:02:00.0: firmware: direct-loading firmware ctfw-3.2.3.0.bin                                      
[    1.511451] bfa 0000:02:00.0: enabling device (0000 -> 0002)                                                          
[    1.512496] bfa 0000:02:00.0: Running firmware version is incompatible with the driver version                        
[    1.709791] bfa 0000:02:00.0: bfa init failed                                                                         
[    1.710532] bfa 0000:02:00.1: enabling device (0000 -> 0002)                                                          
[    1.711695] bfa 0000:02:00.1: Running firmware version is incompatible with the driver version                        
[    1.909523] bfa 0000:02:00.1: bfa init failed                                                                         
[  239.606193] INFO: task bfad_worker:177 blocked for more than 120 seconds.                                             
[  239.606344] bfad_worker     D ffffffff810a2850     0   177      2 0x00000000                                          
[  239.606382]  [<ffffffffa02ba2b0>] ? bfad_read_firmware+0xc0/0xc0 [bfa]

Kernel Modul lädt jetzt aber die neue Firmware

root@bonkers-nas ~ # modinfo bfa | more                                                                                  
filename:       /lib/modules/4.3.0-0.bpo.1-amd64/kernel/drivers/scsi/bfa/bfa.ko                                          
version:        3.2.23.0                                                                                                 
author:         Brocade Communications Systems, Inc.                                                                     
description:    Brocade Fibre Channel HBA Driver fcpim                                                                   
license:        GPL                                                                                                      
firmware:       ct2fw-3.2.5.1.bin                                                                                        
firmware:       ctfw-3.2.5.1.bin                                                                                         
firmware:       cbfw-3.2.5.1.bin                                                                                         
srcversion:     8A07D0269C4B5213D481A24

 

[fax668]

Bevor du manuell dein System verfummelst, solltest du dich vielleicht mal intensiv mit DKMS auseinandersetzen: https://wiki.ubuntuusers.de/DKMS/. Die Anleitung ist zwar für Ubuntu, sollte aber auch auf Debian passen.

 

[Mick1306]

Komisch die Karte Funktioniert unter Debian 8.3.0 mit dem 3.16 Kernel ohne Probleme aber mit dem 4.3 Backport Kernel zickt sie rum ....

 

[danielmayer]

Ja, mit den Netzwerkbestandteilen ist ab 3.17 irgendwas mächtig geändert worden. Ich hatte ja schon berichtet, auch mit dual-Port Fibrechannel-Karten massive Probleme AB 3.17 zu haben... bis 3.16 inkl. alles gut.
Aus deinem Ausdruck geht hervor, dass Du nicht das richtige bfa-Modul geladen hast, da es nachwievor den 3.2.3.0 versucht hat, zu laden. Bei mir hat es jedenfalls funktioniert. Bist du im richtigen Kernel gelandet? mal mit rmmod bfa && modprobe bfa probiert?

@ fax668: Aus meiner Sicht ist ein System schon verfummelt, wenn ein Kernel-Treiber eine Firmware-Version forciert, die hardwareseitig schon überholt ist. Da gehört eine dynamische Abfrage des Hardware-Stands rein mit entsprechenden alternativen Links auf die /lib/firmware. Ich kann das nur nicht

 

[besterino]

Ich kann das nur nicht

Offtopic on: das ist wohl bei 88.9% der IT-Themen bei mir so - was sein müsste hab ich grob im Blick... nur das "wie" von "was gerade ist" dahin zu kommen, ist das hässliche Problem... Die restlichen 11.1% sind dann völlige Ahnungs- und Planlosigkeit gerne hübsch gepaart mit gänzlich mangelndem Problembewusstsein...
Offtopic Off.

 

[The-Master]

Feedback zu den Synology E10G15-F1:

Habe die Karten mit Solid Optics SFP-10G-SR Transceivern am laufen. Die Karten sind wirklich sehr klein und was für mich auch ausschlaggebend ist, sie verbrauchen nur minimal Strom. Soweit sehr gut.

Die installation war dafür leider etwas fummelig, es liegen nur Low-Profile Slotblenden bei, leider keine in voller Höhe. Die kurzen kann man problemlos abschrauben, durch die fehlende Arretierung sitzen die NICs jedoch sehr locker im Slot. Kommt man an das Kabel, verrutschen die Karten leicht, es kommt zu Übertragungsfehlern. Nachdem ich dann die NICs mit etwas sanfter Gewalt in den Slot gedrückt habe, funktioniert die Übertragung sehr gut. Der Treiber wird einfach über das inf-File installiert, danach werden die Karten problemlos als Tehuti 10G NICs erkannt. OS ist einmal Windows Server 2012R2, bzw. Windows 10 Pro.

Habe testweise vom NAS mit SMB 3 Daten übertragen, erreiche spielend ca 5,1 GBit/s (~630 MB/s) mit Jumboframes auf 16k. Für mehr muss ich erstmal meinen Server aufrüsten , viel mehr gibt das RAID nicht her.

Fazit ist also, die Karten bleiben mir erhalten. Überlege ob ich mir vielleicht passende Slotblenden mit einem 3D-Drucker anfertigen lasse. Aber das muss ich mal angehen, wenn ich ausreichend Zeit dafür finde


Treiber: TN40xx_4.4.405.150.WHQL.zip
https://mega.nz/#!OgxmDbAC!uwvyIEey4xQeT1Dm6Id8gRCKVU-ZooNgyuFHCdBpWPI

 

[teqqy]

Vielen Dank für das Feedback.
Damit sind sie zumindest für Windows eine gute Alterantive zu anderen Karten. Wenn diese jetzt auch noch in FreeBSD (FreeNAS) laufen, werde ich wohl zuschlagen.

 

[onlyReaver]

Weiß jemand welche 10 GBit SFP+ Module ich in einem DLink DGS-1510-28X einbauen kann?
Benötige mindestens eines, die Server könnten per 1m Twinax angeschlossen werden.

 

[danielmayer]

D-Link DEM-432XT-DD 10GBASE-LR SFP+ Module - $34
D-Link DEM-431XT-DD 10GBASE-SR SFP+ Module - $16
bzw. natürlich die originalen DEM 432/431.

 

[onlyReaver]

Die sind ja doch günstiger als gedacht.

Kann man dazu Karten mit Transrecievern empfehlen? Oder sind die, sofern die Wellenlänge gleich ist, alle kompatibel?

Möchte die Hosts per Twinax verbinden und Windows 10 Clients per Glasfaser.
Für die Hosts würde ich dann folgende nehmen: http://www.fs.com/c/d-link-10g-sfp-cables_1395

 

[danielmayer]

Ein bisserl den Thread durchforsten wäre dabei gut.
SR und LR sind unterschiedliche Standards. Ansonsten sollten markenübergreifend SR<->SR bzw. LR<->LR funktionieren. Innerhalb eines Hauses reichen SR mit Kabel OM3 oder OM4 dicke aus (bis 300m).
Budgetempfehlung für PCIe-Karten sind derzeit die Tehuti-OEM-Karten, von z.B. Delock, D-Link DXE-810S (nirgendwo in D gesichtet). Wenn low-Profile im PC verbaut werden kann auch die Synology E10-irgendwas. Der liegt aber definitiv keine standard-Blende bei!
Oder mit höherem Stromverbrauch Brocade 1020 von ebay. Die Tehuti sind mit zahlreichen Transceivern kompatibel, vgl. Link ein paar Seiten vorher.

 

[pumuckel]

Falls für jemand interessant:

https://m.notebooksbilliger.de/synology+10+gigabit+pci+express+x4+ethernet+adapter?nbb=45c48c

Synology E10G15-F1 zu 99,99€

 

[Cookie1990]

Gibts irgendwo eigentlich einen ordentlichen Performancetest für die Synology Karte?

 

[danielmayer]

Nicht soweit ich weiß. Die Karte ist ein OEM und afaik baugleich mit D-Link DXE-810S. Die Thecus C10GTR und einige andere haben den gleichen Chip mit nem Base-T Phy.
Ich habe mir bei NB-billiger gerade eine zweite Synology gekauft. Wenn die da ist, lasse ich gerne mal zwischen zwei XeonE5v3 ein paar Tests laufen.

 

[pumuckel]

Wer auch immer den Synology 99€ Deal auf mydealz gepostet hat

ist nun wieder auf 130+

ABER: es gibt Alternativen - leider teurer

https://geizhals.de/qnap-lan-10g1sr-d-erweiterungsmodul-a1377506.html (SFP+) um die 115
https://geizhals.de/qnap-lan-10g1sr-u-erweiterungsmodul-a1351955.html (SFP+) um die 115
https://geizhals.de/qnap-lan-10g1t-u-erweiterungsmodul-a1351951.html (10GBASE-T) evtl interessanter für euch (leider dann ab ca 170€ inkl PayPal)


Chip: Tehuti TN4010
Interface: PCIe 2.0 x 4

 

[onlyReaver]

Um mal kurz sicherzugehen, und meine Vorrausplanung schon mal von Grob in Fein umzustellen.
Ich möchte meinen Speicher zu mindestens 2 Hosts schnell anbinden, außerdem meine Workstation. Aktuelle Idee mit folgenden Komponenten:

3x Brocade 1010 bzw. 1020 für Server/Workstation
3x Brocade 10G-SFPP-SR Transceiver Brocade 10G-SFPP-SR 10GBASE-SR SFP+ Transceiver | FS.COM für Server/Workstation
3x LC-LC 10G 50/125 OM3 Duplex Multimode LC-LC Duplex 10G OM3 50/125 Mulitmode Fiber Patch Cord | Fiberstore für Verkabelung
1x QNAP 10G1SR-D Single-port SFP+ network expansion card, desktop bracket für QNAP

Beim Transreciever für die QNAP Karte bin ich mir gar nicht sicher was ich dort nehmen kann. Am liebsten wäre DAC, weil das sowieso nur 1-2 Meter sind.
Der Switch wird ein >24 Port D-Link werden mit entsprechend 4 SFP+ Ports, dort kommen entsprechende Transreciever von fs.com für diesen Switch dazu.
Es gibt halt so einen "Generic" Transreciever der wohl viele Geräte unterstützen kann, evtl. ist das wohl für die QNAP Karte passend? Oder falls jemand Erfahrungen mit passenden Transrecievern hat ...

1x 10GBASE-SR SFP+ MMF 850nm Transceiver Module - $16 für QNAP
3x D-Link DEM-431XT-DD 10GBASE-SR SFP+ Transceiver | FS.COM für Switch

Am liebsten wäre mir halt wie gesagt dann eher so etwas zwischen Switch und QNAP 1m D-Link DEM-CB100S Compatible SFP+ to SFP+ Passive Copper Cable -Fiberstore
Gegebenfalls sogar zwischen den Servern/QNAP und Switch, abgesehen von der Workstation. Nur wären das eben D-Link Kompatible Transreciever mit Kabel und nicht explizit Brocade.
Müssen die unbedingt auf die jeweilige Marke angepasst sein damit es läuft?

 

[danielmayer]

Die Transceiver-Kompatibilitätsfrage zu verschiedenen OEM der Tehuti wird sich nur schwer beantworten lassen.
Ich gehe davon aus, ohne Gewähr, dass sich die OEMs keine eigene Firmwareprogrammierung antun und damit die Liste der Synology auch für Qnaps/D-Links usw gilt. (Die Liste ist nicht abschließend, sondern "getestet"!)
Alles Weitere wäre vom geneigten Experimental-Käufer zu prüfen
Bzgl. der o.g. Qnaps: Bitte auch hier beachten, dass mit großer Wahrscheinlichkeit keine Standard-Profilbleche beiliegen werden, genau wie bei der Synology.

 

[danielmayer]

Noch eine kurze Info zum Brocade 1020:
Die Karte wird per Beta 3.0.2 von OMV zwar erkannt, es fehlen aber (bislang?) die notwendigen Firmwaredateien. Wer die nachlädt hat eine standardmäßige Unterstützung der Brocades durch OMV 3. Sie werden als ethx dann im Webgui angezeigt und sind nutzbar.
In der OMV 2.x geht es über Umwege, wenn der backport-Kernel 3.16 über die Extras gezogen wird. Gleiches Problem mit Firmware.

 

[onlyReaver]

Als Adapter an den Servern und Workstation nehme ich wohl doch ein paar Intel X520-DA1, sind auf Ebay sehr günstig zu finden, und eben Intel.
Außerdem stehen die in der VMWare HCL bis hoch zu ESXi 6.0U1, ich denke die werden auch immer kompatibel bleiben, was recht wichtig ist.

 

[pumuckel]

Als Adapter an den Servern und Workstation nehme ich wohl doch ein paar Intel X520-DA1, sind auf Ebay sehr günstig zu finden, und eben Intel.
Außerdem stehen die in der VMWare HCL bis hoch zu ESXi 6.0U1, ich denke die werden auch immer kompatibel bleiben, was recht wichtig ist.

sowas: LP 10G Netzwerk Kit 2x Intel X520-DA1 10 Gigabit NIC 10GBe SFP+ 1x 2m SFP+ Kabel | eBay (DE - Chemnitz)
bzw : http://www.ebay.de/itm/Intel-X520-D...349971?hash=item33b30dacd3:g:tmgAAOSwWnFWAvEO (mit Import)

waren das nicht "Heizplatten" ?

 

[ojumle]

Power: 20W maximum; 16,7W typical

Ein Jahr Betrieb verursacht Mehrkosten in Höhe von ~25€ im Vergleich zu einer 10GBe Karte mit nur 5W durchschnittlichem Verbrauch. Sollte man sich schon genau überlegen ob man mal ebenso 100kWh pro Jahr mehr leisten kann/will.

 

[morumbinas]

Falls ich mein MacBook mit meinem Server verbinden will, muss ich über einen zB Promise od. Sonnet Adapter gehen, oder? Gibts irgendwelche "günstigeren" Alternativen.

Danke

 

[danielmayer]

http://www.hardwareluxx.de/community/f101/zfs-storage-mit-gigabit-am-notebook-1110532.html

 

[onlyReaver]

Power: 20W maximum; 16,7W typical

Ein Jahr Betrieb verursacht Mehrkosten in Höhe von ~25€ im Vergleich zu einer 10GBe Karte mit nur 5W durchschnittlichem Verbrauch. Sollte man sich schon genau überlegen ob man mal ebenso 100kWh pro Jahr mehr leisten kann/will.

Jetzt seh ichs auch. Okay, dann muss ich mir das doch noch mal überlegen und wohl eher zu den Brocade 1010er greifen, die sind bei angeblich 8 Watt.