IPoIB einrichten, Windows 10 und Debian

[Knogle]

Ich gruesse euch liebe Community.

Seit einigen Wochen versuche ich nun mit grossem Aufwand meine Mellanox ConnectX2 VPI 40GBit/s Karten zum laufen zu kriegen.
Ich habe die Karte unter Linux wie folgt eingerichtet, also meinem Server

ib0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 4092
        inet 192.168.3.0  netmask 255.255.255.254  broadcast 255.255.255.255
        unspec 80-00-02-08-FE-80-00-00-00-00-00-00-00-00-00-00  txqueuelen 256  (UNSPEC)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Unter Windows kriege ich das irgendwie nicht hin, denn er sagt mir dass das Netzwerkkabel nicht angeschlossen sei, obwohl es aufjedenfall drin ist!
Treiber habe ich nun den korrekten installiert, und zumindest im Geraete-Manager wird nun auch das Ding erkannt ohne Fehler.

Neuste Firmware ist auch drauf, nur Windows zeigt halt leider nix an.

Interessanterweise werden unter Windows 10 fuer die Netzwerkkarte, Adressen angezeigt die ich nie hinzugefuegt habe, z.B. die 169.. etc.

Ich hoffe jemand weiss wie ich das zum laufen kriege!

 

[Tchacker]

Ich gruesse euch liebe Community.

Seit einigen Wochen versuche ich nun mit grossem Aufwand meine Mellanox ConnectX2 VPI 40GBit/s Karten zum laufen zu kriegen.
Ich habe die Karte unter Linux wie folgt eingerichtet, also meinem Server

ib0: flags=4099  mtu 4092
        inet 192.168.3.0  netmask 255.255.255.254  broadcast 255.255.255.255
        unspec 80-00-02-08-FE-80-00-00-00-00-00-00-00-00-00-00  txqueuelen 256  (UNSPEC)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Unter Windows kriege ich das irgendwie nicht hin, denn er sagt mir dass das Netzwerkkabel nicht angeschlossen sei, obwohl es aufjedenfall drin ist!
Treiber habe ich nun den korrekten installiert, und zumindest im Geraete-Manager wird nun auch das Ding erkannt ohne Fehler.

Neuste Firmware ist auch drauf, nur Windows zeigt halt leider nix an.

Interessanterweise werden unter Windows 10 fuer die Netzwerkkarte, Adressen angezeigt die ich nie hinzugefuegt habe, z.B. die 169.. etc.

Ich hoffe jemand weiss wie ich das zum laufen kriege!

169... ist ne APIPA,wird vergeben wenn kein DHCP vorhanden ist...arbeite dich mal von Layer 1(Kabel) die OSI-Schichten nach oben zur Fehlerbehebung,bis du bei Layer 8 angekommen bist

Die Netzmaske 255.255.255.254 unter Linux stimmt auch nicht


Sent from my iPhone using Tapatalk Pro

 

[danielmayer]

Was sagen ibstat und ibstatus?

 

[Knogle]

ibstat auf dem Client sagt

CA 'ibv_device0'
        CA type:
        Number of ports: 1
        Firmware version: 2.9.1200
        Hardware version: 0xb0
        Node GUID: 0x0002c9030059cec6
        System image GUID: 0x0002c9030059cec9
    Port 1:
        State: Initializing
        Physical state: LinkUp
        Rate: 40
        Base lid: 0
        LMC: 0
        SM lid: 0
        Capability mask: 0x90580000
        Port GUID: 0x0002c9030059cec7
        Link layer: IB
        Transport: IB

auf Server

CA 'mlx4_0'
        CA type: MT26428
        Number of ports: 1
        Firmware version: 2.9.1200
        Hardware version: b0
        Node GUID: 0x0002c9030059dc4a
        System image GUID: 0x0002c9030059dc4d
        Port 1:
                State: Initializing
                Physical state: LinkUp
                Rate: 40
                Base lid: 0
                LMC: 0
                SM lid: 0
                Capability mask: 0x02510868
                Port GUID: 0x0002c9030059dc4b
                Link layer: InfiniBand

ibstatus auf dem Server

ibstatus
Infiniband device 'mlx4_0' port 1 status:
        default gid:     fe80:0000:0000:0000:0002:c903:0059:dc4b
        base lid:        0x0
        sm lid:          0x0
        state:           1: DOWN
        phys state:      2: Polling
        rate:            10 Gb/sec (4X)
        link_layer:      InfiniBand

- - - Updated - - -

So Update!
Habe opensm auf dem Server installiert.

Dann eingegeben

systemctl enable opensm
/etc/init.d/opensm start
modprobe mlx4_ib
ifup ib0

Dann hat sich sofort Windows gemeldet, ein neues Netzwerk einzurichten.
Jetzt steht da nicht mehr "Netzwerkkabel wurde entfernt"

Jetzt geht alles!! Verbindung steht, aber leider nur mit 32GBit/s
Werde mal die Schritte zusammenfassen, falls jemand das gleiche Problem hat.

 

[danielmayer]

Ja, das fehlende opensm hatte ich vermutet. Zumindest bei meinen qlogic/intel-karten gibt es aber auch noch eine Art sleep-bug, bei dem man die Karten durch einen Befehl erst aus dem Schönheitsschlaf holen musste.
32gbit ist Maximum:
-zitat-
Effective throughput & multiple virtual lanes
Because SDR, DDR, and QDR versions use 8/10 encoding (8 bits of data takes 10 bits of signaling), effective throughput for these is lowered to 80%: SDR at 2Gb/s/lane; DDR at 4Gb/s/lane; and QDR at 8Gb/s/lane. Starting with FDR, IB uses 64/66 encoding, allowing a higher effective throughput to signaling rate ratio of 96.97%: FDR at 13.64Gb/s/lane; EDR at 24.24Gb/s/lane; and HDR at 48.48Gb/s/lane.
/zitat

 

[Knogle]

Hmm ok das mit den 32GBit/s erscheint mir nun logisch.
Ist ja genau die Bandbreite welche die Karte ueber die 8x PCIe 2.0 Lanes beziehen kann.

D.h. aber auch dass die PCIe 3.0 100GBit Karten und mehr, PCIe x16 brauchen, gell?

 

[danielmayer]

Ja nein, 8x PCIE 2.0 = 40gbit.
Über Infiniband gehen ja auch 40Gbit Signale. Die enthalten aber eben nur 8 Daten je 10 Signale. Daher Datenrate 32Gbit.
Und ja, 100G-Adapter sind x16er Karten (oder höher).