Asynchrone Gigabit Performance

[MrDeluxe]

Hallo Community,

anhand eines iperf-Tests habe ich mitbekommen, dass meine Netzwerkperformance asynchron ist. Heißt ich habe von einem Server1 zum Server2 unterschiedliche Transferraten. Erklären kann ich mir das nicht, daher frage ich hier nach. Beide Server haben eine Intel-NIC mit NIC-Bonding (LACP). Der Switch ist ebenfalls mit LACP konfiguriert.

Server 1 zu Server 2 :

iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[  4] local 192.168.77.123 port 5001 connected with 192.168.77.78 port 44943
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  1.09 GBytes   938 Mbits/sec

iperf -c 192.168.77.78 -B 192.168.77.123
------------------------------------------------------------
Client connecting to 192.168.77.78, TCP port 5001
Binding to local address 192.168.77.123
TCP window size: 32.8 KByte (default)
------------------------------------------------------------
[  3] local 192.168.77.123 port 56282 connected with 192.168.77.78 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec   577 MBytes   484 Mbits/sec

Server 2 zu Server 1:

sudo iperf -c 192.168.77.123
------------------------------------------------------------
Client connecting to 192.168.77.123, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[  3] local 192.168.77.78 port 44943 connected with 192.168.77.123 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  1.09 GBytes   939 Mbits/sec

sudo iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[  4] local 192.168.77.78 port 5001 connected with 192.168.77.123 port 56282
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec   577 MBytes   483 Mbits/sec

Wie man deutlich erkennen kann ist, die Transferraten von Server 2 zu Server 1 ungefähr die Hälfte wie von Server 1 zu Server 2. Woran kann das liegen? Geroutet wird hier nichts.

 

[Seratio]

Guck dir mal die Interface Statistiken auf Switch und Server an. Ggf. hast du in die eine Richtung Fehler auf der Leitung.

Ebenso kannst du mal mit Wireshark schauen, ob du ggf. viele Retransmissions oder Reorderings (was bei einem ungerouteten Netz nicht auftreten sollte ) hast.

 

[MrDeluxe]

Ich habe soeben einen tcpdump laufen lassen, dabei sind mir sehr viele fehlerhafte TCP checksums aufgefallen:

   vbigwhoopd.58112 > 192.168.77.78.5001: Flags [.], cksum 0x43d9 (incorrect -> 0x07a8), seq 660965501:660975637, ack 1, win 1026, options [nop,nop,TS val 16697092 ecr 3017615], length 10136
15:37:25.936398 IP (tos 0x0, ttl 64, id 21363, offset 0, flags [DF], proto TCP (6), length 52)
    192.168.77.78.5001 > vbigwhoopd.58112: Flags [.], cksum 0x1c41 (incorrect -> 0x6282), seq 1, ack 660965501, win 24576, options [nop,nop,TS val 3017622 ecr 16697092], length 0
15:37:25.936410 IP (tos 0x0, ttl 64, id 21364, offset 0, flags [DF], proto TCP (6), length 52)
    192.168.77.78.5001 > vbigwhoopd.58112: Flags [.], cksum 0x1c41 (incorrect -> 0x3aea), seq 1, ack 660975637, win 24576, options [nop,nop,TS val 3017622 ecr 16697092], length 0
15:37:25.936629 IP (tos 0x0, ttl 64, id 7, offset 0, flags [DF], proto TCP (6), length 4508)
    vbigwhoopd.58112 > 192.168.77.78.5001: Flags [P.], cksum 0x2da9 (incorrect -> 0x2675), seq 660975637:660980093, ack 1, win 1026, options [nop,nop,TS val 16697092 ecr 3017615], length 4456
15:37:25.936644 IP (tos 0x0, ttl 64, id 21365, offset 0, flags [DF], proto TCP (6), length 52)
    192.168.77.78.5001 > vbigwhoopd.58112: Flags [.], cksum 0x1c41 (incorrect -> 0x2982), seq 1, ack 660980093, win 24576, options [nop,nop,TS val 3017622 ecr 16697092], length 0
15:37:25.936644 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 13084)
    vbigwhoopd.58112 > 192.168.77.78.5001: Flags [.], cksum 0x4f29 (incorrect -> 0x7466), seq 660980093:660993125, ack 1, win 1026, options [nop,nop,TS val 16697092 ecr 3017615], length 13032
15:37:25.936665 IP (tos 0x0, ttl 64, id 21366, offset 0, flags [DF], proto TCP (6), length 52)

Wie kann sowas passieren und was wäre eine Lösung?

 

[Seratio]

Gründe gibts dafür hunderte.

Das einfachste ist erstmal Kabel tauschen

Danach folgenden dann:

Anderen Switchport auf betroffenen Interface verwenden
LACP Trunk auflösen
ggf. Switch neustarten
NIC tauschen

Netzwerkkabel ggf. zu nah an einem Stromkabel entlang gelegt? Ist zwar selten das Problem aber durchaus möglich

 

[MrDeluxe]

Das Kuriose ist doch, dass es auf einer Seite mit voller Transferrate durchgeht und auf der anderen nicht. Festgestellt habe ich aber auch, dass es die Checksum-Fehler auf beiden Seiten gibt. Das ist also nicht wirklich das Problem.

 

[MrDeluxe]

Das Problem war, dass ich mein Management-Interface und Daten-Interface (LACP) im gleichen Subnetz hatte. Das wurde von mir über die CLI erzwungen, weil es über die GUI nicht ging. Ganz begreifen kann ich den Geschwindigkeitsverlust trotz allem nicht.