[Sammelthread] 10Gbit Homenetzwerk

[craxity]

@Knut123bert Die verlinten Finisar-Module liefen bei mir in einem Mikrotik-Switch und in einer Mellanox-Karte. Sollte also alles passen.

 

[Knut123bert]

Danke für die Antworten. Habe für beide Verbindungen die optische Lösung bestellt .

 

[me777]

Hallo, ich habe Probleme mit einer "Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)" Dual Port Karte.
Der Fehler ist auf beiden Ports, einer mit direct attach und einer über Glas.
Die Verbindung wird kurz unterbrochen wird und sofort wieder aufgebaut (siehe log-Auszug).
Der Switch sagt das es viele Tx Pauses waren; die habe ich immernoch aber viel weniger.
Es hängt devinitiv mit der Karte zusammen, mit einer melanox funktioniert die Verbindung Fehlerfrei (bzw mit um mehrere potenzen weniger Fehler) mit selben GBIC.
Ich habe Debian 10 als OS.

Kann das ein Software Problem sein?

 

[danielmayer]

Das Log zeigt aber nur auf dem zweiten Port an... Also im Falle des Kupfers ggf Kabelschaden. Kann auch bei Glas sein, da die Knicke noch weniger mögen als Kupfer. Ich tippe jedenfalls auf physisches Problem.
Was ist auf der anderen Seite? Im Falle von Glas: gleiche Transceiver auf beiden Seiten?

 

[negotiator]

Hat noch jemand eine Idee wegen meines DHCP-Problems?
Ggf. Hardware-Defekt?

 

[me777]

Ich habe auf den 2. Server geschaut - da ist nichts im log. Jetzt denke ich die Karte hat den Schaden.
Ich mache den ultimativen Test: in den 2. Rechner kommt die melanox, da brauche ich nur 1 port und die 2. Karte kommt in den 1. Server. (aber erst morgen vormittag)

 

[Weltherrscher]

@me777:
Hast du nen CRS354 oder so von Mikrotik und das Update auf 6.48 gemacht?
Der Fehler hört sich so bekannt an.

@Knut123bert:
Die Finisar aus der Bucht habe ich mir für ca. 15 € geholt und sie fluppen in nem CRS328 und ner X520 von Intel und ner CX3 von Mellanox mit 15 m Singlemode-Kabel vom fs.com einwandfrei.
Kann dir die also vollends empfehlen.

@negotiator:
Könnte es an VLANs liegen?
Die opnsense mal neu gestartet?
"Static ARP" in der opnsense an?

 

[negotiator]

@Weltherrscher
Mehrere VLANs sind aktiv, aber das Problem besteht unabhängig davon. DHCP geht weder untagged noch in den entsprechenden VLANs. Die VLAN-Konfiguration im Switch ist auch für den SFP+ und RJ45-Port identisch - auf RJ45 geht es wie bisher problemlos, über den SFP+-Port dann eben nicht...
(Mehrfach) neu gestartet habe ich im Netzwerk mittlerweile alles, auch das Zurücksetzen des ARP-Tables im Switch bringt nix (wobei er unmittelbar erkennt, wenn ich von RJ45 auf SFP+ wechsele).
Static ARP ist nicht aktiv, weder im "normalen" LAN, noch in den VLANs.

Ich bin mittlerweile komplett ratlos...

 

[Weltherrscher]

Bist du *ganz* sicher, dass die VLAN-Konfig auf dem RJ45 und dem SFP+ dieselbe ist?
Dumme Frage, wenn du den SFP+ verbindest und alle Einstellungen gleich sind, machst du da nicht einen Ring am Switch (wenn der RJ45 noch steckt)?
(R|M)STP an?
Für einen redundanten Uplink bondet man doch gemeinhin die Ports?

 

[pfistphi]

Hallo Zusammen,
wenn ich von meinem Desktop per SMB auf den Storageserver zugreifen möchte funktioniert das nicht, sobald ich mittels der 10gbit Karte am Switch hänge.
In dem Fall sind alle anderen Netzwerkadapter im Desktop deaktiviert.

Wenn ich auf die Freigabe zugreifen möchte hängt sich der Windowsexplorer auf und fängt sich erst wieder, wenn ich die 10gbit Karte deaktiviere und die 1Gbit Karte aktiviere.
Alles andere funktioniert über die 10gbit Karte problemlos. (auch smb zu einem anderen Server mit ~700mb/s). Der Storageserver ist ein Freenasserver, von welchem sich das Webinterface ebenfalls über die 10gbit verbindung erreichen lässt.

Storageserver und VM Host hängen mittels Connect X3 und DAC am Mikrotik CRS 328 28p-4s+rm und der Desktop hängt mittels Connect X3 und fs.com 10GBASE SR Trancievern und OM4 Kabeln am gleichen Switch.

Ping funktioniert von Desktop und Storageserver funktioniert in beide Richtungen.

Spoiler: iperf3 Server auf Storageserver, Desktop ist der client:

-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Accepted connection from 10.10.10.20, port 65114
[ 5] local 10.10.0.100 port 5201 connected to 10.10.10.20 port 65115
[ ID] Interval Transfer Bitrate
[ 5] 0.00-1.00 sec 707 MBytes 5.93 Gbits/sec
[ 5] 1.00-2.00 sec 649 MBytes 5.44 Gbits/sec
[ 5] 2.00-3.00 sec 568 MBytes 4.77 Gbits/sec
[ 5] 3.00-4.00 sec 644 MBytes 5.40 Gbits/sec
[ 5] 4.00-5.00 sec 612 MBytes 5.13 Gbits/sec
[ 5] 5.00-6.00 sec 632 MBytes 5.30 Gbits/sec
[ 5] 6.00-7.00 sec 590 MBytes 4.95 Gbits/sec
[ 5] 7.00-8.00 sec 817 MBytes 6.85 Gbits/sec
[ 5] 8.00-9.00 sec 934 MBytes 7.83 Gbits/sec
[ 5] 9.00-10.00 sec 874 MBytes 7.33 Gbits/sec
[ 5] 10.00-10.05 sec 45.5 MBytes 8.08 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate
[ 5] 0.00-10.05 sec 6.91 GBytes 5.90 Gbits/sec receiver
-----------------------------------------------------------

Die ersten drei Intervalle sind hierbei bei allen Tests so schlecht.

Spoiler: iperf3 Server auf Desktop, Storageserver ist der client:

root@pfistorage[~]# iperf3 -c 10.10.10.20
Connecting to host 10.10.10.20, port 5201
[ 5] local 10.10.0.8 port 10037 connected to 10.10.10.20 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 43.0 KBytes 351 Kbits/sec 2 8.75 KBytes
[ 5] 1.00-2.04 sec 0.00 Bytes 0.00 bits/sec 1 8.75 KBytes
[ 5] 2.04-3.04 sec 0.00 Bytes 0.00 bits/sec 1 8.75 KBytes
[ 5] 3.04-4.05 sec 0.00 Bytes 0.00 bits/sec 0 8.75 KBytes
[ 5] 4.05-5.05 sec 0.00 Bytes 0.00 bits/sec 1 8.75 KBytes
[ 5] 5.05-6.01 sec 0.00 Bytes 0.00 bits/sec 0 8.75 KBytes
[ 5] 6.01-7.05 sec 0.00 Bytes 0.00 bits/sec 0 8.75 KBytes
[ 5] 7.05-8.05 sec 0.00 Bytes 0.00 bits/sec 0 8.75 KBytes
[ 5] 8.05-9.05 sec 0.00 Bytes 0.00 bits/sec 1 8.75 KBytes
[ 5] 9.05-10.05 sec 0.00 Bytes 0.00 bits/sec 0 8.75 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.05 sec 43.0 KBytes 35.0 Kbits/sec 6 sender
[ 5] 0.00-10.05 sec 0.00 Bytes 0.00 bits/sec receiver

iperf Done.

Spoiler: iperf3 Server auf Vmhost, Desktop ist der client:

-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Accepted connection from 10.10.10.20, port 65232
[ 5] local 10.10.0.100 port 5201 connected to 10.10.10.20 port 65233
[ ID] Interval Transfer Bitrate
[ 5] 0.00-1.00 sec 657 MBytes 5.51 Gbits/sec
[ 5] 1.00-2.00 sec 424 MBytes 3.56 Gbits/sec
[ 5] 2.00-3.00 sec 543 MBytes 4.55 Gbits/sec
[ 5] 3.00-4.00 sec 540 MBytes 4.53 Gbits/sec
[ 5] 4.00-5.00 sec 530 MBytes 4.44 Gbits/sec
[ 5] 5.00-6.00 sec 431 MBytes 3.62 Gbits/sec
[ 5] 6.00-7.00 sec 451 MBytes 3.78 Gbits/sec
[ 5] 7.00-8.00 sec 519 MBytes 4.36 Gbits/sec
[ 5] 8.00-9.00 sec 488 MBytes 4.09 Gbits/sec
[ 5] 9.00-10.00 sec 777 MBytes 6.52 Gbits/sec
[ 5] 10.00-10.04 sec 42.2 MBytes 8.09 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate
[ 5] 0.00-10.04 sec 5.27 GBytes 4.51 Gbits/sec receiver

Spoiler: iperf3 Server auf Vmhost, Storageserver ist der client:

root@pfistorage[~]# iperf3 -c 10.10.0.100
Connecting to host 10.10.0.100, port 5201
[ 5] local 10.10.0.8 port 12406 connected to 10.10.0.100 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 1.10 GBytes 9.41 Gbits/sec 0 666 KBytes
[ 5] 1.00-2.00 sec 1.09 GBytes 9.40 Gbits/sec 0 748 KBytes
[ 5] 2.00-3.00 sec 1.09 GBytes 9.37 Gbits/sec 1 450 KBytes
[ 5] 3.00-4.00 sec 1.09 GBytes 9.40 Gbits/sec 0 567 KBytes
[ 5] 4.00-5.00 sec 1.09 GBytes 9.40 Gbits/sec 0 663 KBytes
[ 5] 5.00-6.00 sec 1.09 GBytes 9.40 Gbits/sec 0 747 KBytes
[ 5] 6.00-7.00 sec 1.09 GBytes 9.36 Gbits/sec 1 449 KBytes
[ 5] 7.00-8.00 sec 1.09 GBytes 9.40 Gbits/sec 0 566 KBytes
[ 5] 8.00-9.00 sec 1.09 GBytes 9.40 Gbits/sec 0 663 KBytes
[ 5] 9.00-10.00 sec 1.09 GBytes 9.40 Gbits/sec 0 747 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 10.9 GBytes 9.40 Gbits/sec 2 sender
[ 5] 0.00-10.12 sec 10.9 GBytes 9.29 Gbits/sec receiver

iperf Done.

Spoiler: Routen Storageserver

root@pfistorage[~]# netstat -r
Routing tables

Internet:
Destination Gateway Flags Netif Expire
default PfiGateway UGS mlxen0
10.10.0.0/16 link#4 U mlxen0
pfistorage link#4 UHS lo0
localhost link#3 UH lo0

Internet6:
Destination Gateway Flags Netif Expire
::/96 localhost UGRS lo0
localhost link#3 UH lo0
::ffff:0.0.0.0/96 localhost UGRS lo0
fe80::/10 localhost UGRS lo0
fe80::%lo0/64 link#3 U lo0
fe80::1%lo0 link#3 UHS lo0
ff02::/16 localhost UGRS lo0

Spoiler: Routen Storageserver

route print
===========================================================================
Schnittstellenliste
5...f4 52 14 7a 19 c0 ......Mellanox ConnectX-3 Ethernet Adapter
7...00 ff 31 ad 94 d5 ......TAP-Windows Adapter V9
1...........................Software Loopback Interface 1
===========================================================================

IPv4-Routentabelle
===========================================================================
Aktive Routen:
Netzwerkziel Netzwerkmaske Gateway Schnittstelle Metrik
0.0.0.0 0.0.0.0 10.10.0.1 10.10.10.20 15
10.10.0.0 255.255.0.0 Auf Verbindung 10.10.10.20 271
10.10.10.20 255.255.255.255 Auf Verbindung 10.10.10.20 271
10.10.255.255 255.255.255.255 Auf Verbindung 10.10.10.20 271
127.0.0.0 255.0.0.0 Auf Verbindung 127.0.0.1 331
127.0.0.1 255.255.255.255 Auf Verbindung 127.0.0.1 331
127.255.255.255 255.255.255.255 Auf Verbindung 127.0.0.1 331
224.0.0.0 240.0.0.0 Auf Verbindung 127.0.0.1 331
224.0.0.0 240.0.0.0 Auf Verbindung 10.10.10.20 271
255.255.255.255 255.255.255.255 Auf Verbindung 127.0.0.1 331
255.255.255.255 255.255.255.255 Auf Verbindung 10.10.10.20 271
===========================================================================
Ständige Routen:
Keine

IPv6-Routentabelle
===========================================================================
Aktive Routen:
If Metrik Netzwerkziel Gateway
1 331 ::1/128 Auf Verbindung
5 271 fe80::/64 Auf Verbindung
5 271 fe80::f13f:47b7:3eb6:b9a3/128
Auf Verbindung
1 331 ff00::/8 Auf Verbindung
5 271 ff00::/8 Auf Verbindung
===========================================================================
Ständige Routen:
Keine

Ich kann mir das verhalten langsam wirklich nicht mehr erklären.
Die MTU ist an allen drei Computern (und am Switch) auf 9000 gesetzt. (Davor war das gleiche Verhalten zu beobachten.)

Hat jemand eine Idee?

LG Philipp

 

[Xeroxxx]

Wenn du sagst die MTU an den Rechnern wurde auf 9000 gesetzt, gehe ich von jeder Karte aus ja?

Machmal ein Test-NetConnection <IP> -Port 445 (PowerShell) mit der Connect-X3, ping sagt gar nichts aus.

 

[andrer250282]

greifst du per IP Freigabe (\\a.b.c.d\Freigabename) oder per Hostname auf den Filer zu? Wenn per Hostname, lässt sich der über beide Netzwerkkarten auflösen?

 

[besterino]

IP festgelegt oder DHCP?

 

[pfistphi]

Wenn du sagst die MTU an den Rechnern wurde auf 9000 gesetzt, gehe ich von jeder Karte aus ja?

Machmal ein Test-NetConnection <IP> -Port 445 (PowerShell) mit der Connect-X3, ping sagt gar nichts aus.

ja an jeder Karte. Am Switch wird auch angezeigt, dass an allen drei Ports die MTU auf 9000 gesetzt ist.

Test-NetConnection 10.10.0.8 -Port 445


ComputerName : 10.10.0.8
RemoteAddress : 10.10.0.8
RemotePort : 445
InterfaceAlias : Ethernet 5
SourceAddress : 10.10.10.20
TcpTestSucceeded : True

greifst du per IP Freigabe (\\a.b.c.d\Freigabename) oder per Hostname auf den Filer zu? Wenn per Hostname, lässt sich der über beide Netzwerkkarten auflösen?

Per ip

IP festgelegt oder DHCP?

an den beiden Server statisch
Am client DHCP aber im DHCP-Server festgesetzt.

Ethernet-Adapter Ethernet 5:

Verbindungsspezifisches DNS-Suffix: pfinet
IPv4-Adresse . . . . . . . . . . : 10.10.10.20
Subnetzmaske . . . . . . . . . . : 255.255.0.0
Standardgateway . . . . . . . . . : 10.10.0.1

 

[Xeroxxx]

Test-NetConnection 10.10.0.8 -Port 445


ComputerName : 10.10.0.8
RemoteAddress : 10.10.0.8
RemotePort : 445
InterfaceAlias : Ethernet 5
SourceAddress : 10.10.10.20
TcpTestSucceeded : True

Ich denke damit, können wir schonmal Firewall/IPTables, VLAN und Routing-Probleme auf Clientseite sowie DHCP ausschließen. Das FreeNAS antwortet/hört schonmal auf 445.

Fehlt im Netz des FreeNAS die Rückroute? 1GB Karte in einem anderen Netz?

EDIT: Sehe gerade das Netz ist etwas größer und nicht segmentiert. Hast du auch die korrekte Netzerkkonfiguration, vorallem Subnetmask auf dem FreeNAS?

 

[Weltherrscher]

1. 10.10.0.x als Gateway und 10.10.10.x als IP, warum son großes Netz?
2. Ring gebaut?
3. MTU mal 9014 am Switch probieren (wegen VLAN usw.)

 

[pfistphi]

Fehlt im Netz des FreeNAS die Rückroute? 1GB Karte in einem anderen Netz?

Ich denke das sollte passen. Sonst könnte ich nicht vom Storageserver den Desktop pingen. Die 1gb Karte ist im gleichen Netz und der gleiche IP Adressraum. (1Gb 10.10.10.2, 10gb 10.10.10.20)

1. 10.10.0.x als Gateway und 10.10.10.x als IP, warum son großes Netz?

Ich wollte die verschieden Geräteklassen übersichtlich über die IP Strukturieren.

2. Ring gebaut?

Ich verstehe nicht genau was du meinst. Die drei Geräte hängen alle mit einem 10gb link am Switch.

MTU mal 9014 am Switch probieren (wegen VLAN usw.)

Ich kann in Freenas die MTU auf maximal 9000 setzen.

EDIT:

Jetzt funktionierts.
Lag offenbar an der MTU. Sowohl smb als auch iperf in die kritische Richrtung funktioniert jetzt.

Danke für die Hilfe an alle

 

[Xeroxxx]

Möchtest du uns auch die Lösung mitteilen, wo war die MTU nicht korrekt?

 

[pfistphi]

Möchtest du uns auch die Lösung mitteilen, wo war die MTU nicht korrekt?

Also außer am Desktop (und am switch) hab ich die MTU nirgends verändert.

 

[Weltherrscher]

im switch sollte die mtu größer sein als die 9000 von freenas / truenas, keine ahnung was genau da noch dran gehängt wird, aber mit 9014 fluppts (ist auch das, was die Intel-Karten im Treiber anbieten.)
Afaik reichen 9012, nur für VLANs müssen es 2 Byte mehr sein.

 

[Knut123bert]

Kurze Rückmeldung, alles ist schneller angekommen als erwartet und scheint Plug&Play zu funktionieren.
1x gebraucht CSS326-24G-2S+ 75,99 Euro
2x gebraucht Mellanox ConnectX-3 ~55 Euro
4x gebraucht Finisar FTLX1471D3BCL SP10LR 10GE 36 Euro
2x Neuware LC-LC OS2 Kabel ~30 Euro
Macht knapp 200 Euro minus dem Erlös aus dem Verkauf des alten Switches und dem DAC Kabel. Komme jedoch nur auf ~340MB/s (peak 450MB/s), vermute der x4 PCI-E 2.0 Slot auf dem einen Mainboard ist schuld. Der ZFS Pool aus zehn 3,5" HDD sollte lesend mehr schaffen und die Ziel SSD packt auch 1GB/s. Was soll´s - ist auch so schon erheblich besser.
Zwei Fragen bleiben:
1. der Switch sagt im Idle 70°C - Ok?
2. im Reiter Upgrade: "ERROR: Could not determine latest version, probably no internet connection. Use manual upgrade."

Current Installed Version	2.7p (built at Fri Dec 15 2017 09:43:20 GMT+0100 (Mitteleuropäische Normalzeit))

Ich konnte keine aktuellere Version finden?

 

[hominidae]

...die 70% sind für den CSS/CRS326 "normal"...innen gibt es ein Pad mit 24V-DC...wenn man einen Lüfter-Mod machen will, kann man da den Lötkolben schwingen....habe ich für meinen CRS gemacht und der hält nun konstante 45°C ein.

 

[craxity]

@hominidae Welchen Lüfter hast du genommen?

 

[negotiator]

Wie ist denn bzgl. MTU die allgemeine Empfehlung in gemischten Umgebungen?
Ich habe aktuell Server und zwei Client auf 10G, einige Geräte mit 1G und diversen Kleinkram, der sogar nur 100M macht. Verändern könnte ich die MTU auf einigen, aber nicht auf allen Geräten. Was sollte man sinnvollerweise bei den Geräten und auf den Switch-Ports einstellen?

 

[hominidae]

@hominidae Welchen Lüfter hast du genommen?

...den hier: https://www.amazon.de/Lüfter-40x40x20mm-MB40202V2-A99-Vapolager-Litzen/dp/B00DTQOUAI?_encoding=UTF8&tag=at100051d58-21&linkCode=ur2&camp=1638&creative=6742
Der läuft auch gut mit 12V, also einen Widerstand vorsetzen. Nominell auch ab 8V, habe ich aber nicht probiert. Foto hier: https://www.hardwareluxx.de/community/threads/mikrotik-geräte.1164281/post-27711215
Edit:
Siehe auch: https://forum.mikrotik.com/viewtopic.php?p=608599 für Alternativen,,,
Das 24V Pad läuft wohl mit Versorgung aus dem NT...bei PoE weiss ich nicht.

 

[sch4kal]

Wie ist denn bzgl. MTU die allgemeine Empfehlung in gemischten Umgebungen?
Ich habe aktuell Server und zwei Client auf 10G, einige Geräte mit 1G und diversen Kleinkram, der sogar nur 100M macht. Verändern könnte ich die MTU auf einigen, aber nicht auf allen Geräten. Was sollte man sinnvollerweise bei den Geräten und auf den Switch-Ports einstellen?

1500 Byte, gibt genug Geräte die keine ordentliche PMTUD implementiert haben.
Jumboframes würde ich ausschließlich in SAN-Netzen nutzen, bei 10G+.

 

[Weltherrscher]

2. im Reiter Upgrade: "ERROR: Could not determine latest version, probably no internet connection. Use manual upgrade."

Auf der Mikrotik-Homepage gibts SWOS 2.12:

https://download.mikrotik.com/swos2/css326/swos-css326-2.12.bin

Das automagische Update geht glaube ich nur, wenn du feste IPs im Switch einträgst.
Haben sie schon länger verhunzt.

 

[katzenhai]

Das automagische Update geht glaube ich nur, wenn du feste IPs im Switch einträgst.

Damit das automatische Update funktioniert muss mindestens eine 2.05 oder 2.06 drauf sein.

 

[Knut123bert]

Die neuste Firmware ist nun drauf, Danke .
Heizwiderstand finde ich nicht so schick, denn lieber ein billiger Buck Converter und die Drehzahl des Lüfters auf "Angenehm" einstellen. Vielleicht gibt es an der markierten Spule am Ausgang jedoch schon 12V. Ich schaue demnächst mal rein ...

 

[hominidae]

...bei..24V und 0,025A ist der Innenwiderstand des Lüfters doch gerade mal 960Ohm...um also auf 12V zu kommen, einen 1kOhm Widerstand davor und gut. Da von Heizwiderstand zu sprechen, also ich weiss nicht.
Interessant ist ja, das der CSS wohl keinen Kühlkörper hat...das wäre auch noch ein Upgrade Wert. Der Lüfter allerdings macht mehr Sinn, wenn mal ein SFP+ mit Kupfer statt LWL eingesetzt wird, da der zusätzlich ordentlich heizt.