10 Gigabit Performance schlecht nach zahlreichen Tests keine Lösung

[DerErzherzog]

Guten Abend,

leider habe ich nach etlichen Stunden keine Idee mehr, warum meine 10 Gigabit Verbindung so "langsam" ist.

Zuerst zur Hardware:
2* Dell T20 Xeon
Jeweils 1* PCIE X4 Adapter Karte zu M2 mit 2 NVME SSDS
Jeweils 1PCIE Netzwerkkarte 1 Gbit
Jeweils 1 10 Gigabit Netzwerkkarte
Getestet Mellanox Connect X2 und Connect X3
Jeweils in beiden Mainboard PCIE Slots.
Getestet auch ohne die 1 GBit Karte
in iperf bzw. Jperf erreiche ich schwanken zwischen 7-9 Gigabit. Beim Kopieren in Windows 500-600MB
Auch auf RAMDisk habe ich nicht wirklich bessere Werte erreicht...
Lokal schaffen die SSDs über 2000MB/S Lesend und schreibend.

MTU Habe ich von 1514 auf 9014 angepasst. Dazwischen habe ich noch einen Switch den habe ich aber auch ausgeschlossen und direkt die Server verbunden.
Kabel habe ich Cisco und Ubiquiti DAC getestet.

Fluss kontrolle ist eingeschaltet in der Netzwerkkarte.

Leider habe ich absolut keine Idee mehr.
Das OS beim T20 ist auf einer Sata SSD. Vermutet hatte ich PCIE Lane probleme aber wenn ich nur iperf nehme sollte das passen und die Netzwerkkarte hat auch im oberen PCI 3.0 Slot gesteckt.
OS ist bei beiden Server 2016
Multichannel ist wohl auch an, da ich testweiße eine chelsio 10 Gigabit Karte eingebaut hatte aber dort erreiche ich auch nur 5 Gigabit egal ob 1 Port verbunden oder 2...

Über jede Hilfe wäre ich dankbar!
Allen ein schönen Abend!
EDIT: gerade nochmal alles bis auf die Netzwerkkarte ausgebaut (Mellanox X3) Jperf 7 Gigabit
EDIT2: Gerade nochmal mit der RAMDisk getestet. in eine Richtung 800MB/S in die andere 500MB/S .....

 

[smoothwater]

Mal klein anfangen:
- Jumbo-Frames sind sowohl bei den NICs, wie auch beim Switch gesetzt?
- Sende und Empfangspuffer auf Maximum gestellt?
- Prozessoranzahl eventuell zu Klein eingestellt?
- Welche Datentypen werden denn kopiert? Ein großer Stream oder ein Bilderordner?

Etwas größer:
- Die richtigen Kabel verwendet (Cat.5e würde ich nicht mehr nehmen, ältere Cat.6 sollten gehen, besser Cat.6A-Kabel)?
- Die Kontakte eventuell mal mit etwas Alkohol und nem Wattestäbchen gereinigt?
- Die Temperatur der Karte ist im grünen Bereich? Meine Intel X540T(2) und die Asus XG-C100C werden recht warm, letztere drosselt ohne Luftstrom schon nach wenigen 100 MB die Leistung und pendelt sich dann bei mir auch im Bereich von 500-800 GBit/s ein. Ein Noctua 40mm-Lüfter hat Abhilfe geschaffen.

 

[danielmayer]

Unter Windows ruhig Mal Flusskontrolle "aus" ausprobieren und insbesondere die Interrupt-Moderation deaktivieren.

 

[DerErzherzog]

Guten Abend,

nach etlichen Stunden habe ich das Problem lösen können.
Ich habe die Windows Server neu installiert. Anschließen die MTU angepasst sowie die Netzwerkkarte geupdatet. Dann den Chipsatztreiber installiert. Dann hat es für genau einen Kopiervorgang schnell geklappt, bis ich neu gestartet habe....
Ich weiß nicht warum aber ich bin auf die Idee gekommen den Energiesparplan zu überprüfen, dieser Stand auf Ausbalanciert, aus Interesse habe ich diesen auf Höchstleistung gestellt.
Und siehe da, daran lag es jetzt tatsächlich....
1,15GByte/S gingen danach fast immer recht Konstant.
Durch Hyper-V wurde das ganze ein stück langsamer aber nun klappt soweit alles!

Viele Grüße und vielen Dank euch