[Sammelthread] 10Gbit Homenetzwerk

[Gelöschtes Mitglied 117520]

Eine Frage hätte ich aber noch: Wie siehts mit der Kompatibilität von entsprechenden DAC-Kabeln aus? Kann ich da das erstbeste nehmen oder muss ich auf was achten?

Also beim MikroTik CRS317-1G-16S+R und beim TRENDnet TEG-30284 hatte ich keinerlei Probleme mit dem Cisco DAC Kabeln. Der TP-Link T1700G-28TQ funktioniert damit ebenfalls problemlos. Die Kabel sind (auch wenn Cisco draufsteht) recht günstig zu bekommen.

 

[me777]

Ich hab 2 infini band QLOGIC QLE7340 gekauft und passendes Kabel;
Es sind 2 Debian Büchsen verbunden:
einmal ein xeon E3-1240Lv5 (Asus P10S-E/4L) - hier steckt die Karte im pcie3x8 Slot
und ein Athlon II x4 605e (Asus M4A78 Pro) - hier habe ich den x16 Slot genommen der is allerdings nur pcie2x16

Leider ist die Datenrate nicht wie ich mir das vorgestellt habe, je nach Test 2-2,5Gbit/s - das müsste doch 10 mal so viel sein?

Im Prinzip habe ich mich an die Anleitung RDMA - Debian Wiki gehalten.
Die Verbindung steht, es werden die 40Gbit Link angezeigt, auch IPoIB scheint zu funktionieren

Was kann ich machen oder ist der Athlon die Bremse?
Welche Tests soll ich machen und posten damit Ihr mir helfen könnt?

Danke.

 

[konfetti]

hast Du mit iperf schonmal gemessen, was über die Leitung geht? - der Test mit den 2-2,5Gbit kommt wohl von nem Kopiervorgang?

 

[me777]

leider ist es die iperf Geschwindigkeit:

iperf -c 10.20.0.20 -t 20
------------------------------------------------------------
Client connecting to 10.20.0.20, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[  3] local 10.20.0.10 port 56196 connected with 10.20.0.20 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-20.0 sec  5.07 GBytes  2.18 Gbits/sec

ibv_rc_pingpong
  local address:  LID 0x1234, QPN 0x000013, PSN 0x43adc5, GID ::
  remote address: LID 0x0001, QPN 0x000005, PSN 0xe28ba6, GID ::
8192000 bytes in 0.02 seconds = 2766.98 Mbit/sec
1000 iters in 0.02 seconds = 23.68 usec/iter

ib_read_bw 10.20.0.20
---------------------------------------------------------------------------------------
Device not recognized to implement inline feature. Disabling it
---------------------------------------------------------------------------------------
                    RDMA_Read BW Test
 Dual-port       : OFF          Device         : qib0
 Number of qps   : 1            Transport type : IB
 Connection type : RC           Using SRQ      : OFF
 TX depth        : 128
 CQ Moderation   : 100
 Mtu             : 4096[B]
 Link type       : IB
 Outstand reads  : 16
 rdma_cm QPs     : OFF
 Data ex. method : Ethernet
---------------------------------------------------------------------------------------
 local address: LID 0x1234 QPN 0x0015 PSN 0x313f4c OUT 0x10 RKey 0x080900 VAddr 0x007faf620d2000
 remote address: LID 0x01 QPN 0x0007 PSN 0x86a4e5 OUT 0x10 RKey 0x010200 VAddr 0x007fda83674000
---------------------------------------------------------------------------------------
 #bytes     #iterations    BW peak[MB/sec]    BW average[MB/sec]   MsgRate[Mpps]
Conflicting CPU frequency values detected: 2991.320000 != 2899.932000. CPU Frequency is not max.
 65536      1000             2720.73            2720.73            0.043532
---------------------------------------------------------------------------------------

entweder ist irgendwas falsch konfiguriert, oder der eine Server zu langsam...

 

[DFFVB]

Kann es sein, dass die Mellanox Connectx 3 Karten nnicht mehr unter ESXI 6.7 funktionieren?

 

[tk1908]

Hab jetz 2 Mellanox Connect X-3 Karten gekauft und mit nem DAC-Kabel verbunden. (Geht um 2 FreeNAS-Boxen, beide mit nem G4400 und 16GB DDR4 ECC-RAM ausgetattet). Bei Replikationen komme ich ohne Verschlüsselung auf Datenraten zwischen 200 und 450MB/s, kann man da mit FreeNAS noch n bisschen tunen?

 

[DFFVB]

Hab jetz 2 Mellanox Connect X-3 Karten gekauft und mit nem DAC-Kabel verbunden. (Geht um 2 FreeNAS-Boxen, beide mit nem G4400 und 16GB DDR4 ECC-RAM ausgetattet). Bei Replikationen komme ich ohne Verschlüsselung auf Datenraten zwischen 200 und 450MB/s, kann man da mit FreeNAS noch n bisschen tunen?

Da bin ich mal gespannt, wollte die Investition auch tätigen...

 

[DFFVB]

@tk1908 hats geklappt?

 

[FUgaRU]

@me777
Versuch doch mal bitte mehrere parallele Streams mit iperf. Die Flag müsste -P sein.

 

[tk1908]

@tk1908 hats geklappt?

Habe hier ja bisher keine Antwort erhalten. Ich will bei Zeiten mal testen, ob Napp-IT mit OmniOS Unterbau besser performt als FreeNAS.

 

[pumuckel]

Habe hier ja bisher keine Antwort erhalten. Ich will bei Zeiten mal testen, ob Napp-IT mit OmniOS Unterbau besser performt als FreeNAS.

auf was stehen deine Jumbo Frames (mehr als 9000 ?) ?

 

[tk1908]

Jepp tun sie.

 

[pumuckel]

Jepp tun sie.

setz beide mal auf 9000 oder weniger , der default > 9000 ist oft abträglich

 

[tk1908]

ich hab mich falsch ausgedrückt. Sie stehen auf exakt 9000.

 

[me777]

Mit 4 streams komme ich auf etwas höhere Werte, 5.14 Gbits/sec vom xeon zum athlon und 11.9 Gbits/sec vom athlon zum xeon.

Aber ich habe auf dem Athlon, der ja schwächer ist beim empfangen 100% Last auf einer CPU bei SoftwareInterrupt gesehen.
Das könnte heisen die CPU schafft nicht mehr. Sehr schade.
Momentan spiele ich mit dem Gedanken die Karte aus dem Athlon in einen stärkeren PC (einen i7) zu stecken um das gegenzuprüfen. Ich muss nur sehen ob ich da einen x8 Platz frei habe...

 

[pumuckel]

ich hab mich falsch ausgedrückt. Sie stehen auf exakt 9000.

ok, dann probier doch mal kleinere Werte und bitte reboote den BSD danach .... wenns dir zuviel Aufwand ist ok .... aber ich hab schon DACs als problem gesehen

 

[tk1908]

Werde ich mal testen. Ich gebe dann Rückmeldung.

 

[DFFVB]

Und?

 

[pumuckel]

Falls jemand 100G sucht Dell Plus QSF MLX L CX4 100G HWTYK | eBay

 

[chrisiweber]

Wenn man zum gleichen Preis noch die Hardware die das schafft bekommt

LG

 

[Trambahner]

"Ich brauch das nicht. Ich brauch das nicht. Ich brauch das ganz und gar nicht. ....... Ich brauch das!!!!"

 

[mika2004]

nein, ich brauche es auch nicht, weil meine Hardware dafür viel zu schwach ist.
Aber mein Spielzeug ist ja auch nicht das Ende der Fahnenstange.

 

[hoppel118]

Eins ist klar und unaufhaltbar: irgendwann wird es jeder brauchen!

 

[mika2004]

Eins ist klar und unaufhaltbar: irgendwann wird es jeder brauchen!

Ich bin mir gerade nicht sicher, ob sich dieser Termin mit meiner voraussichtlichen Lebenserwartung vereinbaren lässt.

 

[danielmayer]

und gerade bei mika2004s Signatur solche Äußerungen... tzzz...
STH ist der Meinung, die Karten wären MCX456A-ECAT und crossflashbar. Damit sind die natürlich ein Wahnsinns Schnäppchen.
ich denke noch kurz nach...

 

[mika2004]

und gerade bei mika2004s Signatur solche Äußerungen... tzzz...
STH ist der Meinung, die Karten wären MCX456A-ECAT und crossflashbar. Damit sind die natürlich ein Wahnsinns Schnäppchen.
ich denke noch kurz nach...

Der feine Unterschied ist:

1.) ich brauche es nicht
2.) keiner braucht es

Mit meinem echten Datentransfer (Datensicherung) komme mit 10Gb/s ich nicht über 600 MB/s. Damit ist eine Aufrüstung an dieser Stelle vielleicht nicht optimal.

 

[besterino]

Also ich bin mal offen und ehrlich und gebe zu, dass mein mauszeiger schon ein paar Sekündchen für 2 Stück über dem kaufen-clicker schwebte...

...aber die 300 Schleifen plus Zubehör für zwei waren es mir doch nicht wert, da ich ja mein 10Gbit-Geraffel nichtmal ansatzweise zum Glühen bringe und ich derzeit die Kohle lieber in anderem (für mich ähnlich unsinnigem) Spielzeug versenke...

EDIT & @Danielmayer: crossflashbar in...?

 

[Trambahner]

Mir geht/ging es da genau wie Dir.
Super Schnapper, aber ich hab einfach keine Hw und Anwendung, die das ansatzweise ausnutzen könnte. PCI3x16 hab ich nicht und auch x8 und x4 sind rar, ich hab ja maximal E3 Xeons.
Dazu halt, dass es ein Fremdkörper in meinem 10Gbase-T/1Gbase-T Netz wäre; in den Wänden und runter in den Keller ist halt überall Kupfer verlegt.
Zum Rumspielen ists mir dann doch zu teuer, insofern überlass ich die Melli's dann doch denjenigen, die wirklich was damit anfangen können.
Aber jucken tuts natürlich trotzdem irgendwie.

Crossflash wäre wohl von der OEM-Firmware in eine echte Melli MCX456A-ECAT .

Es sei denn, jemand sagt mir wie ich ein QSFP-Kabel in mein T470p stopfen kann? Aber das Ding hat ja noch nichmal TB3.

 

[danielmayer]

ja, das meinte ich mit crossflash.
hach ja, man arbeitet sich ja nur von einem Flaschenhals zum nächsten... allerdings hatte ich auch noch keine Notwendigkeit für 600mb/s abgesehen vom "ersten" Backup vor inkrementeller Ergänzung. Nunja, in der Tat "brauche" ich auch erst eine Epyc-CPU, dann mal weiter schauen...

 

[Spawn182]

Mal so gefragt, was bräuchte man denn dann noch, um damit (obige 100GB Karten) zwei Maschinchen zu verbinden. Gehen da auch "preiswerte" QSFP Module von FS und brauche ich spezielle FO Kabel oder gehen da die, die ich schon für meine 10GB Mellanox ConnectX-3 SFP+ Karten liegen habe. Und last but not least, bekomme ich die per zweiten Port an meinen zukünftigen 10GB SFP+ Switch? Also geht QSFP auf FSP+ und splittet man das dann entsprechend in X x SFP+ 10GB?

PS Ist der MikroTik CRS317-1G-16S+RM immer noch gut für das heimische Netz (momentan 5 x 10GB via SFP+ sollen da ran und 1 x 10GB per Kupfer mit dem S+RJ10 10G LAN-Transceiver) oder gibt es schon preiswerteres/besseres in dem Segment?