[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

B

besterino

Legende
Thread Starter
Mitglied seit
31.05.2010
Beiträge
7.594
Ort
Wo mein Daddel-PC steht
So liebe Geschwindigkeitsfanatiker, die ganze Geschichte begann mit einem verlockenden Angebot bei Ebay, zu einem sehr günstigen Preis Dell-gebrandete Mellanox Connectx-4 Dual Port 100gbit NICs schießen zu können: Dell Plus QSF MLX L CX4 100G HWTYK | eBay

s-l1600.jpg

Erfolgreich getestete Hardware zu den Karten:
100Gbit Transceiver: Generic QSFP28 Modul | 100G QSFP28 100GBASE-SR4 Transceiver | FS.COM
Kabel: MPO Trunkkabel, 10m (33ft) MPO Buchse auf Buchse, 12 Fasern OM4 (OM3) 50/125 Multimode, Polarität B, Elite, LSZH
Standard-Blende: MTM010154
Adapter QSFP+ auf SFP+: MAM1Q00A-QSA
10Gbit Transceiver (im MAM1Q00A-QSA):
  • Avago AFBR-709SMZ-ELX
  • Fibrestore SFP-10GSR-85
  • IBM 78P0624
  • Finisar FTLX8571D3BCL


Dieses Kabel sollte auch funktionieren (wird von FS.COM zu ihren 100Gbit-Receivern empfohlen): MTP Trunkkabel, 10m (33ft) MTP Buchse auf MTP Buchse, 12 Fasern OM4 (OM3) 50/125 Multimode, Polarität B, Elite, Plenum (OFNP)
Zum Vergrößern anklicken....

Wie wir im Laufe dieses Threads herausfinden bzw. bestätigen konnten, lassen sich diese Karten in echte Mellanox ConnectX-4 VIB (kombiniert IB/Eth) crossflashen.

Anleitung für den Crossflash von Danielmayer hier im Thread.

Für den uneingeschränkten Umgang mit den NICs empfehle ich Download und Installation folgender Komponenten bzw. folgende Links:

Linux-Treiber (Stichwort: MLNX_OFED), unten auf Download clicken und OS wählen: http://www.mellanox.com/page/products_dyn?product_family=26

ESXi-Treiber (Link zu vmware): http://www.mellanox.com/page/products_dyn?product_family=29

Windows-Treiber, für die ConnectX-4 auf WinOF-2 clicken und OS wählen: http://www.mellanox.com/page/products_dyn?product_family=32&mtag=windows_sw_drivers

Firmware-Tools, MFT (glaub, eventuell auch bei den OFED-Driverpaketen dabei, aber schaden kann's ja nicht): http://www.mellanox.com/page/management_tools

Firmware für die MCX456A-ECAT: http://www.mellanox.com/page/firmware_table_ConnectX4IB

Handbuch: Manual Mellanox ConnectX-4/5 + ESXi
Handbuch: Manual Mellanox UEFI/Legacy Bios
HowTo: HowTo Install Mellanox Firmware Tools for ESX VMWare

Die wesentlichen Informationen zu der Karte und den Einstellungen kann man mit dem Tool mlxconfig abfragen und ändern: Unter Linux geht das z.B. mit "mlxconfig -d /dev/mst/mt4115_pciconf0 q".

Da der Crossflash auch das UEFI-Bios der NICs disabled, kann man damit zum Beispiel diese Funktionalität für beide Ports wieder einschalten:
Code: 
mlxconfig -d /dev/mst/mt4115_pciconf0 set EXP_ROM_UEFI_x86_ENABLE=1 
mlxconfig -d /dev/mst/mt4115_pciconf0.1 set EXP_ROM_UEFI_x86_ENABLE=1

Ich dürfte die letzten Tage einer der eher intensiveren Besucher auf den Mellanox-Seiten gewesen sein. Kann ich aber nur empfehlen, die Docu bei Mellanox ist m.E. echt vorbildlich, z.B. wie diese RDMA-Test Anleitung. Meine Lernkurve war steil und vielen Dank an alle (vor allem Danielmayer), die mir beim Einstieg geholfen haben bzw. hier dabei waren und sind! Macht schon echt Laune hier in diesem ganz speziellen Unterforum!

Als kleine Anmerkung am Rande: Um wirklich 100gbit rauszubekommen, wo 100gbit draufstehen, muss vieles passen und die Technik ist - sage ich mal als Laie - momentan schon noch die Krönung um Leistungshimmel des gepflegten Heimnetzes. Ohne einen echten elektrischen x16 PCIe3.0 Slot wird's nichts und auch die CPU wird ordentlich gefordert. Schon PCIe3.0 x8 limitiert auf ca. 60gbit (plusminus) und mein i3-7100 kommt trotz x16 auch nicht viel höher als 70-75gbit (wenn er denn bei den Standard-Tests als Server fungiert). Auch bei den Tests heißt es "Obacht!": Parallelität sowohl bei den Netzwerk-Streams als auch bei den CPU-Kernen ist gefragt. Single-wasauchimmer bringt die PS nicht auf die Strasse bzw. die gbit nicht durchs Kabel.

Mir ist es daher auch nur gelungen, die 100gbit aufzurufen, wenn ich die CPU dank RDMA außen vor lassen konnte.

Mein vorläufiges Fazit: Wahnsinnig spannende Welt - aber wohl am Ende vielleicht doch (noch) nicht unbedingt was für Daheim. ;) Aber ich geb' das Zeug nicht mehr her... :d

Zum Abschluss noch eine kleine Kabel-Kunde (geklaut aus einem anderen Thread hier):
danielmayer schrieb:
"MM" = Multimode = 50/125, Kabel = "OM1"-"OM5"
"SM" = Singlemode = 9/125, Kabel = "OS1"-"OS2"
NICs ist das egal. Wichtig ist eine (!) Technik zwischen zwei Punkten: MM-Transceiver + MM-Kabel + MM-Kupplung + MM-Kabel + MM-Transceiver. Oder eben SM. Aber nur eines davon.
Je höher die Zahl in der Kabel-Klassifikation, desto besser das Kabel. In der Regel äußert sich das durch die erzielbare Reichweite. Stand der Dinge ist OM4 bzw. OS2 und bei den Preisen bei z.B. fs.com gibt es keinen Grund etwas schlechteres zu kaufen. OM4/OS2 sind auch locker 100G-kompatibel, nicht "nur" 10G.
sch4kal hatte OS2 empfohlen, nicht OM2. Also die Singlemode-Kette. Macht m.E. im Haus kein Sinn, da in der Gesamtinvestition deutlich teurer und kaum ein Haus 100m (100G) oder 300m (10G) Punkt-zu-Punkt-Leitungslänge reißen wird.
Zum Vergrößern anklicken....

Hier noch der ursprüngliche Startpost im Spoiler.
Aus gegebenem Anlass:

Dank Pumuckel, Underclocker2k4 und Danielmayer war ich mal wieder schwachsinnig und habe mir zwei 100Gbit NICs geschossen.

Dazu habe ich mir für den Start (100gbit-punkt-zu-punkt) ausgesucht:

2x 100Gbit Transceiver: Generic QSFP28 Modul | 100G QSFP28 100GBASE-SR4 Transceiver | FS.COM
1x Kabel: MTP Trunkkabel 10m, 12F MTP OM4 Buchse, Polarität B, Magenta | FS.COM

Dummerweise heute die Nachricht bekommen, dass das Kabel nicht sofort lieferbar ist... muss also Ersatz suchen. :-[

Den Danielmayer muss ich auch noch überreden, dass er mir weiteres Testequipment stellt... ;)

Ich werde berichten...
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Dann viel Erfolg und Spaß :)

PS Der Nutzer heist underclocker2k4 - zu viel Wrestling geschaut ? ^^
PPS Gabs nicht sogar einen 40/100 er Thread schonmal ?
 
Zuletzt bearbeitet:
@Luckysh0t: Danke, Nick korrigiert! ;)
 
ja nun, hab's mir auch bestellt... dann mach du mal die 100G Geschichten zuerst, ich habe 40+10er Equipment und lasse die qsfp28'er zunächst weg.
 
LOL! Willkommen im Club der Schwachsinnigen. :d
 
ääähh wozu, was braucht mann denn da um die geschwindigkeiten zu erreichen. optane raid zu optane raid?
 
Werde das RAMdisk<—>RAMdisk testen. ;)

Mein Storage ist dafür viel zu lahm. 10GB/s schaufel ich nichtmal auf einer Seite lesend, geschweige denn auf einer zweiten schreibend.

Wobei das auch mit der RAMdisk schwierig wird, den richtigen Zeitpunkt bei einem 20GB-File für den Screenshot zu drücken...
 
Zuletzt bearbeitet:
jep! was ham'wa über die Leute vor 9 Jahren gelacht, die zuhause dringend über Myrinet u.a. ein 10G-Netz "brauchten" ;)
Braucht keiner (derzeit). Aber der Spieltrieb wird eben nicht nur bei Lego geweckt...

Edit: Ich habe mit Optane ja noch nichts gemacht, aber aus meinem Anwendungsbereich heraus sind 2xSSD zu 2xSSD im Raid0 schon schneller als 10G bei sequentiellem Lesen/Schreiben. Bei M.2 sowieso. Insofern muss man evtl die powerloss-protected-Szenarien etwas hinten anstellen. bei reiner Spaßvideothek "kann" 1GB/sek in gewissen Szenarien begrenzen. und das wollen wir ja nicht ;)
 
Zuletzt bearbeitet:
Ich schließe mich dem an. Habe zu hause mittlerweile ein kleines Testnetz mit 40G weil dort die passenden HPE Comeware 5700 mit Transcievern abgefallen sind. Bezahlbare 100G hören sich an ich bin gespannt wie das wuppt
 
Also „brauchen“ tu‘ ich das nicht. Und „gebrauchen“ kann ich das wahrscheinlich auch nicht. Aber schon seit Jahrzenten macht mich „Netzwerk“ einfach irgendwie an... mehr als CPUs, oder RAM oder Storage oder... nur GPUs sind vielleicht noch ein bisserl „sexier“ seitdem man damit auch so machine learning shit machen kann. ;) gut - ich kann das natürlich auch wieder nicht gescheit, aber trotzdem sexy. :d
 
100GBits für Homelab klingt irgendwie ... übertrieben. Bei dem Preis könnte man aber schwach werden :drool:
Bin auf die Tests gespannt und was ipref so schönes rausspuckt :d

@niklasschaefer: HPE 5700 ist mir wohl bekannt hast du auch ein passenden Gehörschutz zuhand? :haha:
 
Geil, ich feier solche verrueckten Sachen. Wuerde auch gerne etwas Networkpr0n betreiben.. Leider siegt bei mir immer die Vernunft.
Frohes basteln wuensch ich dir! :d
 
@testm: hab echt ne Weile überlegt und dann genau deshalb das „Home“ aus dem Topic weggelassen. ;)
 
Ah, dann ist das also vorrangig an die dienstlich Bekloppten gerichtet? :fresse:
 
Ne, ich wollte nur keine „wer braucht das zu Hause“ Kommentare provozieren. ;)
 
@niklasschaefer: Habe auch nicht behauptet, dass die normalen Aruba's besonder leise sind... ;) Beim Konfigurieren sind die Switche idR in meiner Hörweite und ein Switch aus der HPE 5700-Serie ist nicht wirklich leise...

Gibt es hier den "dienstlich Bekloppte" mit 100G-Verbindungen am Dienstort ? Bis auf bei NSP's, ISP's und DC's habe ich bislang keinen Einsatz der entsprechenden Infrastruktur gesehen bzw. würde mich die genaue Verwendung interessieren.
 
Sieht so aus. Ich warte damit noch ein wenig, zumal ich zwei LP-2HE-Gehäuse rumliegen habe.
 
Ich hab nur ein 2HE. Aber ich warte auch noch... 40 Euro Versandkosten für 2 so Dinger mit einem Warenwert von 16 Euro... och nöööö.
 
Fischje schrieb:
ääähh wozu, was braucht mann denn da um die geschwindigkeiten zu erreichen. optane raid zu optane raid?
Zum Vergrößern anklicken....

Auf 100GB komm ich nicht, aber meine Rechner sind alle mit 40G Infiniband verbunden, das gemischte 4 und 8GB Fiber Channel wird imo Zug um Zug gegen einen Infiniband-Filer ala Eigenbau getauscht.
Brauchen sicher nicht, aber haben is auch schön! :coolblue:

@topic
Bin mal gespannt was besterino da zusammenbastelt!
 
Wird noch was dauern, bis da was Lauffähiges steht. Karten sind da, Transceiver müssten nächste Woche kommen... Kabel, keine Ahnung.
 
Steht was OM4 Spezifikation, sind aber glaub ich andere wie meine FC-OM4-Kabel oder?

Dann könnte ich dir ein paar in OVP abtreten.
 
Ich zitiere mal STH:

"
Sorry for the delay in feedback, had some other issue to fix before I could get the old logs:

I flashed the cards with
flint -d /dev/mst flint/mt4115_pciconf0 -i fw-ConnectX4-rel-12_23_1020-MCX456A-ECA_Ax-UEFI-14.16.17-FlexBoot-3.5.504.bin -allow_psid_change burn

which made them MCX456A-ECATs
"
 
Zuletzt bearbeitet:
cypher_botox schrieb:
Steht was OM4 Spezifikation, sind aber glaub ich andere wie meine FC-OM4-Kabel oder?

Dann könnte ich dir ein paar in OVP abtreten.
Zum Vergrößern anklicken....

Wie enden denn Deine? Ich brauch welche mit 12 Adern, Polarität Typ B und 2x weiblichen MPO Steckern. Glaub ob om3 oder om4 ist Wurscht (bei meinen Längen bis Max. 10m)...

- - - Updated - - -

Man ist das alles kompliziert: kann ich bei einem Breakout-Kabel die 4 aufgeteilten Enden eigentlich in unterschiedliche Geräte stecken? Also kann die QSFP+ Seite sich quasi in 4-Ports aufteilen (müsste ja dann vermutlich 4 MAC-Adressen bereitstellen)?

Beispiel:
Seite A = Server mit QSFP+
Seite B = 1x Switch1, 1x PC1, 1x PC2 und 1x Switch2

Und A kann mit "jedem B" einzeln kommunizieren?
 
Jaein. Mellanox hatte schon mit früheren Karten eine Breakoutfunktion durchaus integriert. Ich habe in den aktuellen PDFs dazu aber noch nichts gefunden. Den Part kann ich aber dann testen.
 
Fein, dann warte ich das mal ab. :) Hab jetzt mal für Testzwecke noch ein 5m MTP MPO Kabel geordert, das angeblich bei fs.com noch lagernd war. Daumendrücken.

In der Zwischenzeit habe ich heute schonmal meinen Mini-Netzumbau als Vorbereitung für das nächste Upgrade abgeschlossen.

Bin über die Zeit irgendwie so eher zufällig peu-a-peu fast vollständig von 10Gbase-T auf SFP+ migriert, einfach weil der 10GBase-T-Switch irgendwie lautstärkemäßig nicht dauerhaft einsetzbar war. Hab also heute endlich die zweite Emulex im BackupServer eingebaut: Jetzt hängen Haupt-PC, 2. Workstation und MainServer über den Klassiker (TP-Link T1700G-28TQ) mit 10Gbit-Glasfaser am Standard-Netz. Mainserver+BackupServer sind separat davon einfach über eine Direktverbindung in ihrem eigenen separaten 10Gbit-"Subnetz" verbunden. Irgendwie alles deutlich übersichtlicher jetzt.

Im TP-Link ist noch ein SFP+-10gbit-Platz frei und auch der MainServer hat noch einen 10GBase-T ungenutzt - vorerst genug Flexibilität für die ein oder andere Spielerei.

Außerdem liegen hier jetzt 5x 10Gbase-T NICs (4x x540-T2, 1x AT2) und ein zwei Switches (Asus XGU2008, D-Link DXS-1210-TS) momentan ungenutzt rum... wenn ich mir Mühe gäbe, könnte ich wahrscheinlich auch noch einen weiteren Switch freiziehen (hab aber keine Lust und who cares). Das reicht erstmal für meine Spielwiese.

Bin jedenfalls mal gespannt, ob die 100Gbit-NICs so ohne weiteres von ESXi gefressen werden... wenn nicht, wär's für mich eher ein Fehlkauf gewesen.
 
Zuletzt bearbeitet:
besterino schrieb:
Fein, dann warte ich das mal ab. :) Hab jetzt mal für Testzwecke noch ein 5m MTP MPO Kabel geordert, das angeblich bei fs.com noch lagernd war. Daumendrücken.

In der Zwischenzeit habe ich heute schonmal meinen Mini-Netzumbau als Vorbereitung für das nächste Upgrade abgeschlossen.

Bin über die Zeit irgendwie so eher zufällig peu-a-peu fast vollständig von 10Gbase-T auf SFP+ migriert, einfach weil der 10GBase-T-Switch irgendwie lautstärkemäßig nicht dauerhaft einsetzbar war. Hab also heute endlich die zweite Emulex im BackupServer eingebaut: Jetzt hängen Haupt-PC, 2. Workstation und MainServer über den Klassiker (TP-Link T1700G-28TQ) mit 10Gbit-Glasfaser am Standard-Netz. Mainserver+BackupServer sind separat davon einfach über eine Direktverbindung in ihrem eigenen separaten 10Gbit-"Subnetz" verbunden. Irgendwie alles deutlich übersichtlicher jetzt.

Im TP-Link ist noch ein SFP+-10gbit-Platz frei und auch der MainServer hat noch einen 10GBase-T ungenutzt - vorerst genug Flexibilität für die ein oder andere Spielerei.

Außerdem liegen hier jetzt 5x 10Gbase-T NICs (4x x540-T2, 1x AT2) und ein zwei Switches (Asus XGU2008, D-Link DXS-1210-TS) momentan ungenutzt rum... wenn ich mir Mühe gäbe, könnte ich wahrscheinlich auch noch einen weiteren Switch freiziehen (hab aber keine Lust und who cares). Das reicht erstmal für meine Spielwiese.

Bin jedenfalls mal gespannt, ob die 100Gbit-NICs so ohne weiteres von ESXi gefressen werden... wenn nicht, wär's für mich eher ein Fehlkauf gewesen.
Zum Vergrößern anklicken....

Hast du mal die Stromersparnis von SFP+/LWL gegenüber 10GBase-T gemessen ?
Brauchst solangsam ein Switch mit mehr SFP+/QSFP+-Ports, willst auch in den Club des Brocade ICX6610 miteinsteigen :fresse2: ?
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh