[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

Ne, versuch mal das WinOF-Paket.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Consti schrieb:
Also so wie ich das sehe muss ich das alles übers CMD machen oder?
Zum Vergrößern anklicken....

Mimimi, ich will Performance zwei Stufen über dem Mainstream haben, aber doch bitte nur, wenns eine tatschi-bunti-GUI zum Einstellen, Flashen und One-Click-Optimieren gibt! :rolleyes:
Liefert Windoofs nicht schon ein Screenshottool mit, weil Paint nicht mehr jedem zumutbar ist?
Reiß dich mal zusammen, entweder du betrittst hier Consumer-Neuland, oder du bleibst auf den seit 15 Jahren ausgetretenen Gigabitpfaden. Da sind die Treiber im OS hinterlegt, es läuft jeder Hardware- mit jedem Softwarestand, herstellerübergreifend kann man alles denkbare auch über Klingeldraht zusammenstöpseln, und sogar Mac People bekommens hin. IB ist ne andere Nummer, und 40/56Gb/s auch. Da muss man halt mal schrauben, bis es richtig funzt, insbesondere wenn man neben der löblichen Absicht auch tatsächlich die Hardware hat, um den Link voll auszunutzen.
 
Nicht trollen! Es ist speziell in diesem Thread durchaus löblich, wenn überhaupt sich jemand an diese völlig unbenötigten Leistungsebenen traut. Wie Du selber schreibst, ist sehr viel völlig neues Know-How aufzubauen.
Aus meiner Ecke die News: Die 100G-Transceiver sind da, eingesetzt, Link da. Aber wie erwartet weit weg von der Zielgröße der Netzleistung. Die kurzen Tests gestern hatten auf Anhieb bei Xeon 2630v3 (2,4GHz) <-> Xeon 1620v3 (3,5GHz) in die eine Richtung nur 30Gbit, in die andere etwa 60Gbit gezeigt. Wie schon in den früheren Tests eignet sich iperf (2) besser als iperf3 wegen der multithreading-Fähigkeit. Bei iperf3 war eher bei 40Gbit Schluss. Insofern schon sehr ernüchternd. Die CPU-Last war bei 60Gbit unter "top" bei 100%, bei den nur 30Gbit auf beiden Rechnern weit davon weg. k.a., warum mehr in die eine Richtung nicht ging. Beide Systeme sind vergleichsweise "nackte" Ubuntu 18.10-Installationen.
Für IB mit RDMA hatte ich noch keine Zeit, ebensowenig für RCoE. Auch mit aktuellen Live-Systemen noch nix probiert, insbesondere ClearLinux wäre noch eine interessante Wahl.
 
Jau, da war ich mit meinen >70gbit ja schon gut dabei.

Bin leider auch noch nicht dazu gekommen, den ESXi zu tunen - da hänge ich ja noch bei ~20-30gbit hinter dem vSwitch, was mal echt kein Zustand ist...
 
Bzzz schrieb:
Mimimi, ich will Performance zwei Stufen über dem Mainstream haben, aber doch bitte nur, wenns eine tatschi-bunti-GUI zum Einstellen, Flashen und One-Click-Optimieren gibt! :rolleyes:
Liefert Windoofs nicht schon ein Screenshottool mit, weil Paint nicht mehr jedem zumutbar ist?
Reiß dich mal zusammen, entweder du betrittst hier Consumer-Neuland, oder du bleibst auf den seit 15 Jahren ausgetretenen Gigabitpfaden. Da sind die Treiber im OS hinterlegt, es läuft jeder Hardware- mit jedem Softwarestand, herstellerübergreifend kann man alles denkbare auch über Klingeldraht zusammenstöpseln, und sogar Mac People bekommens hin. IB ist ne andere Nummer, und 40/56Gb/s auch. Da muss man halt mal schrauben, bis es richtig funzt, insbesondere wenn man neben der löblichen Absicht auch tatsächlich die Hardware hat, um den Link voll auszunutzen.
Zum Vergrößern anklicken....

ist genau dieser Thread nicht dazu da Erfahrungen auszutauschen .... dazu gehört wohl weniger Leute zu verurteilen die Fragen stellen , aber gerne poste Ihm doch die CmDL Parameter als Link
 
@consti: Aus dem von Dir genannten LInk das Tool-Paket (V 4.10.0) für Windows x64 laden und installieren.
Dann eine Eingabeaufforderung als Administrator öffnen, in das Verzeichnis c:\programme\mellanox\winmft wechseln und den befehl "mlxfwmanager" eingeben.
Dann kommt eine Ausgabe, welche PSID deine Karte hat, FW-Stand etc, vgl. Bild winmft.png
 
pumuckel schrieb:
ist genau dieser Thread nicht dazu da Erfahrungen auszutauschen .... dazu gehört wohl weniger Leute zu verurteilen die Fragen stellen , aber gerne poste Ihm doch die CmDL Parameter als Link
Zum Vergrößern anklicken....

Such ich ja gerne zu einem gewissen Stundensatz raus, das ist nämlich die andere Option bei "haben will, aber keine Ahnung". Ansonsten war ich so frei und hab meine 10GbE-Erfahrungen dokumentiert, u.a. die Flashprozedur, nach der die MCX311A-XCAT erst unter Solaris auftauchen wollte, sowie die Druckdaten für eine Fullsize-Blende (da nur LP beiliegt, siehe auch gestriger SCHNÄPPCHENTHREAD). 10GbE (ohne IPoIB) ist bei völliger Ahnungslosigkeit noch eine Spur greifbarer als 40Gb+, würd ich jetzt mal raten, weswegen ICH diesen Schritt zuerst gegangen bin. Mehr kommt dann, wenn das Netzwerk wieder merklich limitiert, aber das seh ich die nächsten Jahre einfach nicht.

Mellanox ConnectX-3 MCX311A-XCAT 10GbE and Solaris 11.3 (WHL #42) Wan Hung Lo Electronics

Mellanox ConnectX-3 3D printed brackets (WHL #42F1) Wan Hung Lo Electronics

Your turn.
 
Oder aber man antwortet gar nicht erst, wenn man sowieso nicht die Absicht hegt, dem User zu helfen. ¯\_(ツ)_/¯

Günstige 40G Dualport CX3-VPI (vielleicht was für die Startseite ?): HP 649281-B21 (aka MCX354A-QCBT) für ~22 € aus den USA (HP 649281-B21 Infiniband 10/40GB Dual Port Adapter Low Profile Bracket | eBay), reflashbar auf Mellanox MCX354A-FCBT.
Anleitung zum Flashen: Flashing stock Mellanox firmware to OEM (EMC) ConnectX-3 IB/Ethernet dual-port QSFP adapter | ServeTheHome and ServeThe.Biz Forums
 
Danke für eure Hilfe :)
Leider finde ich jetzt erst etwas Zeit zum Basteln:

@danielmayer: danke für die tolle kurz Anleitung :) und hier das Resultat:
Melli-Version.PNG

Und @Bzzz ich glaube keiner hier muss sich irgendwie rechtfertigen warum es gemacht wird, sondern es geht hier darum wie es gemacht wird. :)
 
Zuletzt bearbeitet:
@Consti: Mach im gleichen Verzeichnis bitte mal ein

mlxconfig -d mt4099_pci_cr0 query

und poste das Ergebnis.
 
pescA schrieb:
Durch Versand & Steuern verdoppelt sich der Preis fast.
Auch würde ich keine Karte vor der 3 Pro für Ethernet kaufen, da diese kein RDMA (RoCE) unterstützen. Als IB Karten sind die aber top.
Zum Vergrößern anklicken....

Die 3 Pro VPI kostet aber auch ein Vielfaches der HP Karte, aber jo, wenn man RoCE braucht/möchte muss man die Pro-Karten kaufen.
 
@besterino vielen dank für deine Zeit und hier das ergebnis:

Mella.PNG

Findet man solche Befehle im Handbuch?
LG
 
@Consti: hab nicht mehr genau in Erinnerung, wie mein persönlicher Pfad zur Erleuchtung aussah ;), aber ja, sowas findet man grds. auch im Manual: https://www.mellanox.com/related-docs/prod_gateway_systems/Configuring_Mellanox_Hardware%20_for_VPI_Operation_Application_Note_Archive.pdf

Danach SOLLTE das in Windows mit der X-3 eigentlich per GUI gehen... (bei meiner X-4 geht das aber definitiv nicht).

Bei Dir bei Link Type steht da schonmal „VPI“. Das ist ein wenig sonderbar, weil eigentlich sollte da laut Manual IB, ETH, oder Auto stehen. So auch hier beschrieben: HowTo Change Port Type in Mellanox ConnectX-3 A... | Mellanox Interconnect Community

Oder halt ne Zahl 1, 2 oder 3: Getting Started with ConnectX-5 100Gb/s Adapter... | Mellanox Interconnect Community

Ich würd jetzt mal per Command auf ETH stellen und schauen was passiert, also mit dem Kommando:

mlxconfig -d mt4099_pci_cr0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

(Falls das Kommando eine Fehlermeldung wirft, hier posten).

Reboot, dann mal wieder mit dem Kommando von oben schauen, was dann da steht (hier posten). :)

EDIT: Wenn dann da eth oder 2 steht, mit 2. Karte auch machen und dann mal schauen, welche Speed ausgehandelt wurde.
 
Zuletzt bearbeitet:
+1 von mir zu besterinos Tipp. "3" ist seltsam. Aber da der Linktype angezeigt wird sollte er auch mit dem o.g. Befehl änderbar sein.
edit: Bei der CX3 sollte eigentlich bei der HardwareKonfig eine Option je Port "ETH", "IB" oder "Auto" möglich sein. Type3 könnte für Auto stehen, sollte aber tatsächlich besser fest zu eth geändert werden.
 
Zuletzt bearbeitet:
danke für eure Hilfe!

hier der aktuelle Status der auf beiden Systemen gleich ist:
aktuell.PNG

Dennoch wird weiterhin leider nur 10Gbit/s angezeigt im Status der karte.

mein Bauchgefühl sagt, dass es am Kabel liegt...hm
 
Jedenfalls dürfte es so nicht an den Settings liegen. :)
 
Rofl
 
testm schrieb:
Gibt es hier den "dienstlich Bekloppte" mit 100G-Verbindungen am Dienstort ? Bis auf bei NSP's, ISP's und DC's habe ich bislang keinen Einsatz der entsprechenden Infrastruktur gesehen bzw. würde mich die genaue Verwendung interessieren.
Zum Vergrößern anklicken....
Ja hier :d
Im Bereich Forschung baue ich da gerade ein Netzwerk auf 100G aus. Insbesondere geht es um die Anbindung von GPU-Clustern an Storage.
Interessant wird das ganze, wenn man Mellanox-Karten und HPE-Switches gesetzt hat. Dann bleibt auf dem offiziellen weg nur jeweils ein Originaltransceiver, was bei HPE doch ziemlich ins Geld geht. Mellanox-DAC funktinieren aber auch.
 
Ach komm... im Bereich Forschung benötigt man doch keine Original-Transciever. ;)
 
besterino schrieb:
Ach komm... im Bereich Forschung benötigt man doch keine Original-Transciever. ;)
Zum Vergrößern anklicken....

Korrekt, außerdem gibt es doch schon 200G Switche von Mellanox oder Infiniband/Omnipath/etc. wenn wir von HPC sprechen.
 
Nagelt mich bitte nicht ans Kreuz, wenn ich das schon gefragt habe (ich fürchte nämlich, hab ich schon): gibt es irgendwo eine Anleitung zu RDMA oder RoCE für "richtig Doofe"?

Im ersten Anlauf hat mich das etwas erschlagen, mit meinem point-to-point Setup ohne Switch, Windows auf der einen und ESXi plus VM auf der anderen Seite... :d Geht das überhaupt ohne Switch? Und die Frage ob IB oder Ethernet dafür als Basis "besser" (sprich: einfacher) ist, ließ mich auch etwas ratlos zurück...

Mit meinen bisherigen Such-Versuchen (schönes Wort) lande ich entweder z.B. bei Mellanox oder vmware mit irgendwelchen abgefahrenen Setups, die ich zu Hause definitiv nicht abbilden kann. ;)
 
Zuletzt bearbeitet:
besterino schrieb:
Ach komm... im Bereich Forschung benötigt man doch keine Original-Transciever. ;)
Zum Vergrößern anklicken....
Ach wir sind da schon experimentierfreudig. Aber wenn es um Hardware mit Wartungverträgen geht sollte man schon alles nach Anforderungen machen. Besonders wenn man Erstkunde ist hat man wenig Spielraum :d
Infiniband EDR hätte ich auch noch im Angebot, aber das ist ja eine andere Baustelle.
 
Die Tage bin ich auch schwach geworden und hab bei EBay zwei MCX353A-FCBT ConnectX-3 Single-Port Karten gekauft. Dazu gab es dann noch ein gebrauchtes 40 GbE Active Fibre Kabel. Als Ethernet-Ports konfiguriert laufen die zwei Karten jetzt auch unter Debian. Allerdings habe ich nun zwei Fragen, die hier ja vielleicht jemand beantworten kann:

1) Laut manual unterstützen die Karten ja folgende Datenraten: "Up to 56Gb/s FDR– InfiniBand, 1/10/40/56Gb/s – Ethernet". An anderer Stelle im manual ist folgendes zu finden:
1.4 Connectivity
• Interoperable with InfiniBand or 10/40 Gb Ethernet switches.
• Interoperable with 56GbE Mellanox Switches.
Zum Vergrößern anklicken....
Das würde ich so interpretieren, das die Karten an beliebigen Switches mit max. 40 Gb laufen und an Mellanox-Switches mit max. 56 Gb. Aber wie ist es wenn ich zwei Karten direkt miteinander verbinde? Kann man da 56 GbE fahren? (Das passende Kabel vorausgesetzt). Aktuell läuft der Link mit 40 Gb aber mehr ist bei dem Kabel ja auch nicht zu erwarten. Da fragt man sich doch ob es sich lohnt ein anderes Kabel zu kaufen.

2) Stichwort Kabel: Benötigt man für Infiniband und Ethernet zwingend unterschiedliche Kabel oder gibt es Kabel über die man beide Protokolle fahren kann?

Beispiel Mellanox MC2207130-001 Passive Copper Cable VPI up to 56Gb/s:

Laut Mellanox store Seite: "Technology: InfiniBand, Max Speed: FDR"
Bei fs.com: "Protocols 40G InfiniBand 4x FDR, 56Gigabit Ethernet, Fibre Channel"

Wäre das Kabel nun für 56 Gb Infiniband und 56 GbE geeignet?
 
Es gibt mW. keinen Standard für 56 Gbits Ethernet, aber gut möglich das es mit Mellanox Equipment funktioniert.

Kabel ist für beides gleich.
 
Für 56GbE brauchts Mellanox only Equipment und min. QSFP14 Kabel (QSFP14 > QSFP+).

Heute sind meine 4x CX3-Pro und 4x CX4 gekommen, die Kabel und Switches brauchen aber noch bis zum 9. April. Tja jetzt hab ich hier halt solang ein 768Gb offline Netzwerk :fresse2:
 
Holla die Waldfee. Welcher Switch wird denn einziehen?
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh