[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

LAN-Party? Hab leider grad keinen ansatzweise portablen PC…
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
besterino schrieb:
LAN-Party? Hab leider grad keinen ansatzweise portablen PC…
Zum Vergrößern anklicken....
Gulaschprogrammiernacht, eine Coding-Bastel- „LAN“-Party für Nerds, Hacker und offensichtlich auch Leuten mit Vorliebe für schnelle, lokale Netze 😬
 
java4ever schrieb:
Ich hoffe es gibt nächstes Jahr auf der GPN in Karlsruhe ein Familientreffen des Threads hier - denn das wird 100G Eskalation :)

(das war keine Bitte, das war ein Befehl!) :d
Zum Vergrößern anklicken....
Du weißt ja wo ich wohne - bisserl arg weit. Würde mit Mikrotik Switchen anreisen um dich zu triggern. Um dann den 100er rauszuholen damit du mich nicht erschlägst :d
 
Mein PC / PC-Gehäuse ist ein Tisch…

IMG_1325.jpeg

IMG_1319.jpeg
 
Shihatsu schrieb:
Und ja, nach 5 Minuten ist er nur noch laut, vorher ist er.... ZORNIG.:d:d:d
Zum Vergrößern anklicken....
Wenn das bei dir zornig ist, will ich dich mal sehen wenn mein Quanta T42S-2U voll durchlädt :d sowas lautes hab ich selten gehört.

Zum Switch: per Serial mit 115200 Baud 8N1 verbinden klappt, Login mit admin ohne PW (sofern EOS drauf läuft), angenehm "leise" wenn er runtergefahren ist.
...nur mein Breakoutkabel QSFP+ auf 4x SFP+ will er irgendwie nicht aufteilen, Ports sind alle im errdisable und im Log steht leider auch nix hilfreiches (außer xcvr not supported, obwohl er ihn mit sh transceiver korrekt anzeigt).

Das 100GBase-CR4 DAC von Mellanox/Dell wird übrigens anstandslos erkannt: https://www.ebay.de/itm/186491443325
Ein Flexoptix 40GBase-SR4 Transceiver wird auch korrekt erkannt (mit speed 40g), morgen versuche ich mal 100GBase-LR4 Transceiver zum Laufen zu kriegen, und evtl. mein FS.com QSFP+ to 4x SFP+...weiß @java4ever vielleicht, ob auch die Mellanox MAM1Q00A-QSA Adapter problemlos laufen ? Meine beiden Dell labeled MAM1Q00A-QSA28 kann ich auch erst morgen mit SFP28 Modulen testen.

Achso, "Idle" Stromverbrauch ~130-140W :fresse:
 
Zuletzt bearbeitet:
java4ever schrieb:
EINEN der beiden hier:

service unsupported-transceiver wiprolabs f5047577

service unsupported-transceiver EMC 677096c7
Zum Vergrößern anklicken....
Klappt auch ohne die Befehle, nur muss mindestens eine Gegenseite auch online sein, also ein SFP+ DAC von den 4 müssen aktiv sein:
1724093185438.png

Beitrag automatisch zusammengeführt:

@java4ever
[S]XcvrAgent: %TRANSCEIVER-4-DATA_NOT_READY_TIMEOUT: Transceiver for interface Ethernet16 has not declared itself ready after multiple resets and has been assumed ready. Manufacturer: BROCADE model: 40GBASE-AR4 part number: QSFP-PC03 rev: A serial number: S1903012601-1[/S]
meine 40G DACs kommen leider nicht hoch, auch nicht mit jeweils einem von beiden supported-transceiver befehlen und reboot :/
Hab die Lösung:
Code: 
interface Ethernet16/1
   transceiver media override 40gbase-cr4
!
interface Ethernet18/1
   transceiver media override 40gbase-cr4
Die Kabel werden fälschlicherweise als 4x10G Breakoutkabel (40GBase-AR4) erkannt, anstatt als 40GBase-CR4
 
Zuletzt bearbeitet:
Da bei mir dieses Wochenende endlich mal wieder seit langer Zeit unter der Überschrift "Netzwerken" steht, hab ich auch mal den Switch von @java4ever entstaubt. Bzw. entstauben tut der sich ja ganz gut selber... :oops:

War für mich kein glatter Selbstläufer, aber am Ende hat's geklappt.

Für die erstmalige Einrichtung über die Console habe ich dieses Kabel (Amazon Link) verwendet.

Das tauchte dann auch bei mir im Gerätemanager als COM3 auf. Damit es funktioniert, musste ich aber einen Haken unter den erweiterten Einstellungen entfernen (und rebooten).

1730587137382.jpeg


Unter Windows mache ich alles was geht mit putty... ;) Die richtigen Einstellungen waren für mich diese:

1730587212595.png


Wenn man dann auf "open" clickt, bekam ich allerdings nur einen schwarzen Bildschirm. Das so gar kein (login-)prompt kam, irritierte mich.

1730587291822.png



Aber man kann ja einfach mal losschreiben, z.B. "admin" gefolgt von Enter... ;) ... und siehe da, dann kommt doch die gewohnte Frage nach dem Passwort:

1730587334261.png


Der Management Port ist bereits konfiguriert und SSH lüppt ebenfalls. Der ganz grobe Einstieg ist also geschafft. Jetzt wird's allerdings komplizierter mit ROCE & Co. ...

Warum nochmal ist das eigentlich mein Hobby? Golfen wäre irgendwie entspannter und wahrscheinlich sogar auch gesünder...

Falls einer von Euch schon weiter ist und erfolgreich RDMA/RoCE & Co. (für z.B. SMB-direct) konfiguriert hat, bin ich sehr an dem Weg dorthin, insbesondere den nötigen CLI-commands interessiert... :d
 
besterino schrieb:
Wenn man dann auf "open" clickt, bekam ich allerdings nur einen schwarzen Bildschirm. Das so gar kein (login-)prompt kam, irritierte mich.
Zum Vergrößern anklicken....
Das ist übrigens normal. Der Switch weiß ja bei Nutzung der seriellen Schnittstelle nicht dass du dich gerade verbunden hast, und ungefragt gibt er üblicherweise keinen input von sich.
 
Anders rum: wenn das Kabel angeschlossen und der PuTTY läuft, dann erst Strom an den Switch. Es ist eben kein handshake-Protokoll, sondern eine einmalige Ausgabe. Verpasst ist verpasst :)
Bin ja weiter gespannt, die selbst-Entstaubfunktion klinkt ja schon mal klasse;)
 
Ich bin noch immer maximal frustriert, weil ich zwischen Linux und Windows keine SMB-RDMA-Verbindung hinbekomme. Und ich merke wieder, warum ich Linux nicht mag. Wenn das, was man will, nicht ootb funktioniert, ist es ein Monsterkrampf. Die Anleitungen passen entweder gar nicht oder nicht zur eigenen Distro/Distro-Version/Kernel-Version oder es gibt möglicherweise Inkompatibilitäten zur spezifischen Hardware oder oder oder.

Da kommste dann von Höcksken auf Stöcksken und nicht EIN Schritt funzt wie gewünscht. Zack sind 3 Tage rum und man ist nicht einen Furz Näher am Ziel oder hätte auch nur ansatzweise eine Idee, was man machen könnte.

…was aber auch an meiner eigenen Inkompetenz liegt, weil ich mit Anregungen des Entwicklers mangels Ahnung schlicht nix anfangen kann. :d
 
Eine RDMA-Verbindung zwischen Linux und Windows hab ich zwar immer noch nicht hinbekommen, dafür war an anderer Stelle das verlängerte Wochenende nicht völlig vergebens.

Habe nun erfolgreich den 100Gbit-Switch von @java4ever in Betrieb genommen, zumindest für SMB-direct zwischen Windows Maschinen. Das Pulsieren kommt vom lahmen Storage auf dem Server.

RDMA_switch.jpg


Vor allem Note to self:

Am Switch muss man jeden einzelnen Port manuell konfigurieren, damit der überhaupt funktioniert. Mit diesen Befehlen nach dem Login habe ich das gemacht (am Beispiel für Port 11):
Code: 
enable
config
interface Ethernet11/1
switchport mode access
switchport access vlan 1
mtu 9000
priority-flow-control on
shutdown
no shutdown
exit
exit
write
copy running-config startup-config

Sehr hilfreich war für mich die Übersicht mit "show interfaces status".

Weitere "note to self", damit ich das später nachschauen kann: von meinen 8 FS.COM 100Gbit-SR4-Transceivern frisst der Switch leider nur 2, nämlich die mit der Aufschrift "CO". Die anderen, die nicht funktionieren, tragen HPE, ME oder FS. Meine ConnectX4/5 hingegen fressen alle klaglos. Der Switch erkennt zwar anscheinend den Transceiver, der Status bleibt aber auf "not connected", siehe beispielhaft bei Port 31:

1730661669028.png


Leider weiß ich nicht mehr, was ich eigentlich bestellt hatte, um "CO" gebrandete zu bekommen... @java4ever: hast Du eventuell einen Tip, was ich bei FS.COM bestellen muss, damit das funktioniert?

Damit wäre jetzt aber der Grundstein für so viele geile Sachen gelegt... als erstes muss ich mal meine Test-&Spielumgebung etwas ummodeln, um dann bei Gelegenheit dem Thema SMB-Direct zwischen Linux und Windows nochmal verstärkt auf die Pelle zu rücken. Und zur Not bleib ich halt bei Windows... ;)
 
besterino schrieb:
Leider weiß ich nicht mehr, was ich eigentlich bestellt hatte, um "CO" gebrandete zu bekommen... @java4ever: hast Du eventuell einen Tip, was ich bei FS.COM bestellen muss, damit das funktioniert?
Zum Vergrößern anklicken....
Versuch stattdessen mal

Code: 
service unsupported-transceiver wiprolabs f5047577

Bin nicht sicher ob ich dir das vorher schon eingespielt hatte.
 
hab:
enable
config
service unsupported-transceiver wiprolabs f5047577
interface et31/1 [der mit dem nicht funzenden Transceiver]
shutdown
noshutdown

gemacht. Muss ich den Switch neu starten?
 
Ohhhhh es kann sein dass das mit FEC autonegotiation zu tun hat.

Versuch mal auf beiden Seiten die FEC fix auf RS (Reed Solomon) zu setzen. Der Tomahawk ASIC in dem Switch kann soweit ich weiß kein FEC Autonegotiation.

Im Zweifelsfall: Rumprobieren. Also auch mal auf beiden Seiten FEC auf FC (Firecode / Base-R) oder ganz aus stellen. Muss aber auf beiden Seiten immer identisch konfiguriert sein.
 
Zuletzt bearbeitet:
Mit den beiden genannten Transceivern funktioniert es ja tadellos ohne besondere Einstellungen - die müssten doch eigentlich alle bis aufs Branding identisch sein? Ich hab da auch schon alle Kombinationen durchgewechselt und es bleibt dabei, dass der Switch nur die zwei mag, also nur mit denen bekomm ich ein "connected" angezeigt.

Ich habe auch gerade noch eine Idee bekommen, woran meine Linux-Versuche gescheitert sein könnten...

Aber schon nett: 3.25GB/s von Windows zu Windows ohne CPU-Last... :d Allerdings geht auch nicht viel mehr durch das Bottleneck im PCIe-x4 Slot. :(

1730671841134.png
 
Zuletzt bearbeitet:
Die Module von FS.com sind softwareseitig anders, Hardware ist identisch. Die können aber umprogrammiert werden. Entweder die "FS Box" bestellen und selber machen, oder Support anschreiben, ob die das als Supportleistung gegen Gebühr für dich übernehmen können. Sollte günstiger sein, als neue Module kaufen. Habe bisher mit dem After Sales Support nur gute Erfahrungen gemacht.
 
100 Gbit haben und 25 Gbit fahren ist wohl trotzdem leicht frustierend... Aber immerhin muss hier rückseitig nichts nachgerüstet werden :fresse: Irgendwann werden die 12 GB/s Clients kommen :coolblue:
 
Fusseltuch schrieb:
Die Module von FS.com sind softwareseitig anders, Hardware ist identisch. Die können aber umprogrammiert werden. Entweder die "FS Box" bestellen und selber machen, oder Support anschreiben, ob die das als Supportleistung gegen Gebühr für dich übernehmen können. Sollte günstiger sein, als neue Module kaufen. Habe bisher mit dem After Sales Support nur gute Erfahrungen gemacht.
Zum Vergrößern anklicken....
Den EEPROM kann man auch mit Hardware selber flashen, egal ob die „frei programmierbar“ sind, oder nicht. Hab auch schon Original Cisco Transceiver umgeflashed.
 
In dem ich den EEPROM direkt mit einem Clamp flashe.
 
Du gehst nicht über den Transceiver SPI, sondern machst ihn auf um an den EPROM ranzukommen?
Ist das praktikabel?
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh