[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
@besterino
Die Aussage vom Transceiver bringt so leider nichts. ;)

Die Breakoutkabel
(https://www.fs.com/de/products/80245.html ?)
kannst du auch gerne weiterverwenden.
Einfach wie angedacht sowas nehmen
oder
und einfach vorne und hinten die Kabel rein.

Ansonsten solltest du dich mit MPO beschäftigen, wenn du da mehr machen willst.
Bei MPO gibt es männliche und weibliche Stecker. (dazu hatte ich schonmal was geschrieben)
Transceiver sind immer männlich. So dass die Stecker des Kabel weiblich sein müssen.

Außerdem gibt es MPO-Stecker mit verschieden vielen Fasern drin. z.B. MPO-12, MPO-24 und vieles mehr.


Des Weiteren gibt es noch vielfältige Polaritäten. Es gibt quasi 1:1(straight - Polarität A), Crossover (reversed - Polarität B) und "in sich Crossover" (crossed pair - Polarität C).
Jetzt ist es so, wie früher bei Kupferkabeln, bevor es Auto-MDI gab, dass man Switche mit einem Crossoverkabel verbunden hat und Switch-PC mit einem normalem Kabel.
Nur ist es jetzt so, dass ein PC wie ein Switch betrachtet wird. Ergo, man braucht also immer Crossoverkabel.

Also
1. Welchen Steckertyp brauche ich? männlich, weiblich?
1.1. Zwei Transceiver miteinander verbinden -> 2x weiblich am Kabel
2. Wieviele Fasern hat die Gegenseite, wieviele Optiken hat der Transceiver?
2.1. Standard SR4 -> 12 Faser -> MPO-12 (das kann sich auch ändern, gerade bei 400G/800G)
2.2. Obwohl der Transceiver 2x 4 Optiken hat, hat der Port aber 12 Fasern. (für schlechte Zeiten :fresse:)
3. Welche Polarität brauche ich, welche Geräte will ich verbinden?
3.1. 2 Switche/Transceiver -> Crossoverkabel -> reversed

So entscheidet man sich für den korrekten Kabeltyp.
Spannend wir es erst dann, wenn man Patchfelder hat und das Ganze über eine strukturierte Verkabelung ziehen will.

Mehr zu dem Thema, auch über die Zukunft.

EDIT: MPO direkt Kupplungen haben quasi auch wieder 2 Möglichkeiten, wie man die Kabel zusammenstecken kann, 1:1 (also 2x Key-Up) oder X (1x Key-Up und 1x Key-Down).
Das macht es also spannend, welche Kabel man wie verbinden will. z.B. kann man mit der Kombination aus X-Kupplung oder 1:1-Kupplung und Crossoverkabel bzw. 1:1-Kabel entweder gleiche oder unterschiedliche Endergebnisse ermöglichen, mit unterschiedlichen Materialeinsatz.

Wenn man sich damit nicht wirklich beschäftigt, dann wird es lustig, weil das Ergebnis quasi immer zufällig ist. Daher sollte man sich dafür dann Testmaterial besorgen. Sonst kann es unter Druck interessant werden.

PS: Btw. nette Switchplattform, kann schon vieles, gerade die 8325er.

2nd EDIT:
Du kannst ja mal anhand der Entscheidungsprozedur prüfen, ob das empfohlene Kabel das Richtige ist.
 
Zuletzt bearbeitet:
Ich hab jetzt so ein Kabel in 7m und 10 LC-LC Kupplungen bestellt.
Laut deinem Entscheidungsbaum, sollte es ja dann eigentlich passen, oder?
Mit den LC Kupplungen geht es halt notfalls immer noch.

Wir betreiben die Switche sonst nur mit den PigTails an normalen LC Patchfeldern. Damit komme ich ganz gut klar.
Mann muss eben immer aus dem PigTail 1, 2, 5 und 6 nehmen und auf der anderen Seite spiegelverkehrt.

Das ist dann das erste MPO <-> MPO Kabel was wir hier haben.

Aktuell haben wir 6 8325er im Einsatz.

Ein VSX aus zwei Switchen (einmal Raum1 und einmal Raum2) als Core.
Ein VSX aus zwei Switchen als TOR im Serverraum 1
und ein VSX aus zwei Switchen als TOR im Serverraum 2

Alle Edge Switche sind mit jeweils einmal 10 GB an Core 1 und einmal an Core 2 über ein Multi-Chassis LAG angebunden.

Beide TORs sind jeweils mit 100GB an Core 1 und an Core 2 über ein Multi-Chassis LAG angebunden.

Fast alle Server hängen mit 2x25GB am jeweiligen TOR.

Durch einen Umbau muss ich TOR 2 jetzt kurzzeitig in Raum 1 betreiben und deshalb muss ich zwei Transceiver direkt verbinden. Deshalb brauche ich das Kabel, weil die DAC Kabel mit 3m zu kurz sind.
 
Ich hab jetzt so ein Kabel in 7m und 10 LC-LC Kupplungen bestellt.
Laut deinem Entscheidungsbaum, sollte es ja dann eigentlich passen, oder?
Davon gehen wir jetzt mal aus.

Ich gehe mal davon aus, dass die Server auch über eine MCLAG am TOR VSX hängen?

PS:
Ich habe mit Flexoptix ein paar Transceiver für den 8320 validiert.
Da es die selbe Plattform ist, gehe ich davon aus, dass diese auch im 8325 laufen.
ArubaOS-CX ist sonst sehr wählerisch, was die Transceiver anbelangt, auf jeden Fall deutlich mehr als es beim Procurve OS der Fall ist.
z.B. die
laufen. Neben 1GBE.
Auch mit Diagnosewerten, was beim "unsupported mode" sonst nicht der Fall ist.
 
Vielen Dank, da werde ich bei Gelegenheit drauf zurückgriefen, weil die Preise von HP ja wirklich ziemlich ambitioniert sind, wenn man nicht im Projekt kauft.
 
Meine CX354A weigern sich FDR Speed zu nutzen - Entsprechende FW ist geflasht:

Code:
Device Type:      ConnectX3
  Part Number:      MCX354A-FCB_A2-A5
  Description:      ConnectX-3 VPI adapter card; dual-port QSFP; FDR IB (56Gb/s) and 40GigE; PCIe3.0 x8 8GT/s; RoHS R6
  PSID:             MT_1090120019

Mittels ibportstate konnte ich die Karten nicht überzeugen.
Weiß da jemand mehr?

Update:
Tja, geht nur mit Mellanox 56G Kabeln.

FS QSFP+ 40G -> 40G QDR
Mellanox 100G QSFP28 -> 40G FDR10
Mellanox 56G QSFP+ -> 56G FDR

...habe jetzt mal bei FS nachgefragt, ob man da mittels Flashen was machen kann.
 
Zuletzt bearbeitet:
FS sagte erst Ja, dann Vielleicht, dann Ja und als Endergebnis: Nein.
Laut FS lassen sich deren QSFP28 Kabel nicht als 56G Mellanox Kabel programmieren.

Prinzipiell gibt es mehrere Optionen:
a) Gebrauchte Original Mellanox Kabel kaufen. Das habe ich jetzt gemacht für 28.90€ pro Kabel (2m). Das ist in Ordnung.
b) Es gibt auf ebay Finisar 56G Transceiver, die sollten gehen. Einziges Problem: Die möchten MPO-12 / 8 (4 TX, 4 RX, 4 ungenutzt)
c) Eins der sackteuren Programmiergeräte kaufen (bspw. von SFPTotal oder dimiks) und damit versuchen, 100G QSFP28 auf 56G FDR umzuwandeln
d) Direkt auf 100G EDR gehen, das könnte evtl. out of the box mit generischen 100G QSFP28 Kabeln gehen
 
Du kannst evtl ja mal flexoptix fragen, ob die das umprogrammieren können.
 
Yes, Anfrage an Flexoptix ging am Freitag raus nach vorherigem Telefonat. Bin gespannt, was die antworten.

Ist aber zum Glück nicht mehr akut, hab fürn guten Preis 5 originale Mellanox 56G 2m Kabel geschossen.
 
Du kannst evtl ja mal flexoptix fragen, ob die das umprogrammieren können.
Mit der Flexbox lassen sich nicht beliebige Transceiver flashen...da muss man schon einen 3rd Party Flasher nutzen oder über Umwege gehen (manche Switche haben in den diag Tools die Möglichkeit, über i2c schreibend auf den EEPROM des SFPs zu schreiben).
 
Nicht nur, dass die Flexbox nur deren eigene Transceiver flashen kann, werden auch 3rd Pary Prommer nur bedingt, sprich komfortabel, helfen.

SFPs haben in der Regel auch Passwörter. Ergo wird das nicht so ohne Weiteres gehen bzw. wird das mal so eben 2-4Wochen 24/7 in Anspruch nehmen...

Daher mein Tipp, sich immer an den Standards entlang arbeiten. Irgendwie nen Kabel versuchen, obwohl es dafür keine passende SPEC gibt, wird halt schwer.
 
SX6036 ist da.
Bin von der Lautstärke positiv überrascht. Hatte schlimmeres erwartet. Klar - leise ist er nicht.

Und:
Code:
IB: Supported
Ethernet: Supported, Full L2, L3
GW: Supported
Max SM nodes: 648
IB Max licensed speed: FDR
Ethernet Max licensed speed: 56Gb

+ Fabric Inspector. Die Lizenz könnte sogar 100G Eth + EDR IB.

Ist schon fett, der Mellanox Kram.
 

@besterino
Die Aussage vom Transceiver bringt so leider nichts. ;)

Die Breakoutkabel
(https://www.fs.com/de/products/80245.html ?)
kannst du auch gerne weiterverwenden.
Einfach wie angedacht sowas nehmen
oder
und einfach vorne und hinten die Kabel rein.

Ansonsten solltest du dich mit MPO beschäftigen, wenn du da mehr machen willst.
Bei MPO gibt es männliche und weibliche Stecker. (dazu hatte ich schonmal was geschrieben)
Transceiver sind immer männlich. So dass die Stecker des Kabel weiblich sein müssen.

Am Freitag habe ich Umgebaut und das MPO <-> MPO Kabel von FS.COM passt und funktioniert.

Vielen Dank nochmal.
 
Auf ebay hat mir gerade ein Verkäufer ein Angebot auf eine beobachtete CX4 gemacht:
193€ + Versand (CX456A, HP 828108-001). Zuschlagen?
 
Na, wenn er mir eine für den Preis anbietet krieg ich sicherlich auch die zweite :d

Allerdings hab ich da eigentlich echt nicht die Infra für... Mein IB Switch ist FDR.
Wobei ich auf dem Kabel zum Serverraum demnächst noch eine MPO Strippe frei haben sollte... Hmm... Das Budget für Serverkram hab ich die letzten Monate aber eigentlich schon überstrapaziert :d
 
Auch auf die Gefahr mich zu wiederholen: hier simma im LUXX. :d
 
1609353302054.png


Joar, das passende Kabel für die Verbindung zwischen Arbeitszimmer und Serverraum wäre dann da.
 
@danielmayer Hab mir jetzt ein Edelstahlblech mit den passenden Löchern für die NIC einerseits und den WC-Block andererseits gebastelt. Mach gerade über Nacht den Dichtigkeitstest, dann kann’s demnächst wieder flotter werden... ;)

4C8A5D3B-F266-4A2C-8BC0-BE9C883E0621.jpeg
D44BB5CC-676D-4F3A-A20D-B39669436373.jpeg


Frisst aber dann mehr als einen Slot. :d
 
Hmmm..Adapterplatte für den AIO-Wakü entwerfen.. ja, warum nicht. Darauf bin ich nicht gekommen...
Wenn es die Zeit demnächst erlaubt, versuche ich das mal über Schaefer.
 
FETT! Die Transceiver funktionieren.

Hatte fragwürdige Finisar Transceiver aus Israel bestellt für 'n super Preis. FDR Infiniband sollen sie können, sagten sie. Und sie können es!
1610921920207.png

1610921937017.png


Ich bin positiv überrascht. Gut, haben zwar auch knapp zwei Monate gebraucht bis hier her, aber zählt.
 
Glückwunsch! :)
Ich sehe gerade, dass bei der Serverschmiede die HP CX455 100G-Teile für 129€ zu haben sind.... Hmmm... Doch jetzt schon die defekte Karte ersetzen? ;)
 
da ich ja hier vor gut 3 Jahren mal ein Abo hinterlassen habe (🙈) und mich das Luxx'sche Aufrüstfieber gepackt hat und ich mich jetzt hier ein wenig belesen habe und zum Teil garnix mehr raffe...

Ich brauche eine Simple 1 zu 1 40GB Ethernet Verbindung zwischen 2 Systemen: 1x Win10 20H4, 1x Server 2019 Standard via SMB3.0 Protokoll -> kein Switch, kein Pipapo

-> Stand heute ist zwischen diesen beiden Systemen "einfach" eine 10GB Connection etabliert -> 2x Onboard NIC 10GBase-T (Marvell AQtion AQC107) und ein 3m "CAT8" Kabel dazwischen ( https://www.amazon.de/CSL-Netzwerkk...konfektionierbarem-1-0m-schwarz/dp/B07V35BT3X )

Was genau brauche ich jetzt am einfachsten dazu?
In jedem Rechner ist noch eine PCIe3.0 8x Slot frei (der auch die Leistung bringen kann, also kein 4x)

2x https://www.ebay.de/itm/Mellanox-ConnectX-3-CX354A-PCIe-x8-40-GBe-QSFP-Dual-Port-Server-HP-649281-B21/142617349165?_trkparms=aid=555018&algo=PL.SIM&ao=2&asc=20160323102634&meid=8757e40b06064a5fb4b08f5e24bc422f&pid=100623&rk=1&rkt=6&mehot=es&sd=142435076489&itm=142617349165&pmt=1&noa=0&pg=2047675&_trksid=p2047675.c100623.m-1
+

-> muss ich da irgendwas flashen? Komische Treiber? Infiniband over IP etc? -> ich hatte früher mal 2 Infiniband 10GB Nics mit einem Infiniband Kabel dazwischen hier liegen, bis der Treiber nicht mehr so richtig supportet wurde...

oder nehme ich einfach 2 Intel XL710 Single Port klemme das hier https://www.fs.com/de-en/products/36279.html?attribute=1395&id=182193 dazwischen, installiere den Intel Treiber und gut? (jetzt lese ich gerade, dass es gar keine Offiziellen Treiber für Win10 gibt? Funktionieren die Servertreiber hier auch? 🙈)

Danke schon mal im Voraus :)
 
Zuletzt bearbeitet:
Mellanox "VPI" oder "EN"-Adapter können nativ Ethernet sprechen, also kein IPoIB notwendig ;)
Aber tatsächlich muss man bei gebrandeten (HP, IBM, etc.) durchaus immer in Einzelfall prüfen. Bei den genannten HP-Modellen scheint das aber out-of-the-box zu funktionieren, auch die HPE-Seite bescheinigt dem Modell 649281-B21 eine 40G-Ethernet-Kompatibilität. Allerdings - wie die meisten ebay-Karten - ist auch diese aus dem Support raus, seit 2017 (s. Quickspecs Changelist). Für Win10 scheint alles zu gehen, die Karte läuft mit "WinOF" (nicht: WinOF2!) unter 5.50.53000 anscheindend problemlos.
Ein Firmwareupdate auf den neuesten "Standard-Mellanox" würde ich persönlich immer machen, aber dem weniger Risiko-geneigten User empfehle ich: Ausprobieren und never touch a running system ;)

Kabel: mit Verweis auf den 10G-Thread: Ich bin Freund von 2xTransceiver + LWL-Kabel anstatt DAC, aber wenn die Dinger langfristig nebeneinander stehen spricht nichts dagegen.
MLX3xx kommen mit DAC ganz gut klar, Mellanox hat auf der Homepage auch Kompatibilitätslisten. Mit FS-Kabeln habe ich soweit gute Erfahrungen.
 
das hört sich doch schonmal super an, Danke :)

Support ist bei Gebrauchthardware ja immer ein Thema, solange sie laufen mach ich mir da keinen Stress.

Stromverbrauch hab ich jetzt auch mal geprüft, sieht ja alles recht Human aus.

Dann bestell ich mal die 2 Ebay Karten und ein DAC Kabel und werde bezeiten berichten.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh