[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

Ein paar Info-Happen zum MikroTik CRS326-24S+2Q+RM:

- Er nimmt anstandslos Intel- und Generic-gebrandete QSFP+-Transceiver an (Intel XL710 QDA2-Karten wollen dagegen nur die Intel-gebrandeten Transceiver akzeptieren)

- Eine Netzwerkkarte kann man auch mit "Crosslink"-Pol-B MTP/MPO-Kabel an den Switch hängen, die eigentlich dazu da sind, zwei Netzwerkkarten direkt miteinander zu verbinden. Pol-A-Kabel sind nicht notwendig.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Gibt es eigentlich praktische Geschwindigkeitsunterschiede bei QSFP+-Transceivern verschiedener "Marken"?

Oder ist ein Transceiver nur ein Bauteil, das entweder funktioniert/eine Verbindung erkennt (oder nicht) und die tatsächlich nutzbare Geschwindigkeit von den Chipsätzen der Netzwerkkarten/Switches und natürlich von der Leistungsfähigkeit der verbundenen Computer (CPU/Massenspeicher) bestimmt wird?
 
Letzteres, entweder der Link kommt zustande, oder nicht.
 
Eine Frage an diejenigen, die evtl. solche Technik schon (betrieblich) in Nutzung haben:
Der bekannte Lieferant FS bietet MTP-Kabel speziell für 400G(800G?) an: Kabel mit 16 Fasern. Auffällig ist dabei, dass die 16 Fasern in einer Reihe angeordnet sind, während 24er-Kabel zweireihig mit 2x12 hergestellt werden. Bezugnehmend auf besterinos bestrittenes, aber sicherlich gedanklich in Vorbereitung befindliches Heimprojekt "800+" stellt sich natürlich die Frage: Was verlege ich denn nun? Ähm. Besterino, meine ich. Also: Was für ein Kabel verlegt er denn nun?
Sind die 16er noch kompatibel mit 12/8er Kabeln? z.B.: Wandverlegung 16er, Kupplungsfortführung mit Standard 12er auf MTP100G (8 Fasern). Also: Ist der Fasernabstand untereinander kompatibel? Gedanke: Bei 12er Faser werden für 100G(8 Fasern) die jeweils vier äußeren verwendet, die vier inneren bleiben funktionslos. Falls die 16er "pinkompatibel" sind, würden dann jeweils 2 äußere unbelegt bleiben?
Das ist noch eine sehr theoretische Frage, da die 16er Kabel bei FS teuer als die 24er sind. Macht also nur im o.g. Fall Sinn, dass ich (gemeint: besterino) aber alle üblichen vorhandenen 8/12er direkt anschließen kann.
Zweite Frage: 24er sind zweireihig. Ist eine Reihe direkt auf der Linie eines 12er oder sind die mittig zentriert gerade nicht mit 12ern kompatibel? Ich vermute das, habe aber keine Testkabel.
Daraus folgert ggf., dass der Mehrpreis für 16er sich "lohnen" würde, weil man sich nix vertut und entspannt auf günstigere Heim-400G-Technik warten kann, weil die verlegten Kabel zukunftssicher vorbereitet sind ;)
 
Genau aus diesem Grund verlegen wir grundsätzlich nur Singlemode bzw. ich daheim nur OS2 Kabel mit LC-Steckern ^^
Kann dir mit deinem Vorhaben leider nicht weiterhelfen, ich denke @underclocker2k4 weiß da mehr Bescheid.
 
Nunja, als Unternehmen sicherlich eine nachvollziehbare Entscheidung. WENN man allerdings REIN THEORETISCH eine solche Spielmasse aufmachen will:
Transceiver 400G-SR8: ca. 1.400€/St. (MTP 16 Fasern OM4)
Transceiver 400G-LR8: ca. 8.500€/St. (LC 2 Fasern OS2)
Ich vermute mal, die NIC fallen da unter Herstellungsnebenkosten... :)
 
www.hardwareluxx.de

Konsortium spezifiziert 800 Gigabit Ethernet

Das Ethernet Technology Consortium hat den Standard für ein 800 Gigabit Ethernet (800GbE) als IEEE 802.3ck spezifiziert. Daran gearbeitet wurde schon über eine längere Zeit, doch nun können sich die Hersteller auf eine Spezifikation (PDF) und eine Interkompatibilität berufen...
www.hardwareluxx.de www.hardwareluxx.de
1x durchlesen und das ggf. nochmal nachhaken, wenn etwas unklar ist.

(also nicht alles, nur die wichtigen Sachen ;) )
 
Hatte ich doch schon und gerade eben gleich nochmal. Allerdings ist es gerade deine Anmerkung vom 08.04., die mich da stutzig macht: Du schriebst, von den 24ern werden halt 16 verwendet.
Habe aber auch eben bei FS intensiv nachgeschaut: Von der phyischen Gestaltung sind bei FS die "400G-Kabel" mit 16 Fasern in einer Reihe eingestellt.
Bei den FS 400G-SR8 -Modulen ist die Rückseite auch mit 16 Fasern in einer Reihe dargestellt, dann passen die 24er-Kabel eben nicht ohne Adapter. Also für 400G-SR8 ist eine Verlegung von 24ern sinnlos.
 
Nun, die Welt ist in der Hinsicht etwas komplexer. Die Zeit von 1000SX ist schon lange vorbei.

Für QSFP-DD als auch OSFP sind folgende Stecker vorgesehen:
MPO-12 (8/12)
MPO-16 (16/16)
MPO-24 (16/24)
CS
LC-D
SN
MDC
Und dann noch BiDi für
MPO-12 (8/12)
SN
MDC

Das ist das, was die Normenlage bezüglich Stecker/Transceiver vorgibt. Daran orientieren sich 400G und sicherlich auch 800G.

Dem gegenüber steht die IEEE, die das dann in Bezug auf Ethernet (denn die sind nur eine der Anwender von Stecker/Transceiver) anpasst. Für 400G hat die IEEE folgende Lösungen erdacht:
400GBASE-SR16 (MM)
400GBASE-SR8 (MM)
400GBASE-SR4.2 (MM)
400GBASE-DR4 (SM)
400GBASE-FR8 (SM)
400GBASE-LR8 (SM)
400GBASE-ER8 (SM)
zusätzlich arbeitet man an
400GBASE-ZR (SM)
400GBASE-FR4 (SM)
400GBASE-LR4-6 (SM)

Die Singlemode Sache lasse ich jetzt mal weg. Läuft am Ende immer auf einen Zweifaser-Link mit 4-8 Wellenlängen hinaus. (ausgenommen DR4, die haben MPO-12 (8/12))

400GBASE-SR8
Benutzt 8 Fasern hin und 8 Fasern zurück.
Es gibt laut 802.3 zwei Optionen das zu lösen:
B: MPO-24 (16/24) oder auch MPO-12 two row genannt
A: MPO-16 (16/16)

400GBASE-SR16
Benutzt 16 Fasern und 16 Fasern zurück.
Das führt zum MPO-32 (32/32). Jetzt fragt man sich, wo kommt dieser her, denn weder QSFP-DD noch OSFP sehen den vor.
Der kommt aus der CFP, konkret aus dem CFP8, Spezifikation. Das ist die einzige Bauform, die 2x 16 Datalanes unterstützt.
Das war auch die erste Lösung für 400G, da man so eine relativ geringe Symbolrate per Lane hat, was die DSP entlastet.

400GBASE-SR4.2
Benutzt 8 Fasern hin und 8 Fasern zurück, das ganze in BiDi.
Als Stecker kommt ein MPO-12 (8/12) zum Einsatz.

Des Weiteren ist festgelegt, dass der MPO-24 für breakout Applikationen gedacht ist und nicht für strukturierte Verkabelung.


Jetzt ist die Frage, was macht man....
-SR16 ist wohl raus
Also entweder wird es ein 800GBASE-SR8 mit verdoppelter Symbolrate @ MPO-16 (16/16) und/oder MPO-24( (16/24) geben, oder 800GBASE-SR4.4 mit 4 Lanes pro verwendeter Faser, dafür mit gleichbleibender Symbolrate @ MPO-12 (8/12) BiDi oder aber 800GBASE-SR4.2 mit doppelter Symbolrate auf einem MPO-12 (8/12) BiDi.

Sprich also MPO-16 oder MPO-12 ist hier sicherlich die Wahl. Jetzt ist die Frage, was die IEEE working group sich da noch ausdenkt. 800G ist leider noch eine Weile weg, so dass da noch alles passieren kann.

So, jetzt kommt aber die Frage der Transition:
MPO-16 sieht man erst ab 200G. Bis dahin ist es entweder MPO-12 oder MPO-24.
Sprich also der Weg könnte ab 10G so aussehen.
40G-SR4 mit MPO-12
100G-SR4 mit MPO-12
200G-SR4 mit MPO-12
400G-SR4.2 mit MPO-12
das ist das, was man heute schon sagen kann.
400G-SR8 mit MPO-16
800G-SR8 mit MPO-16?

Alternativ sind noch folgende Zwischensteps machbar:
40G-SR2-BiDi mit LC MM
100G-SR2-BiDi mit LC MM
Diese Transceiver sind im Verhältnis der SR4 schon sehr viel teurer.

So, und was machen wir jetzt?
MPO-12 geht sicher bis 400G, 800G evtl.
MPO-16 geht erst ab 400G
LC geht nur bis 100G

Im worst case legt man eben alle 3 Leitungen rein. (alternativ nen breakout auf LC, wobei so nen LC-Kabel halt auch nichts kostet)
Je nach Situation ist dann also die eine Leitung ggf. ab 800G über, oder die andere kann erst ab 800G genutzt werden.
Man legt dann also ggf. einen mittleren 3-stelligen Betrag rein, der dann irgendwann stirbt. Dafür muss man ggf. die Wände nicht mehr aufmachen, kommt also auf die Situation an.
Ist natürlich auch ne Frage in welchem Umfeld man sich bewegt, @home oder @Firma und da sind dann Investitionsschutz und totes Kapital Themen die beachten werden müssen.

EDIT: Breakoutapplikationen oder passive TAPs sind Themen die dann noch oben drauf kommen und das Thema weiter verkomplizieren.
2ndEDIT: 25G/50G habe ich bei der Transition wegelassen, um es nicht noch mehr aufzublasen. Läuft aber auch auf ne LC-D MM hinaus.

PS: Was ich nicht versuchen würde, 100x LC-D reinzulegen und dann irgendwas hinzuzaubern. Das Thema MPO-LC ist nochmal eine ganz andere Baustelle.

3rdEDIT:
Wem das zu wenig Fasern sind, es gibt noch sowas:
www.sylex.sk

1x72f MTP to 1x72f MTP 72-fiber patch cable - Sylex

Patch cables with High fibre count MTP® connectivity with the benefit of a small footprint and easy handling. Utilising all the benefits of the 12/24 design.
www.sylex.sk www.sylex.sk
 
Zuletzt bearbeitet:
MPO-12 geht sicher bis 400G, 800G evtl.
MPO-16 geht erst ab 400G
LC geht nur bis 100G
Zum Vergrößern anklicken....

Da der @danielmayer ja so nett für mich gefragt hat ;), antworte ich mal direkt: das hilft sehr im fiesen Faserfirlefanz, danke!

Im Ernst: ich bin erstmal versorgt. 10GBit reicht mir locker, schöpfe ich schon kaum aus und 100Gbit war eine Gelegenheit-Anschaffung in Form von Mischung aus „will ich weil - weiß nicht“ und „oh, ein Schnapper!“. :d
 
Evtl. nochmal etwas zur Steckerkompatibilität:

MPO-12 und MPO-16 sind nicht kompatibel, da die mech. Kodierung eine andere ist.
Aber man kann gerne versuchen ein -16 female Kabel auf ein -12 female Port zu tackern. Die Faserabstände passen zumindest.
 
@Underclocker: faserabstände passen, aber 100GNics an transceiver8->mpo12female->kupplung->mpo16male->kupplung->mpo12female->transceiver8 hätte keinen link? Oder wie ist das gemeint?
 
Du bekommst den MPO-12 und den MPO-16 nicht zusammen, da die Kodierstifte (die das Gender bestimmen), nicht aufeinander passen. Daher der Hinweis mit dem female/female, da es dann keine Stifte gibt, das passt quasi immer. Lediglich die Ausrichtung der Fasern gegeneinander könnte etwas eiern, was dann ein Problem sein könnte. (ist wie in der Realtität)

MPO-12 und MPO-16 haben komplett andere Bemaßung für die Kodierung.

EDIT: Außerdem müsste man dann aufpassen wegen der Kreuzung, da das ja normaler Weise Crossoverkabel sind. Normal ist das ja als Interlink gedacht, daher auch der Hinweis im Standard zur strukturierten Verkabelung. Wenn man aber mehr als 1 Kabel hat, muss man aufpassen wegen dem mehrfachen drehen. Bei ungerader Anzahl kann das wieder klappen.
Am einfachsten Wäre es, wenn man ein MPO-16female Kabel direkt reinhämmert.
 
Mal eine kurze Zwischenmeldung/Lebenszeichen: Ich hab kürzlich mal wieder eine meiner ConnectX-4 testweise in den Desktop verpflanzt und dort in Betrieb genommen. Naja, versucht. Hab' mir ein Thermaltake Core P8 als neues Gehäuse (für den Desktop) geholt und dachte, da kann ich ja jetzt prima wieder ein paar Lüfter über die Steckkarten pusten lassen und meine NIC anständig kühlen.

Denkste. Das Ding wird selbst mit 5 Lüftern im Case (3 vorne, 2 hinten, alle gleiche Luftrichtung vorne rein --> hinten raus, kaum Luft-Widerstand / Hitzeentwicklung im Innenbereich dank Wakü) noch so verdammt heiß, dass man sich sofort die Finger am NIC-Kühlkörper verbrennt - zumindest wenn ich die Lüfter nicht auf 100% aufdrehen will. Für einen leisen Betrieb leider untauglich. Muss also doch entweder die NIC wieder auf Wakü umrüsten, mit 2,5GBit-Onboard-Krücke leben oder eine günstigere 10Gbit einbauen wo's nicht so schlimm ist, sollte sie im Hitzetod abrauchen...
 
Ich hätte evtl schon mal gefragt: welcher WaKü-Head passt denn? 6,8 x 4,4cm würde ich grob sagen für die Halterung...? Ich fände ja eine In-One-WaKü sehr interessant, da im BigTower dafür Platz wäre.
 
Ich hatte auf youtube ein Video von einem Russen gesehen, der einfach Noctua Lüfter auf die Kühlkörper gepackt hat. Vielleicht das mal probieren?

Ich stehe nämlich vor demselben Problem und würde es gerne vermeiden, die Netzwerkkarte in die Wakü einzubinden :fresse2:
 
Bitte nicht gleich schlagen:
Für ein 100G-FPGA Projekt benötige ich eine 100G-Ethernet-Karte. Diese soll Dummy-Daten vom PC zum FPGA und zurück schicken. Folgende Karten habe ich gefunden:

Mellanox ConnectX-5 VPI 100G, 2x QSFP28/InfiniBand, PCIe 3.0 x16 (MCX556A-ECAT)
geizhals.de

NVIDIA Mellanox ConnectX-5 VPI 100G, 2x QSFP28/InfiniBand ab € 1071,00 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für NVIDIA Mellanox ConnectX-5 VPI 100G, 2x QSFP28/InfiniBand ✔ Produktinfo ⇒ Typ: LAN-Adapter, SAN-Adapter • Bauform: 1x PCIe-Karte (wechselbare Blende: full height und low profile B… ✔ Adapter & Hubs ✔ Testberichte ✔ Günstig kaufen
geizhals.de geizhals.de
Mellanox ConnectX-5 EN 100G, 2x QSFP28, PCIe 3.0 x16 (MCX516A-CCAT)
geizhals.de

NVIDIA Mellanox ConnectX-5 EN 100G LAN-Adapter, 2x QSFP28 ab € 754,94 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für NVIDIA Mellanox ConnectX-5 EN 100G LAN-Adapter, 2x QSFP28 ✔ Produktinfo ⇒ Typ: LAN-Adapter • Bauform: 1x PCIe-Karte (wechselbare Blende: full height und low profile Blende im Lief… ✔ Adapter & Hubs ✔ Testberichte ✔ Günstig kaufen
geizhals.de geizhals.de

Kann ich einfach die preiswertere von den beiden kaufen und mit Direct-Kabel das FPGA mit der Karte verbinden? Wo liegen genau die Unterschiede? Von InfiniBand habe ich schon oft gehört, aber nicht wirklich verstanden, was und wozu das ist.
Nochmals sorry, falls die Frage dumm ist. Ich kenne mich mit FPGAs aus, aber bei 100G Karten hört mein Wissen auf :-/
 
Meine unqualifizierte Meinung:
Im Mellanox Store ist die 516A günstiger als die 556A, ich vermute die 516A ist im freien Handel teurer, weil jeder die 556A kauft.
So weit ich das sehen kann unterstützt die 556A zusätzlich Infiniband, verglichen mit der 516A.

Wahrscheinlich könnte man sogar eine 516A auf eine 556A hochflashen, aber das ist nur eine Vermutung.
 
Hallo zusammen

ich habe ein Problem:

Ich bekomme meinen Mikrotik CRS326-24S+2Q+RM nicht zum connecten mit meiner Intel Intel XL710-QDA2 Dual Port.
Verwendet habe ich dieses Kabel: https://www.fs.com/de-en/products/36279.html

Klappt das generell nicht, oder muss ich was spezielles einstellen?
Wenn ich die zwei Karten-Ports miteinander verbinde geht es, wenn ich den switch kurzschliesse geht auch.
Nur Karte und switch miteinander verbunden geht dann eben nicht...??
habe schon versucht auto-neg. auf 40Gbits und diverse andere Einstellungen im Menü der Intel karte, aber es kommt einfach kein Link zustande.
 
Ich brauche mal euer geschultes Auge:

www.ebay.de

Oracle 7046442 ConnectX QDR InfiniBand +40Gbs QSFP+ Network Adapter Card CX354A | eBay

The listed prices do not apply.
www.ebay.de
www.ebay.de

Sun Oracle 7046442 Cx354a X4-2 Dual Infiniband PCIe Card günstig kaufen | eBay

Finden Sie Top-Angebote für Sun Oracle 7046442 Cx354a X4-2 Dual Infiniband PCIe Card bei eBay. Kostenlose Lieferung für viele Artikel!
www.ebay.de

Meint ihr die beiden kann man auf FCBT, also 2x 56G IB + 40GBe flashen? Da steht leider nicht dabei, ob es QCBT sind (bei denen ist ja bekannt, dass das funktioniert)
Gibt ja laut https://www.mellanox.com/related-docs/prod_adapter_cards/ConnectX3_VPI_Card.pdf nur FCBT und QCBT... Das oben sollten also QCBT sein, die sich auf FCBT flashen lassen?

Oder lieber auf Nummer sicher und:
www.ebay.de

Mellanox ConnectX-3 VPI Dual-Port Adapter with Virtual Protocol Interconnect (MCX354A-FCBT) online kaufen | eBay

Entdecken Sie Mellanox ConnectX-3 VPI Dual-Port Adapter with Virtual Protocol Interconnect (MCX354A-FCBT) in der großen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!
www.ebay.de
oder
www.ebay.de

Mellanox cx354a mcx354a-qcbt QDR IB 10gbe Dual-Port QSFP mit SAS Expander | eBay

Entdecken Sie Mellanox cx354a mcx354a-qcbt QDR IB 10gbe Dual-Port QSFP mit SAS Expander in der großen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!
www.ebay.de
 
Ich würde das stets mit Vorsicht genießen. Es ist halt ein Glücksspiel gegen die höheren Kosten.

Mellanox Connect-X 3 Oracle 7046442 Firmware

I picked up one of these on eBay: SUN 7046442 Dual 40GBPS QDR 4X QDR HBA M3 MCX354A-FCBS | eBay After reading these: https://forums.servethehome.com/index.php?threads/mellanox-connectx-3-firmware-tweaks-qdr-qsfp.10173/ and...
forums.servethehome.com forums.servethehome.com

btw @besterino: Einer meiner 100G-Karten scheint die Lagerung in der Schublade nicht gut getan zu haben... meldet sich nicht im Server :/ Muss ich wohl auf ein neues gutes Angebot warten.

Edit: Beachte bitte, dass die beiden SUN-Karten augenscheinlich nur mit Low-Profile-Blenden geliefert werden. Es ist recht teuer, die als Full-Profile nachzu bestellen, s. frühere Seiten dieses Threads.
 
Zuletzt bearbeitet:
Ja, den Thread kenne ich - Leider ohne wirklichen Bereicht ob es geklappt hat oder nicht.
In Post #3 schriebt er "[...]I attached my working file.[...]", daraus würde ich schließen, dass das Flashen (zumindest auf Stock Firmware) erfolgreich war. Und wenn man schon auf Stock Firmware flashen kann, dann sollte auch der Crossflash zu FCBT gehen.

Darf man fragen was du für die 100G Karten ungefähr bezahlt hast @danielmayer ?
Ich würde ganz gerne einschätzen können, wann ein Angebot gut ist :rolleyes:


EDIT:
Das hatte ich hier noch gar nicht geschrieben.
Ich hatte mir von einem deutschen Händler gebrauchte CX3 bestellt.
Blöd war nur: Das waren zum Einen CX2, zum Anderen war eine der drei DOA -> Widerruf und alle drei zurück.

Long story short, die kamen auch mit LP Blenden, deswegen habe ich schon entsprechende normale Blenden aus China bestellt, die auch schon da sind und soweit ich das beurteilen kann auch gut passen.
Das einzige, was mir aufgefallen ist: Die Original Mellanox LP blenden haben so eine Art "Schaumstoff" um die Ports drumherum, den die China Blenden nicht haben. Sollte aber nicht allzu relevant sein...
 
@danielmayer Mach mir keine Angst! Eine meiner Karten liegt jetzt auch schon was länger im Regal. Muss ich die wohl die Tage auch noch einmal irgendwo in Betrieb nehmen.

Wie äußert sich das denn bei Dir? Wird weder im Bios noch im OS angezeigt?
 
jup. hatte drei verschiedene Slots ausprobiert. Die andere Karte läuft.
Ich schaue mir das später nochmal physisch an, jetzt ist noch Kinder-Bespaßung.

@java: weiß ich gar nicht mehr. 140€ pro Stück glaube ich. Musst du den Anfang des Threads anschauen. "sollte gehen" ist eben das Glücksspiel: ja, kann. Muss aber nicht.
 
Habe jetzt von den Oracle Karten bestellt... Weil es so schön ist auch direkt 4 Stück :fresse2:

Ich werde berichten.
 
Hallo,

ich habe hier mal eine Frage zur richtigen Verkabelung. Ich bin dabei zwei Aruba 8325 Switche mit 100GB zu verbinden.
Dazu werden auf jeder Seite die Tranceiver hier eingesetzt: HPE Aruba 100G QSFP28 MPO SR4 MMF XCVR

Welche Kabel brauche ich um direkt diese beiden zu verbinden? Ich habe noch solche Pigtail Kabel um die Tranceiver mit einem LC Patchpael zu verbinden, aber die kann ich ja nicht direkt nutzen.

Also entweder brauche ich ein Kabel oder LC-LC Kupplungen, was würdet ihr nehmen? Es geht um einen provisorischen Aufbau für ca. 3-4 Monate.
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh