[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

Was ist denn von einer Karte mit der Bezeichnung "HP Infiniband NIC 544QSFP 10/40Gb FDR/EN DP" zu halten?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Lait Produktbild ist es eine normale PCIe-Karte.

Das Bild sieht wie eine CX354A-QCBT aus.
 
Zuletzt bearbeitet:
jetzt kucken wir nochmal genau hin
und
und was stellen wir fest?

EDIT:
764284-B21
das ist die non FLR
FLR ist Flexrom und die verlinkte oben
764285-B21
und die passt nicht
 
so, heute kam alles an, eingebaut, Treiber installiert und nix 😝

also nochmal hier und im Internet quer gelesen, gemerkt ich hab die "falschen" Karten, die nur 10GB via Ethernet können gekauft... also Crossflash und ein paar CMD Befehle später (auf Ethernet umstellen von VPI etc.)-> 40Gbit

Netto kommen jetzt so ~26Gbit an, viel schneller ist das Storage auch nicht, denke damit kann ich erstmal leben :) (ich denke viel mehr wird auch nicht drin sein, mit dem Windows 10 Client im Netz)

Falls noch jemand nötige Tweaks im Kopf hat gerne her damit!
 
Zuletzt bearbeitet:
Irgendwo günstig Mellanox FDR Kabel schießen und dann 56GBit genießen... ;-)

Eine von mir erstellte Tabelle mit Möglichen Geschwindigkeiten findest du hier:

Wenn du nur Ethernet und kein IB nutzen willst, kannst du sogar mit einem generischen QSFP28 Kabel FDR kriegen.

Der maximale effektive Nutzdatendurchsatz mit 40G Ethernet Infiniband (QDR) liegt übrigens bei 32GBit aufgrund der 8b/10b Kodierung
 
Zuletzt bearbeitet:
Stimmt, das war nur Infiniband. Ethernet hat früher auf 64/66 gewechselt. IPoIB sollte man aber generell vermeiden, weil man alle Offloading Features verliert...

Mit SMB3 bzw. SMB Direct könnte aber Infiniband wieder von Interesse sein. Und da sollte man QDR tunlichst vermeiden.
 
Also was tun? Doch auf 40gb Infiniband over IP umstellen? Smb 3 sollte ja hier laufen (1x Server 2019,1x win10)?
 
Wie kommst du denn auf Infiniband over IP?

Deine Möglichkeiten:
  • Bei 40G Ethernet bleiben
  • 100G QSFP28 oder Mellanox FDR Kabel besorgen und 56G Ethernet nutzen
  • Mellanox FDR Kabel besorgen und 56G Infiniband mit SMB Direct nutzen
EDIT:
Du könntest auch RoCE benutzen (praktisch Infiniband over IP), aber das ist immer ein ziemlicher Schmerz. Vor allem, weil RoCE V1 nicht routbar ist...
 
Habe die Karte heute bekommen und es ist die normale PCIe-Version und ließ sich recht einfach mit der Firmware einer MCX354A-FCBT falshen. Wenn ich die passenden Kabel habe, kann ich auch was zu der erreichten Geschwindigkeit sagen.

Nachtrag 1: Mit billigen DACs kriege ich einen 40G-Link zu meinem CRS354-48P...
 
Zuletzt bearbeitet:
so... da leider mein Asus Board starke Probleme mit der HP (Mellanox) CX3 Karte hatte (PC bootet nicht bzw. geht einfach aus während des Bootens, alle X mal klappt es dann...) und ich so ein ähnliches Phänomen bei einem anderen User ergooglet habe... Plan B!

2x Intel XL710-Q2 bestellt (aus Hongkong, war in 3 Tagen da... auf ein Paket aus Hamburg warte ich seit 5 Tagen...:poop:), eingebaut, Treiber installiert, iperf angeschmissen:

1616696233144.png


und jetzt limitiert einfach mein Storage :censored:8-)

also doch wieder Ende gut, alles gut.
 
In meinem Fall ja, genau das Board
 
Evtl alles eine Kombination aus Board/Raid Controller/OC und der umgeflashten HP Karte... 🙈 Mit den Intel Karten läuft alles wieder Stabil und das war für mich entscheidend.
 
@soulreaver Ich habe heute mal versucht, zwei der HP-Karten auf mein Maximus X Hero zu stecken und hatte das Problem, dass die Karte im zweiten (unteren) PEG-Slot nicht richtig erkannt wurde. Nachdem ich "PCIe Spread Spectrum" im BIOS deaktiviert hatte, ging es dann.
 
Hallo,

ich hätte in Paar Fragen zur möglichen Verkabelung. Ich hab versucht mich durch Threads und Seiten zu wühlen, aber es sind eigentlich nur mehr Abkürzungen geworden und undurchsichtiger o_O Ich habe aktuell zwei Mellanox Connect x3 CX54A mit einem DAC-Kabel verbunden. Das läuft auch alles soweit. Meine Frage wäre z.B. wie man größere Strecken zurücklegen kann. Sagen wir 5-50 Meter in einem Haus z.B.

Diese DAC Kupferkabel gehen wohl nur bis 7 Meter, danach gibt es AOC?

Gibt es irgendwelche Kombinationen die man quasi für "jede" Länge nehmen kann (bei 5-50m). Ich würde gerne erstmal irgendwo mit meinem Verständnis dafür starten, aber die Bezeichnungen machen für mich noch keinen Sinn. LC, SC, LC-PC, SC-PC, AOC und dahinter sind dann nochmal Entscheidungen zu treffen.

Ich habe von Kabeln mit befestigten Modulen gehört, diese sollen weniger anfällig sein, da sie keine Steckverbindungen haben, andere sagen es ist zu unflexibel.

Vielen Dank!

Gruß Benny
 
Zuerst: Ich glaube du verwechselt da was.

Ich habe von Kabeln mit befestigten Modulen gehört, diese sollen weniger anfällig sein, da sie keine Steckverbindungen haben, andere sagen es ist zu unflexibel.
Genau das bezeichnet man als AOC (Active Optical Cable).

AOCs haben den Vorteil, dass du dir keine Gedanken über die Auswahl der passenden Transceiver für die Distanz, die passende Faser, ggf. Reinigung der optischen Stecker, etc. machen musst - Haben allerdings auch zwei gravierende Nachteile:
1. Die Verlegung ist deutlich schwieriger, denn die QSFP(+/28) Stecker sind groß und brauchen bei Wanddurchführungen dementsprechend große Durchmesser, um überhaupt durchzupassen
2. Die Länge ist fix und nicht flexibel

Im Prinzip gibt es zwei Möglichkeiten, um größere Distanzen zu überbrücken
1. Transceiver, Kabel, Transceiver
2. Active Optical Cable, die 1. fest zusammengebaut zusammenfassen


Transceiver haben (neben dem Formfaktor wie SFP oder SFP und natürlich der Geschwindigkeit) im Grunde drei Merkmale:
  • Maximale Distanz (je weiter desto teurer)
  • Wellenlänge bzw. benötigter Fasertyp (Single Mode oder Multimode, die haben verschiedene Wellenlängen, gibt aber auch Transceiver, die beides können)
  • Benötigte Anzahl an Fasern
Letzteres ist oft das größte Problem - Single Mode Transceiver nutzen klassicherweise Duplex (also zwei Fasern), bei Multi Mode gibt es dagegen zwei Ausführungen: Duplex oder MTP / MPO.
MTP / MPO sind dann bis zu 12 Fasern. MTP/MPO wird genutzt, weil das die Transceiver (teilweise deutlich) günstiger macht - Jedoch mit dem Nachteil, dass die Kabel dann relativ teuer werden.

Man muss dann am Ende ausrechnen, was für die jeweilige Anwendung günstiger ist (Duplex Transceiver + Duplex Kabel oder MTP/MPO Transceiver + MTP/MPO Kabel oder Single Mode)
Es gibt auch exotische Kabel und Transceiver. Kabel bspw. Single Mode MTP/MPO (üblicherweise ist das Multi Mode), das habe ich aber bisher nur bei 400G Transceivern gesehen.
Bei Transceivern gibt es noch sogenannte BiDi Transceiver, die funktionieren mit einer Faser statt zweien.

Zusätzlich muss man bei MTP/MPO auch schauen: Da gibt es Ausführungen mit verschiedener Anzahl an Fasern, 8/12, 16, 24. Die sind teilweise kompatibel, teilweise nicht...
 
Zuletzt bearbeitet:
Vielen Dank für die Aufklärung.

Ich würde das gerne mal an einem Beispiel festmachen.

Dieses AOC mit 125m:
https://www.fs.com/de/products/40102.html?attribute=1680&id=197015 für 123€

Hat die von dir genannten Nachteile, aber ist, wenn ich das richtig verstehe recht günstig im Vergleich.

Alternativ müsste ich mir das hier kaufen:
2x https://www.fs.com/de/products/36395.html?attribute=138&id=230069 Tranceiver
1x https://www.fs.com/de/products/96100.html Kabel
für 229€

Stimmt das so?

Wie ist das ganze preislich zu sehen? Ist es zwar im Prinzip richtig, aber zu teuer? Ich weiß es ist schwer das pauschal zu sagen, aber gibt es sowas "oft" um die hälfte günstiger woanders, oder ist es eher glück mal bei ebay was zu bekommen?
Ich möchte nur ein wenig abschätzen können worauf ich mich hier einlasse :ROFLMAO:
 
Teuer ist hier in mehrfacher Sicht "relativ".
Die MTP-Kabel sind in den letzten drei Jahren massiv teurer geworden bei FS. Allerdings sind die unter den Glasfaserkabeln die Königsklasse (8-144 Fasern in einem Kabel!) und waren vor 10+ Jahren noch teurer als sie es heute sind.
Für 100G wäre meine Empfehlung bzw. mein Hausansatz überall Singlemode (mit) zu verlegen, da die CWDM-Module von FS das inzwischen recht interessant machen - und man braucht kein MTP-Kabel. Bei einer Hausverlegung ist man da viel (!) günstiger, da die LC-Kabel 25m bei 11€ liegen und man halt bei Bedarf die Transceiver für 190€/Stück holt. Es liegt also kein totes Kapital in der Wand.
Für 40G habe ich allerdings auf die Kürze keine CWDM gefunden.

Edit: und ja, da liegst du richtig. Ich würde dennoch die flexible Variante nehmen.
 
Wellenlänge bzw. benötigter Fasertyp (Single Mode oder Multimode, die haben verschiedene Wellenlängen, gibt aber auch Transceiver, die beides können)
Die Wellenlänge hat erstmal nichts mit Multimode oder Singlemode zu tun.
Multimode und Singlemode liegt am optischen Aufbau der Faser, dabei ist die Wellenlänge erstmal uninteressant.
Singlemode ist so dünn, dass es dort nur einen optischen Kanal gibt, wohingegen Multimode mehrere Pfade hat.

Die Fasertypen wurden weiterhin auf Wellenlängen hin optimiert, so dass sie dort die besten optischen Eigenschaften haben.
So wurden FDDI,OM1 und OM2 auf 1310nm optimiert (wobei OM2 auch auf 850nm genauso gut ist), so dass diese dort am weitesten reichen. Und daher haben Geräte dort ihre beste optische Wirkung.
Wohingegen man ab OM3 auf 850nm weiter optimiert hat.

Und dennoch kann man nicht einfach ein Singlemode Transceiver mit OM2 befeuern, weil die Wellenlänge irgendwie passt.

Und obwohl OM5 auf 850nm hin optimiert wurde, kann man diese weiterhin anstelle von OM2 Leitungen einsetzen, da OM3-5 bei 1310nm die selbe Reichweite hat wie OM2 und viele optische Geräte aus der OM2-Zeit (100BASE-FX) eben auf 1310nm arbeiten.

Letzteres ist oft das größte Problem - Single Mode Transceiver nutzen klassicherweise Duplex (also zwei Fasern), bei Multi Mode gibt es dagegen zwei Ausführungen: Duplex oder MTP / MPO.
MTP / MPO sind dann bis zu 12 Fasern. MTP/MPO wird genutzt, weil das die Transceiver (teilweise deutlich) günstiger macht - Jedoch mit dem Nachteil, dass die Kabel dann relativ teuer werden.
Man muss dann am Ende ausrechnen, was für die jeweilige Anwendung günstiger ist (Duplex Transceiver + Duplex Kabel oder MTP/MPO Transceiver + MTP/MPO Kabel oder Single Mode)
Es gibt auch exotische Kabel und Transceiver. Kabel bspw. Single Mode MTP/MPO (üblicherweise ist das Multi Mode), das habe ich aber bisher nur bei 400G Transceivern gesehen.
Bei Transceivern gibt es noch sogenannte BiDi Transceiver, die funktionieren mit einer Faser statt zweien.
MPO gibt es auch in deutlich mehr Fasern.
400G-SR16 setzt auf 32 Faser (pro Richtung jeweils 16)
400G-SR8 setzt auf 16 Faser (pro Richtung jeweils 8)
100G-SR10 setzt auf 20 Faser (pro Richtung jeweils 10)
Dabei ist zu sagen, dass 400G-SR8 und 100G-SR10 jeweils den MPO-24 (oder MPO-12 two row) Stecker benutzen und die Mehrfasern frei lassen.

Singlemode MPO gibt es auch schon bei 40G.
z.B.
oder

Des Weiteren hat BiDi nichts mit einer Faser zu tun. BiDi heißt, dass auf einer Faser sowohl Sende- auch als Empfangsrichtung laufen. Wenn es aber mehrere Sender bzw. Empfänger gibt, dann wird BiDi plötzlich sehr schnell hochfasrig.
z.B.
oder
oder die totale BiDi-Eskalation
400G-SR4.2 mit BiDi auf 8 Fasern eines MPO-12

Dennoch ist es so, dass bei 1G und 10G man auf eine Faser runtergehen kann, da man dort nur jeweils einen Sender-/Empfängerkanal hat.
Selbiges kann auch bei 25G/50G und 100G passieren, da man dort mittlerweile in der Lage ist, diese Datenraten auf jeweils einem Kabel zu fahren und man so 1-fasrige BiDi-Transceiver herstellen könnte.


Zusätzlich muss man bei MTP/MPO auch schauen: Da gibt es Ausführungen mit verschiedener Anzahl an Fasern, 8/12, 16, 24. Die sind teilweise kompatibel, teilweise nicht...

Bei MPO muss man noch auf viel mehr aufpassen. So gibt es MPO als männlich und als weibliche Ausführung.
Weiterhin gibt es MPO auch als Crossoverkabel und dabei auch noch komplett gedreht oder nur paarweise gedreht.
Je nach Verwendungszweck kann MPO schon eine richtige Bitch sein, gerade im DC-Betrieb.

@danielmayer
40G über MM LC-D
Siehe oben bzw. auch
sowie

Ob nun AOC oder nicht, muss man selber wissen.
AOC ist im ersten Moment billiger. Will man aber die Länge upgraden, schmeißt man alles weg und kauft neu. Bei gesteckter Leitung, nimmt man einfach ne andere Leitung.
Für Verkabelung im Haus denkbar ungeeignet, ansonsten quasi ein DAC mit mehr Länge.
 
Zuletzt bearbeitet:
Ja. Die FS - Teile hatte ich gesehen, scheinen aber nicht lieferbar und ohne Preise. Und für weitere Suche keine Zeit gehabt.
Über Amazon also das 40G 153€/St., das 100G 186€/St bei FS... Kabel sind jeweils die gleichen, Duplex OM4 LC/LC.
Im Übrigen noch die NIC natürlich.
Aber insgesamt sind die nicht mehr weit auseinander! :)
 
Aktuell überlege ich die Etagen erstmal zu verbinden, da wird sich nicht viel ändern was die Standpunkte der Geräte angeht, von daher wären die AOC denke ich eine gute Sache.

Wäre es theoretisch möglich mit einem Breakout-Kabel eine Workstation mit einer QSFP+ Karte an einem SFP+ Switch anzuschließen? Also das dann wieder die 40Gbit bestehen?

Vielen Dank für euren Input!
 
Mellanox ConnectX-3 können meines Wissens nach leider nicht mit Breakout Kabel (40G QSFP+ -> 4x 10G SFP+) umgehen.

Ich verstehe ohnehin nicht genau, was du vorhast - Praktisch 4 separate SFP+ Kabel vom Rechner zum Switch legen?
 
Der spontane Gedanke war, dass ich nur Switches für sfp+ kaufen müsste, was für die meisten Zwecke wahrscheinlich reichen würde, außer für zwei PCs und einen Server. Switches für sfp scheinen sich leichter und günstiger zu finden zu lassen. So hätte ich halt 12 Anschlüsse am SFP Switch voll, was nicht so schlimm wäre.
 
Der spontane Gedanke war, dass ich nur Switches für sfp+ kaufen müsste, was für die meisten Zwecke wahrscheinlich reichen würde, außer für zwei PCs und einen Server. Switches für sfp scheinen sich leichter und günstiger zu finden zu lassen. So hätte ich halt 12 Anschlüsse am SFP Switch voll, was nicht so schlimm wäre.
Brocade ICX 6610 bekommt man mittlerweile recht günstig, wenn einem optische Mängel egal sind. Da hast du dann QSFP+, als auch SFP+ und normale RJ45 Kupferports.
 
Und von der Lautstärke her nen Düsenjet im Wohnbereich? ;)
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh