Infiniband + 40GBe - ConnectX-3 oder ConnectX-4 | Generell crossflashen?

[java4ever]

Hallo,

Ich möchte meinem Netzwerk hier mal nen bisschen Dampf machen und Infiniband einbauen. Mindestens 40G sollten es sein, am besten aber natürlich 56G.

Ich habe mich ein bisschen informiert und natürlich sind da die Mellanox Karten ganz oben auf der Liste, weil sie Infiniband QDR und 40GBe können.

Jetzt stellt sich die Frage:
Reicht ConnectX-3, oder sollte es eine ConnectX-4 sein? Die ConnectX-3 finde ich vor allem attraktiv, weil sie 2x QSFP hat...

Und natürlich die Sache mit der Firmware.
Ich habe gelesen, dass man auf OEM ConnectX-3 Modelle relativ problemfrei die Stock Mellanox Firmware spielen kann. Stimmt das?

Und: Muss es eine CX354A sein, oder kann man auch eine CX314A so flashen, dass sie Infiniband kann (das scheint ja der grundlegende Unterschied zwischen 314A und 354A zu sein)...


Besten Dank schon mal für eure Hilfe!


P.S. Gibt es preiswerte Infiniband Switche, die Zimmerlautstärke haben und nicht gerade 300W aus der Steckdose nuckeln?

 

[danielmayer]

Du brauchst zum Dampfmachen kein Infiniband, sondern eine Maßnahme "40+"!
Vorweg: Auf Deinem Kenntnisstand sind auch 10G vermutlich mehr als genug, alles darüber hat mehr "akademischen Wert" bzw. "buaaahahahaha! Geil!"-Wert. Aber keinen praktischen. So prüfe also, ob es wirklich 40G+ sein sollen und die Mehrkosten ohne Mehrwert für Dich in Ordnung sind.
Inhalt/Topic: Infiniband hat theoretisch und praktisch mehr "Dampf" als gleichschnell getaktetes Ethernet, wenn Du die richtige Nutzung dafür hast. Ich muss aber unterstellen, dass das bei Dir nicht der Fall ist. Was Du willst ist schnelles Ethernet. QSFP ist der Anschluss für 25/40/56G, SFP+ für 8/10G und QSFP28 der Anschluss für 100G. Daran kann man die Karten optisch schon schnell unterscheiden. Für 40G also Single oder Dual-QSFP.
Daher:
- Die 314 mit 40G Ethernet reicht für Dich
- Lautlose oder gefällige Infiniband-Switche 40G+ gibt es nicht
- Nimm die CX3 mit 40G, die CX4 mit 40G sind deutlich teurer. Dazu MTP-Kabel in gewünschter Länge, bei den üblichen Heimanwendungen als OM4 Kabel mit 2x QSFP Transceiever "SR" - letzteres bei fs.com für ca 80€/St. Die 40G Direktverkabelung sollte für ca 300-350€ machbar sein. Bei 3 Rechnern im "Server" eine Dualport-Karte und zwei Kabel mit 4x Transceiver.
- Wenn Du eine hausweites Setup mit 40G+ haben willst wird es teuer, da Switche nicht wirklich privat-Budget-freundlich sind...
- und es gibt hier den 40/100G - Thread mit vielen Infos.

 

[java4ever]

Ich will schon explizit Infiniband.

Ich hab hier ne kommerzielle Simulationssoftware, die neben dem Distributed Mode auch nen Shared Memory Mode via MPI fährt, da macht Infiniband schon Sinn. Außerdem möchte ich das mal selbst einrichten und ausprobieren.

Infiniband ist also auf jeden Fall gesetzt. Die ganze Infiniband Hardware ist ja auch größtenteils spottbillig.

Bei CX3 vs CX4 geht es mir hauptsächlich um irgendwelche Bugs, die schwer zu umgehen sind (sowas wie "Funktioniert nicht unter Linux größer Kernel 5.4", was weiß ich)

Sehe gerade deinen EDIT:
Es geht hier definitiv nicht um ein hausweites 40G+ Setup. Vielleicht irgendwann mal perspektivisch 40GBe, aber im Moment ist das noch nicht von Interesse.
Hier geht es gerade nur im die Konnektivität innerhalb des kleinen Clusters für den Shared-Memory MPI Kram.

 

[sch4kal]

CX3 mit DACs, ab gehts.

 

[danielmayer]

Jup. Irgendzwei der "VPI"-Modelle, die haben Infiniband inkl.
Kabel/Transceiver sind identisch mit Ethernet, man schaltet nur die Karte in einen anderen Signalmodus, unter Windows im Treiber/Einstellungen, unter Linux mit nem Tool. Wie gesagt: have an look "40/100/and beyond"-Thread.

 

[java4ever]

Okay, also direkt die 354A kaufen und keine Crossflash Versuche.

Wie schaut es mit den DAC Kabeln aus?
56G Kabel sind sehr teuer, sogar die 100G QSFP 28 DAC Kabel sind billiger...

Kann ich ein 100G QSFP28 Kabel nehmen (statt eines 56G Kabels), wenn ich 56G Link Speed haben will? Oder muss es unbedingt ein 56G Kabel sein?

 

[sch4kal]

Okay, also direkt die 354A kaufen und keine Crossflash Versuche.

Wie schaut es mit den DAC Kabeln aus?
56G Kabel sind sehr teuer, sogar die 100G QSFP 28 DAC Kabel sind billiger...

Kann ich ein 100G QSFP28 Kabel nehmen (statt eines 56G Kabels), wenn ich 56G Link Speed haben will? Oder muss es unbedingt ein 56G Kabel sein?

Ganz normales QSFP+ DAC...

 

[java4ever]

Ich glaube ich muss das nochmal verdeutlichen:

Ich möchte, dass sich die Karten auch mit 56G FDR linken.

Als beispiel:
40G QSFP+: 15€ - https://www.fs.com/de/products/74635.html -> Wird sich vermutlich nicht mit 56G linken
56G QSFP+: 44€ - https://www.fs.com/de/products/74654.html -> Wird sich mit 56G linken
100G QSFP28: 24€ - https://www.fs.com/de/products/104214.html -> ?? Evtl.

 

[sch4kal]

Ich glaube ich muss das nochmal verdeutlichen:

Ich möchte, dass sich die Karten auch mit 56G FDR linken.

Als beispiel:
40G QSFP+: 15€ - https://www.fs.com/de/products/74635.html -> Wird sich vermutlich nicht mit 56G linken
56G QSFP+: 44€ - https://www.fs.com/de/products/74654.html -> Wird sich mit 56G linken
100G QSFP28: 24€ - https://www.fs.com/de/products/104214.html -> ?? Evtl.

Wieso sollten die nicht linken ? IB zwischen zwei Mellanox NICs funktioniert ohne Probleme mit den normalen QSFP+ DACs.
Ich hab dafür Cisco kompatible aus der Bucht genommen, die sind oft sogar billiger als die von FS.

 

[java4ever]

Die Frage ist nicht, ob sie sich überhaupt linken, sondern ob sie sich auch mit 56G und nicht nur 40G linken...

Wenn du das Setup hast, kannst du ja mal nachschauen / messen, was Phase ist.

 

[sch4kal]

Die Frage ist nicht, ob sie sich überhaupt linken, sondern ob sie sich auch mit 56G und nicht nur 40G linken...

Wenn du das Setup hast, kannst du ja mal nachschauen / messen, was Phase ist.

Nö, probiers selber aus, oder lass es und kauf die teureren Kabel.

Es gibt übrigens auch noch RoCE, das können die CX3-NICs ebenfalls, man braucht also gar nicht den Weg über IB gehen.