Muss man bei den Karten etwas beachten wenn man SMB direct/RDMA machen möchte statt IB?
Muss man immer crossflashen ib/ip?
Die Modellbezeichnungen sind etwas ätzend. Gibt halt z.B. ConnectX-4 die gar keine 100Gbit können. 100Gbit gibt's bei den ConnectX-4 nur mit den Modellen MCX455A-ECAT (single port) und MCX456A-ECAT (dual port):
docs.nvidia.com
Die, sowie ConnectX-5 und aufwärts können aber sowohl IB als auch Ethernet. Das stellst Du einfach per firmware-tool ein (kein crossflash nötig bei den original Mellanox).
Eine Vergleichstabelle gibt's hier:
enterprise-support.nvidia.com
Noch eine (bessere) Übersicht hier:
Mellanox ConnectX 4 ConnectX 5 And ConnectX 6 Ethernet Comparison Chart 1
www.servethehome.com
ACHTUNG: Wenn Du eine "branded" Karte nimmst, kann das alles mögliche sein. ConnectX-4 ließen sich noch crossflashen, ab ConnectX-5 hat Mellanox/Nvidia aber fröhliche Sicherheitsfeatures (verschlüsselte Bereiche der Firmware) eingeführt, die das verhindern können. Ich hab z.B. zuletzt HP-branded ConnectX-5 erwischt. Crossflash auf original Nvidia-/Mellanoxfirmware ging nicht, aber mit etwas Fluch... .äh... Sucherei hab ich die aktuelle HP-Firmware gefunden und problemlos flashen können.
Bei früheren 40G Versuchen hatte ich DAC Kabel mit eingebautem Glasfaserwandler für längere Kabel bis 100m, Geht sowas ?
https://www.fs.com/de/products/1548...MI35OWh4PMiAMVN5GDBx0WaST9EAAYASAAEgJxgvD_BwE
Wäre dann die einfachste Option. Bei den Kabeln bin ich echt unsicher ob QSFP 28 oder 56.
Keine Ahnung zu DACs. QSFP56 gibt's aber wohl erst ab ConnectX-6... Könnte schwierig sein, die schon gebraucht als Schnapper zu finden. Wenn Du hingegen neu kaufen kannst/darfst, why not (oder gleich ConnectX-7?)...
Wenn man SMB direct z.B. für 4/8K Video braucht, so sind das nur einzelne Arbeitsplätze.
Ein oder mehrere Dualport Netzwerkkarten im Server sind wohl die einfachste Lösung und spart den teuren, lauten Switch .
Gibts denn auch Breakout Kabel wie bei 200G ->
Normales 1G/10G ip LAN kann man ja zusätzlich machen.
Ist halt in der (dann im Zweifel manuellen) Verwaltung im Host ggf. etwas blöd mit den Netzwerken / IP-Adressen. Wenn ich mich richtig erinnere, gab es auch Problemchen mit meinem Hypervisor, bei dem 100Gbit NICs / Ports per PCIE-Passthrough an VMs durchgereicht waren: Wenn zu einem bestimmten Zeitpunkt beim Booten die Gegenstelle (also der Client) nicht online war (oder auch später offline gegangen ist), kam die NIC im Server nicht wieder hoch, bis die VM neu gestartet wurde (möglicherweise musste der ganze Host neu gebootet werden). Ich meine, das war im Zusammenhang mit einer Solaris 11.4 VM mit nem zugewiesenen ConnectX-4 Port. Genau deshalb hab ich dann doch irgendwann einen 100gbit Switch angeschafft, damit der relevante Port im Server eben immer eine aktive Gegenstelle hatte. Ist aber schon eine Weile her, meine Erinnerung kann trügen und/oder sich Software/Treiber/etc. weiterentwickelt haben.
Breakoutkabel funktionieren meines Wissens (!) NUR auf der Switchseite. Du kannst also am Switch einen 100Gbit-Port in 4x25Gbit aufteilen; die NICs können das hingegen NICHT.
Du kannst aber an einem 100gbit-QSFP28-Port an der NIC durchaus eine geringere Speed fahren, z.B. auch per QSFP28/SFP+ Adapter einen SFP+ 10Gbit Transceiver bestücken und den dann ganz normal mit einem vorhandenen 10Gbit SFP+ Switch verbinden. Das mache ich tatsächlich häufiger: normales Mainboard nur mit 1Gbit Ports, Dual-Port-ConnectX dazu und ein Port für "normales" 10Gbit Netz, der zweite Port für 100Gbit. Spart halt für mich eine (10Gbit) NIC und entsprechenden PCIe-Slot.
Alternativ statt "Vergeudung" eines 100Gbit-Ports für lumpige 10Gbit kannst Du aber natürlich auch die beiden Ports einer Dual-Port-NIC z.B. per PCIe-Passthrough UNTERSCHIEDLICHEN VMs zuweisen oder eben auch nur stumpf 2 Rechner per 100Gbit verbinden.
Wegen der deutlich höheren Flexibilität habe ich bisher immer nur Dual-Port NICs gekauft.
Grundsätzliches steht ja in
Ist dennoch nicht so einfach wenn es einfach nur tun soll ohne viel Bastelei und Versuche.
Ich übernehme keine Garantie für irgendwas. Ich mach das alles nur aus Spaß anner Freud' als bestenfalls (!) "halbwegs informierter Laie mit gefährlichem Halbwissen" ohne jegliche Form von professionellem Anspruch.
Ich hab aber immerhin schon einige Bastelei und Versuche hinter mir.
