[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

2x SX6012 - wird halt "nur" ein 56Gb Netzwerk. Die CX4 gabs nur wegen dem verbuggten (vermutlich bald auslaufenden) Support der CX3(-Pro) auf esxi6.7
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hmm... ernüchternd. Der Single-100G von ebay scheint DOA... in anderer Hardware/Mainboard kann ich aktuell nicht testen, aber in der X99-WS (CX4 läuft problemlos) wird weder unter Windows noch unter Linux eine Karte erkannt (Gerätemanager bzw. lspci). Schade.
 
:(
 
Hey Danke für den Link! :)

Eigentlich müsste ich vor den nächsten Spielereien vorher nochmal bisken was Umbauen - vor allem scheint das ja alles nur mit iSCSI zu laufen? (Habe jedenfalls auf die Schnelle nichts zu SMB Direct unter Solaris finden können.) Du siehst, RDMA und alles was speziell dazu gehört, ist für mich noch fieses Neuland... ;)
 
Joa, wird zZ wohl hauptsächlich für iSER (RDMA for iSCSI) genutzt. Wenn VMware mal zu Potte kommt und irgendwann in Zukunft auch einen NVMeoF Initiator integriert, wird das die iSCSI Geschichte wohl beerdigen, bis dahin bin ich aber wieder am entwickeln und darf nicht mehr mit der (t)ollen Hardware rumspielen :coffee:

SMB Direct sollte mit Win12r2+ einfach laufen wenn ein RoCE fähiges Netzwerk vorhanden ist. Aber sollte und Microsoft ist immer so ne Sache ;)

Edit:
Und ja natürlich kannst du RoCE auch ohne Switch betreiben (ist sogar einfacher weil die Switch Konfiguration wegfällt), ob IB oder Eth kommt auf deine verwendete esxi Version an. Mit 6.5 wurde der IB Support offiziell abgeschafft, mit etwas "hackerei" bekommt man den IB Support zwar auch auf 6.5/6.7, aber ohne RoCE, daher bleibt dir mit einem aktuellen esxi und RDMA nur Eth.
 
Zuletzt bearbeitet:
Tjo - ich brauche einfach mal ein wenig Zeit zum Spielen... ;)

Das hier scheint auch zum Thema zu gehören: https://community.mellanox.com/s/article/howto-configure-roce-on-connectx-4. Zumindest sollte ich damit herausfinden können, welche "Sprache" meine beiden ConnectX-4 miteinander sprechen können. ;)

Eigentlich sollte das alles ja mit Solaris 11.4 fast out-of-the-box funktionieren, da Solaris 11.4 ja Unterstützung für SMB 3.1.1 mitbringt und das auch die Version ist, auf der Server 2016 bzw. Windows 10 miteinander spielen (PDF) als Grundvoraussetzung für SMB Direct.

Wenn ich das richtig verstehe und ich die ConnectX-4 richtig für RoCE konfiguriert habe, müsste das dann ja eigentlich direkt laufen:

SMB Direct has the following requirements:

  • At least two computers running Windows Server 2012 are required. No extra features need to be installed—the technology is on by default.
  • Network adapters with RDMA capability are required. Currently, these adapters are available in three different types: iWARP, Infiniband, or RoCE (RDMA over Converged Ethernet).
Quelle
Zum Vergrößern anklicken....

Ist halt die Frage, ob Solaris 11.4 mit SMB 3.1.1 in diesem Sinne als "computer running windows Server" durchgeht. :d Man wäre das geil, wenn ich einfach Solaris 11.4 auf der einen und Windows 10 auf der anderen Seite hochfahren könnte, und der ganze Krempel einfach mit RDMA laufen würde. Muss ich glatt mal die Tage ausprobieren - mein Datengrab läuft ja auf Solaris 11.4... Sollte das tatsächlich funzen, muss ich nur noch rausfummeln, wie das ggf. mit ESXi dazwischen aussieht. Einfach wäre ja langweilig. ;)

...und natürlich stecken die RDMA-NICs nicht in den richtigen Kisten, um das einfach mal eben zwischendurch ausprobieren zu können... :wall:

Von Euch hat das nicht zufällig jemand mal ausprobiert? Ich frag auch mal gea im ZFS-Sammler...
 
Grundsätzlich sind das Standardfeatures von SMB 3.0.(2), im Grunde ist 3.1.1 eher Modelpflege. Bestimmte Features vom Scale-out File Server erfordern aber ein verteiltes Clusterfilesystem. Soweit mir bekannt hat Oracle dazu noch keine vollständige Implementierung wie z.B. Ryussi Tech die dahinter Ceph/Lustre/Gluster fahren.
 
Ich bin ja gar nicht so anspruchsvoll, Cluster-Features brauche ich eigentlich nicht - Multichannel und RDMA bei punkt-zu-punkt würde mir reichen. ;)
 
Sind wohl nicht die Schnellsten :fresse2:
 
:rofl:

In der Tat, sind nur QSFP14 und keine EDR
 
Zuletzt bearbeitet:
Müssen wohl noch von den als notorisch faul und lahm bekannten Glasfaserraupen gesponnen werden. :d
 
So heute kam das 56G QSFP+ DAC Twinax Kabel.
Eingesteckt und ausprobiert aber der Linkspeed steht auf 40GbE.

Hier die ethtool Infos.
Server 1:
Code: 
driver: mlx4_en
version: 4.5-1.0.1
firmware-version: 2.42.5000

Settings for enp131s0:
        Supported ports: [ FIBRE ]
        Supported link modes:   1000baseKX/Full
                                10000baseKX4/Full
                                10000baseKR/Full
                                40000baseCR4/Full
                                40000baseSR4/Full
                                56000baseCR4/Full
                                56000baseSR4/Full
        Supported pause frame use: Symmetric Receive-only
        Supports auto-negotiation: Yes
        Supported FEC modes: Not reported
        Advertised link modes:  1000baseKX/Full
                                10000baseKX4/Full
                                10000baseKR/Full
                                40000baseCR4/Full
                                40000baseSR4/Full
        Advertised pause frame use: Symmetric
        Advertised auto-negotiation: Yes
        Advertised FEC modes: Not reported
        Link partner advertised link modes:  40000baseCR4/Full
                                             56000baseCR4/Full
        Link partner advertised pause frame use: No
        Link partner advertised auto-negotiation: Yes
        Link partner advertised FEC modes: Not reported
        Speed: 40000Mb/s
        Duplex: Full
        Port: Direct Attach Copper
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: d
        Wake-on: d
        Current message level: 0x00000014 (20)
                               link ifdown
        Link detected: yes

Server 2:
Code: 
driver: mlx4_en
version: 4.5-1.0.1
firmware-version: 2.42.5000

Settings for enp4s0:
        Supported ports: [ FIBRE ]
        Supported link modes:   1000baseKX/Full
                                10000baseKX4/Full
                                10000baseKR/Full
                                40000baseCR4/Full
                                40000baseSR4/Full
                                56000baseCR4/Full
                                56000baseSR4/Full
        Supported pause frame use: Symmetric Receive-only
        Supports auto-negotiation: Yes
        Advertised link modes:  1000baseKX/Full
                                10000baseKX4/Full
                                10000baseKR/Full
                                40000baseCR4/Full
                                40000baseSR4/Full
        Advertised pause frame use: Symmetric
        Advertised auto-negotiation: Yes
        Link partner advertised link modes:  40000baseCR4/Full
                                             56000baseCR4/Full
        Link partner advertised pause frame use: No
        Link partner advertised auto-negotiation: Yes
        Speed: 40000Mb/s
        Duplex: Full
        Port: Direct Attach Copper
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: d
        Wake-on: d
        Current message level: 0x00000014 (20)
                               link ifdown
        Link detected: yes

Hat hier schon mal jemand 56 GbE back-to-back zwischen zwei ConnectX-3 ausprobiert? Läuft das ohne weiteres? Geht das nur per Hand also ohne auto-negotiation?
 
Beendet.

Auch besser so, wo ich doch meine 10GbE eh nur zu 3/4 ausgelastet bekomm :fresse:
 
niklasschaefer schrieb:
Habe von der Arbeit einen HPE FlexFabric 5710 48SFP+ 6QSFP+ mitnehmen dürfen. War nur ein Lüfter kaputt diesen dann getauscht rennt wieder einwandfrei.
So habe ich jetzt 48x10G und 6x40G Ports.
Zum Vergrößern anklicken....

Sehr schön :) Wie ist der Stromverbrauch von dem Teil ? Spiele schon mit dem Gedanken einen Arista DCS-7050QX-32S anzuschaffen, allerdings will die Vernunft dann doch nicht mitspielen ^^ Bekomme wie Bzzz ja vielleicht gerademal 10G ausgelastet, 40G ist eig. unnötig aber diesen "Haben-Will"-Faktor bekomme ich nicht ganz unterdrückt :/ :d
 
Der Stromverbrauch ist im Idle mit 30Watt. Knapp 45W wenn die Gbics drin sind. Was ich beaobachten konnte sind wenn Glas Module drin sind ist der Stromverbrauch geringer als mit DAC Kabeln.
 
Interessant, schalten die (weiter) ab, wenn keine Gegenstelle da ist? Oder ist das unter Last beobachtet?
 
Bzzz schrieb:
Interessant, schalten die (weiter) ab, wenn keine Gegenstelle da ist? Oder ist das unter Last beobachtet?
Zum Vergrößern anklicken....

Die Beobachtung welche ich machen konnte bezog sich wenn ich SFP+ Gbics einsetze das der Stromverbrauch geringer ist als wenn ich DAC´s nutze. Das andere kann ich aber auch mal testen habe noch ein paar SFP+ Gbics hier ob da der Verbrauch steigt oder nicht.
 
Sind eigentlich die YOTTA-Nummern/Aufkleber auf Intels XL710-Karten verlässlich um deren Echtheit festzustellen?

Bin mit den XL710ern durch die breite Treiber-Unterstützung (funktionieren eigentlich überall außer macOS, was vielleicht durch den neuen Mac Pro im Herbst besser werden wird) ziemlich zufrieden, auch wenn natürlich andere Karten mit RDMA leistungsfähiger wären.

Da ich immer gerne Ersatzteile für einen plötzlichen Defekt bei regelmäßig genutzten Komponenten haben möchte, habe ich bei einem Abverkauf bei einem österreichischen normalen Online-Shop ein paar XL710 QDA2 für einen (sehr) guten Preis genommen, die auch einwandfrei funktionieren.

Einzig die Aufkleber sind im Vergleich zu den vorherigen Karten leicht schief aufgeklebt (kenne ich aber auch schon von ordentlichen LSI-Controllren), YOTA-Link mit Angaben zu MAC-Adresse etc. stimmt auch überein.
 
Hey,

ich wollte mal fragen ob die Mellanox MCX312A-XCBT für 40Gbit zu gebrauchen sind?

Habe sonst noch die MCX354A-FCBT gefunden.
Hat jemand Erfahrung mit den Karten?

Danke schon mal im Voraus!!

Gruß
 
habe ich beide nicht. aber die 312 ist nur 10G, es müssen dann schon die 313/314 sein.
 
Hey,
Danke für die Antwort, ja stimmt da habe ich mich aber sowas von verguckt...

Dann schaue ich mal ob ich günstig irgendwo 313 oder 314er bekomme :)

Gruß
 
Hey,

ich muss nochmal stören, gibt es noch andere Karten die man für 40Gbit empfehlen kann?
Die 313er die ich bis jetzt finden konnte, kosten alle so um die 100€.... da gibt es bestimmt noch was günstigeres oder :d ?

Gruß und danke schon mal
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh