[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

@-INU-: cool, danke für den Link! "interesting read" wie der Engländer so sagt! Die ham' aber schon bissi dickere CPUs (16/32 bei 2,6-3,6GHz, knapp USD 3.000) nur für ihre Storageknoten... :d Bei mir muss 'ne viel schwächere für mehr als "nur Storage" herhalten... gut, dafür hab ich auch nicht GANZ so viele Streams auf der Leitung... "...but with tens of thousands of connections, the overhead was noticeable on our 100GbE..." plus TLS... krass. :d

Einfach cool, was pfiffige Leute so bewerkstelligen können.

@Danielmayer: mein Fehler. Sorry! 100gbit geht doch auch mit einem 12er - damit laufen doch dann auch QSFP, es gibt breakouts und alle sind happy?
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
So, ich kann immerhin glücklich bestätigen, dass diese Standard-Blende MTM010154 wie erhofft prima auch auf die "Dell-Karten" passt:

IMG_1385.jpg
 
JohnnyBGoode schrieb:
Kann es sein, dass das S1200BLTR eine Grafikkarte im 1. PCIe-Slot erwartet und deshalb nicht bootet? Das S1200BLTR hat ja nur einen PCIe x16-Slot, wenn ich es richtig sehe.

Verwende selber ein S1200SPLR (dessen BIOS ist qualitativ beschissen) und die Default-Werte sind für primäre Grafik = PCIe Slot 1. Je nach PCIe-Konfiguration muss ich das BIOS "nackt" voreinstellen, bevor ich die entsprechenden Karten einbaue, sonst bootet es auch nicht.

Eine weitere Perle ist, dass das S1200SPLR mit einem proprietären Intel-SAS3-RAID-Modul (stink normaler LSI-Chip auf einem proprietären PCB) nicht im UEFI-Modus booten kann, nur Legacy. Laut Intel sei das "normal".

Kannst Du beim S1200BLTR vor dem Einbau der Netzwerkkarte die Grafik fest auf Onboard stellen?
Zum Vergrößern anklicken....

Ich hab das gerade mal getestet: wenn ich im Bios unter Advanced-->PCI Configuration-->Dual Monitor Video auf Disabled setze (Screenshot unten), bootet das Board mit der NIC im x16 Slot. Danke für den Hinweis!

IntelBios2.jpg

Taucht dann auch im ESXi auf:

S1200BTLR_ESXi.jpg
 
Zuletzt bearbeitet:
Kleines Update von mir: Die "ES"-Cpu habe ich gegen eine vollwertige 1620v3 mit 3,5Ghz ausgetauscht. iperf3 sagt nun im single-Stream bei MTU 9216 schöne 38-39Gbit an, zur Erinnerung: bei 40G-Verkabelung.
Ohne jegliche RDMA Sachen oder sonstigen Optimierungen
 
Sorry falls ich das übersehen habe: Hattest du eigentlich mal Gelegenheit zu testen, ob Breakout von QSFP+ 40gbit auf 10Gbit SFP+ funktioniert?
 
Wolltest Du nicht auch 2 der Blenden haben? Wenn ja, mach' mir ein Angebot, das ich nicht ablehnen kann... ;) ...und dann könnten die kurzfristig an Dich raus. :)
 
besterino schrieb:
Ich hab das gerade mal getestet: wenn ich im Bios unter Advanced-->PCI Configuration-->Dual Monitor Video auf Disabled setze (Screenshot unten), bootet das Board mit der NIC im x16 Slot. Danke für den Hinweis!

Anhang anzeigen 447747

Taucht dann auch im ESXi auf:

Anhang anzeigen 447748
Zum Vergrößern anklicken....

Freut mich, dass es Dir helfen konnte. Habe selbst einige Stunden mit Fehlersuche verbracht, bis ich darauf gekommen bin, wie gammllig Intels eigenes BIOS für ihre einzige Modellreihe des jeweiligen Sockels ist.

Auch werden von Endanwendern gemeldete gefundene Fehler ignoriert und fehlerhafte Dokumentation stehen gelassen. Durfte selber die Angaben zum S1200SPLR auf der Intels Ark-Seite korrigieren, dauerte gut ein halbes Jahr nach Bestätigung der genannten Fehler, bis endlich mal Angaben korrigiert wurden (aber nicht alle). Wenn ich an die Geschichte denke, bin immer noch über die vergeudete Lebenszeit aufgebracht.

Bei Neuanschaffungen bei mir definitiv kein Intel mehr.
 
Zuletzt bearbeitet:
Ne, bei mir nauch nicht. Bei mir geht die Fernsteuerung auch nur mit einem völlig veralteten Java-Runtime-Environment, die Lüftersteuerung ist ein Witz (man kann nur grob die Höhenmeter angeben auf denen man sitzt und dann passt der irgendwas an - selten so gelacht), das on/off-Verhalten ist mir auch nicht ganz nachvollziehbar (nach dem Shutdown funzt auch das BMC nicht mehr) und dann noch solche Details...

Pfui deibel.

Naja, aber tut immerhin noch und das "ansonsten" unauffällig.
 
Nachdem mir mein Amazon-Händler spontan und überraschend den Kaufpreis zurückerstattet hat und offenbar nicht liefern kann/will: bei der Suche nach einer neuen Bezugsquelle (fs.com hat die zwar auch, aber verhätnismäßig teuer) gerade festgestellt, dass es seit heute bei EBay gerade gebrauchte QSFP+-auf-SFP+-Adapter (MAM1Q00A-QSA) zu einem ganz guten Preis gibt: MAM1Q00A-QSA MELLANOX QSFP+ TO SFP+ NETWORK ADAPTER 90y3844 | eBay
 
besterino schrieb:
Nachdem mir mein Amazon-Händler spontan und überraschend den Kaufpreis zurückerstattet hat und offenbar nicht liefern kann/will: bei der Suche nach einer neuen Bezugsquelle (fs.com hat die zwar auch, aber verhätnismäßig teuer) gerade festgestellt, dass es seit heute bei EBay gerade gebrauchte QSFP+-auf-SFP+-Adapter (MAM1Q00A-QSA) zu einem ganz guten Preis gibt: MAM1Q00A-QSA MELLANOX QSFP+ TO SFP+ NETWORK ADAPTER 90y3844 | eBay
Zum Vergrößern anklicken....

*Hier stand quatsch*

40G Optischer Transceiver auf MTP -> 4x LC geht nicht ?
 
Zuletzt bearbeitet:
Ziemlich sicher nicht, ich probiere es heute Abend (Jeah, Zeit für Basteln!).
Der einzige Adapter, der das bestätigt kann, ist der Intel XL710. Und auch da nur auf einem Port im Falle einer Dual-Karte (2x40Gb -> 1x40 + 4x10).

Bzw. Ergänzung: Doch, ziemlich sicher wird er "MTP-> 4x LC und davon funktioniert einer" können... ;)
 
@Danielmayer: bin ja echt mal gespannt. Wenn das geht, ist das im Zweifel schon günstiger als mit dem von mir verlinkten Adapter (zumindest für kurze Strecken, sonst wird im Verhältnis vermutlich das Breakout-Kabel zu teuer).
 
So, wie erwartet:
40Gbit-Transceiver + "MPO12->12LC" Breakout-Kabel (es geht natürlich auch MPO8->8xLC) + 10G-SFP+Transceiver@LC klappt mit einfacher Verbindung auf Pins 1+12 (12=senden an Switch), die restlichen Pärchen (2+11, 3+10, 4+9) werden ignoriert. Es gibt zwar ein Sende"leuchten" auf den Pins 9-11, der NIC baut aber keine Interfaces auf.

Also Nutzungsszenario "Gestört und Geil":
Port 1: Zwei 100G-QSFP28-Transceiver, 1xMPO8-MPO8-Kabel für Direktverbindung mit 100G
Port 2: ein 40G-QSFP+-Transceiver, ein 10G-SFP+-Transceiver + 1xBreakout MPO->LC Kabel für Anschluss an Switch.

Läuft.
 
Sehr schön! Danke fürs Feedback!
 
Und IPoIB wird mit dem Switch nicht funktionieren. Also nix für Ethernet-Freunde.
 
So, der Adapter ist endlich da: lüppt! :)

Der nette Ebay-Verkäufer des Adapters hat sogar noch jeweils einen SFP+ Transceiver "stecken lassen" - das freut natürlich, so hab ich jetzt 2 weitere Module. Sind von IBM, die aber netterweise 1a auch in der Mellanox funktionieren (gibt auch IBM gebrandete ConnectX-4). Habe jetzt mal folgende 10Gbit-Transceiver durchgetestet:

Avago AFBR-709SMZ-ELX
Fibrestore SFP-10GSR-85
IBM 78P0624
Finisar FTLX8571D3BCL

Funktionieren alle problemlos. Startpost ist entsprechend angepasst.

Fazit: Sehr schön, so habe ich mir das grundsätzlich vorgestellt. Etwas anderer Weg aber gleiches Ergebnis wie Daniel oben. Die Workstation hängt jetzt mit einer der Karten an Port1 mit 10Gbit am TP-Link (bissi Perlen vor die Säue, aber egal) für's "normale" Netz und mit Port2 mit 100Gbit direkt am Server (ESXi/Storage). Der 2. 100gbit-Port am Server ist zurzeit ungenutzt. Verkabelungstechnisch lassen die Karten sich so schonmal gut einsetzen, auch wenn es mich schon noch irgendwie fuchst, dass ich noch nicht die max-Performance aus dem ESXi-Host rausgeholt bekommen habe...

10_100.JPG
 
Zuletzt bearbeitet:
Sowas doofes: jetzt habe ich doch noch die 100G-Transceiver bestellt. Ich melde dann die Tests zwischen etwas schnelleren Rechnern asap.
 
hihihi...
 
Nun, das ist das, was ich schon in der PM geschrieben hatte: Das Modell kann nur 10GbE und 40 Gb-Infiniband.
Versuche halt, auch beiden Rechnern IPoIB einzusetzen, dann sollten zumindest etwa 32Gbit angezeigt werden.
 
Guten Abend,

@danielmayer ich habe extra darauf geachtet, dass die Karte beides kann:

Modell: MCX353A-FCBT = Single FDR 56Gb/s or 40/56GbE
Die ist eine kurze Zusammenfassung aus dem Handbuch. Alle Quellen die ich von Mellanox habe, sagen klar aus, dass entweder IB oder eben Ethernet möglich ist. Und Ethernet steht immer bis 40gb :)

Mag aber durchaus sein, dass ich mich irre :/
 
wenn es eine FCBT ist. Dein ebay-Link sagt dazu nichts. hast du über die PSID geprüft? mit den Mellanox-Tools.
 
Guten abend, es ist auf jeden fall eine FCBT. Das sagt auch der Sticker mit der genauen Modellbezeichnung auf der Netzwerkkarte.

Mellanox-Tools....ne das habe ich noch nicht gemacht. danke für den Hinweis :)
 
Da kannste auch einstellen, ob IB oder ETH (zumindest bei den 100ern).

Was sagt denn „mlxconfig -d mt4115_pciconf0 query“ (musst wahrscheinlich mt4115 mit dem Passenden für Deinen Kartetyp ersetzen)?

Wichtig ist der Parameter LINK_TYPE_Px wo Px eben für den jeweiligen Port steht und entweder auf 1=Infiniband oder 2=Ethernet.

Kannst Du ändern mit "mlxconfig -d mt4115_pciconf0 set LINK_TYPE_P1=2" für Ethernet auf Port 1.

Danachreboot oder mlxfwreset.

Die Treiber dafür bekommst Du hier: http://www.mellanox.com/page/products_dyn?product_family=32&mtag=windows_sw_drivers&ssn=lnighac31lcnfvei2pions0ti2

Kann halt sein, dass es für die x-3 etwas anders ist, da winOF statt winOF2, aber vielleicht hilft es ja trotzdem.

EDIT: hab mal gerade ins Manual geschaut. http://www.mellanox.com/related-docs/prod_software/WinOF_VPI_User_Manual_v5.50.pdf

Danach kann man den Link-Typ anscheinend per GUI auswählen (Seite 39 im PDF).
 
Zuletzt bearbeitet:
aber Ethernet scheint ja schon zu laufen...
evtl Kompatibilitätsprobleme mit dem Kabel? Ist die Firmware aktuell?
 
Also so wie ich das sehe muss ich das alles übers CMD machen oder?
Ich dachte lade mir das hier runter und habe dann ein nettes Programm in dem alles eingestellst werden kann...Treiber…Firmware...etc.


dementsprechend ist meine Firmware wohl auch nicht aktuell. und ja 10GBit/s läuft. Aber nur mit ca. 380MB/s:confused: und das scheitert nicht an der Systemleistung!

auf jeden Fall habe ich ein Treiber für meine NVME gefunden. @danielmayer ich habe noch mal alle Treiber von Fernando (deinem link) ausprobiert. "funktionieren" tut der von Windows 7 :confused: es werden von a-ssd aber gerade mal 1,2 GB/s schreibend erreicht.

Morgen geht es weiter :) und es geht langsam voran :)


Edit: @besterino Ich habe es übrigens genau so gemacht wie ab Seite 38 beschrieben. :)
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh