[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

sch4kal schrieb:
Hast du mal die Stromersparnis von SFP+/LWL gegenüber 10GBase-T gemessen ?
Brauchst solangsam ein Switch mit mehr SFP+/QSFP+-Ports, willst auch in den Club des Brocade ICX6610 miteinsteigen :fresse2: ?
Zum Vergrößern anklicken....

Ne, warum? Strom kommt doch aus der Steckdose... ;)

Scherz beiseite: der „Backbone“ im Haus ist ausschließlich Kupfer. Mein „Erwachen“ kam quasi zu spät. Das alles nachträglich durch LWL zu ersetzen ist eher sinnfrei.

Falls wir nochmal umziehen / neu bauen, würde ich wohl darüber nachdenken LWL in jedes Zimmer dazu zu legen - nur was? 24 Adern pro Port oder reichen dann 12 für QSFP28 100Gbit? ;) Eins wäre aber klar: ein kleiner klimatisierter Serverraum mit 1-2 Rack-Schränken und schalldichter Tür wäre Pflicht...
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ja klar, nachträglich lohnt es sich kaum noch, außer um dem Spieltrieb nachzugeben.
Bei mir steht in 5-6 Jahren eine Kernsanierung an, da verlege ich dann OS2, damit sind ja heute schon 100G möglich, einzig das optical receive budget sollte man sich aber vorher ausrechnen, Signal wird bei ~100m viel zu stark sein, evtl. paar 10dB Dämpfungsglieder ins Patchpanel integrieren lassen. die 10GBase-LR Module sind ja auch nicht so teuer.
 
qsfp28 braucht 8 Adern, die innerhalb eines 12er MTP natürlich festgelegt sind. Ich hatte mir bei FS extra ein MTP-Breakout bestellt mit 12 -> 8 + 4 adernkorrekt, so dass 40G + 2x 10G über ein verlegtes 12er MTP laufen können. Jaja, meine Hausverkabelung ist komplett ideal ausgerichtet, nur warten wir seit 3 Jahren auf das Grundstück... :(
 
Welchen Vorteil hat bei dieser Karte das umflashen? Werden dadurch Features freigeschaltet, die mit der Dell-Firmware nicht gegeben sind oder ist der Treibersupport damit besser?

(OMG, ich beschäftige mich schon damit :hust: )
 
Zuletzt bearbeitet:
Also mein alter Xeon v1 mit dem Intel S1200BLTR als Mainboard will mit der gesteckten Karte schonmal nicht booten...
 
Kann es sein, dass das S1200BLTR eine Grafikkarte im 1. PCIe-Slot erwartet und deshalb nicht bootet? Das S1200BLTR hat ja nur einen PCIe x16-Slot, wenn ich es richtig sehe.

Verwende selber ein S1200SPLR (dessen BIOS ist qualitativ beschissen) und die Default-Werte sind für primäre Grafik = PCIe Slot 1. Je nach PCIe-Konfiguration muss ich das BIOS "nackt" voreinstellen, bevor ich die entsprechenden Karten einbaue, sonst bootet es auch nicht.

Eine weitere Perle ist, dass das S1200SPLR mit einem proprietären Intel-SAS3-RAID-Modul (stink normaler LSI-Chip auf einem proprietären PCB) nicht im UEFI-Modus booten kann, nur Legacy. Laut Intel sei das "normal".

Kannst Du beim S1200BLTR vor dem Einbau der Netzwerkkarte die Grafik fest auf Onboard stellen?
 
Zuletzt bearbeitet:
Ich teste erstmal mit einem anderen System weiter. Will mir mein „Produktiv-Backup“ nicht verfummeln.

- - - Updated - - -

Immerhin: In einem Supermicro X11SSM-F (S1151) bootet ESXi 6.7 anstandslos durch und Karte wird als Mellanox ConnectX-4 erkannt:

00_ESXi_67.jpg

ESXi67.jpg

Das ist doch schon einmal erfreulich.
 
Zuletzt bearbeitet:
besterino schrieb:
Wie enden denn Deine? Ich brauch welche mit 12 Adern, Polarität Typ B und 2x weiblichen MPO Steckern. Glaub ob om3 oder om4 ist Wurscht (bei meinen Längen bis Max. 10m)...

- - - Updated - - -

Man ist das alles kompliziert: kann ich bei einem Breakout-Kabel die 4 aufgeteilten Enden eigentlich in unterschiedliche Geräte stecken? Also kann die QSFP+ Seite sich quasi in 4-Ports aufteilen (müsste ja dann vermutlich 4 MAC-Adressen bereitstellen)?

Beispiel:
Seite A = Server mit QSFP+
Seite B = 1x Switch1, 1x PC1, 1x PC2 und 1x Switch2

Und A kann mit "jedem B" einzeln kommunizieren?
Zum Vergrößern anklicken....

Sind die bzw. die hier. Aber wohl nicht solche, wie du suchst, soweit ich das beurteilen kann.
 
Zuletzt bearbeitet:
Kein SR-IOV? Oder ist das im Bios auf "disabled"?

PS: :heul: Ich brauch einfach mehr PCIE-Lanes und 16xSlots. Der 1151/E3 limitiert meinen Spieltrieb.
 
Zuletzt bearbeitet:
3647... TR4...SP3... memm halt nit rum... :d
 
Trambahner schrieb:
Kein SR-IOV? Oder ist das im Bios auf "disabled"?

PS: :heul: Ich brauch einfach mehr PCIE-Lanes und 16xSlots. Der 1151/E3 limitiert meinen Spieltrieb.
Zum Vergrößern anklicken....

Gigabyte MZ31-AR0 retail ab Preisvergleich Geizhals Deutschland



AMD EPYC™ 7000 series processor family
8-Channel RDIMM/LRDIMM DDR4, 16 x DIMMs
2 x SFP+ 10Gb/s LAN ports (Broadcom® BCM 57810S)
1 x dedicated management port
4 x SlimSAS (for 16 x SATA 6Gb/s) ports
Ultra-Fast M.2 with PCIe Gen3 x4 interface
Up to 4 x PCIe Gen3 x16 slots and 3 x PCIe Gen3 x8 slots
Aspeed® AST2500 remote management controller
 
Zuletzt bearbeitet:
@Trambahner: SR-IOV bekomm ich auf dem Ding irgendwie nicht aktiviert. Im BIOS ist’s enabled.
 
Muss mal schauen, wie ich in die Firmware komm.
 
So hab's: OPROM auf EFI gestellt (schien mir am simpelsten, dann kann man übers normale BIOS die NIC-Settings setzen).

Tadaa - zwar deaktiviert aber lässt sich aktivieren:

100Gbit_SR_IOV.JPG
 
So, Transciever sind da - Kabel soll morgen kommen. Bin gespannt, ob die Generic Transceiver funzen...
 
Aaaalso... stehe noch am Anfang, aber der erste Schritt ist gemacht:

Die Generic 100Gbit QSFP28 Module von FS.com scheinen zu laufen. :d

00_DeviceMan.JPG

01_LookingGood.JPG

Aber: Speed maxed bei knapp über 10Gbit - muss ich mal weiter schauen, getestet ist das von Win10 baremetal zu Win10 VM auf einem Pentium-ESXi mit vmxnet3 Adatper. Vielleicht nicht optimal... ;)

Gelesen und geschrieben eine ca. 20GB große Test-Datei jeweils von/zu einer RAM-disk (ca. 25GB groß, NTFS).

02_10Gbit.jpg

Nächster Schritt: bare metal zu bare metal.
 

Anhänge

  • 02_10Gbit.jpg
    02_10Gbit.jpg
    18,2 KB · Aufrufe: 442
Wie sieht die CPU Auslastung aus?
Hast du die Möglichkeit Win Server zu nutzen, da normales Win10 kein SMB Direct* unterstützt?

Windows Server 2012 R2, Windows Server 2012, and Windows Server 2016 include a feature called SMB Direct, which supports the use of network adapters that have Remote Direct Memory Access (RDMA) capability. Network adapters that have RDMA can function at full speed with very low latency, while using very little CPU.
Zum Vergrößern anklicken....
 
Server 2016 kann ich mal installieren. Allerdings erstmal nur auf einer „Seite“, wobei mich das immer noch nervt, dass Windoof (Server wie 10) auf meinen Supermicro Boards mit UEFI-Boot irgendwie rumzickt.

CPU-Last hab ich noch nicht beobachtet. Der Pentium mit ESXi ist da sicherlich nicht besonders weit vorne... ;)

EDIT: auch mit bare Metal Win10/Server2016 kein Unterschied. Die CPU - selbst der Pentium - langweilt sich bei ~20%, auch kein einzelner Kern am Anschlsg oder so.

Jumbos bei 9014.
Interrupt Moderation Off macht’s eher schlechter.
IPV4 Checksum Offload disablen bringt auch nix.

Verdammt viele Settings zum Rumprobieren. :/

Nachtrag: iperf3 kommt auch „nur“ bei ca. 14gbit raus.

Hmmmm...
 
Zuletzt bearbeitet:
Am Kabel sollte es auch nicht liegen. Hab jetzt ein 10m und ein 5m hier liegen (beide OM4, 850nm, Polarität Typ B, 12 Fasern) - mit beiden das Gleiche.

Windows zeigt auf beiden Seiten ja auch 100gbits an, so dass es an der erkannten Linkspeed ja eigentlich nicht liegen dürfte. Muss ich's wohl mal mit einem anderen OS probieren.

- - - Updated - - -

For future reference: gemeinsames Datenblatt Mellanox/Dell.

Der Original 100Gbs Transceiver wäre wohl einer von diesen hier: Mellanox Store (keine Ahnung warum der für 150m günstiger ist, als der für 100m).

Muss ich eventuell der Karte noch beibringen, dass sie die 10x10Gb bündeln soll? Hach, neue Technik und keinen blassen Schimmer... :d

Daniel? Bekommst Du mehr durchs Kabel?
 
Zuletzt bearbeitet:
direkt mal abo :)
 
Zuletzt bearbeitet:
danielmayer schrieb:
qsfp28 braucht 8 Adern, die innerhalb eines 12er MTP natürlich festgelegt sind. Ich hatte mir bei FS extra ein MTP-Breakout bestellt mit 12 -> 8 + 4 adernkorrekt, so dass 40G + 2x 10G über ein verlegtes 12er MTP laufen können. Jaja, meine Hausverkabelung ist komplett ideal ausgerichtet, nur warten wir seit 3 Jahren auf das Grundstück... :(
Zum Vergrößern anklicken....

Dieser Bullshit hat sich hoffentlich sehr bald erledigt, OM5 und SWDM regeln da sehr hart, dass diese beknackten MPO Stecker verschwinden, die kann sich ja keiner ansehen.
 
Ooch, also ich bin mit denen eigentlich ganz zufrieden, insbesondere bei dem Preisverfall und seit FS logistisch top anbietet.
Meine Karten liegen in der Firma - mal wieder Lieferadresse bei Paypal übersehen...
Keine Angst, in wenigen Tagen bin ich dabei ;)
Gebündelt werden muss da nix mehr, wenn 100G erfolgreich angezeigt werden. Es sind ja 25Gbit je Adernpaar, also liegen alle an.
Die Karte steckt nicht zufällig in einem PCH-angebundenen Slot? Dann wäre DMI ja ein Flaschenhals.

Edit: In dem Mellanox-Paper wurde ja ein iperf3-Test mit 8 parallelen Datenströmen durchgeführt, jeder etwa auf deiner Gbit-Höhe.
 
Zuletzt bearbeitet:
Unter CentOS bekomm' ich schonmal lustige Fehlermeldungen:

Also vielleicht dochmal crossflashen und/oder die Firmware aktualisieren...

Auf der Suche nach Bestätigung, was es denn nun für eine Karte ist, hab ich immerhin das hier gefunden: http://www.mellanox.com/pdf/firmware/ConnectX4-FW-12_17_2052-Release_Notes.pdf

Darüber hinaus gibt es wohl auch von Dell eine neuere Firmware (13.06.2018), als die die drauf ist (20.4.2017): Firmware für Mellanox ConnectX-4 Ethernet-Adapter | Dell Deutschland


Hab's mal testweise installiert und der Installer erkennt immerhin, dass es eine neuere Version ist als die, die aktuell drauf ist. Ich probier's mal...

03_Firmware_Update.JPG

Puh. Ich hasse nervenkitzel!

- - - Updated - - -

Auf der einen Seite steckt die Karte im einzigen PCIe-Slot eines Z270 mITX-Boards, der ansonsten für die Grafikkarte gedacht ist - gehe also mal fest davon aus, dass es ein PCIe 3.0 x16 ist. Auf der anderen Seite steckt die NIC im PCIe x8 (in X16). Aber selbst bei x8 sollte doch mehr durchkommen, oder?

Hab ja schon damals bei meinen Tests zu 10Gbit eine Weile gebraucht, um die Bottlenecks zu finden. Damals war's Storage und nur mit einem Filecopy von/zu RAMdisks kam die volle Speed an. Drum hab' ich diesmal gleich so angefangen. ;) Naja, mal schauen.

Habe als nächstes mein Glück mal mit CentOS versucht.

Sieht schon etwas besser aus.

CentOS iperf3 auf der nic (server und client laufen auf der gleichen Box mit CentOS): knapp 50gbit

iperf_CentOS.jpg

Dann iperf3 server auf Centos und mit windows client: immerhin schonmal 20gbit (es geht also mehr als 10)

04_20Gbit.JPG

In die andere Richtung ist's dann wieder (windows-typisch) eher mau:

iperf_linuxTOwin.jpg

Mit -P8 kommt man wieder auf ungefähr 10Gbit.

So, jetzt erstmal schlafen. Dann kommt morgen auch mal ein Linux auf die zweite Kiste... Windows und Netzwerke, was für ein ....
 
Zuletzt bearbeitet:
Auf der anderen Seite steckt die NIC im PCIe x8 (in X16). Aber selbst bei x8 sollte doch mehr durchkommen, oder?
Zum Vergrößern anklicken....
Da kann man realistisch 50 Gbits erwarten.

Mit Windows wundert mich nicht, dass so "wenig" durch kommt. Man braucht bei so großen Bandbreiten halt parallele Streams was nur mit den Server Versionen funktionieren kann (und Win10 for WS). Hatte das gleiche Problem bei einem testweisen 40Gbit Netzwerk, bin jetzt aber weiterhin bei 10 weil es eigentlich knapp reicht^^

Vielleicht zum Testen wäre ein napp-it aus Basis von Solarish interessant, steht als Template für ESXi zum Download zur Verfügung.
 
Ich bin begeistert, in der Mlx-Tabelle steht die Karte tatsächlich unter 1.1 drin... ich hatte gestern bestimmt zwei Stunden bei Dell und MLX gesucht...
die Bandbreite brutto liegt bei x8 ja etwa bei 64gbit, viel mehr als 50gbit würde ich da auch nicht erwarten, 50 klingt jedenfalls nach Zielgebiet.

Edit: 2:49 Uhr?! muss ja spannend sein ;)
 
Zuletzt bearbeitet:
Zuletzt bearbeitet:
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh