[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

[underclocker2k4]

Ok, so einer bist du.

Evtl. für die etwas nicht so Käferlastigen:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Damit kann man, sofern das PW nicht bekannt ist, bruteforce machen.
Sofern der SFP frei ist bzw. das PW bekannt, ist das easy.
Ist in erster Linie auch nur nen Prommer, der eben noch nen xSFP daughter board dabei hat. (da gibt es verschiedene Ausführungen)
Mit entsprechenden anderen tools (z.B. SFPtotal) bekommt man eigentlich alles hin, wenn man weiß, wo man hin will/muss.

 

[besterino]

Hab leider weder Prommer noch weiß ich, wo ich hin will/muss. Ich glaube, da setze ich lieber mein Kapital als meine Zeit ein.

 

[underclocker2k4]

wenn du schon funktionierende hast, dann kannst du damit copy&paste machen. Ist wie in der Schule früher, einfach abschreiben.
Spannend wird es an anderer Stelle, da kann man dann Zeit reinbuttern.
Aber einen vorhandenen clonen, easy...

 

[besterino]

Ok, komme darauf zurück, wenn die beiden neuen nicht funktionieren.

 

[besterino]

Update: Generic und Arista gebrandete Transceiver von FS funzen BEIDE.

Hurra, jetzt kann ich alle 4 relevanten Kisten standesgemäß verkabeln.

*Grübel* …und eigentlich könnt ich mit dem Switch auch mal das 4x-Breakout Kabel ausprobieren…

 

[java4ever]

*Grübel* …und eigentlich könnt ich mit dem Switch auch mal das 4x-Breakout Kabel ausprobieren…

Viel Glück. Auf breakout Ports kann der Switch gar kein FEC und das schreit immer nach Problemen

 

[sch4kal]

Och, bei kurzen Längen und wahrscheinlich DAC Kabeln sollte es ohne FEC doch eigentlich keine Probleme geben ?

 

[java4ever]

Och, bei kurzen Längen und wahrscheinlich DAC Kabeln sollte es ohne FEC doch eigentlich keine Probleme geben ?

Das kommt auf das Kabel drauf an. Dazu kommt dass der Tomahawk keine FEC autonegotiation kann und dass die Gegenseite damit evtl. Nicht klarkommt.

Wenn’s keinen Link gibt weiß man zumindest wo man suchen muss.

 

[besterino]

Wie behebt man das denn? Einfach mit shutdown / no shutdown auf dem Port oder ist mehr erforderlich?

 

[besterino]

https://www.reddit.com/r/truenas/comments/1fh3rfl/an_idiots_walkthrough_to_setting_up_nvmeofroce/?rdt=60944

Bei „idiot“ fühle ich mich angesprochen. Brauche nur mal wieder etwas Zeit…

Wäre ja cool, mein primärer Einsatzzweck wäre eh mehr Laufwerke (Block-Storage) bereitzustellen als SMB-Shares.

 

[sch4kal]

@java4ever ist ein SN2010 für 950 € ein guter Deal ? Eher noch nicht oder ?

 

[besterino]

Einen Schritt weiter:

Die Anleitung oben kann man 1:1 für proxmox nutzen und mit dem Starwind-Client für Windows mal eben ganz entspannt ein zvol per RDMA als Windows-Datenträger hinzufügen. In meinem Testsetup läuft Proxmox gerade als VM auf nem alten ESXi 7 mit einer durchgereichten ConnectX-4 (genauer: nur ein Port von zwei durchgereicht). Performance ist allerdings (noch) eher mau, mit SMB laufe ich selbst ohne RDMA in den x4-PCIe-Flaschenhals im Windows-Client...

Wo hier gerade der Engpass liegt, kann ich noch nicht sagen. An der Hardware sollte es trotz VM an und für sich nicht liegen. Die VM hat 16GB RAM und 8 Kerne sowie 2 Lexar 4TB NVME im Mirror. Eventuell liegt's an ZFS "unter" dem Zvol...? CPU-Last beim Copy-Job sowohl unter Proxmox als auch ESXi ist niedrig (<20%)

Meine Meinung: die SMB Direct Probleme mit ksmbd hängen an ksmbd und nicht am Windows-Client.

 

[java4ever]

@java4ever ist ein SN2010 für 950 € ein guter Deal ? Eher noch nicht oder ?

Ist ein marktüblicher / durchschnittlicher Preis. Würde nicht unbedingt sagen dass es ein guter Deal ist.

 

[sch4kal]

Ist ein marktüblicher / durchschnittlicher Preis. Würde nicht unbedingt sagen dass es ein guter Deal ist.

Ich finde sonst keine unter 1000 €, auch keine 2410, obwohl ich lieber die 2010er hätte.

 

[java4ever]

Ich finde sonst keine unter 1000 €, auch keine 2410, obwohl ich lieber die 2010er hätte.

Ja das hat ein Deal eben so an sich, dass der Preis bei einem Deal eben UNTER dem marktüblichen liegt. Man muss nur lange genug warten

 

[besterino]

Meine vor kurzem bei Ebay recht günstig geschossene Dual ConnectX-5 ist heute aus Israel eingetrudelt. Handelt sich um eine von Oracle mit der PSID MT-0001230009 und der Windows Gerätemanager zeigte erst einmal nur Ausrufezeichen. Toll.

Aber dank fehlender Secure-Firmware funktioniert crossflash auf eine native Mellanox MCX556-EDAT (PCIe4.0 x16), grob nach dieser Anleitung:

Crossflash Oracle CX556A to Mellanox OEM?

Has anyone cross flashed a CX556A to Mellanox OEM firmware? I tried: flint -d mt4121_pciconf0 -i fw-ConnectX5-rel-16_31_1014-MCX556A-EDA_Ax_Bx-UEFI-14.24.13-FlexBoot-3.6.403.bin -allow_psid_change burn but got: -E- Burning FS4 image failed: Changing PSID is unsupported under controlled FW...

forums.servethehome.com

Jetzt lüppt sie artig und erster RDMA-Test mit WinServer2025 ist schonmal erfolgreich.

Braucht jemand 10GBE Switches?

 

[besterino]

CDM über's Netz mit RDMA (SMB Direct) auf ein Share auf einer einzelnen PCIe3-NVME (winServer zu winServer):

Vergleich CDM auf Server-Datenträger lokal:

Bisher ohne jegliche Tuning-Versuche.

Noch ein Vergleich, hier lokale NVME auf'm Client (allerdings nur mit PCIe3 x1 angebunden):

Immerhin ist's Netz teilweise flotter...

 

[gea]

Gut 3GB/s sowohl lokal wie übers LAN sind beeindruckend zumal die CPU Last mit SMB Direkt sehr niedrig sein dürfte. Wird denn die Performance gehalten wenn man eine .vhdx über SMB Direkt mounted und die virtual harddisk über LAN testet (z.B. für Raid over LAN oder als lokales Blockdevice statt iSCSI)? Macht da thin vs thick provisioned einen Unterschied?

 

[besterino]

Hab mal 2 500GB VHDX-Files angelegt, eines dynamisch, eines mit fester Größe. Einfach gemounted per Doppelclick auf dem Client über die SMB-Freigabe. RDMA ist/bleibt aktiv.

Dynamisch wachsende VHDX:

VHDX mit fester Größe:

Ob dynamische oder fixe VHDX nimmt sich nicht viel, per VHDX ist allerdings etwas langsamer als nativ (bis auf sequenziell mit niedriger Queue-Tiefe). Die alten ADATA 2TB NVMe sind aber per se schon nicht die schnellsten...

Was mich aber etwas nervt: Mein EPYC-System mit 'nem 7282 scheint für wirkliches schnelles Storage zu lahm zu sein... Die Tests oben hab ich auf dem Threadripper 3960X als Server laufenlassen, wo die CPU-Last laut Taskmanager bei dem CDM-run bei ~1-2% ist.

Als nächstes kommt dann bei Gelegenheit mal ne VHDX auf 'nem ZFSonWindows "Share".

Beitrag automatisch zusammengeführt: Sonntag um 18:13

Schon nen kleines bis mittleres Ausrufezeichen für ZFS (nativ, keine VHDX):

 

[gea]

Wirklich erste Sahne wie gut der ZFS Lesecache ist.
Leider werden sich die 8GB/s bei längerem Lesen, großen Dateien oder Multi-User nicht halten lassen.

ZFS on Windows scheint sehr gut zugelegt zu haben, praktisch kaum langsamer als ntfs.
Aktuelles ZFS on Windows wird inzwischen echt brauchbar und mit Windows Server 2022 Essentials gibts ja auch einen günstigen SMB Direct Server. Nicht mehr lange damit ich ZFS mit Windows als erste Wahl für ein NAS sehe.

 

[besterino]

Man, ich bekomm ne Krise. Jetzt versuche ich echt schon stundenlang über mehrere Tage hinweg ksmbd mit RDMA ans Laufen zu bekommen und scheitere kläglich. Laut/bei den Freunden bei git geht es, ich bin aber irgendwie zu doof. Habe jetzt schon Proxmox, Debian (mehrere Kernel), Ubuntu (mehrere Kernel), Redhat (9.4 und 9.5) und Fedora durch… Mal mit fertigen Packages, mal mit selbst kompiliertem Modul von git… mal mit Distro-Treibern mal mit manuell von NVIDIA/mellanox installierten.

Will einfach nicht. Gegenprobe Windows Server (2022 wie 2025) bei ansonsten 1:1 gleicher Hardware und Netz-Setup funzt auf Anhieb.

Ich weiß wieder, warum ich Linux nicht mag…

…ein Jammer, dass Solaris 11.4 kein SMB Direct sprechen will…