[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

Ok, so einer bist du. ;)

Evtl. für die etwas nicht so Käferlastigen:
Damit kann man, sofern das PW nicht bekannt ist, bruteforce machen.
Sofern der SFP frei ist bzw. das PW bekannt, ist das easy.
Ist in erster Linie auch nur nen Prommer, der eben noch nen xSFP daughter board dabei hat. (da gibt es verschiedene Ausführungen)
Mit entsprechenden anderen tools (z.B. SFPtotal) bekommt man eigentlich alles hin, wenn man weiß, wo man hin will/muss.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hab leider weder Prommer noch weiß ich, wo ich hin will/muss. Ich glaube, da setze ich lieber mein Kapital als meine Zeit ein.
 
wenn du schon funktionierende hast, dann kannst du damit copy&paste machen. Ist wie in der Schule früher, einfach abschreiben.
Spannend wird es an anderer Stelle, da kann man dann Zeit reinbuttern.
Aber einen vorhandenen clonen, easy...
 
Ok, komme darauf zurück, wenn die beiden neuen nicht funktionieren. :d
 
Update: Generic und Arista gebrandete Transceiver von FS funzen BEIDE. :banana:

Hurra, jetzt kann ich alle 4 relevanten Kisten standesgemäß verkabeln.

*Grübel* …und eigentlich könnt ich mit dem Switch auch mal das 4x-Breakout Kabel ausprobieren…
 
Och, bei kurzen Längen und wahrscheinlich DAC Kabeln sollte es ohne FEC doch eigentlich keine Probleme geben ?
 
sch4kal schrieb:
Och, bei kurzen Längen und wahrscheinlich DAC Kabeln sollte es ohne FEC doch eigentlich keine Probleme geben ?
Zum Vergrößern anklicken....
Das kommt auf das Kabel drauf an. Dazu kommt dass der Tomahawk keine FEC autonegotiation kann und dass die Gegenseite damit evtl. Nicht klarkommt.

Wenn’s keinen Link gibt weiß man zumindest wo man suchen muss.
 
Wie behebt man das denn? Einfach mit shutdown / no shutdown auf dem Port oder ist mehr erforderlich?
 
@java4ever ist ein SN2010 für 950 € ein guter Deal ? Eher noch nicht oder ?
 
Einen Schritt weiter:

1731240620079.jpeg


Die Anleitung oben kann man 1:1 für proxmox nutzen und mit dem Starwind-Client für Windows mal eben ganz entspannt ein zvol per RDMA als Windows-Datenträger hinzufügen. In meinem Testsetup läuft Proxmox gerade als VM auf nem alten ESXi 7 mit einer durchgereichten ConnectX-4 (genauer: nur ein Port von zwei durchgereicht). Performance ist allerdings (noch) eher mau, mit SMB laufe ich selbst ohne RDMA in den x4-PCIe-Flaschenhals im Windows-Client...

Wo hier gerade der Engpass liegt, kann ich noch nicht sagen. An der Hardware sollte es trotz VM an und für sich nicht liegen. Die VM hat 16GB RAM und 8 Kerne sowie 2 Lexar 4TB NVME im Mirror. Eventuell liegt's an ZFS "unter" dem Zvol...? CPU-Last beim Copy-Job sowohl unter Proxmox als auch ESXi ist niedrig (<20%)

Meine Meinung: die SMB Direct Probleme mit ksmbd hängen an ksmbd und nicht am Windows-Client.
 
java4ever schrieb:
Ist ein marktüblicher / durchschnittlicher Preis. Würde nicht unbedingt sagen dass es ein guter Deal ist.
Zum Vergrößern anklicken....
Ich finde sonst keine unter 1000 €, auch keine 2410, obwohl ich lieber die 2010er hätte.
 
Meine vor kurzem bei Ebay recht günstig geschossene Dual ConnectX-5 ist heute aus Israel eingetrudelt. Handelt sich um eine von Oracle mit der PSID MT-0001230009 und der Windows Gerätemanager zeigte erst einmal nur Ausrufezeichen. Toll.

Aber dank fehlender Secure-Firmware funktioniert crossflash auf eine native Mellanox MCX556-EDAT (PCIe4.0 x16), grob nach dieser Anleitung:

Crossflash Oracle CX556A to Mellanox OEM?

Has anyone cross flashed a CX556A to Mellanox OEM firmware? I tried: flint -d mt4121_pciconf0 -i fw-ConnectX5-rel-16_31_1014-MCX556A-EDA_Ax_Bx-UEFI-14.24.13-FlexBoot-3.6.403.bin -allow_psid_change burn but got: -E- Burning FS4 image failed: Changing PSID is unsupported under controlled FW...
forums.servethehome.com forums.servethehome.com

Jetzt lüppt sie artig und erster RDMA-Test mit WinServer2025 ist schonmal erfolgreich.

Braucht jemand 10GBE Switches? ;)
 
CDM über's Netz mit RDMA (SMB Direct) auf ein Share auf einer einzelnen PCIe3-NVME (winServer zu winServer):

1731851524975.png


Vergleich CDM auf Server-Datenträger lokal:

1731851890801.png


Bisher ohne jegliche Tuning-Versuche.

Noch ein Vergleich, hier lokale NVME auf'm Client (allerdings nur mit PCIe3 x1 angebunden):

1731852793276.png


Immerhin ist's Netz teilweise flotter... ;)
 
Zuletzt bearbeitet:
  • Danke
Reaktionen: gea
Gut 3GB/s sowohl lokal wie übers LAN sind beeindruckend zumal die CPU Last mit SMB Direkt sehr niedrig sein dürfte. Wird denn die Performance gehalten wenn man eine .vhdx über SMB Direkt mounted und die virtual harddisk über LAN testet (z.B. für Raid over LAN oder als lokales Blockdevice statt iSCSI)? Macht da thin vs thick provisioned einen Unterschied?
 
Hab mal 2 500GB VHDX-Files angelegt, eines dynamisch, eines mit fester Größe. Einfach gemounted per Doppelclick auf dem Client über die SMB-Freigabe. RDMA ist/bleibt aktiv.

Dynamisch wachsende VHDX:

1731860966205.png


VHDX mit fester Größe:

1731861286370.png


Ob dynamische oder fixe VHDX nimmt sich nicht viel, per VHDX ist allerdings etwas langsamer als nativ (bis auf sequenziell mit niedriger Queue-Tiefe). Die alten ADATA 2TB NVMe sind aber per se schon nicht die schnellsten...

Was mich aber etwas nervt: Mein EPYC-System mit 'nem 7282 scheint für wirkliches schnelles Storage zu lahm zu sein... Die Tests oben hab ich auf dem Threadripper 3960X als Server laufenlassen, wo die CPU-Last laut Taskmanager bei dem CDM-run bei ~1-2% ist. :d

Als nächstes kommt dann bei Gelegenheit mal ne VHDX auf 'nem ZFSonWindows "Share". ;)
Beitrag automatisch zusammengeführt:

Schon nen kleines bis mittleres Ausrufezeichen für ZFS (nativ, keine VHDX):

1731863534908.png
 
Zuletzt bearbeitet:
  • Danke
Reaktionen: gea
Wirklich erste Sahne wie gut der ZFS Lesecache ist.
Leider werden sich die 8GB/s bei längerem Lesen, großen Dateien oder Multi-User nicht halten lassen.

ZFS on Windows scheint sehr gut zugelegt zu haben, praktisch kaum langsamer als ntfs.
Aktuelles ZFS on Windows wird inzwischen echt brauchbar und mit Windows Server 2022 Essentials gibts ja auch einen günstigen SMB Direct Server. Nicht mehr lange damit ich ZFS mit Windows als erste Wahl für ein NAS sehe.
 
Man, ich bekomm ne Krise. Jetzt versuche ich echt schon stundenlang über mehrere Tage hinweg ksmbd mit RDMA ans Laufen zu bekommen und scheitere kläglich. Laut/bei den Freunden bei git geht es, ich bin aber irgendwie zu doof. Habe jetzt schon Proxmox, Debian (mehrere Kernel), Ubuntu (mehrere Kernel), Redhat (9.4 und 9.5) und Fedora durch… Mal mit fertigen Packages, mal mit selbst kompiliertem Modul von git… mal mit Distro-Treibern mal mit manuell von NVIDIA/mellanox installierten.

Will einfach nicht. Gegenprobe Windows Server (2022 wie 2025) bei ansonsten 1:1 gleicher Hardware und Netz-Setup funzt auf Anhieb.

Ich weiß wieder, warum ich Linux nicht mag…

…ein Jammer, dass Solaris 11.4 kein SMB Direct sprechen will… ;)
 
besterino schrieb:
…ein Jammer, dass Solaris 11.4 kein SMB Direct sprechen will… ;)
Zum Vergrößern anklicken....
Ist bei Illumos leider genauso. Hab da schon ein Feature request dazu gepostet, glaube aber nicht dass sich da kurzfristig was tut. Windows Server 2022 in der sehr günstigen Essential Variante ist wohl der Weg wenn man SMB Direct/RDMA mit > 3GB/s will oder braucht und nicht mehr als 25 User hat.

Fehlt nur noch die letzte Reife des openzfs.sys Treibers unter Windows. In der aktuellen rc10 ist ja das meiste schon ok und die Probleme werdem immer spezieller. Aktuell gibt es wohl noch ein Import Problem mit verschlüsselten Volumes (Auch unter Linux sind issues rund um Verschlüssellung mit am Häufigsten).

Ein Windows Server mit Storage Spaces und ntfs/ReFS ist ja so schlecht auch nicht und vor allem unerreicht schnell. ZFS kann man duchaus schon nutzen. Man sollte halt seinen Anwendungsfall vorab testen und mit Default Setups arbeiten. Ein Backup wichtiger Daten z.B per robocopy auf eine externe ntfs Platte sollte man eh immer haben, mit oder ohne ZFS. Auch unter Linux ist es durchaus empfehlenswert ein Disaster Backup auf einem anderen Dateisystem oder ohne ZFS Features zu machen.

btw
Proxmox 8.3 mit OpenZFS 2.2.6 (die Version ist auch in Windows) kam ja gerade raus. Da scheint es auch Probleme zu geben, https://www.reddit.com/r/Proxmox/comments/1gxlyvd/dont_upgrade_to_proxmox_83831_yet/
 
Zuletzt bearbeitet:
@java4ever woran erkenne ich bei einem SN2010 via CLI, ob es schon eine Rev C0 Atom CPU hat ?
 
Hab mir jetzt auch ein Mellanox SN2010 sichern können, holy moly ist der Switch klein und leicht (im Verhältnis zum Plexxi).
Ist übrigens einer aus Bj 2020, sollte also den C0 Atom schon drin haben, Test steht aber noch aus.
War Teil eines Netapp HCI Clusters, konnte den Verkäufer davon überzeugen, mir nur den Switch zu verkaufen. Kam in OVP mit sämtlichem Zubehör, sogar so einer kleinen "SFP-Zange":
1734529090685.png

Ich bestell beruflich viel Netzwerkkram bei Juniper, Nokia und Cisco, aber denen würde sowas nie einfallen, mitzuschicken. Selbst bei einem 100000 € Router oder Linecard kommt außer einer umweltfreundlichen Verpackung aus Ökopapier nur Styropor als Beigabe raus. War früher aber auch mal anders...
 
sch4kal schrieb:
Selbst bei einem 100000 € Router oder Linecard kommt außer einer umweltfreundlichen Verpackung aus Ökopapier nur Styropor als Beigabe raus. War früher aber auch mal anders...
Zum Vergrößern anklicken....
Das hat aber einen praktischen Grund:

Die Allermeisten Switche haben nur SFP+ Ports mit 2 „Zeilen“.
Der SN2010 hat 3 „Zeilen“ - d.h. Du kriegst die mittleren nicht ohne weiteres raus (ohne Zange). Vermutlich legen sie die nicht aus Spaß bei, sondern weil es Pöbel von Kunden gab.

P.S. Ich hoffe du betreibst den SN2010 artgerecht mit Cumulus, nicht den gammeligen Onyx / MLNX-OS
 
java4ever schrieb:
Das hat aber einen praktischen Grund:

Die Allermeisten Switche haben nur SFP+ Ports mit 2 „Zeilen“.
Der SN2010 hat 3 „Zeilen“ - d.h. Du kriegst die mittleren nicht ohne weiteres raus (ohne Zange). Vermutlich legen sie die nicht aus Spaß bei, sondern weil es Pöbel von Kunden gab.

P.S. Ich hoffe du betreibst den SN2010 artgerecht mit Cumulus, nicht den gammeligen Onyx / MLNX-OS
Zum Vergrößern anklicken....
Verstehe, wobei eigentlich alle SFP28 Transceiver die ich bisher gesehen hab (und die größeren QSFP28/QSFP56 usw), eine Lasche haben, wo man nur dran ziehen muss.

Hatte jetzt erstmal vor, mir Onyx anzuschauen, Cumulus kommt später.
 
java4ever schrieb:
Da reicht es allein schon n 0815 25G SR anzuschauen: https://www.fs.com/de/products/67991.html
Zum Vergrößern anklicken....
fs.com benutz ich nich (professionell erst Recht nicht), haben nur Flexoptix oder Original Transceiver.
Beitrag automatisch zusammengeführt:

java4ever schrieb:
Vergeudete Zeit ;)
Zum Vergrößern anklicken....
Ich will da erstmal keine EVPN Fabric mit bauen, oder großartig automatisieren. Fürs Erste reichen mir VLANs, Speed und funktionierendes Spanning-Tree. Vielleicht noch RoCE wenn ich dazu komm.
Für mehr würde ich sowieso die SSD tauschen, dann kann ich Cumulus (oder irgendnen anderes Network OS) drauf bügeln.
 
1734636926402.png

What the....das Ding braucht im Idle weniger Strom als ein ICX6450-24P...das nenn ich mal extrem effizient, für ein 18-Port 25G + 4-Port 100G Switch.
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh