[Sammelthread] 10Gbit Homenetzwerk

[underclocker2k4]

NIC-Teaming gab es schon weit vor Win2012R2, da wars dann eine Treiberfunktion und keine OS-Funktion. Warum wird SMB Multichannel immer mit LACP, NIC-Teaming und sonstigen L2 NIC Kombinationen zusammengemärt?

SMB (Multichannel) läuft auf nem ganz anderen Layer ab.
Multichannel ist einfach das multiple Ausbilden eines SMB-Streams um in Kombination etliche Vorteil zu heben, die es mit nur einem Stream nicht gibt.

SMB Multichannel hat nichts, aber auch garnichts, mit irgendwelchen NIC Kombinationen zu tun.

Das SMB Multichannel auch mit einem NIC-Team oder einem LACP läuft liegt nur daran, dass SMB das darunterliegende Layer überhaupt nicht interessiert. Es ist also eher eine Zwangsläufigkeit als eine Notwendigkeit.

Und natürlich kann man mit SMB Multichannel keine FTP-Verbindung beschleunigen, da FTP kein Sublayer von SMB ist. SMB und FTP existieren unabhängig voneinander.
Um FTP zu beschleunigen müsste man FTP das beibringen, was man SMB mit v3 beigebracht hat, nämlich die Multichannelfähigkeit. Das wäre aber ein Aufbohren von FTP und keine Nutzung der SMB-Funktionen, auch wenn FTP das Multichannel integriert hätte.
Die Realisierung einer komplett neuen eigenen FTP Session entspricht nicht dem Funktionsumfang von SMB Multichannel. Mit SMB konnte ich schon immer über etlichen NICs mit seperaten TCP Channels Daten schieben bis man ins CPU Limit gerannt ist.

 

[Donald24]

ohmann, mir ist das alles klar gewesen... und auf die Frage, warum das häufig zusammengeschmissen wird: Ohne NIC-Teaming, kein SMB-Multichannel. (jedenfalls kein Throughput-Gain).. nimm mal deinen Oberlehrer-Finger runter!

 

[underclocker2k4]

und auf die Frage, warum das häufig zusammengeschmissen wird: Ohne NIC-Teaming, kein SMB-Multichannel. (jedenfalls kein Throughput-Gain)

Quelle!
The basics of SMB Multichannel, a feature of Windows Server 2012 and SMB 3.0 s Blog
3.2. Multiple NICs
3.3. Teamed NICs

Bei 3.2 (also nonteamed NICs):

With Multichannel, SMB will create multiple TCP/IP connections for that ...
This allows SMB to use the combined NIC bandwidth available

Ich bin kein Oberlehrer, ich habe nur etwas dagegen, wenn Unsinn, ja, auch von dir, wie man sieht (dir scheint das also nicht klarzusein), verbreitet wird.
Das Netz ist schon genug von Müll gefüllt, da braucht man sowas hier nicht auch noch.

EDIT:
Multichannel funktioniert btw auch mit nur einer einzigen NIC, welche dann RSS können muss. Damit schafft man es die CPU-Last bei multicore CPUs besser zu verteilen, damit man bei "low power" CPUs nicht in ein CPU Limit rennt.
Damit ist Multichannel also sogar mit nur einer NIC machbar. Mehrwert ist dann natürlich extrem unterschiedlich, je nach Unterbau.

 

[sch4kal]

Quelle!
The basics of SMB Multichannel, a feature of Windows Server 2012 and SMB 3.0 s Blog
3.2. Multiple NICs
3.3. Teamed NICs

Bei 3.2 (also nonteamed NICs):


Ich bin kein Oberlehrer, ich habe nur etwas dagegen, wenn Unsinn, ja, auch von dir, wie man sieht (dir scheint das also nicht klarzusein), verbreitet wird.
Das Netz ist schon genug von Müll gefüllt, da braucht man sowas hier nicht auch noch.

EDIT:
Multichannel funktioniert btw auch mit nur einer einzigen NIC, welche dann RSS können muss. Damit schafft man es die CPU-Last bei multicore CPUs besser zu verteilen, damit man bei "low power" CPUs nicht in ein CPU Limit rennt.
Damit ist Multichannel also sogar mit nur einer NIC machbar. Mehrwert ist dann natürlich extrem unterschiedlich, je nach Unterbau.

Sobald es Richtung 10G+ geht, ist RSS grundsätzlich Pflicht. Glaube nichtmal ein i7-8086K/9900K packt die Paketrate von 10GbE, nichtmal auf 5 GHz.

 

[Donald24]

ja, stimmt, ohne RDMA is RSS wohl Pflicht um auf der Performance-Schiene zu bleiben. Mit RDMA interessierts keinen Kern:

 

[JohnnyBGoode]

Sobald es Richtung 10G+ geht, ist RSS grundsätzlich Pflicht. Glaube nichtmal ein i7-8086K/9900K packt die Paketrate von 10GbE, nichtmal auf 5 GHz.

Kann ich bei XL710-40 GbE-Karten (ohne RDMA/iWARP, aber mit RSS) nicht ganz bestätigen (also, dass die Last wirklich gleichmäßig auf alle Kerne aufgeteilt wird): Bei einer einzelnen Verbindung sind über SMB3 praktisch nutzbar 3.350 MB/s möglich, dabei wird ein Kern eines kleinen Xeon E3-1245v6 voll ausgelastet (4,2 GHz), bei zwei Verbindungen gehen mit SMB3MC etwa 4.230 MB/s, wobei zwei Kerne genutzt werden, aber der Turbo-Takt niedriger ausfällt (damaliger Benchmark-Test mit Server 2016).

 

[Donald24]

alter Schwede, was für Raten, hast du ein NVMe-Raid als Source an den Hosts? Zwei Verbindungen host-host, oder host-multihosts?

 

[JohnnyBGoode]

Die damaligen Benchmark-Tests waren mit einem 8 x SATA-SSD-RAID0 und RAM Disks gemacht worden (um auszuloten, was generell der limitierende Faktor ist, da es meine ersten Erfahrungen mit >10 GbE waren bzw sind)

In der Praxis werden teilweise 4 x 8 HDDs mit jeweils RAIDZ2 und Mirror Optane 905Ps genutzt, vielleicht erinnerst Du Dich an meinen Thread letztes Jahr, wo ich um Tipps & Co. gebeten hatte, um vom Hardware-RAID und Thunderbolt-Netzwerk wegzukommen.

Habe 3 Systeme mit jeweils einer Dual 40 GbE-Karte, die "im Dreieck" miteinander verbunden sind.

Da 10 GbE bzw. die damaligen Thunderbolt-Raten deutlich überschritten werden, besonders wenn mehrere Dinge gleichzeitig "verschoben" werden, hat es sich für mich gelohnt und es macht generell gute Laune, dabei in den Task-Manager zu gucken

Dieses Jahr gehe ich eventuell auf Ryzen 3000/Threadripper 3000 und hoffe, dass die Karten durch die höhere Einzelkernleistung tatsächlich bei einer einzelnen Verbindung an den 40 GbE kratzen werden.

 

[BazzT]

Ich melde mich hier mal als kleines Licht, meine Übertragung ist ja leider auch CPU limitiert.
RDMA können die Connectx2 Karten nicht, RSS (Receive Side Scaling) scheinen sie jedoch zu unterstützen.
Könnte mir einer ne kleine Zusammenfassung zu RSS geben ich blicke da gerade nicht durch
@JohnnyBGoode heftige Systeme... für was kann man die denn brauchen außer zur Videobearbeitung

 

[Donald24]

RDMA können die Connectx2 Karten nicht, RSS (Receive Side Scaling) scheinen sie jedoch zu unterstützen.

Oh doch, wenn Du Englisch kannst, meine Karten habe ich erfolgreich geflasht und getestet: Mellanox ConnectX-2 Firmware | ServeTheHome and ServeThe.Biz Forums

Ist ein bischen Frickelarbeit, aber lohnt sich. Es fehlt nur die Firmware!

Und hier nochmal in Deutsch: http://www.triebwerk23.de/joomla/index.php/netzwerk/infiniband/29-rdma-mit-connectx-2-unter-windows-server-2012-2016

Edit: Aber wenn Du keinen Server 2012 für Sharing hast, vergiss es gleich!

 

[BazzT]

Edit: Aber wenn Du keinen Server 2012 für Sharing hast, vergiss es gleich!

Danke, dann geb ich Ruhe, die Platten haben aktuell sowieso nicht die Leistung.

 

[sch4kal]

Kann ich bei XL710-40 GbE-Karten (ohne RDMA/iWARP, aber mit RSS) nicht ganz bestätigen (also, dass die Last wirklich gleichmäßig auf alle Kerne aufgeteilt wird): Bei einer einzelnen Verbindung sind über SMB3 praktisch nutzbar 3.350 MB/s möglich, dabei wird ein Kern eines kleinen Xeon E3-1245v6 voll ausgelastet (4,2 GHz), bei zwei Verbindungen gehen mit SMB3MC etwa 4.230 MB/s, wobei zwei Kerne genutzt werden, aber der Turbo-Takt niedriger ausfällt (damaliger Benchmark-Test mit Server 2016).

Mit was für Framegrößen arbeitest du ? Je kleiner die sind, desto langsamer wird es bzw. desto mehr Arbeit haben die CPUs. Und das die Last gleichmäßig auf alle Kerne verteilt wird ist stark Treiberabhängig. Selbst der aktuellste ixgbe Treiber von Intel für meine X520 Karten kann maximal 16 RSS-Queues erstellen, d.h. den eingehenden Traffic auf max. 16 Kerne verteilen.
Mit Jumboframes hab ich keine Zweifel, das 3350 MB/s pro Kern drin sind. (das wären etwa ~372000 pps, das ist nicht viel)

 

[Spawn182]

Edit: Aber wenn Du keinen Server 2012 für Sharing hast, vergiss es gleich!

Hätte kein Problem meinen Server auf 2012 oder 2016 zu bringen. Aber wenn der nur RDMA kann, dann entlastet das ja nur seine CPU oder verstehe ich da was falsch?

Szenario 1: W10 liest vom Server
Szenario 2: W10 schreibt auf den Server

In beiden Fällen wäre ja auch wenn der Server noch so schnell ist auch die W10 System CPU ein limitierender Faktor? Ist RSS automatisch an, "Get-SmbServerNetworkInterface" sagt bei RSS Capable true.

Habe ja ConnectX-3 im Einsatz und die ConnectX-2 die ich hatte sind umgeflasht.

 

[Donald24]

Nö, der Share muss nur vom 2012-Server stammen, Senden/Empfangen ist dann beides RDMA. RSS spielt bei der Übertragungstechnik eine recht unwichtige Rolle, weil die CPU kaum beansprucht wird.

Allerdings, wenn nicht direkt konnektierst, brauchst du einen Switch der Global-Pause (IEEE 802.3x) sendet und empfängt, da die Pakete per UDP gesendet werden.

 

[Matschgo]

gestern mal den 16XG ruhig bekommen



jetzt sind die WD Red's wieder das Lauteste im Rack
Temps sind von 45 auf 48-49° gestiegen... damit kann man leben dafür dass er jetzt lautlos ist

 

[BazzT]

Den bekommst du aber nun nicht mehr zu oder?
Hätte es dann nicht mehr Sinn gemacht die Lüfter direkt auf die Kühlkörper zu setzen?

Und wenn wir schon beim Thema Switch sind, ich hab für die nächste kleine LAN den Mikrotik CSS326 als Anschaffung auf der Agenda.
Spricht aus eurer Erfahrung was etwas gegen den Switch, die Routing Funktion bräuchten wir nicht oder hat der CRRS326 noch andere versteckte Vorteile?

Und Tipps für günstige Switches mit mehr SFP+ (4+) habt ihr bestimmt auch keine, die Mikrotik haben wirklich ein super Preis-Leistungs-Verhältnis.

 

[Matschgo]

doch das geht... anfänglich hätte ich die zwei Fans direkt an die Rückwand gepackt, da ging der Deckel nicht mehr drauf weil er eingehakt werden muss und hinten so ein Zapfen einrasten muss (sieht man auf dem Foto unten) ... wenn man aber die Lüfter ca. 1cm vor der Rückwand befestigt geht der Deckel ganz normal drauf.
Lüfter auf die Kühlkörper geht nicht... die sind zu hoch... das Lüfterkonzept da drin ist, dass man durch Löcher seitlich Luft ansaugt und hinten rausbläst... es wird so gesehen das ganze Board aktiv gekühlt.

Es funktioniert... sieht halt etwas russisch aus aber naja

 

[crazyk]

Evtl. könntest du den 1cm noch mit Klebeband überbrücken. Das Lüfter und Gehäuse verbunden sind.
Denke dann gelangt mehr Luft nach außen als so.

Würde mich mal Interessieren...ob man es messbar merkt.

 

[Matschgo]

dachte da schon an einen Shroud (von nem 3D Printer ev.) ... oder was kleines aus Pappe/Papier basteln? .... aber ich glaub es wird kaum was bringen, bzw. nicht adäquat zum Aufwand... von den originalen Düsentriebwerken auf voller Drehzahl zu den Noctuas mitsamt Low-Noise-Adaptern sind 4° Unterschied... irgendwie steht da wohl der Aufwand nicht dafür hier nochmal was dran zu optimieren?!

 

[sch4kal]

Den bekommst du aber nun nicht mehr zu oder?
Hätte es dann nicht mehr Sinn gemacht die Lüfter direkt auf die Kühlkörper zu setzen?

Und wenn wir schon beim Thema Switch sind, ich hab für die nächste kleine LAN den Mikrotik CSS326 als Anschaffung auf der Agenda.
Spricht aus eurer Erfahrung was etwas gegen den Switch, die Routing Funktion bräuchten wir nicht oder hat der CRRS326 noch andere versteckte Vorteile?

Und Tipps für günstige Switches mit mehr SFP+ (4+) habt ihr bestimmt auch keine, die Mikrotik haben wirklich ein super Preis-Leistungs-Verhältnis.

Die CSS reichen aus, manche Features haben in SwOS eine eigenartige Verhaltensweise, ich musste z.B. bei unseren Switches IGMP Snooping deaktivieren (kein Haken setzen), damit es aktiv ist. Dasselbe Spiel mit DHCP Snooping und Trusted Ports. Abgesehen davon sind die CSS sogar problemloser unter Last gelaufen als unsere HP 2530 und Cisco SG 350X Switche. Unschlagbar günstig sind sie auch noch. Als Neuware bekommst du nichts vergleichbares. Gebraucht vielleicht ein Quanta LB4M (uralt OS, afaik kein Crossflash auf ein gebräuchliches OS wie Brocade oder Dell möglich, wie beim LB6M), mit viel Glück ein Brocade 6450 oder ältere HP 2900. Das 2900 war ebenfalls problemlos bei und im Einsatz. Die können dann natürlich auch mehr als ein CSS326.

 

[MisterY]

Wie kann man testen, ob igmp snooping aktiv ist?

Und der Support von Mikrotik ist echt auf Zack

 

[sch4kal]

Schließ ein Device dran das Multicasttraffic sendet/empfängt, z.B. ein Entertain Receiver und beobachte den Multicast-Traffic auf deinem PC der nicht der Multicastgruppe beigetreten ist. Ohne Snooping flooded ein Switch den Traffic auf allen Ports, mit Snooping merkt sich der Switch die Multicastgruppen-Zugehörigkeit und leitet Multicasttraffic dann nur an die Ports, die sich auf eine Gruppe abonniert haben.

 

[BazzT]

Die CSS reichen aus, manche Features haben in SwOS eine eigenartige Verhaltensweise, ich musste z.B. bei unseren Switches IGMP Snooping deaktivieren (kein Haken setzen), damit es aktiv ist. Dasselbe Spiel mit DHCP Snooping und Trusted Ports. Abgesehen davon sind die CSS sogar problemloser unter Last gelaufen als unsere HP 2530 und Cisco SG 350X Switche. Unschlagbar günstig sind sie auch noch. Als Neuware bekommst du nichts vergleichbares. Gebraucht vielleicht ein Quanta LB4M (uralt OS, afaik kein Crossflash auf ein gebräuchliches OS wie Brocade oder Dell möglich, wie beim LB6M), mit viel Glück ein Brocade 6450 oder ältere HP 2900. Das 2900 war ebenfalls problemlos bei und im Einsatz. Die können dann natürlich auch mehr als ein CSS326.

Vielen Dank! Dann werde ich mich mal umsehen. Gibts hier eigentlich keinen "Danke Button"?

Evtl. könntest du den 1cm noch mit Klebeband überbrücken. Das Lüfter und Gehäuse verbunden sind.
Denke dann gelangt mehr Luft nach außen als so.

Würde mich mal Interessieren...ob man es messbar merkt.

Auf jeden Fall birgt es was wenn der Luftstrom nicht "kurzgeschlossen" ist. Aktuell ist der Switch eher im passiv betrieb du könntest auch mal die Temperaturen messen ohne Lüfter, der Unterschied dürfte gerade sehr klein sein...
Ich würde aus Pappe und Panzertape einen Tunnel von der Gehäuseöffnung zu den Lüftern bauen.
Täuscht das Bild wirklich so, dass die Lüfter größer als die 2HE aussehen und der Deckel da drauf passt

 

[Matschgo]

Der Switch hat 1HE ... Täuscht nicht, die Lüfter ragen etwas über die Kante (4-5mm),... aber der Deckel hat nen Falz hinten und baut nochmal gut 1cm auf.

 

[sch4kal]

Vielen Dank! Dann werde ich mich mal umsehen. Gibts hier eigentlich keinen "Danke Button"?

Wenns nur für LANs ist und nicht noch dem Spieltrieb dient, würde ich beim CSS326 bleiben, ansonsten zum CRS326 greifen, so viel Unterschied ist da preislich nicht mehr.
Der CRS kann halt auch RouterOS (Lizenzlevel 5, also eig. fast alles), hat dementsprechend mehr Flashspeicher an Bord für beide Betriebssysteme, einen zusätzlichen ARM-Prozessor fürs Routing und die anderen Features, die RouterOS mitbringt (BGP, OSPF, MPLS,...), das allerdings nur in Software, kein Nonblocking Speed wie beim Switching. Ansonsten sind die Beiden ziemlich identisch, Features sind halt in RouterOS früher vorhanden als in SwOS. Der CRS hat noch einen seriellen Konsolenport, der fehlt beim CSS. Damit kann man via RJ45->D-Sub Kabel das zu bootende OS auswählen und im Falle von SwOS auch ein paar Parameter einsehen, wie die Management-IP. Ganz nützlich wenn man mal wieder die IP vergessen hat.

Den Danke-Button vermiss ich auch, damit könnte man manche Beiträge highlighten oä.

 

[P0stbote]

Der CSS326 als LAN Switch reicht vollkommen aus. Habe davon 3 Stück für 25 Leute (Pro Tischreihe einen) in Verbindung mit einem CRS317 als Core-Switch im Einsatz, lief letztes Jahr ohne Probleme.
Ist auch ein relativ simples Netz, Switche machen nur L2 und ein bisschen VLANs. Routing übernimmt eine pfsense-VM. Wichtig war mir nur dass die Uplinks zu den Tischen/Server 10GBit können, damit ein Filetransfer nicht direkt die Performance plättet.

 

[sch4kal]

Den QNAP QSW-804-4C 8 Port 10G-Switch gibts derzeit für 329 € zzgl. Versand: Wochenangebote bei Notebooksbilliger - QNAP QSW-804-4C 10GbE Unmanaged Switch, HP Active Pen mit N-Trig Technologie für 33,98€ - mydealz.de
Ist unmanaged und wurde hier im Thread auch schon "vorgestellt", vielleicht für den Ein oder Anderen interessant...

 

[Azrael_ct]

Gibt es eigentlich etwas, was man an Windows 10 noch "tunen" kann in Bezug auf 10 GBit/s Netzwerke ? Ich habe das folgende Setup:

Workstation/Gaming PC [Edimax SFP+ PCIe NIC mit Mikrotik S+85DLC03D LWL]
-> Mikrotik CRS326-24G-2S+RM [2x S+85DLC03D]
-> downlink Erdgeschoss, Mikrotik CRS326-24G-2S+RM [2x S+85DLC03D]
-> downlink Keller Mikrotik CRS305-1G-4S+IN [2x S+85DLC03D, 1x DAC, 1x S+RJ10 Kupfer SFP+]
-> NAS [per Kupfer, Asus XG-C100C]

An sich läuft das ganze schön problemfrei, nur unter Windows schaffe ich die 10 GBit/s nicht. CPU sollte hier nicht der limitierende Faktor sein (i7-7820x @4.9 GHz), die Auslastung ist recht moderat auf zwei Kerne verteilt. Habe viel mit RSS etc. gespielt, aber nur marginale Verbesserungen erreicht.

Streams      Down    /     Up
1            5,4          5,1
2            5,5          5,3
4            5,5          5,4
8            5,8          5,4

Boote ich die Kiste unter Ubuntu, liegen selbst mit nur einem Stream in beiden Richtungen 9,42 GBit/s an. Treiber ist der aktuellste verfügbare. Schätze, die Ursache wird hier zu finden sein...

 

[besterino]

Womit testest Du? Iperf zeigt unter Windows gerne nicht volle Speed.

 

[Knogle]

Habe irgendwie schlechte performance beim Uebertragen auf meinem Server.
Auf meinem Server ist eine NVMe SSD, woran liegt das? Irgendwas mit den Netzwerk Settings falsch?

Weiterhin auch beim Lesen nur 600MB/s, obwohl ich sonst 1000MB/s hatte.