[Sammelthread] 10Gbit Homenetzwerk

[DFFVB]

Freilich, sonst wäre lesend ja kein 1 GB/s möglich, und wie gesagt unter TrueNAS 800 MB/s - und er schrieb vom Server zum PC auch mit 1 GB/s...

Edit: gerade mal die Anzahl der Streams bei iperf erhöht, da ging auch der Durchsatz hoch
Edit 2 hier ein Screenshot von einem einfachen Copy Job...

 

[Stueckchen]

Könnte es sein das teils da noch Daten über eine 1G Nic fließen?

 

[DFFVB]

@Stueckchen dann würde er doch bei 112 MB/s stoppen?

 

[Stueckchen]

@Stueckchen dann würde er doch bei 112 MB/s stoppen?

Gibt so einen Voodoo ala SMB Multichannel. Probiere doch vll einfach mal wirklich beide Seiten nur per 10G anzubinden.

 

[deveth0]

Oder iperf an das 10gb interface zu binden.

 

[Trambahner]

Ja, der SMB Multichannel Voodoo kann unerwartet zuschlagen und teils seltsame Effekte haben.

So schaut das bei mir aus zwischen Client und SSD-Pool. 1. Bild desktop zum server, 2. bild server zum desktop.
Server: 5600X, ESXI 7, Xigmanas 11.2 als Storage-VM, Intel X550, VM per 2xVmxnet3 angebunden (die VM hängt einmal in einer allgemeinen Portgruppe (und einer 10G+ 1GB Nic, als Failover konfiguriert) , und die zweite 10er NIC am Board hat ne eigene Portgruppe und vswitch, damit ich eine Direktanbindung Storage-VM zu Client ohne Switch habe.) Das X570D4U-2L2T hat 4 Nics onboard, insofern kann ich das so out-of-the-box konfigurieren. Mit SR-IOV statt Vmxnet3 könnte ichs natürlich auch machen, muss ich vielleicht mal im Urlaub rumprobieren als Lerneffekt.

Desktop: 4750G, W10 pro, Intel X540. Jumbo 9000, Throttling abgeschaltet, 2048 send+recv Puffer.

Ich denke, mehr geht nicht bei ner einzelnen 10er Verbindung (das hier ist die direkte Verbindung ohne Switch dazwischen).

 

[DFFVB]

Herzlichen Glückwunsch, hilft mir nur bedingt weiter 😅 SMB Multichannel ist dann das nächste was ich mir mal anschaue...

 

[Trambahner]

Naja, im Grundsatz gings mir nur darum zu belegen: 10G funktioniert mit Win10 und ZFS mit minimalen Mitteln (Nic zu Nic sowie geringen Einstellungen auf Windows 10-Seite) problemfrei (solang der Pool es kann).

Das Interrupt-Throttling hast im Intel-Treiber abgeschaltet am "Server"-Win10 und die Netzwerk-Puffer hochgedreht? CPU-Leistung/IPC sollte der i3 10100 ja genug haben
Die Acquantia kann ich nicht einschätzen, ob man da was tweaken muss oder kann; bei den Intel X540 muss man bei Windows Home/Pro (die X550er hab ich noch nicht unter Desktop-Windows genutzt).
Ohne Eingriffe in den NIC-Settings bei W10 Home/Pro und der X540 kommste z.B. über die 350-400 nicht hinaus.

 

[DFFVB]

Danke, damit kann ich schon mehr anfangen Dass es grundsätzlich geht, hat mir ein kurzer Test mit TrueNAS auch gezeigt. Ist halt die Sache mit Windows. Interrupt Throttling habe ich nun deaktiviert, und den Puffer auf max 8192 geändert. Hat ca 20 MB/s mehr gebracht. RSS / RDMA sind bei beiden standardmäßig akitivert gewesen. damit sollte SMB Multichannel per default aktiv sein? Ist momentan auch point to point. Hast Du ggf. noch mehr Infos, was m an bei den Intel NICs tweaken muss, damit sie ausreizen kann? Danke schon mal !

 

[Trambahner]

Puffer send und receive stehen am Windows client bei mir je auf 2048.
Mehr als Jumbo 9000, Throttling aus und Puffer ändern auf je 2048 musste ich nicht.
RSS/RDMA ist was anderes, das hat mit SMB-Multichannel nichts zu tun.

Ich würd ja mal testweise die 107er rauswerfen und ne X550 reinpacken.

 

[Holt]

Habe die drei SATA SSDs per Stripset, Storage Space und Intel Rapid Storage als Raid 0 zusammengeschlossen - ohne Erfolg.

Was denn nun genau? Entweder man hat ein Fake RAID am Chipsatz mit dem RST Treiber von Intel oder man macht es mit Windows Boardmitteln und letztere sind nicht für die beste Performance bekannt. Das mehr geht, hast Du ja gesehen:

Unter TrueNAS macht er ca 800 MB/s.

 

[Trambahner]

Dazu wird noch kommen, dass die Desktopeditionen von Windows in ihren Serverdiensten/-threading nicht auf SMB-Durchsatz optimiert sind, sondern auf Vordergrundanwendungen und deren Darstellung.

 

[DFFVB]

Was denn nun genau?

Holt altes Haus, schön, dass Du noch am Start bist (nachdem Du nicht mehr bei CB bist).... Na alle drei hab ich nacheinander getestet. Von der Performance haben die sich nichts genommen...

Das mehr geht, hast Du ja gesehen:

Das ist mir schon klar, deswegen ja der Post hier wie ich das in den Griff bekomme ^^ mein Problem ist halt, dass ich ein Mini ITX Gehäuse habe, und die iGPU für Steam Inhouse Streaming benötige...

@Trambahner - also wenn die 107er mit TrueNAS "gut" spricht, muss es ja ein Problem der X550 im Zusammenspiel mit W10 Pro sein ... mein nächster Schritt wäre wohl, mal Windows Server zu testen 💩

P.S.: RSS / RDMA dieser Link schreibt dass es Voraussetzung wäre - gibts da noch was anderes, wie man SMB Multichannel aktivieren / optimieren kann? Laut diesem Link ist es ja automatisch aktvi

 

[besterino]

RSS und RDMA sind meines Wissens und auch wie ich den Link verstehe keine Voraussetzung für SMB-Multichannel an sich, sondern für gewisse Features davon (siehe Tabelle am Ende) - throughput erhöht sich z.B. immer.

(RDMA ist jedenfalls definitiv NICHT Pflicht, schon weil das Windows 10 als Client - jedenfalls für SMB Direct - gar nicht kann, sondern nur Windows 10 Pro for Workstations.)

Tröstet Euch: ich hänge auch in einem Bottleneck und weiß noch nicht genau, wo's ist...

 

[Stueckchen]

Das ist mir schon klar, deswegen ja der Post hier wie ich das in den Griff bekomme ^^ mein Problem ist halt, dass ich ein Mini ITX Gehäuse habe, und die iGPU für Steam Inhouse Streaming benötige...

schon mal an eine VM mit Windows10 dafür gedacht? Bei Linux kannst du die iGPU auch (Intel) auch splitten.

P.S.: RSS / RDMA dieser Link schreibt dass es Voraussetzung wäre - gibts da noch was anderes, wie man SMB Multichannel aktivieren / optimieren kann? Laut diesem Link ist es ja automatisch aktvi

SMB Multichannel ist wenn es geht zwar recht nett, aber teilweise super das Voodoo. Machmal geht das manchmal einfach nicht und wenn bleib bei einer homogenen Windows, sonst wird es noch zickiger.

 

[DFFVB]

schon mal an eine VM mit Windows10 dafür gedacht? Bei Linux kannst du die iGPU auch (Intel) auch splitten.

Ja, da hab ich dran gedacht, geht nicht um encoding, sondern tatsächlich um den Passthrough, unter Proxmox ist das wohl mal möglich, mal auch nicht.-...

 

[Joebacca]

Hallo zusammen bin neu hier und hab schon ein Problem.

Habe mir vor kurzem eine

STANDARD PROFILE Brocade 1860 18602 Dual-Port 10/16 Gbps SFP+ PCIe x8 2.0​

gekauft bekomm Sie leider nicht zum laufen, das Betriebssystem startet einfach nicht.

Windows Server 2012 R2 ist drauf.

Die Workstation startet er überprüft die Karte wird auch erkannt, man kann einige Funktionen auswählen mit ALT-B da steht Bios Enable or Disable und VLAN. Bios ist Disable.

Beendet die Suche meisten hab auch nicht abgebrochen selber Fehler.

Er kommt zu dem Punkt Atemmpting boot from Hard Drive und da bleibt er stehen.

Woran könnte das liegen.

Danke Gruß Joebacca

 

[Weltherrscher]

SM-Bus-Pins abkleben?

 

[Fr3@k]

SM-Bus-Pins abkleben?

ist oft ein heißer Tipp, ich hatte ein ähnliches Problem mit einer Emulex Dual SFP+ 10GBE Karte - hier hats leider in Kombination mit meinem Mainboard nicht geholfen.
Ein älteres/altes BIOS brachte Abhilfe. Welches Mainboard hast du?

 

[DFFVB]

So - hab mal den Tipp von @******* befolgt und Windows Server 2022 installiert. Intel Treiber installiert, und sonst nichts. Zack 1 GB/s. Das ist gut. Leider immer wieder so "Dellen" Das ist schlecht. Hab dann mal den Empfangspuffe rhoch und die Drosselung aus gestellt, leider ohne Erfolg. Jemand ne Idee?

 

[besterino]

Was man so lesen kann ist seit 2019 bei der Network Performance bisweilen was im Argen, s. z.B.:

Server 2019 network performance

We are having huge performance issues with Server 2019 on new Dell Servers. The network read speed from SMB shares is very poor... | Windows Server

community.spiceworks.com

 

[DFFVB]

Ich hab noch ne 4. SSD hinzugefügt, alle im RAID 0 via Intel RST fast schneller als die 950 ;-) Hab auch den Switch gewechselt... Hmmm

 

[Luckysh0t]

Was man so lesen kann ist seit 2019 bei der Network Performance bisweilen was im Argen, s. z.B.:

Server 2019 network performance

We are having huge performance issues with Server 2019 on new Dell Servers. The network read speed from SMB shares is very poor... | Windows Server

community.spiceworks.com

Wenn man sich das so durch liest…also „einfach“ dem Server 2019 eine Menge RAM spendieren…

 

[DFFVB]

Hab es schon bare Metal installiert - und "interessant" kaum hatte ich dei Hyper V Rolle aktiviert - gingen plötzlich nur 500 MB/s

 

[DFFVB]

@******* Habe auch noch etwas getestet - TrueNAS Scale Beta (basiert auf Debian) - 500 MB/s - True NAS Core 12.0 U4 - 1,09 GB/s- ohne Delle. Und Fun Fact: Der billo Asus Switch hat weniger Einrbüche als der Zyxel XGS1250-12.

 

[DFFVB]

@******* Würde ich erstmal so sagen - Wobei ich TrueNAS Scale nicht per se einen Vorwurf machen will, das ist die erste Beta nach der Alpha Phase. Hat ein "neues" UI und ne Docker Integration, sobald das Release Candidates hat, werde ich das nochmal anschauen. Bleibt mein Problem mit dem Steam Inhouse Streaming 😅 Habe testweise auch TrueNAS auf Proxmox installiert, da gingen mit VirtIO 500 MB/s mit Passthrough 1 GB/s. Habe gerade eine Idee, einfach nen Mate desktop auf Proxmox, dann kann ich da den Steam Link mit Flatpack installieren 💡🤣

 

[Bowser]

Hallo,

Ich möchte eine Synology DS1621+ und auch einen Rechner mit 10G anbinden (Draytek Switch). Ich habe mir im Ebay Cisco-SFP+ Module gekauft. (deutscher gewärblicher Händler- Netzwerkausstatter- waren günstig)
Wie finde ich nun heraus, ob diese auch wirklich original sind? Den Sicherungsstreifen, der sich von gold nach grün verfärbt haben sie natürlich. Der Händler hat sie als neu und original verkauft. Allerdings sollen ja so viele gefälschte exitieren, dass ich das auch nachprüfen möchte.

Danke!

 

[DFFVB]

Identify Counterfeit and Pirated Products

The Cisco Brand Protection team highlights Carton, Quack, and TMG labels of genuine Cisco products.

www.cisco.com

 

[Bowser]

Als Endverbraucher kann ich dort allerdings nichts prüfen, sondern nur wenn ich eine Firma hätte, oder einen gültigen Servicevertrag. Kann ich hier Fotos der Module anhängen und ihr sagt mir, ob die echt sind?

 

[underclocker2k4]

Was ist denn das spezielle am Cisco-SFP?
Brauchst du Support von denen? Brauchst du das, damit die Kompatibilität mit Endgeräten gesichert ist?
Wenn nicht, ist das vollkommen egal ob das nun nen Cisco ist oder nicht.
Cisco, HPE und wie so alle heißen ist alles das selbe Gerödel.
Ob nun HPE oder Cisco ist völlig bums. Man kann auch Transceiver für 5EUR kaufen, da ist dann eher weniger Qualität drin.

Ein neuer SFP+ MM kostet irgendwas um 40EUR wenn es was europäisches ist, gebraucht 20EUR.
Transceiver aus China kosten ~15EUR, neu.

Ich würde mir da ehrlich gesagt weniger Gedanken machen. Wahrscheinlich hätte ich nicht mal Cisco-SFPs gekauft, weil die nicht toll oder besonders sind. Das ist "alles" das selbe Zeug.