[Sammelthread] Der 10Gbase-T (RJ45) / CAT6A 10gbit Homenetzwerk Thread

[besterino]

Hierbei handelt es sich um eine Ergänzung zum Mutter-Thread (Der 10Gbit Homenetzwerk Thread), allerdings ist die Idee, sich hier ausschließlich mit der Variante "10Gbase-T", also auf Basis von RJ45 und der weit verbreiteten Kupferkabeltechnik (ab Cat5(e), eher CAT6A bzw. CAT7) zu beschäftigen.

Ich habe zunächst einmal einen eigenen Thread angefangen, da man so vielleicht zunächst besser sehen kann, wie das Interesse und die allgemeine Beteiligung sich entwickeln. Sollte sich ein eigener Thread zu 10Gbase-T nicht lohnen, kann man die ja immer noch verschmelzen.

Auch hier gilt, dass es nicht darum geht, ob das nun für den Heimeinsatz wirklich sinnvoll ist... ;-)

Ein Teil der Idee wäre, Schritt für Schritt auch die nötigen Hintergrund-Informationen zusammen zu tragen, idealerweise von der Hardware bis hin vielleicht zu einigen wichtigen Treibereinstellungen unter den verschiedenen gängigen Betriebssystemen, da zum Teil interessante Parameter (wie Jumbo-Frames, RSS, RDMA...) standardmäßig nicht immer optimal gesetzt sind.

M.E. lohnt so eine Übersicht (noch), da die Hardware auf dem Markt hierzu noch recht überschaubar ist und so vielleicht neben der Inbetriebnahme auch die Jagd nach Gebraucht-Kram etwas besser gelingt.

Starten wir zunächst mit dem wichtigsten (so denn sinnvoll machbar könnte noch ergänzt werden, für welche OS es auch dafür auch (noch) Treiber gibt - ich habe jetzt fürs erste nur dazu geschrieben, was ich selbst getestet habe (und sich vielleicht nicht sofort auf den ersten Blick erschließt). Leider bin ich selbst nur im Besitz einiger weniger Modelle, so dass ich für Praxiserfahrungen/Feedback von Euch zu den sonstigen Modellen natürlich dankbar wäre!

NETZWERKKARTEN

Die im Spoiler versteckte Liste ist recht veraltet. Daher nur noch von historischem Interesse bzw. vielleicht mal günstig als Schnäppchen bei Ebay zu schießen. Aber: grds. je älter desto stromhungriger.

Spoiler

1. Intel x540-T1 (1 Port) bzw. x540-T2 (2 Port)
Chipsatz: Intel x540
Treiber für OS: Windows Server Technical Preview 2, OmniOS
Anmerkungen: eine der aktuellen Standard-NICs; Chipsatz auch auf einigen Mainboards enthalten; aufpassen 1 für Ebay-Jäger: gibt es auch als embedded version ohne PCIe - die bringt uns Normalos nichts!; aufpassen 2 für Leisetreter (insb. bei Ebay): gibt es lüfterlos und mit Lüfter (Dell-Modell, oft dafür billiger als orginal-Intel)!; aufpassen 3: gibt es auch als sog. "bypass" Version mit besonderen Features gegen Ausfälle. ACHTUNG: Diese Karte eignet sich NICHT für uns Normalsterbliche, vgl. Intel Product Brief und insb. dort Seite 5 am Ende! Es werden nur Linuxe überhaupt unterstützt und selbst dann gilt: "PLEASE NOTE: Intel® Ethernet Server Bypass Adapter driver support is not included in the kernel or distributions. Bypass products are targeted toward system integrator and appliance customers. Please contact Intel for bypass driver source code
to install the product")

2. HP 530T (2 Ports)
Chipsatz: Broadcom BCM57810S
Anmerkungen: Dieser Chipsatz dürfte wohl auch zu den aktuellen "Standards" zählen, allerdings nach meiner Wahrnehmung nicht so verbreitet wie x540.

3. Emulex Oneconnect Oce14102-nt (2 Ports)
Chipsatz: Emulex Oce14102-nt
Anmerkungen: Neuerscheinung aus 2015 - leider noch kaum in EU verfügbar; x8 PCIe 3.0 (anstatt wie bei allen anderen 2.0); gebraucht (noch) kaum zu finden; wird nach einigen Publikationen als die "Intel-Kampfansage" gehandelt; bin mal gespannt, ob sich mittelfristig doch mal bei den Preisen was tut...

4. SMC Tigercard SMC10GPCIe-10BT (1 Port)
Chipsatz: ???
Anmerkung: nach meinem Verständnis ziemlich alt und EOL, mehr der Vollständigkeit halber erwähnt

5. Thecus C10GTR (1 Port)
Chipsatz: Tehuti TN4010
Anmerkung: Karten mit diesem Chipsatz haben die niedrigsten "Neupreise"

6. Delock Express Karte (1 Port)
Chipsatz: Tehuti TN4010
Anmerkung: vermutlich baugleich mit 5.

7. Dell 0RK375 (1 Port)
Chipsatz: Broadcom 57710
Anmerkungen: alter Chipsatz, EOL

8. Intel AT2 (1 Port)
Chipsatz: Intel 82598EB
Treiber für OS: Windows Server Technical Preview 2, Windows 7, Windows 10 (Technical Preview); OmniOS
Anmerkungen: ehem. Intel StandardNIC, der dann vom x540 abgelöst wurde; EOL; Kleine Anleitung für non-GUI Server 2016

9. Dell/Broadcom W1GCR (2 Ports)
Chipsatz: Broadcom 57810s
Anmerkungen: Aktuelle Dell Standardkarte; gleicher Chipsatz wie 2.; W1GCR = standard-Blende, HN10N = LowProfile-Blende (to be confirmed!)

10. QLogic 57810S Dual 10GBASE-T (2 Ports)
Anmerkungen: = 9.

11. ATTO Technology FastFrame NT12 (2 Ports)
Chipsatz: Intel x540
Anmerkungen: Hier kaum zu bekommen; angeblich Apple OSX Treiber

12. ASUS PEB-10G/57840-2T
Chipsatz: Broadcom BCM57840S
Anmerkungen: Scheint der Nachfolger vom 57810 zu sein, muss ich noch checked; gibt auch noch andere Karten von anderen Herstellern mit diesem Chipsatz, häufig aber mit SFP, also eben nicht mit RJ45.

13. Chelsio T520-BT (2 Ports)
Chipsatz: Chelsio Terminator 5 (T5)
Anmerkungen: Aktueller Chelsio Adapter; PCIe 3.0; gebraucht (noch) kaum zu finden

14. Chelsio T420-BT (2 Ports)
Anmerkungen: Vorgänger von 13; EOL

15. Chelsio N320E-BT (2 Ports) / S310E-BT (1 Port)
Anmerkungen: Vorgänger von 14; EOL

SWITCHES
(Ich beschränke mich hier auf die "Consumer-Modelle"... ;-), also bis 12 Ports...die nachfolgenden Port-Angaben beziehen sich nur auf die RJ45-Anschlüsse.)

1. Netgear XS708E (8 Ports)

2. Netgear XS712T (12 Ports)

3. Zyxel XS1920-12 (12 Ports)

4. D-Link DXS-1210-10TS (8 Ports)
Anmerkung: zusätzlich 2 SFP+ Ports (not shared); 200Gbit Switching Capacity (für 8+2x10Gbit)
Kompatible Transceiver: Q

5. D-Link DXS-1210-12TC (10 Ports)
Anmerkung: zusätzlich 2 SFP+ Ports (not shared) und 2 weitere SFP+ Ports (shared) mit 2 der RJ45 Ports; 240Gbit Switching Capacity (8+2+2x10Gbit); Specs zu / Unterschiede 4 und 5 bei D-Link

6. D-Link DXS-1210-12SC (2 Ports!)
Anmerkung: Achtung, der hier ist nur zu Hinweiszwecken aufgeführt - die SC-Variante ist nicht primär für 10Gbase-T Netze, da dieser Switch nur 2 RJ45-Ports hat!

Mögliche Alternative: 1Gbit Switch mit 10Gbase-T Uplinks
Neben den vorstehenden Switches mit dem Fokus auf 10Gbase-T kommen grundsätzlich auch noch Switches in Betracht, die in erster Linie über 1Gbit Ports verfügen und einige (wenige) 10Gbase-T "Uplink"-Ports verfügen. Von diesen Geräten gibt es relativ viele, beispielhaft seien hier nur einige unten erwähnt. Ob sich das preislich/technisch lohnt, muss jeder insb. anhand der eigenen Anforderungen entscheiden - ab und an findet man vielleicht auch einen als Schnäppchen bei Ebay.

1. Netgear ProSAFE S3300-28X

2. HP 1950-24G-2SFP+-2XGT

3. Netgear ProSafe M5300

Exkurs: der erschwinglichste Einstieg mit einem 10Gbit-Switch ist aber tatsächlich Glasfaser mit dem Preisleistungssieger der Herzen: TP-Link T1700-TQ28 für ~250 Euro (Stand Feb. 2018)

MAINBOARDS

Hier zunächst nur der Hinweis, dass es auch "erschwingliche" Mainboards gibt, auf denen bereits eine 10Gbase-T NIC verbaut ist. Wenn man in Richtung 10Gbase-T gehen will und insgesamt über eine Neuanschaffung nachdenkt, ist das m.E. preislich im Vergleich zu den Neupreisen für separate Netzwerkkarten recht interessant und allemal zumindest eine Überlegung wert.

LINKSAMMLUNG

1. Allgemeiner Luxx-10Gbe-Homenetzwerk-Sammelthread

2. Allgemeiner Luxx-10Gbe-"Tuning"-Sammelthread (belastbare Erkenntnisse würde ich in unregelmäßigen Abständen hier ergänzen)

3. Confessions of a 10gbe network newbie (Schöne Einführung)

4. Oracle Coherence Network Tuning (Einige Beispiele für 10Gbe Tuning-Ansätze mit konkreten Konsolen-Kommandos)

...to be continued/updated...

 

[underclocker2k4]

http://www.hardwareluxx.de/community/f101/der-10gbit-homenetzwerk-thread-807277-57.html#post23701229

Dies bitte beachten. Ich werde demnach die beiden Thread mergen.

10GBE ist 10GBE.

10GBE MBs:
http://geizhals.de/?cat=mbxeon&xf=643_10GBase#xf_top

 

[besterino]

Naja, 10GBE ist eben nicht wirklich 10GBE. Ich hatte ja die ratio für den (zunächst) eigenen Thread extra niedergeschrieben und den anderen Thread verlinkt - aber wie Ihr meint.

Auch kommt hinzu, dass der Ausgangspost im anderen Thread ewig nicht mehr aktualisiert wurde. Wenn das jemand anders übernehmen sollte, müsste der sich ja dann um das gesamte Thema kümmern (und das ist dann doch recht viel). Ich könnte das z.B. gar nicht, da ich von FC/den optischen und sonstigen Varianten keine Ahnung habe.

Und noch eine Anmerkung: ich hatte eben extra Mainboards rausgesucht, die 10Gbase-T Anschlüsse haben. In den von Dir verlinkten sind auch SFP(+) dabei, z.B. das hier. Mein Hintergedanke war, anderen den Einstieg in die 10Gigabit Kupfer-Welt mit RJ45 zu erleichtern und eben nicht in die vielen Fallen rund um 10GBE (allgemein) tappen zu lassen.

 

[gea]

Ich habe zwei Rechnerpools mit 10 GbE Kupfer (Intel X540, Sanlink2 bei Macs). Das ist 10 GbE zum Desktop für 3D/AV Anwendungen.

Ich habe aber auch 10 GbE Multimode über Fiber um die Stockwerksverteiler zu verbinden oder Singlemode für den Uplink oder die Aussenstellen.

Daneben gibt es 10 GbE über IB

Die drei Varianten haben völlig unterschiedliche Vorraussetzungen und Probleme.
Variante 1 wird wohl irgendwann in jedem PC/ Laptop drin sein, da jeder bei Terabyte Daten sowas braucht und nur damit die Performance einer SSD übers Netz geht.

Die beiden anderen sind Spezialfälle. Ich denke auch dass ein eigener Thread zu 10 GbE Kupfer Sinn macht.

 

[underclocker2k4]

Ich hatte ja schon was zum Thema Startpost geschrieben. (siehe verlinkter Post von mir) Daneben kann man auch einen 2. Post machen, so dass sich zwei User um einen Thread kümmern können, ohne dass man Postsharing machen muss.

Und dennoch ist 10GBE 10GBE. Auch wenn die Physik unterschiedlich ist, ist die Varianz nicht so groß wie man meinen mag. Ethernet over IB kann man getrost als Exoten betrachten.
Es gibt eben mit Nichten nicht 100 Varianten, von daher ist das Feld sehr überschaubar. Auch was Switche angeht. Es gibt evtl ein Dutzend CU-NICs, eine Dutzend SFP-NICs und eine Dutzend Switche. Wobei bei vielen auch noch Dopplungen auftreten.

2 Threads machen einfach keinen Sinn, weil der Informationsgehalt und Diskussionsbedarf einfach nicht gegeben ist.

Zur Hardware:
Die von mir verlinkten MB haben zu >90% Base-T NICs!
Dein Switch Nr5 hat nicht einfach so 40Gbit mehr Switchkapazität, es hat +2 SFP+ Ports und die Ports sind nicht geshared, sondern eigenständige Ports. So dass Switch 4 ein 10Port-Switch(10x2x10GBit=200Gbit) ist (8CU,2SFP+) und Nr. 5 ein 12 Port Switch (12x2x10GBit=240Gbit) ist (8CU,2SPF+/CU,2SFP+).

 

[besterino]

Dein Switch Nr5 hat nicht einfach so 40Gbit mehr Switchkapazität, es hat +2 SFP+ Ports und die Ports sind nicht geshared, sondern eigenständige Ports. So dass Switch 4 ein 10Port-Switch(10x2x10GBit=200Gbit) ist (8CU,2SFP+) und Nr. 5 ein 12 Port Switch (12x2x10GBit=240Gbit) ist (8CU,2SPF+/CU,2SFP+).

Und für den RJ45-Nutzer sind es beide Switches mit 8 RJ45-Ports. Daher steht auch über der Liste:

...die nachfolgenden Port-Angaben beziehen sich nur auf die RJ45-Anschlüsse.

Wie gesagt, merge gerne wenn Du meinst. Mir im Endeffekt wurscht, solange man die Informationen auch nach ein paar Tagen in dem Fred noch findet.

 

[underclocker2k4]

@Switch
Das ist mir schon klar.

Dennoch ist bei beiden Switches für die RJ45-User die Switchingkapazität gleich, nämlich jeweils 160Gbit/s. Dennoch hast du 200Gbit/s und 240GBit/s hervorgehoben. Ich habe lediglich dargelegt, wo die 200Gbit/s bzw. die 240Gbit/s herkommen.

 

[danielmayer]

Moin besterino,
na dann viel Spaß als Moderator
Wenn Du es schaffst, aus dem alten Thread eine neue übersichtliche Startseite hinzubekommen, werden das viele User danken.
Von mir die Anregung, die Kartenliste um die supporteten Betriebssysteme zu erweitern. Ich habe das anbei als Starthilfe mal angefangen. Es zeigen sich schon einige potentielle Probleme mit Treibern, wie auch schon im anderen Thread bekannt geworden.

edit: Anmerkung zum Switch: DXS-1210-12TC, um obiges noch zu ergänzen: Der TC hat 10xRJ45 + 4xSFP+; von den SFP+ sind 2 geshared. Er ist nutzbar als 10xRJ45 + 2xSFP+ oder als 8xRJ45 + 4xSFP+. Bitte korrigieren.

 

[besterino]

D-Link Switchinfo habe ich angepasst.

@Danielmayer: Muss mal schauen, ob man das nicht als direkt sichtbare Tabelle (also ohne Anhang) machen kann. So als Fließtext wird das doch eher unübersichtlich.

 

[danielmayer]

Wenn Du die Tabelle als .gif anhängst, wird sie direkt angezeigt und kann "groß geklickt" werden.

edit: Switch-Info noch nicht richtig.
"5. D-Link DXS-1210-10TC (8 Ports + 2xSFP)
Anmerkung: zusätzlich 2 SFP+ Ports (not shared) und 2 weitere SFP+ Ports (shared); 240Gbit Switching Capacity (8+2+2x10Gbit)
"
sollte heißen:
"5. D-Link DXS-1210-12TC (10 Ports + 4xSFP+, davon 2x shared, also 12 nutzbar)
Anmerkung:
Betriebsmodus 1: 10 Ports RJ45 mit zusätzlichen 2 SFP+ Ports oder
Betriebsmodus 2: 9 Ports RJ45 und zusätzlichen 3 SFP+ Ports"
Betriebsmodus 3: 8 Ports RJ45 und zusätzlichen 4 SFP+ Ports"

 

[underclocker2k4]

Die Nummer nach dem Bindestrich fehlt noch.

Es gibt nen 10er 10-Port-Switch und nen 12er 12-Port-Switch.

EDIT:
Es gibt auch Strukturelemente.
http://www.hardwareluxx.de/community/faq.php?faq=vb3_reading_posting#faq_vb3_posting

2ndEDIT:

Evtl kann man diese Portkombi auch als Tabelle verbauen.
Was ist mit gbit Switches, die nen 10GBE Uplink haben für z.B. Server und ne WS?

 

[danielmayer]

Uplink-Ports sind sehr häufig als SFP/SFP+/XFP ausgelegt. Wenn ein Switch als RJ45 nur einen hätte, würde ich die hier nicht sehen wollen. >=2x10GbE-RJ45 als Uplink sind mir schon nicht mehr bekannt - bin allerdings auch nicht beruflich hier unterwegs Insofern sehe ich die Tabelle derzeit als abschließend an: non-professional-Switche und RJ45 fokussiert kenne ich keine anderen.

 

[underclocker2k4]

Es gibt etliche 2x10GBE-T.

Beispiele:
für den Einstieg
http://geizhals.de/netgear-prosafe-s3300-28x-gs728tx-100nes-a1200137.html?hloc=de
wenns mehr sein darf
http://geizhals.de/netgear-prosafe-s3300-52x-gs752tx-100nes-a1203348.html?hloc=de

und noch viele mehr.

 

[besterino]

Was für eine schwere Geburt mit den D-Links. Hab's jetzt noch einmal korrigiert (die Nummer war beim 1210-12TC verkehrt), der 1210-12TC hat auch insgesamt max. 10 nutzbare RJ45 Ports, davon halt 2 als shared mit 2 SFP+ (nicht 8 und davon 2 als shared - hatte ich erst falsch verstanden).

@Underclocker2k4: meintest Du das mit der Nummer oder noch etwas anderes?

Was ist mit gbit Switches, die nen 10GBE Uplink haben für z.B. Server und ne WS?

Tjo, denkbar sind die grundsätzlich natürlich auch, vor allem wenn man ohnehin einen (neuen) Switch "hauptsächlich" für 1Gbit sucht. Frage ist nur, wo zieht man die Grenze oder beschränkt man sich auf ein paar "bezahlbare" Beispiele (z.B. Netgear ProSAFE S3300-28X oder HP 1950-24G-2SFP+-2XGT - jeweils mit 2x 10Gbase-T)?

EDIT: ihr wart zu schnell... ;-) Vielleicht belasse ich es erst einmal bei Beispielen als Anregung. Falls das für den Betreffenden ein gangbarer Weg ist, kann er sich ja auch selbst weiter schlau machen...

EDIT2: Beispiel im Ausgangspost hinzugefügt.

 

[gea]

Zum Thema 10 Gb Kupfer Switche

Ich habe auch mehrere 8Port und 12Port Netgears (wegen billig und so).
Vom Management Aspekt sind die aber ziemlich übel. Der 8 Port hat kein Webmanagement, der 12 Port ist solala. Netgear möchte mir da aber vorschreiben, welches vlan wozu benutzt wird (z.B. Telefon). In einem größeren Netzwerk sind die völlig unbrauchbar - ausser als Dummswitche ohne vlan. Die Netgear Management Software habe ich vor Jahren mal gekauft, war unbedienbar.

Ich habe auch
HP 5400 (Modular mit 6 oder 12 Module), dafür gibts auch 8 x 10Gbe Kupfer Module, EoL
HP 5900 mit 48 x 10 GbE Kupfer + 40 Gb Fiber Uplink (neue Serie, von H3C übernommen)

Die HP sind echt gut. Kann man teuer neu kaufen - es gibt aber das HP renew Programm z.B. von mcl oder scalcom. Ein HP 5406 Chassis gibts da ab 480 Euro, das 8 x 10Gb TP Modul ab 1500,-- den HP 5900-48 x 10Gb Kupfer habe ich für ca 5500 Euro inkl. erstanden, gibts manchmal noch billiger.

 

[besterino]

Gute Info! Nur leider für meine Haushalts-Hobby-Kasse eine Liga oder auch zwei zu teuer... ;-)

VLANs bräucht ich in der 10GB-Liga wahrscheinlich auch erst einmal nicht. Das, was darüber läuft, wird eh im gleichen Netz hängen. Und einen Port eines 10GB-Switch (wenn ich denn mal einen kaufen sollte) würde ich an meinen 1GB-HP-Switch hängen und dann bei Bedarf darin ggf. ein VLAN einrichten.

 

[knatterhorst]

Auch mindestens eine Erwähnung Wert:

Adapter von Chelsio. Die sind sowohl preislich als auch qualitativ nochmal ne Liga über Emulex.

Da auch Heimnutzer oft Server mit ZFS und damit verbunden oftmals FreeBSD benutzen sollte man auf jeden Fall Chelsio erwähnen. Die haben dort nämlich besten Support, sie funktionieren sogar besser als Adapter mit Intel-Chips und kommen im Gegensatz zu diesen auf Wirespeed.

Kosten aber wirklich sehr viel, gibt auch diverse Varianten, was noch zusätzlich für Verwirrung sorgen kann.

Die aktuellste Version in Base-T Variante:
T520-BT | Chelsio Communications
http://geizhals.de/470489875

Die Vorgänger gibts ab und zu auf Ebay, immer noch recht teuer aber natürlich VIEL günstiger als das neue Modell neu zu kaufen.

 

[gea]

Zwischen Homeuser und den Anforderungen von Daimler oder einer großen Uni gibt es viele Abstufungen. Dies ist zwar das Home(..) Forum, ähnlich wie bei ZFS hat es aber auch viele 10 Gb Pro User. Und die schreckt ein 12k Euro Macpro oft genausowenig wie ein 48 x 10Gb Switch für 5k Euro.

Insofern sehe ich auch das Home im Titel des Threads.
Es gibt eben auch professionelle und teure SoHo/Home/Pro User Lösungen und Firma/Geiz ist Geil Lösungen die nur einen Bruchteil kosten.

 

[besterino]

Chelsio hinzugefügt.

@gea: schon klar, das war eher so eine persönliche Note. Umgekehrt wollte ich die eher professionellen Angebote aber nicht in den Startpost aufnehmen - wer nach sowas sucht, macht sich im Zweifel wohl auch "professioneller" schlau. Hinzu kommt, dass ich ehrlich gesagt nicht die Zeit über habe, mich auch darin noch so einzufuchsen, dass ich das sinnvoll pflegen könnte). Daher sollte Dein Posting aber auch auf jeden Fall bei einer etwaigen Verschmelzung mit dem anderen Fred übernommen werden!

 

[besterino]

Bin mir noch nicht sicher, ob das in den Startpost passt (eher speziell bzw. nicht allein nur für 10Gbase-T relevant) und wenn ja, wie man das dort sinnvoll unterbringt.

OMNIOS 10GB TREIBERSETTINGS (am Beispiel: Intel x540) (gilt vielleicht für Solaris insgesamt?)

Konkret: Jumbo Frames
Für mich (ich wiederhole mich: Solaris Laie) war es ein gewisser Kampf, die Jumbo Frames unter OmniOS zu aktivieren (Bare-Metal Installation, also ohne HyperVisor wie ESXi, Proxmox & Co.).

Zunächst hatte ich OmniOS / Napp-It (wg. ZFS) nach der Napp-It Anleitung (ab Seite 7 der PDF) installiert (Bare-Metal, also ohne Hypervisor wie ESXi, Proxmox & Co.). Dabei war ich streng nach der Reihenfolge in der Anleitung vorgegangen und hatte daher zunächst noch nicht für die 10Gbit-Karte direkt die MTU für Jumbo Frames gesetzt.

Das nachträglich über mit dem "ifconfig"-Befehl nachzuholen schlug fehl mit der Fehlermeldung:

$ ifconfig ixgbe0 mtu 9000
ifconfig: setifmtu: SIOCSLIFMTU: ixgbe: Invalid argument

Im Ergebnis musste ich das Interface erst einmal wieder löschen, dann die MTU setzen und die Default-MTU im Treiber in der ixgbe.conf auf 9000 setzen, und am Ende dann das Interface wieder "in Betrieb nehmen. Ehre wem Ehre gebührt; die Lösung habe ich aus diesem Beitrag und den dazu gehörenden Kommentaren (insbesondere dem letzten...). Musste das halt nur von dem e1000g1 auf ixgbe für meine x540-T2 NIC ummodeln.

Will man also die x540-2 gleich mit Jumbo Frames in Betrieb nehmen, muss man nach meiner Erkenntnis also folgendes machen:

1. Default MTU festlegen
Zunächst sollte man die Standard-MTU für die Karte (konkret: Chipsatz) im Treiber festlegen. Hintergrund: ich kann mit dem ifconfig Befehl auf meinem System als höchste MTU nämlich nur die im Treiber als default angegebene MTU angeben. Sonst wirft ifconfig immer die oben angegebene Fehlermeldung aus. Also wenn 9000 als Default angegeben ist, kann ich nicht mit ifconfig z.B. mtu 10000 vorgeben. Kleinere Werte (also zurück auf 1500) gehen komischerweise.

Um die default MTU zu ändern, muss man in /kernel/drv/ixgbe.conf folgenden Eintrag vornehmen (Beispiel MTU 9000):

default mtu = 9000;

[/QUOTE]

2. Karte in Betrieb nehmen
Nach dem Schritt "dladm show-link" der Napp-It Anleitung die MTU setzen:

$ dladm set-linkprop -t -p mtu=9000 ixgbe0
$ dladm set-linkprop -t -p mtu=9000 ixgbe0

Rest weiter entsprechend Napp-It Anleitung:
$ ipadm create-if ixgbe0
$ ipadm create-if ixgbe1
$ ipadm create-addr -T static -a 192.168.178.1/24 ixgbe0/v4 // Beispiel für statische IP auf Port 1
$ ipadm create-addr -T dhcp ixgbe1/dhcp // Beispiel für DHCP auf Port 2
...

Hat man den MTU-Schritt vergessen und ifconfig will es nicht richten (wie bei mir), muss man die Interfaces erst wieder löschen und wieder "von vorn" anfangen:

$ ipadm delete-if ixgbe0
$ ipadm delete-if ixgbe1 
...Rest wie oben...

Kontrolle: Ifconfig zeigte nach einem reboot brav bei beiden Interfaces die richtige MTU 9000.

@gea: Du scheinst Dich mit Solaris & Co. und 10GBE ja ziemlich gut auszukennen, bestimmt gibt es dafür noch einen eleganteren Weg oder man kann vielleicht auch Schritte weglassen (habe zum Beispiel nicht ausprobiert, ob es reicht nur die default MTU im Treiber zu setzen wenn man das vor der Konfiguration der Interfaces macht).

- - - Updated - - -

Und weiter geht's, hat noch einen gewissen "Platzhalter" bzw. "Merkposten"-Charakter:

WINDOWS 10GB TREIBERSETTINGS (Beispiel: Intel AT2 Server Adapter)
Die interessantesten Treibersettings (weil potentiell größter Performance-Gewinn) sind nach meiner bisherigen Erkenntnis folgende:

1. Jumbo Frames
Heißen leider je nach Windows-Version und Treiber wohl auch mal unterschiedlich (z.B. auf deutsch auch gerne mal: "Grossrahmen" - was'n Scheiß...). Würde hier den Wert 9000 wählen.

2. Receive Side Scaling
Irgendwo habe ich gelesen, dass man die Anzahl der verwendeten Kerne in den Einstellungen auf die Zahl der Physischen und Virtuellen (Hyperthreading) Kerne setzen soll. Bei mir stand's für den Intel AT2 Server Adapter standardmäßig auf "2" Kernen und eine Erhöhung auf meine 8 Kerne hat keine Leistungsverbesserung gebracht...

3. RDMA?
Habe ich noch keine persönlichen Erfahrungen mit gemacht, insbesondere habe ich noch gar nicht verstanden, ob sich das bei unseren Standardanwendungen (Streaming, File Copy) überhaupt lohnt...

EDIT: nach nochmaligen Überfliegen ist das vielleicht zu detailliert/unübersichtlich, die einzelnen Settings je nach OS aufzugliedern. Glaube, es bietet sich - wenn überhaupt - eher eine allgemeine Einführung zu Treibersettings an (Jumbo Frames, RSS, RDMA usw.) und ggf. geht man dann noch auf gewisse Besonderheiten ein, die einem so begegnet sind.

 

[besterino]

Meine eigene "10GB-Infrastruktur" ist jetzt zunächst einmal final und auf dieser Hardware beruhen meine persönlichen Erfahrungen / zukünftigen Tests.

Ich habe jetzt im Einsatz mit 10GB (dann muss ich das nicht jedes Mal dazu schreiben):

1. Dell T20 (Hauptserver)
Hardware: Xeon v1225v3, 32GB ECC, Dell Powerraid Perc H200 (LSI crossflashed), 4x4TB WD Red (Daten), 2,5" 1TB Samsung HDD (OS/boot), Samsung 230 256GB SSD (VMs), x540-T2 (unterer Slot, also "nur" x4 PCIe 2.0), Optional: 1x1TB + 1x2TB + 1x3TB in externem Gehäuse am 2. Strang des Powerraid (zurzeit als "kalte" Daten-Backups).
OS: Hyper-V Server Technical Preview 2
VMs: Windows 10 Enterprise, Ubuntu 14.04.2 LTS 32 Bit (Gen1 / VPN-Server), Ubuntu 14.04.02 LTS 64Bit (Gen2, ZFS-Fileserver)
10GB-Netz: Direktverbindungen mit x540-T2 mit einem Port an Workstation unter 3. und einem Port am Gen8 unter 2.

2. HP Microserver Gen8 (Backup / Testserver)
Hardware: Celeron G1610T (demnächst Xeon 1220L), 8GB ECC, 4x1TB 3,5" Samsung HDD (Daten), Cruzer 8GB USB 3.0 Stick (OS/boot), x540-T2
OS: OmniOS mit Napp-It (bare metal)
10GB-Netz: Direktverbindungen mit einem Port am T20 und zurzeit einem Port an der Testmaschine bzw. "for future use".

3. Workstation (eher: Gaming-Kiste)
Hardware: i3770K, 32GB non ECC, Samsung 840 Evo 500GB (boot), 1x2TB und 1x1TB 3,5" Daten HDD
OS: Windows 7 Ultimate (in naher Zukunft Windows 10 Pro)
10GB-Netz: Direktverbindung mit Intel AT2 am T20 unter 1.

4. Testmaschine (Client)
Hardware: Core 2 Duo e8500, 8GB non ECC, 1alte 3,5" HDDs (glaub 500GB oder so)
OS: Wechselnd / diverse
10GB-Netz: mit Intel AT2 am Gen8 unter 2.

Die Darstellung der logischen Netzstruktur (Subnetze, Routing usw.) schenke ich mir für's erste, weil sich die im Zweifel eh noch x-mal ändern wird.

Ich will eigentlich die "großen" Programme von den Disks in der Workstation auf den T20 auslagern (so dass ich theor. die Workstation auf die Boot-SSD als einzige eigene Platte beschränken könnte). Theoretisch ist ja die 10Gbit-Verbindung mit dem Raidz schneller als die einzelnen großen Daten-Platten in der Workstation selbst. (Die Programme sollen dort dann aber in einem eigenen ZFS-Filesystem liegen, das z.B. nicht von einem Backup erfasst sein wird.)

Bin mir jetzt noch unschlüssig, wie ich dieses Filesystem an die Workstation verbinde, also über SMB, NFS oder iSCSI. Zunächst eingebunden als SMB-Laufwerk bekomme ich bei Tests (CrystalDiskMark bzw. Kopieren großer Dateien) um die 300-350MB/s raus. Dabei fällt allerdings beim Kopieren einer 20GB-Datei die Verbindung gegen Ende auf ca. 190MB/s ab. Wäre aber immer noch schneller als eine einzelne große HDD in der Workstation selbst.

Was ich noch nicht ganz verstanden habe: Auswirkung/Notwendigkeit mehrerer TCP-Verbindungen, um 10Gbit voll auszureizen. Wenn ich das irgendwo richtig aufgeschnappt habe, kann OmniOS/Solaris z.B. nach meinem Verständnis bei iSCSI nur 1 TCP-Verbindung pro Client? Wie sieht das mit NFS aus? Wie unter Linux (mit iSCSI / NFS / SMB) oder Mischkonfigurationen?

Will/muss mich jetzt also mal näher mit SMB, NFS und iSCSI auseinandersetzen. Dabei würde ich mich in erster Linie auf Microsoft (Windows 7 / 10; (Hyper-V) Server 2012R2, Technical Preview 2), Linux (Ubuntu) und OmniOS konzentrieren wollen, da ich diese selbst einsetze / vorhabe einzusetzen. Will aber nicht zu viel versprechen, meine Freizeit ist begrenzt...

Mein derzeitiger Stand mit der Workstation von ca. >300MB/s lesend/schreibend auf einer Linux VM mit ZFS unter Hyper-V stimmt mich aber grundsätzlich zuversichtlich.

Link(s):
Überlick zu den unterschiedlichen SMB-Versionen

EDIT: ich würde ja gerne mal "fully featured SMB3" mit "all the bells and whistles", also RDMA, RSS, Multipath & Co. ausprobieren, daher u.a. auch meine Spielereien im Gen8 Sammelthread, ein aktuelles Windows (Hyper-V) auf 'nem USB-Stick / SD-Karte installiert zu bekommen. Zusätzlich / alternativ kommt halt irgendwann Windows 10 auf die Workstation... allerdings wird am Ende wohl das Storage limitieren...

 

[besterino]

Vorschlag für eine Tabellenform im ersten Post:

Nr.	NIC/HBA	Chipsatz	Windows Desktop	Windows Server	Linux Desktop	Unixoid Server	MAC OS	Anmerkungen
1.	Intel x540-T1/2	Intel x540	>=Vista	>=2003, Technical Preview 2	>=Kernel 2.6.25, Kernel 3.x	>=RHEL 5, SLES 10, FreeBSD 9, ESX(i), OmniOSr151014		Eine der aktuellen Standard-NICs; Chipsatz auch auf einigen Mainboards enthalten; aufpassen 1 für Ebay-Jäger: gibt es auch als embedded version ohne PCIe - die bringt uns Normalos nichts!; aufpassen 2 für Leisetreter (insb. bei Ebay): gibt es lüfterlos und mit Lüfter (Dell-Modell, oft dafür billiger als orginal-Intel)!; aufpassen 3: gibt es auch als sog. "bypass" Version mit besonderen Features gegen Ausfälle (keine Ahnung ob dafür andere Funktionen der normalen NIC NICHT vorhanden sind)

Übersichtlicher?

 

[gea]

Nur am Rande: 10 Gb Einstellungen unter Solaris/ OmniOS, siehe
Setting Datalink Properties - Oracle Solaris Administration: Network Interfaces and Network Virtualization

Wichtig
- ifconfig ist obsolet, ist nur noch historisch bedingt da und vieles lässt sich damit nicht mehr einstellen.
Einstellungen werden nur noch über die neuen Admin tools wie dladm oder ipadm vorgenommen.

- Wenn man von den default Einstellungen eines Treibers abweichen möchte,
so geht das über die /kernel/drv/"treiber".conf. Bei 10G Intel z.B. über die /kernel/drv/igb.conf

Da gibt es den Abschnitt:

# -------------------- Jumbo Frame --------------------
# default_mtu
#	The size of the default MTU (payload without the ethernet header)
#	Allowed values:	1500 - 9000
#	Default value:	1500
#
# default_mtu		= 1500;

Damit lassen sich Treibervoreinstellungen verändern.
Ich würde da aber nicht die default MTU höher setzen, sonder allenfalls die "Allowed values" aktivieren
(meist nicht nötig, da dies per default so eingestellt ist)


Da die MTU eine grundlegendes Verhalten ist, muss es als erstes gesetzt werden.
Vorgensweise ist also: delete-if, set mtu, create-if

Achtung
Oracle hat bei Solaris 11.2+ das frühere ipadm create-if und ipadm delete-if auf create-ip und delete-ip umbenannt. (was ja eigentlich richtiger ist). Illumos und alle älteren Solaris nutzen aber nach wie vor create-if und delete-if


Alternativ kann man auch einfach die MTU setzen und den Netzwerkdienst neu starten

svcadm restart network/physical:default

Letzeres mache ich in meiner Web-Gui im Menü System >> Network Eth
Da lässt sich das Netzwerk konfigurieren. Zum Ändern der MTU auf den aktuellen Wert klicken.
Dabei werden mögliche Werte angezeigt. Steht da nur 1500, dann "Allowed values" in der driver.conf anpassen.


zm SMB und Solaris
- SMB 3 geht mit SAMBA4 auf allen Plattformen (wobei ich den Solaris CIFS Server bevorzuge)

mit Solaris CIFS gibts:
- SMB 2.1 mit NexentaStor4
- SMB 3 soll mit NexentaStor5 kommen

- Oracle Solaris 11.2 hat SMB 1
- Oracle Solaris 11.3 hat SMB 2.1 (Beta verfügbar)

- OmniOS hat SMB 1
Gordon Ross@Nexenta arbeitet aber daran SMB 2 in Illumos zu integrieren.
Dann wird es auch in OmniOS verfügbar.

SMB2+ ist vor allem für ein schnelles Netz unter OSX nötig.
Da ist SMB1 sehr schlecht implementiert. Erst mit SMB2 wird es da schnell (ähnlich schnell wie AFP).

 

[thor17]

Also ich find's klasse, dass sich jemand gefunden hat, der sich mal dem 10GBase-T Standard widmet. Und seien wir doch mal ehrlich, für Heimanwender und Unternehmen die bereits eine Infrastruktur mit Kupferkabel haben, ist das doch die beste Lösung. Ich seh's ja bei mir im Betrieb, da wird demnächst das ganze Netzwerk umgefrickelt, aber da schreit keiner laut nach Glasfaser...es möge ja nichts kosten...
Wie auch immer, der andere 10GBE Thread ist uralt und total zugemüllt, der Eingangspost wurde seit Jahren nicht aktualisiert, 10GBase-T findet dort kaum Erwähnung. Deshalb halte ich einen neuen Thread für sinnvoll. Über den Sinn, Kupfer von Glasfaser zu trennen kann man streiten, aber ein neuer und LEERER Thread ist endlich mal notwendig.

 

[besterino]

@gea: vielen Dank! War mir z.B. irgendwie überhaupt nicht bewusst, dass man auf Solaris auch Samba nutzen kann (anstatt dem Hauseigenen CIFS-Server)...

Was anderes: Will ja bisserl Performance testen:

Ich hab jetzt mal testweise auf dem Gen8 (oben 2.) ein zweites ZFS-Filesystems angelegt. Jetzt ist ein Filesystem im Netz nur shared via SMB, das andere nur via NFS. Allerdings alles mit NFS- bzw. SMB-Standardsettings von OmniOS (um da ggf. zu optimieren muss ich mich noch tiefer einlesen).

Entsprechend auf der Windows-Testbox (oben 4., zurzeit mit Windows 10 Enterprise wg. MS NFS Client Funktionalität) je share einen eigenen Laufwerksbuchstaben ( SMB=W: - NFS=V: ) angelegt und interessante Ergebnisse (alle CrystalDiskMark):

NFS:


SMB:


Bei NFS hakt also wohl noch irgendwas gewaltig. Btw. zu den insgesamt recht niedrigen Werten (für 10GB =): mein Storage im Gen8 ist insgesamt ziemlich lahm (wie gesagt, 4 recht alte Samsung HDDs).

Ich hätte jetzt gern die Kombination aus den Lesespeeds von NFS und der Schreibgeschwindigkeit von SMB... mal schauen, was bei iSCSI rauskommt...

EDIT - iSCSI ausprobiert:

Unter OmniOS ist iSCSI nicht standardmässig installiert. Also musste ich das wie folgt nachholen und aktivieren:

$ sudo pkg install pkg:/network/iscsi/target
$ sudo reboot
$ sudo svcadm enable -r svc:/network/iscsi/target:default

Danach konnte ich dann unter der Napp-it Oberfläche für mein extra eingerichtetes 3. Filesystem iSCSI aktivieren. Auf meinem Windows 10 Client habe ich es dann anhand dieser Anleitung eingebunden und erscheint problemlos jetzt nach Partitionierung und Formatierung (mit NTFS) als neues Laufwerk (N.

Und das sagt CrystalDiskMark:

iSCSI


(Krass: Random Read 4K-QD32 - was'n hier los?)

Nächste Test-Reihe: Das gleiche mal mit dem T20 + Linux + ZFS in der VM und dem Win7 Client... wenn ich meine Programme auf mein Storage auslagern will, scheint also iSCSI bis hierher die beste Lösung zu sein, da ich bei diesem Einsatzzweck ja eher lesend als schreibend auf das Volume zugreife. Außerdem zicken manche Programme, wenn man sie von einem Netzlaufwerk startet, bei iSCSI sollte das kein Problem sein, da sich das iSCSI-"Share" wird ja nicht dem System als Netzlaufwerk zu erkennen gibt.

Disclaimer und offenes Wort zum eigenen Unvermögen: ich begebe mich hier in vielerlei Hinsicht in für mich echtes Neuland. Ich verwende - abgesehen von bestimmten Treibersettings (die für alle Tests aber die gleichen waren) - immer nur Standardeinstellungen für SMB/NFS/iSCSI. Auch meine Kenntnisse zu ZFS sind noch oberflächlich. Z.B. bin ich mir fast sicher, meinen Pool im T20 für 512k-Sektoren konfiguriert zu haben, obwohl die Platten 4096k-Sektoren haben dürften. Insgesamt liegt da also noch viel Performance brach...

Sich das alles anzulesen, kostet halt doch ziemlich Zeit und da ich beruflich was ganz anderes mache, dauert's halt was länger...

 

[gea]

Unter OmniOS ist iSCSI nicht standardmässig installiert. Also musste ich das wie folgt nachholen und aktivieren:

$ sudo pkg install pkg:/network/iscsi/target
$ sudo reboot
$ sudo svcadm enable -r svc:/network/iscsi/target:default

Danach konnte ich dann unter der Napp-it Oberfläche für mein extra eingerichtetes 3. Filesystem iSCSI aktivieren. Auf meinem Windows 10 Client habe ich es dann anhand dieser Anleitung eingebunden und erscheint problemlos jetzt nach Partitionierung und Formatierung (mit NTFS) als neues Laufwerk (N.

Nach der Installation von Solaris/OmniOS + napp-it ist alles rund um iSCSI, NFS und SMB installiert.
Man muss aber noch im Menü Services ->> Comstar die iSCSI Dienste starten.
NFS und SMB startet automatisch wenn man ein Share aktiviert.

Zur Performance vor allem bei 10GbE
Ohne Tuning kommt man auf 300-500 MB/s. Je dümmer ein Protokoll desto schneller,
also iSCSI >= NFS > SMB , mal Sonderfälle wie OSX oder SMB2 Optimierungen ausser acht gelassen.

Die erste Tuningmassnahme sind Jumbo Frames weil damit mehr Nutzdaten übers Netz gehen -
da müssen aber Server, Switche und Clients angepasst werden.

Ansonsten ist bei ZFS zu beachten ob die Dateisysteme auf sicherem oder schnellem Schreiben eingestellt sind, das wird bei SMB und NFS über die ZFS Eigenschaft sync eingestellt. Für Vergleiche sync=disabled einstellen (sync=disabled bedeutet schnelles Schreiben, bei einem Stromausfall können die letzten Sekunden verloren gehen) Bei Voreinstellung sync=default wird unter NFS und ESXi sync=on benutzt, unter SMB kein sync benutzt.

Eine vergleichbare Einstellung gibt es bei iSCSI mit writeback cache.
On bedeutet schnell und off bedeutet sicher.

Für Performance Vergleiche daher
sync=disabled und writeback cache=enabled einstellen.

 

[besterino]

So, habe mit etwas Fummelei nun iSCSI auch unter meiner Ubuntu-ZFS-VM zum Laufen bekommen.

Ergebnis Windows 7 --> ZFS@UbuntuVM@Hyper-V

SMB:


iSCSI:


Performancemäßig aber noch keine Alternative zu SMB (beim Schreiben).

Zwischenfazit: Für Windows ist SMB "out-of-the-box" am einfachsten.

 

[besterino]

Nachtrag (etwas off-topic): Wollte mal wissen, wie eigentlich die Perfomance innerhalb meines Hyper-V-"Netzes" ist (über einen rein internen virtuellen Switch).

CDMark in einer Win10VM auf die gleiche UbuntuVM wie oben über SMB:


Da würde ich mittelfristig gerne hin auch über das "externe" Netz...

 

[danielmayer]

@besterino: Tabelle sieht m.E. gut aus, das Bemerkungsfeld erlaubt übersichtliche Nachträge in den kommenden Monaten.
Bei deinen Transferraten: Von wo nach wo? Das schnellste Lesegerät dürfte seq der Red-Verbund und die Samsung SSD sein, mit etwa 450MB/s. Deine (hohe) VM-interne Geschwindigkeiten kann ich aus deiner Hardware jedenfalls nicht herleiten.
Warum es beim Schreiben so hakt, sollte man unter direkten Konfigurationsanalysen prüfen: Eher nicht in diesem Thread.

 

[besterino]

@Danielmayer

Die Tests auf der Seite 1 im Thread waren alle wie folgt: CDMark auf der Testkiste aufgerufen und auf dem ZFS-pool des HP Microserver Gen8 mit OmniOS laufen lassen. Der Pool bzw. die Filesystems waren lokal gemounted mit unterschiedlichen Laufwerksbuchstaben (eben jeweils mal über NFS, SMB oder iSCSI). Der POOL hier besteht aus 4x1TB Samsung HDDs.

Bei dem Windows7 Tests auf der Seite hier war es genauso, nur dass hier der Pool (4x4TB WD Red) über ZFS on Linux in einer Ubuntu-VM unter Hyper-V auf dem T20 bereitgestellt wird. Die SSD wird für den Pool nicht genutzt, da liegt nur die VHD der Ubuntu-VM drauf.

Der VM-interne Test war wieder nur eine kleine Abwandlung. Anstatt des Windows7 PCs habe ich CDMark in der Win10VM aufgerufen, die auf dem gleichen Hyper-V auch auf dem T20 läuft. Und natürlich diente keine Hardware-NIC als Bindeglied, sondern nur der virtuelle Hyper-V Switch.

Die HDDs im T20 können in der Tat nicht knapp 900MB/s liefern. Offenbar verfälscht irgendein caching oder eine sonstige Einstellung die Ergebnisse hier. Und/oder die Hyper-V Treiber spielen da irgendwie rein.

Als nächstes hänge ich mal die Testkiste an den T20 und den Win7PC an den HP. Vielleicht bringt das ja etwas Aufschluss.

Aber das wird jetzt in der Tat zu speziell für den Thread hier. Was wäre denn der richtige Ort für Konfigurationsanalysen?