[Sammelthread] 10Gbit Homenetzwerk

[michathe]

Ich hab mir nen alten Staubsauger umgebaut - mit adaptern für die verschiedenen Rohrgrößen, funktionierte bisher auf max. 140m sehr gut, als Einzugsschnurr haben wir erst eine Metzgerschnurr mit dem Sauger angesaugt und dann ein stabileres Seil mit nem 2ten backupseil durchgezogen, daran dann erst das eigentliche Kabel, schmieren half auch ganz gut - so für die quick&dirty-methode zu Hause ganz ok.

Ich hab mir jetzt einfach Leerrohre besorg in denen bereits ein Zugdraht eingeführt wurde, somit spare ich mir die Probleme.

Ich werde nachher mal versuchen den LWL einzuzihen, wenns klappt kommt die Leitung morgen in den Garten.

 

[Shiga]

Was ist das für ein Bullshit, dass immer Apple teurer ist?
Eine MacPro genau gleich konfiguriert wie eine Z-Workstation von HP ist günstiger als das Konkurzenzprodukt.
Dazu kommt der lange Software Support von Apple.

 

[linuxlebt]

Was ist das für ein Bullshit, dass immer Apple teurer ist?
Eine MacPro genau gleich konfiguriert wie eine Z-Workstation von HP ist günstiger als das Konkurzenzprodukt.
Dazu kommt der lange Software Support von Apple.

Ne gute Workstation ist nie billige. Ne gute Z840 kostet auch gut und gern 18k.
Mit einem Mac Pro lässt sich das aber (find ich) nur bedingt vergleichen, denn wenn man will läuft die Z840 dem Mac Pro in jedem Fall davon, allerdings gibts eben bestimmte Sonderfälle in dem OSX halt schon Vorteile hat.
Und wenn du den Mac Pro erweitern willst, kostet halt ein TB->PCIe-Gehäuse immer Geld, ne ganze Ecke sogar.

Aber wenn du einen Job hast, dann ist das halt manchmal egal...

 

[thomas19]

Hab inzwischen eine Lösung für mein Problem aus diesem Post. (hat ja lang genug gedauert^^)
Kurz nochmal das Problem mit Linux Kernel damals: 4.1.12 und Brocade Firmware-Version: 3.2.5.1:
dmesg: [ 160.270900] bna: enp1s0f2 0 TXQ_STOPPED

jetzt: Kernel 3.14.56 und Brocade Firmware-Version: 3.2.3.0:
keine Probleme mehr
Ich schau demnächst mal genauer nach woran das liegt.

 

[besterino]

Merci für die Rückmeldung!

 

[danielmayer]

Spannend. Anscheinend haben die Linux-Kernel-Jungs ab 3.15 richtig was zerdeppert: Ich schaffe es nicht, in meinem Server eine Dual-Port-4G-Fiberchannel-PCIe zum Laufen zu bekommen. Und zwar interessanterweise auch: Bis einschl. 3.14.x alles gut, seit dem 3.17.x (.15 und .16 nicht probiert) kein Booten möglich, bis einschließlich 4.4rc8. Bei Single-Channel-Karte alles gut. Ich habe Qlogic QLE2462 (DualPort), Emulex Lpe12000 (DP) und Emulex LPe1150 (Single) ausprobiert... Ist wegen FC hier leider offtopic. Ich fand den Zufall der >3.14 aber interessant...

 

[danielmayer]

Kleine Teaser für Freaks: Meine "Standard-Dose" für den Neubau steht. Allerdings mit dem bereits gemeldeten Problem des langen Knickschutzes und der Kabelverlegung. Leider muss ich nun mal eine Leitungsplanung des Hauses abwarten (März-April), bis es weitergehen kann.

 

[besterino]

Nett! Bei nächsten Haus würde ich mir gerne an strategischen Stellen sowas wie diese kombinierten Unterputz RJ45/WiFi-Dosen einbauen, ob PoE oder normal wäre mir wohl egal. Das finde ich mal echt ne schlaue / platzsparende und kabelsalatvermeidende Lösung, aber gibbet - soweit ich das sehe - leider nur für 100mbit, nichtmal 1gbit und schon gar nicht 10gbase-T (CAT6a). Aber bis zum nächsten Hauskauf (if any) hab ich noch Zeit...

 

[thomas19]

Spannend. ... Ich fand den Zufall der >3.14 aber interessant...

Muss dich leider enttäuschen.
Inzwischen den Linux Kernel 4.0.9 zum Laufen bekommen.
Ich glaube, das Problem, zumindest bei mir liegt daran, dass ab Linux Kernel 4.1.x die neue Firmware(3.2.5.1) geladen wird[1], die bei mir nicht gehen will.
Aber warum es genau nicht geht, kA.
Wenn noch wer Vorschläge hat, was ich zu Debugging Zwecken testen kann, oder es mit einem Kernel >4.0.x geht, her damit

[1]: Linux/drivers/net/ethernet/brocade/bna/cna.h - Linux Cross Reference - Free Electrons vgl. Linux/drivers/net/ethernet/brocade/bna/cna.h - Linux Cross Reference - Free Electrons

 

[danielmayer]

Da kann ich vielleicht einen Tipp geben: Der Kernel 4.2.x hat bei mir nicht die Firmware 3.2.5.1 laden wollen sondern gemäß Hardware-Firmware müssen: Und mit Konflikt abgebrochen.
Denn in den Kernel-Treibern (4.2.x) wird ausdrücklich die Version 3.2.3.0 genannt und leider nicht dynamisch anhand der Kartenfirmware ermittelt, ich glaube in einer "bnac.c" oder ".h"-Datei ziemlich am Anfang. Musst Du dich mal durch die drivers/net oder drivers/scsi wuseln und die Datei aufstöbern...Ich hatte das Problem auch und damit gelöst: Kernel-Patching
Wenn Du das bei den drei geforderten Firmwaredateien auf 3.2.5.1 änderst (die Firmware-Dateien sollten in lib/firmware sein) funktioniert das.

@besterino: Natürlich ist daneben mind. 1x2xRJ45 vorgesehen. Allerdings bin ich Überzeugungsgegner zu WLAN, das ich nur für Tablets/Mobile toleriere. "Arbeiten" kann man damit nicht, ich habe beim PC ständig Verbindungsabbrüche bei ca. 5m Entfernung ohne Blockade... Nein, im Haus wird jeder PC mit 10G versorgt, die 1G/RJ45 sind für AV-Receiver, Sat-Box, Internetradio,etc.

edit: 240€ für ne Unterputz-WLan-AP-Dose auf b/g/n??!! Nuuun,... wer Geld hat...

 

[besterino]

Ne, zurzeit sind die Dinger keine Option. Technisch veraltet und dabei viel zu teuer.

 

[[mv]payne]

Das mit dem Knickschutz runter ziehen schon probiert?

 

[danielmayer]

Jein. Mein IT-Leiter hält mich jetzt schon für unzurechnungsfähig Ich muss mir noch die Leerrohr-Muster und ein paar Unterputz-Non-Hohlwand-Dosen holen für den Check.
Könnte aber ein Design-Fehler der Blende sein: Evtl. besser, die MPO und LC-Adapter in gleicher Richtung untereinander setzen?

 

[Cookie1990]

IT-Leiter? Baust du privat oder den neuen Firmensitz? XD?

 

[thomas19]

danke,
also in der bfa/bfad.c steht noch was von cbfw-3.2.3.0.bin, ctfw-3.2.3.0.bin und ct2fw-3.2.3.0.bin. Aber oben im Kommentar steht was von "Linux driver for Brocade Fibre Channel Host Bus Adapter".
Hat das was mit meinem Problem zu tun?
In der bna/cna.h ist aber schon alles auf ctfw-3.2.5.1.bin und ct2fw-3.2.5.1.bin.
Mit ethtool -i Interface kann man ja die Firmware Version abfragen, und sobald da 3.2.5.1 bei mir steht, kommen die Fehler.

 

[danielmayer]

Ja: die bfad.c ist es. Ich hatte vor wenigen Tagen selbst nachgeschaut. Ändere die 3.2.3.0 auf 3.2.5.1 in allen drei Strings und übersetzte das Modul neu. Ich habe auf meinen Karten mittlerweile 3.2.6.0 und das läuft mit der 3.2.5.1 soweit feststellbar gut.
Tatsächlich ist es das Modul für den Fibre-Channel-Betrieb. Jedoch wird nur für diesen überhaupt Firmware geladen, und zumindest bei mir sind die Fehlermeldungen der bna damit auch verschwunden...
Es ist kein Profi-Tipp, sondern eher ein workaround-by-try.

 

[thomas19]

Okay, ich werde das heute Abend mal testen,
welchen Kernel benutzt du aktuell?
Und wie hast du die Karten-Firmware-Nummer, also die 3.2.6.0, ausgelesen? Soweit ich mich erinnern kann hab ich die Karten selbst geupdatet.
Werden die Kühlkörper bei deinen Karten auch so heiß? Bei mir ist relativ wenig Airflow im Gehäuse, aber im Betrieb, kommen die Karten auf geschätzt 60°C.

 

[danielmayer]

Ja, die Karten sind eigentlich für Server mit einem ordentlichen Front->Back-Durchzug gedacht. Die werden ziemlich warm, sind aber derzeit bei mir nicht im regulären Einsatz.
Die Firmware wird beim Booten doch gut angezeigt Der 3.2.6.0-Stand ist neu, erst im Dezember veröffentlicht.
Derzeit Kernel 4.4-rc8 - ich kam noch nicht zum Update auf die final.

 

[Spen]

Versteh ich das richtig und man ist mit folgenden Komponenten im Rennen?:

- 2 x Synology E10G15-F1 (Synology E10G15-F1, 1x 10GBase SFP+, PCIe 3.0 x4 Preisvergleich | Geizhals Deutschland) für je ~135€
- 1 x Cisco Twinax SFP+ Direct Attach Kabel, passiv, 2m (Cisco Twinax SFP+ Direct Attach Kabel, passiv, 2m (SFP-H10GB-CU2M) Preisvergleich | Geizhals Deutschland) für ~60€
=> 330€

Oder

- 2 x ASUS PEB-10G/57811-1S, 1x 10GBase-SR, PCIe 2.0 x8, low profile (ASUS PEB-10G/57811-1S, 1x 10GBase-SR, PCIe 2.0 x8, low profile (90SC05W0-M0UAY0) Preisvergleich | Geizhals Deutschland) für je ~160€
- 1 x Cisco Twinax SFP+ Direct Attach Kabel, passiv, 5m (Cisco Twinax SFP+ Direct Attach Kabel, passiv, 5m (SFP-H10GB-CU5M) Preisvergleich | Geizhals Deutschland) für ~50€
=> 370€

 

[DunklerRabe]

Die Synology Karte funktioniert vielleicht exklusiv in den genannten Synology Systemen, das müsste man mal prüfen. Und wenn sie auch anderswo funktioniert muss man prüfen, ob DAC Kabel supportet werden.
Und bei der Asus Karte gilt im wesentlichen das gleiche, wobei ich da die Chancen etwas besser einstufen würde.

 

[danielmayer]

Wäre schön, wenn Spen mal die Synology-Karte holt und ausprobiert
Der Chip ist der Tehuti und könnte mit einer hohen Wahrscheinlichkeit mit deren Treiber auch unter Win funktionieren. Wenn die Karte per-se physisch in PCIe passt und nicht diesbezüglich ein Sonderbau ist.
Lt. Homepage Synology sieht es nach Brand-free aus, da z.B. explizit Finisar und Avago-Optics genannt werden.
Die Karte ist also auch für meinen Ausbau interessant. Los Spen, holen, testen und berichten!

Edit: Die Asus-Karte ist mit einem älteren Broadcom-Chip, der zumindest auf meiner 10G-T-Karte einen Haufen Strom frisst.

Edit 2: Die Synology unterstützt das gewählte DA-Kabel von Cisco lt. Homepage

 

[danielmayer]

Ich war dann doch zu neugierig und habe die Synology-Karte vom Schwertfrau-Warehouse geholt:

(Fast) alles gut. Die Karte hat wie vermutet den Tehuti-Chip drauf, kombiniert mit dem - glücklicherweise - vom Tehuti-Standardtreiber unterstützten Q2025-Phy. Karte einbauen, Treiber drüber - läuft. Als optics habe ich hier noch einige Finisar rumfliegen gehabt (die ja im Brocade leider nicht laufen, habe ich gelernt...): ohne Probleme akzeptiert.
Testsystem: Windows Server 2012R2. Der Treiber bietet ab/inkl. Win7 alle gängigen Versionen.

Einziger Wermutstropfen: Low Profile-only...

Performace-Analysen schiebe ich übers WE noch nach, im Zusammenspiel bzw. direct connect zur Brocade.

- - - Updated - - -

edit: Nach Blick auf die "original"-Tehuti 9310-Spezifikation: Die Synology ist baugleich, nur mit blauer Platine statt grün. http://www.tehutinetworks.net/?t=LV&L1=3&L7=5

 

[danielmayer]

(Test1: Interrupt Moderation=on, MTU 1514)

Brocade-Seite=Server
"iperf3 -s" und von der anderen Seite "iperf3 -c 192.168.2.202"
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Accepted connection from 192.168.2.201, port 54116
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 5] 0.00-10.04 sec 0.00 Bytes 0.00 bits/sec sender
[ 5] 0.00-10.04 sec 2.72 GBytes 2.33 Gbits/sec receiver
-----------------------------------------------------------

Interrupt Moderation=off, mtu 9014
-----------------------------------------------------------
Accepted connection from 192.168.2.201, port 54194

- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 5] 0.00-10.04 sec 0.00 Bytes 0.00 bits/sec sender
[ 5] 0.00-10.04 sec 4.85 GBytes 4.15 Gbits/sec receiver
-----------------------------------------------------------

Für einen ersten Lauf bestens: Der "iperf-server" ist ein betagter Opteron 2376 mit DDR2-RAM. Ich bin mir nicht sicher, ob der überhaupt schneller könnte

Test2: Jeweils +0,25Gbit, wenn beide Windows-Firewalls ausgeschaltet sind.

Test3: "iperf3 -s" auf dem XeonE5v3 und "iperf3 -c -w 1M" vom Opteron sieht deutlich besser aus:
Connecting to host 192.168.2.201, port 5201

[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 7.36 GBytes 6.33 Gbits/sec sender
[ 4] 0.00-10.00 sec 7.36 GBytes 6.32 Gbits/sec receiver

 

[The-Master]

Hi, bin sehr interessiert an deinen Infos zur Synology 10G Karte.

Kannst du sagen was die Verbraucht, bzw hast du Messgerät da, um mal zu schauen was da so für Strom gezogen wird?
Meine QLogic haben mir ja leider zu viel gezogen und mussten daher wieder weg. Wenn die Synology einen annehmbaren Verbrauch haben, werde ich die wohl auch mal testen.

 

[DunklerRabe]

4,12 Watt inkl. Transceiver laut Specs, sieht man auch zum Teil an dem fehlenden Kühlkörper auf dem Chip. Wenn du allerdings auf jedes Watt schaust bist du bei dem ganzen Thema nicht so richtig gut aufgehoben

 

[The-Master]

Mit den 4W hab ich kein Problem, die Qlogic waren da ja ein gänzlich anderes Kaliber, die gerne auch mal 30W im Idle gezogen haben.

 

[danielmayer]

Die Karte ist wirklich winzig, kleiner Chip und ohne Kühler. Ich habe noch irgendwo ein Conrad-Stromdingens rumliegen. Am nächsten WE kann ich das mal messen.

 

[The-Master]

Ich habe jetzt einfach mal bei Ebay zugeschlagen, und die Synology NICs gekauft. Habt ihr Tipps, wo es günstig passende LC Multimode SR Transceiver gibt?

 

[teqqy]

Mit welchen Systemen habt ihr denn bis dato die Syno Karten getestet? Wenn ich das recht sehe nur mit Windows, oder?

 

[danielmayer]

"getestet" wäre ein völlig übertriebenes Wort. Ich habe sie bekommen und in die Win2012R2-Workstation eingebaut - läuft. Dann in eine Win10-Testbench. Für mehr hatte ich noch keine Zeit. Nächstes WE...
@The-Master: Ich hatte die Finisar-SFPs bei Ebay mal für <30€ gekauft. Zumindest vor nem Jahr gab es die dort hinterhergeworfen...