[Sammelthread] 10Gbit Homenetzwerk

[deveth0]

Nur falls es jemanden interessieren sollte:
ich habe gerade einen Zyxel XGS1210-12 und einen Netgear GS110EMX hier, kurzer Vergleich:

• Zyxel: 12 Ports (2x 2.5, 2x SFP+), Netgear 10 (2x 1/2.5/10 RJ45)
• Der Zyxel kann im Gegensatz zum Netgear kein LACP
• keiner der Switche kann snmp
• Stromverbrauch
  • Idle ohne Geräte: X 6.2W, N 5.6W
  • 1x 2.5gbe: X 8.1W, N 7.1W
  • 1 gbe + 2x 2.5gbe: X 10.2W, N 8.6W
  • 3x 1gbe + 2x 2.5gbe: X 11.4W, N 9.2W
  • 10gbe kann ich leider noch nicht testen

Also vom Stromverbrauch und der Funktionalität spricht es für den Netgear, dafür hat man beim Zyxel imho eine schönere Verteilung der Ports und der Switch ist mit SFP+ wohl zukunftsfähiger.

Nachtrag: ich hatte auf der Zyxel IEEE 802.3az nicht aktiv, sobald man das aktiviert geht der Verbrauch bei mir knapp 2W runter. Der Netgear hat das soweit ich sehe default aktiv, würde den Unterschied erklären.

 

[Shihatsu]

So, meine China-Mellanox sind angekommen und eingebaut, die Kabel lassen auf sich warten (fs.com meldet Lieferverzug, werde wohl zu Amazon greifen denn ich bin ungeduldig).
Ich bin auf Manjaro unterwegs, gibt es noch irgendetwas das ich vorbereiten kann/soll/muss?
Sauber erkannt wird die Karte, ich kann sie unter ip a und ip link sauber sehen und lspci -nnn -v meldet auch einen genutzten Treiber, ein Transceiver ist eingebaut und wartet auf den Lichtwellenleiter...

 

[aXu]

firmware update evt. bei mir war die firmware aus dem 2013 oder so drauf

 

[Shihatsu]

Ist doch brandneu, ich weiß gar nicht was du hast:

sudo mstflint -d 24:00.0 q
Image type:            FS2
FW Version:            2.33.5220
FW Release Date:       29.3.2015
Product Version:       02.33.52.20
Rom Info:              type=PXE version=3.4.467
Device ID:             4099
Description:           Node             Port1            Port2            Sys image
GUIDs:                 ffffffffffffffff ffffffffffffffff ffffffffffffffff ffffffffffffffff 
MACs:                                       f452145ecca0     f452145ecca1
VSD:                   
PSID:                  MT_1170110023

Danke für den Hinweis, ich mach mich mal ans flashen

Edit: Sieht besser aus:

sudo mstflint -d 24:00.0 q      
Image type:            FS2
FW Version:            2.42.5000
FW Version(Running):   2.33.5220
FW Release Date:       5.9.2017
Product Version:       02.42.50.00
Rom Info:              type=PXE version=3.4.752
Device ID:             4099
Description:           Node             Port1            Port2            Sys image
GUIDs:                 0002c9000100d050 0002c9000100d051 0002c9000100d052 0002c9000100d050  
MACs:                                       0002c9000001     0002c9000002
VSD:                   n/a
PSID:                  MT_1170110023

 

[Freddy Mercury]

Wie sind bei euch die Praxiserfahrungen zur Verschmutzung & Reinigung von Singlemode Glasfasern? Sollte ich vor jedem Verbinden reinigen (konkret LC Stecker), oder nach wie vielen Steckzyklen erfahrungsgemäß?

 

[sch4kal]

Wie sind bei euch die Praxiserfahrungen zur Verschmutzung & Reinigung von Singlemode Glasfasern? Sollte ich vor jedem Verbinden reinigen (konkret LC Stecker), oder nach wie vielen Steckzyklen erfahrungsgemäß?

Dann wenn die optischen Pegel nicht mehr zur Strecke passen. Professionelles Umfeld: bei jedem Patch, @Home: dann wenn die Verbindung nicht hoch kommt oder flappt/ zu hohe Errorcounts/Retransmits. Wie oft hast du denn vor da rum zu stecken ?

 

[Freddy Mercury]

Ich habe noch gar keine Erfahrungen, deshalb frage ich. Habe zuhause bei einer Renovierung mehrere Unterputzdosen installiert mit je einer RJ45 (Cat6e Kupfer) + Singlemode LC (OS2). Es wird wohl eher selten Gerätewechsel geben. Ich wollte einfach mal einen Eindruck bekommen, ob man dann jedes mal säubern sollte. Es geht mir um die Größenordnung, wie empfindlich das Zeug ist...

 

[besterino]

Ich hab meine noch nie gereinigt... wenn ich die länger nicht nutze, mach ich die Schutzkappen drupp und sonst nix.

 

[sch4kal]

Auf der anderen Seite sind Reinigungsstifte beim FS mittlerweile sehr erschwinglich geworden das man auch @soho bei jeder Steckverbindung reinigen könnte.

 

[deveth0]

Ich war die Tage etwas shoppen und habe jetzt meine ersten 10Gbit Geräte hier bzw auf dem Postweg. Leider habe ich noch nicht 100% verstanden, was für ein Kabel ich jetzt noch benötige, hier wäre ich über eure fachkundige Hilfe sehr froh.
Ich habe einen Zyxel xgs 1250-12 (also 2x SFP+) hier und erstmal eine einzelne MCX311A gekauft. Wenn ich es richtig verstehe, will man da jetzt ja ein DAC Kabel, der Rechner steht nen knappen Meter vom Switch entfernt.
Der Generic DAC von fs.com (https://www.fs.com/de/products/74616.html?attribute=1317&id=222469) hat Zyxel auf der Liste, aber nicht Mellanox dafür gibt es ja eine extra Konfiguration, muss ich jetzt also ein maßgeschneidertes nehmen, oder gibt es da noch eine einfachere Möglichkeit?

 

[besterino]

Mellanox frisst m.W. eigentlich ziemlich viel. Würde es mit einem Generic DAC versuchen.

 

[Hansbarrt]

Cisco geht auf jeden Fall für mellanox und mikrotik.

 

[servantofevil]

möchte mich auch nochmal zurück melden...hab 3x x520-DP Karten bekommen inkl. jeweils 2x SFP+ Transreceiver - jetzt brauch ich so viele Transreceiver eigentlich nicht und würde zwei in den Mikrotik packen.
Jetzt stellt sich mir nur die Frage - 0815 LWL Kabel in entsprechender mindestlänge kaufen und fertig? Oder doch die Transreceiver (die quasi kostenlos beigelegt wurden) nicht nutzen und DAC Kabel organisieren?

 

[craxity]

@servantofevil DACs sparen bei mir etwas Strom und sind robuster. Dafür sind sie störrischer als LWL-Patchkabel. Um welche Strecke geht es überhaupt?

 

[servantofevil]

es geht um 3m maximal jeweils zum mikrotik

 

[craxity]

Realistisch betrachtet ist es ziemlich egal, was du nimmst. Wird beides gut funktionieren. Das Patchkabel dürfte aber etwas günstiger werden.

 

[hominidae]

@hominidae
Was gibt es denn für Probleme X520/X540 mit dem MT Switch?

....kein Sync mit Intel-Karten
Ganz komisch...siehe: https://forum.mikrotik.com/viewtopic.php?f=17&t=172697
Der CSS610 hat von Beginn an Probleme...die Factory-Firmware war recht unreif, in der Version ab Werk.
MT hat dann doch einige Release-Kandidaten nachgeschoben bis zur aktuellen v2.13 (SwOS *lite*, nicht das "normale" SwOS is gemeint).
Komischerweise laufen einige der Vorversionen sogar besser mit Intels...für Alle anderen gibt es aber eher keine Auffälligkeiten, die mir bekannt sind.

...das scheint jetzt erledigt zu sein.
Sein ein paar Tagen gibt es die SwOS-lite v2.14 und erste User berichten, das es nun mit Intel X520 Karten funzt: https://forum.mikrotik.com/viewtopic.php?f=21&t=175736&p=861210#p861210

 

[ddchiller]

Klingt plausibel, das steht im changelog:

What's new in v2.14:

*) improve SFP+ link establishment;
*) GPEN21: allow to select up-link port;
*) make IGMP snooping work with multiple VLANs;
*) stop forwarding multicast traffic on client unsubscribe;
*) do not show learned IGMP addresses under Hosts;
*) fixed ACL Set-VLAN-ID, DSCP and Priority fields;
*) make flow-control disabled by default;
*) CSS610: allow to configure both rx & tx flow-control;
*) SNMP: fixed ifSpeed & ifHighSpeed;
*) do not tag outgoing packets if their VLAN matches port Default-VLAN-ID and
port is in Optional VLAN mode;
*) port is now automatically its Default-VLAN-ID member;
*) make Port statistics more precise;
*) do not send Mikrotik neighbor discovery packets on ports that have it disabled;
*) fixed ACL to be able to drop any neighbor discovery packets;
*) report correct RSTP root path cost on LAG links;
*) make SwOS respond only to its own ip address even if MAC address is correct;

 

[hominidae]

...und auch der CSS610-8G-2S+IN zeigt nun im Reiter System die "Kerntemperatur", was in v2.13 schon angekündigt war, aber nur für das Outdoor-Schwestermodell funktionierte.
Meiner ist - mit 3x1Gbps Link, 1x DAC (Cisco-Molex, keineTemp Anzeige), 1x S-RJ10 (79°C) - bei 53-55°C unterwegs.

 

[rowein]

meiner pendelt ebenfalls bei der Temperatur mit 1x 1G + 2x 10G (SFP-10GLRM-31: 46 °C + SFP-10G-T: 44°C).

 

[hominidae]

meiner pendelt ebenfalls bei der Temperatur mit 1x 1G + 2x 10G (SFP-10GLRM-31: 46 °C + SFP-10G-T: 44°C).

...oh, was ist das für ein SFP-10G-T Modul, dass dies so schön kalt bleibt....meines kommt nicht unter 72°C.

 

[rowein]

@hominidae
Ist das von FS:
https://www.fs.com/de/products/74680.html

Im Css326 war das Modul auch wärmer. Im CRS309 ist dasselbe Modul bei mir sogar nochmal etwas kühler.
Bin mir daher nicht 100% sicher, ob es da ggf. auch Auslesefehler im CSS610 und CRS309 sein können.

 

[deveth0]

Followup zu https://www.hardwareluxx.de/community/threads/10gbit-homenetzwerk.807277/post-28442391:

ich habe fs.com mal ne Mail geschrieben, meinten auch, dass ich das Generic Modul für die Mellanox nehmen sollte.

 

[rowein]

@deveth0
Ich verwende bei meiner Connect-X 3 auch das verlinkte Kabel als generisch an einem CRS309. Funktioniert ohne Probleme

Edit: Ok, habe in den Bestellungen nachgeschaut. Habe doch "Mellanox" ausgewählt gehabt. Sorry

 

[underclocker2k4]

So nen LWL-Kabel ist immer generisch, nur so zur Info.

 

[deveth0]

da geht es aber um ein DAC Kabel und soweit ich das verstanden habe, sind die Transmitter nicht immer überall kompatibel, oder?

 

[underclocker2k4]

Das wäre zu einfach.
Es gibt leider so einige Hersteller die erwarten was spezielles und ohne dem geht es dann nicht.

Gerade im Enterpriseumfeld ist es Standard, dass Hersteller schon ihre Sachen sehen wollen, weil man zum einen was verkaufen möchte, aber zum andere n auch entsprechenden Support liefern muss und will. Und da kann ein SFP schonmal ein Problem sein, bzw. eine mögliche Fehlerquelle.

Das mit dem LWL war nur ein dezenter Hinweis, dass man damit solche möglichen Inkompatibilitäten entkoppelt, da man auf beiden Seiten passend kodierte Transceiver einsetzen kann ohne Stress zu haben. Neben ein paar weiteren Vorteilen gegenüber DAC.

 

[deveth0]

Achso, ja. Dafür sind LWL empfindlicher und 10 Euro für das Komplettpaket kann man damit halt auch nicht schlagen

 

[underclocker2k4]

Ja, auf 10 kommt man dabei nicht.
Nur kostet dich eine LWL-Verbindung mit Transceivern rund 30EUR und du brichst die nicht die Finger, wie das bei DAC der Fall sein kann.
Auch hat man damit ein klein wenig mehr Flexibilität und kann vor allem das Kabel auch mal 10m irgendwo hinlegen, weil man mal irgendwas irgendwie am Server testen will.

Ich würde lieber die 20EUR investieren und muss mir dann keine Gedanken mehr machen, wie ich das jetzt mit dem Kabel mache.

PS: Und so empfindlich ist LWL nun auch nicht.
Hier im Labor liegen die ohne Staubschutzkappen rum und drauf rumlaufen tu ich auch manchmal.
Die nutzt ich dann natürlich nicht im Produktivbetrieb...
Es gibt bei LWL auch unterschiedliche Ausprägungen. Es gibt quasi die Ultraempfindlichen, dann die "kannst du auch mal drauf rumlaufen" und die "mach was du willst, ist mir doch egal".
Die Letzteren sind halt Industriezeug und über fast jeden Zweifel erhaben. Wir verwenden die mittleren und auch da gibt es mit figure-8 und figure-0 auch nochmal Unterschiede.
Muss halt jeder selber wissen.

Für eine Verbindung würde ich die 20EUR investieren. Wenn man 100 Verbindungen hat, dann ist der Unterschied schon 2k, da müssen die anderen Vorteile schon stärker durchscheinen. Und das tun sie gerne auch mal.

 

[craxity]

[...] und du brichst die nicht die Finger, wie das bei DAC der Fall sein kann.

Da muss ich glatt schmunzeln, nachdem ich kürzlich einen Transceiver nicht rausbekam, weil ich nicht an den Haltebügel kommen konnte Da lobe ich mir die Laschen an den DACs.