[Sammelthread] 10Gbit Homenetzwerk

[dremel85x]

hm, das ist ja interessant. bin garnicht im thema SFP/Glas drin. hab jetz 10G-T, da halt schon Cat7 Kabel liegen und ich da keine Lust hab, neue zu legen. Aber im Bereich der Serverschranks / NAS kann man ohne großen Aufwand Glas verwenden. War mir nicht klar dass das so große Vorteile hat und offenbar auch "spotbillig" ist.
Das 1G Netzwerk kann ja noch lange bestehen für Drucker, Scanner, Web, VOIP, usw.
10G brauch ich nur für paar wenige Rechner und NAS, damit große Datenmengen schnell kopiert sind oder gar Videoschnitt möglich ist von der NAS... Da passt der 8Port switch grad schon noch ne Weile..

 

[craxity]

@sch4kal Du rechnest eher überschlägig 😁

 

[sch4kal]

@sch4kal Du rechnest eher überschlägig 😁

OrgaTalk

Treffpunkt für LAN-Party-Orgas und solche, die es werden wollen

www.orgatalk.de

Man muss nur etwas Zeit und Geduld mitbringen, es gab auch schon auf ebay Angebote für <100 € aus Deutschland. Ist preislich selbst unter 200 € noch unschlagbar.

 

[quotengrote]

Weiß jemand ne Möglichkeit bei einer Mellanox Connect x3 an die Temperatur zu kommen?(Linux)

 

[besterino]

mellanox firmware tools (MFT) --> mget_temp

?

Quelle: Mellanox

 

[quotengrote]

Ahh, ganz übersehen, danke.

 

[ddchiller]

Hey Leute,

ich brauch euch mal für ein paar Denkanstöße. Ich wollte mir zu Hause ein günstiges 10G Netzwerk aufbauen und habe mir, da die Teilnehmer alle ein wenig verteilt in der Wohnung liegen, 2 kleinere Switche bestellt, um nicht mehrere Kabel durch die Wohnung ziehen zu müssen sondern der eine Teilnehmerkreis an den einen Switch, der andere an den anderen. Die Switche sind zum einen ein Mikrotik CSS610-8G-2S+IN sowie ein Zyxel XS1930-10.
Zur Verbindung der Switche und Clients habe ich mir paar SFP+ Transceiver Modul mit DOM - Cisco SFP-10G-SR kompatibel 10GBASE-SR SFP+ 850nm 300m LC MMF bestellt. Als Netzwerkkarten für die Clients Mellanox ConnectX-3 von ebay, die sich noch auf dem Transportweg befinden. Die Switche habe ich mit LWL-Patchkablel, 15m (49ft) LC UPC auf LC UPC Duplex OM3 Multimode PVC (OFNR) 2.0mm verbunden. So jetzt mein Problem. Die beiden Switche wollen einfach keine 10G Verbindung zueinander aufbauen. Beim Mikrotik sehe ich im SwitchOS Menü das er auf dem angeschlossenen SFP+ Port 10G erkennt und Link on sagt. Der Zyxel hingegen meldet sekündlich

May 20 10:35:15 DE interface: Port 9 link down
May 20 10:35:14 DE interface: Port 9 link up 10G/F

Ich hatte schon das Kabel in verdacht und habe es mit einem zweiten gleichen Typs probiert. Ich habe auch alle SFP+ Ports sowei mehrere der Transceiver durchprobiert. Immer das gleiche. Stelle ich hingegen bei beiden Switchen Auto Negotiation aus und stelle fest 1G Full duplex ein läuft plötzlich alles einwandfrei. Hat mich zwar etwas gewundert aber die SFP+ Komponenten scheinen sowohl 1G als auch 10G zu verstehen. Stelle ich im Zyxel 10G Full Duplex ein und im Mikrotik Auto kommen wieder diese Abbrüche. Der Mikrotik bietet als feste Einstellungen nur 10M, 100M und 1G an, keine 10G. Auf Auto erkennt er aber 10G + Full Duplex.
Andere Einstellungen (außer mal Flow Control an und aus) wurden bisher nicht vorgenommen.
Habt ihr eine Idee warum der Zyxel bei 10G den SFP+ Port ständig hoch und runterfährt? Passen die Module doch nicht sauber? Habe ich etwas übersehen? Leider ist der Zyxel nicht so verbreitet sodass ich bei googel nicht fündig werde.

Grüße und schonmal Danke

 

[hominidae]

...ist der CSS610 auf der neuesten SwOS-Lite FW (2.1.3)? ... ab Werk hat der noch die 2.12, die war shice. -> https://download.mikrotik.com/swoslite/css610g/swos-css610g-2.13.bin

 

[ddchiller]

Das hatte ich vergessen zu erwähnen. Beide sind auf aktuellem Stand, so auch der CSS610 auf 2.13.

 

[Shihatsu]

Der Startpost dieses threads ist ja relativ veraltet, daher hier meine Frage:
Welche Mellanox Karten mit welchen Transceivern und welchen Kabeln sind denn im Moment vom P/L-Verhältnis her angesagt?

 

[heamer]

hab mir letztens von Ebay diese geholt, gibt s immer so um die 35 € pro Karte

2Pcs Mellanox MCX311A-XCAT CX311A ConnectX-3 EN 10G Ethernet SFP Network Card | eBay

² 2 X CX311A PCI-e Adapter. We will do our best and help you provide the solution. ⻠All faulty due to improper installation or improper use will NOT be covered by the warranty.

www.ebay.de

Ansonsten Kabel/Transceiver/Kabel von FS.com

Mellanox MCP2100-X001A 10G SFP+ Kabel, Passive Direct Attach DAC Twinax Kabel - FS Deutschland

Kaufen Sie Mellanox MCP2100-X001A 10G SFP+ Kabel, 1m 10GBASE-CU SFP+ DAC Twinax Kabel, Direct Attach Kupfer Kabel Passiv beim Direct Attach DAC Kabel Hersteller mit bestem Preis.

www.fs.com

Mellanox MFM1T02A-SR 10 Gigabit Ethernet SFP+ Modul | 10GBASE-SR SFP+ LWL Transceiver - FS.com Deutschland

Kaufen Sie Mellanox MFM1T02A-SR Kompatibel 10GBASE-SR SFP+ LWL Transceiver Modul LWL Multimode Kabel 850nm 300m beim 10 Gigabit Ethernet SFP+ Modul Hersteller mit bestem Preis.

www.fs.com

15m OM3 Kabel gab es "günstig" von der Firma

Verbindet meinen Server + Arbeits PC über nen Mikrotik CRS326 wunderbar.
Jetzt limitiert endlich wieder mein Storage

 

[underclocker2k4]

Alternativ:

Mellanox ConnectX - 3 mcx341 mcx341a-xcgn PCI-E SFP +10 Gigabit Ethernet rmda/ROCE | eBay

Entdecken Sie Mellanox ConnectX - 3 mcx341 mcx341a-xcgn PCI-E SFP +10 Gigabit Ethernet rmda/ROCE in der großen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

@heamer
Gegen langsames Storage kann man was tun.

 

[ddchiller]

Hey Leute,

ich brauch euch mal für ein paar Denkanstöße. Ich wollte mir zu Hause ein günstiges 10G Netzwerk aufbauen und habe mir, da die Teilnehmer alle ein wenig verteilt in der Wohnung liegen, 2 kleinere Switche bestellt, um nicht mehrere Kabel durch die Wohnung ziehen zu müssen sondern der eine Teilnehmerkreis an den einen Switch, der andere an den anderen. Die Switche sind zum einen ein Mikrotik CSS610-8G-2S+IN sowie ein Zyxel XS1930-10.
Zur Verbindung der Switche und Clients habe ich mir paar SFP+ Transceiver Modul mit DOM - Cisco SFP-10G-SR kompatibel 10GBASE-SR SFP+ 850nm 300m LC MMF bestellt. Als Netzwerkkarten für die Clients Mellanox ConnectX-3 von ebay, die sich noch auf dem Transportweg befinden. Die Switche habe ich mit LWL-Patchkablel, 15m (49ft) LC UPC auf LC UPC Duplex OM3 Multimode PVC (OFNR) 2.0mm verbunden. So jetzt mein Problem. Die beiden Switche wollen einfach keine 10G Verbindung zueinander aufbauen. Beim Mikrotik sehe ich im SwitchOS Menü das er auf dem angeschlossenen SFP+ Port 10G erkennt und Link on sagt. Der Zyxel hingegen meldet sekündlich

May 20 10:35:15 DE interface: Port 9 link down
May 20 10:35:14 DE interface: Port 9 link up 10G/F

Ich hatte schon das Kabel in verdacht und habe es mit einem zweiten gleichen Typs probiert. Ich habe auch alle SFP+ Ports sowei mehrere der Transceiver durchprobiert. Immer das gleiche. Stelle ich hingegen bei beiden Switchen Auto Negotiation aus und stelle fest 1G Full duplex ein läuft plötzlich alles einwandfrei. Hat mich zwar etwas gewundert aber die SFP+ Komponenten scheinen sowohl 1G als auch 10G zu verstehen. Stelle ich im Zyxel 10G Full Duplex ein und im Mikrotik Auto kommen wieder diese Abbrüche. Der Mikrotik bietet als feste Einstellungen nur 10M, 100M und 1G an, keine 10G. Auf Auto erkennt er aber 10G + Full Duplex.
Andere Einstellungen (außer mal Flow Control an und aus) wurden bisher nicht vorgenommen.
Habt ihr eine Idee warum der Zyxel bei 10G den SFP+ Port ständig hoch und runterfährt? Passen die Module doch nicht sauber? Habe ich etwas übersehen? Leider ist der Zyxel nicht so verbreitet sodass ich bei googel nicht fündig werde.

Grüße und schonmal Danke

Die Frage und Antwort hier über mir hat mich bei meinem Problem noch etwas probieren lassen. Ich habe auch noch ein 10G SFP+ DAC Kabel da, mit dem ich die Switche mal verbunden hatte. Selbes Problem hier. Bei 10G ständig Link up/down und bei 1G läufts stabil. Bei 10G ist mir aufgefallen das pings, welche ich mit ping -t absetze mit dem DAC Kabel öfters beantwortet werden als mit den SR Transcievern, nur halt trotzdem ständig "Zeitüberschreitung der Anforderung" dazwischen :/

 

[heamer]

@underclocker2k4

Wo liegt eigentlich der unterschied zwischen der MCX341 und der CX311A ??

Und ja es juckt schon in den Fingern aber da will ich eigentlich nicht dran weil es reicht, 10G war auch nicht nötig aber man wills ja mal ausprobieren. Und der Geldbeutel sagt auch ganz klar NEIN.

 

[Shihatsu]

Danke für die Links @underclocker2k4 und @heamer - der Frage von heamer würde ich mich jetzt auch anschließen wollen

 

[craxity]

@heamer @Shihatsu
Wie man schon auf den Bildern erkennt, ist die MCX341 eigentlich nicht für normale PCIe-Steckplätze gebaut und es bedarf einer Adapterplatine, die aber montiert mitgeliefert wird. Einziges "Problem", das ich mit der Karte hatte, war, dass bei einem Board Kondensatoren neben dem PCIe-Slot waren, und die Karte nicht gepasst hat. Das hängt aber eben vom jeweiligen Board ab. Wenn man das Risiko ausschließen will, nimmt man eine MCX311A.

 

[hominidae]

Die Frage und Antwort hier über mir hat mich bei meinem Problem noch etwas probieren lassen. Ich habe auch noch ein 10G SFP+ DAC Kabel da, mit dem ich die Switche mal verbunden hatte. Selbes Problem hier. Bei 10G ständig Link up/down und bei 1G läufts stabil. Bei 10G ist mir aufgefallen das pings, welche ich mit ping -t absetze mit dem DAC Kabel öfters beantwortet werden als mit den SR Transcievern, nur halt trotzdem ständig "Zeitüberschreitung der Anforderung" dazwischen :/

...diese Kabel waren bei meinen Mellanox ConnectX-3 aus China dabei....laufen einwandfrei am CSS610...der läuft seit 2 Monaten - verbunden mit einem CRS326 über ca. 18m CAT5e an je einem S+RJ10 - stabil auf 10G.
Bei MT sind Probleme mit Intel X520/540 Karten und dem CSS610 bekannt...Cisco SFP+ Transceiver sind wohl eher unauffällig. Zum Zyxel Switch kann ich leider nix sagen.

Beitrag automatisch zusammengeführt: 20.05.2021

@heamer @Shihatsu
Wie man schon auf den Bildern erkennt, ist die MCX341 eigentlich nicht für normale PCIe-Steckplätze gebaut und es bedarf einer Adapterplatine, die aber montiert mitgeliefert wird. Einziges "Problem", das ich mit der Karte hatte, war, dass bei einem Board Kondensatoren neben dem PCIe-Slot waren, und die Karte nicht gepasst hat. Das hängt aber eben vom jeweiligen Board ab. Wenn man das Risiko ausschließen will, nimmt man eine MCX311A.

...und diese "gemoddeten" haben dann auf der Adapterplatine auch einen PCIe-x8 Stecker fürs MB...die "normalen" MCX311A haben PCIe-x4

 

[underclocker2k4]

Die 341 ist ne OCP Karte, welche man auf manche MBs "onboard" nachrüsten kann. Kommt halt aus der OCP-Plattform.

Wie schon gesagt, kann es bei den geadapterten NICs Probleme mit Baufreiheiten auf dem MB geben. Es gibt auch alternative Ausführungen, die nen geschlossenes Metalcase haben. Da die Karten sehr fett sind, kann es da Probleme mit Nachbarkarten und eventuellen Kurzschlüssen geben.

Hier sieht man das nochmal etwas besser.
$30 Mellanox ConnectX-3 MCX341: Too Good To Be True? - YouTube

@hominidae
Was gibt es denn für Probleme X520/X540 mit dem MT Switch?

 

[aXu]

die 341 hat was mit open compute und mezzanine zu tun. (gemäss kurzer google recherche).
platinenmässig soll sie wohl baugleich mit der 311 sein.
die 311 sollte weniger probleme machen, auch thermisch gesehen

 

[underclocker2k4]

Platinenmäßig sind die schon deutlich unterschiedlich.
Die 341 ist für den OCP (open compute project) Slot

- Mellanox Mcx341a-xcen Single Port SFP OCP ETH Card 10gbe Support online kaufen | eBay

Entdecken Sie - Mellanox Mcx341a-xcen Single Port SFP OCP ETH Card 10gbe Support in der großen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

und hat daher ein komplett anderes Layout.

Und die 311 hat einen Standard PCIe-Slots

Mellanox MCX311A-XCAT CX311A ConnectX-3 EN 10G Ethernet 10GbE SFP+ | eBay

We are convinced you will.

www.ebay.de

 

[hominidae]

@hominidae
Was gibt es denn für Probleme X520/X540 mit dem MT Switch?

....kein Sync mit Intel-Karten
Ganz komisch...siehe: https://forum.mikrotik.com/viewtopic.php?f=17&t=172697
Der CSS610 hat von Beginn an Probleme...die Factory-Firmware war recht unreif, in der Version ab Werk.
MT hat dann doch einige Release-Kandidaten nachgeschoben bis zur aktuellen v2.13 (SwOS *lite*, nicht das "normale" SwOS is gemeint).
Komischerweise laufen einige der Vorversionen sogar besser mit Intels...für Alle anderen gibt es aber eher keine Auffälligkeiten, die mir bekannt sind.

 

[danielmayer]

Ich habe am CSS610 aktuell eine cx2 mit FS Generic 10G-SR beidseitig, das hat einen unterbrechungsfreien Link in der Sekunde des Einsteckens aufgebaut. Fw 2.13, lief aber genauso mit 2.12.

 

[hominidae]

.... lief aber genauso mit 2.12.

wie gesagt, hatte der CSS610 von Anfang an dann aber andere "Defkte"...hier mal der ausgiebigste Faden...ansonsten mal in SWOS Forum nach CSS610 suchen..: https://forum.mikrotik.com/viewtopic.php?f=17&t=167891

 

[Shihatsu]

Danke für die Aufklärung, in 4-6 Wochen sollten die 2 Karten hier sein

 

[craxity]

@Shihatsu Wenn du aus China bestellt hast, könnte es auch schneller gehen. Die letzten Teile kamen bei mir nach zwei Wochen an.

 

[Weltherrscher]

@ddchiller:
Wenn der Switch laut Foristen unausgereift erscheint, könnte es auch daran liegen.
Eventuell den Mikrotik tauschen oder auf ein neues SwOS warten...
Mit den "alten" CRSn habe ich diesbezüglich keine Probleme, auch mit den "alten" Zyxel 1920 (?) im Zusammenspiel mit Mikrotik habe ich nix auszusetzen gehabt...

Finde ich aber interessant, dass man SwOS noch weiter "lite"n kann.
Das konnte doch sowieso schon nix (nutze nur RouterOS auf meinen Switchen).

 

[ddchiller]

Hmpf da werde ich wohl nicht drumherum kommen mir Ersatzkomponenten wie einen dritten Switch und andere Transceiver zu bestellen um zu Testen was am Ende funktioniert. Schade sowas

 

[Shihatsu]

Einen hätte ich nooch, mir fehlt noch eine günstige Mellanox-Dual-Port Karte im Arsenal (Der Host und die NAS-VM mögen beide hohen Durchsatz).
Eine der beiden Single-Karten kommt in eine Workstation, eine zu einem weiteren 10GB-Switch der dann in der entsprechenden Etage verteilt. Also 4 Ports (passend auch zum Mikrotik). Aber meine Fresse warum sind denn die MCX 312B so krass teurer als die 1er Varianten? Das ist... unangenehm. Ich habe nicht mehr viele PCI-Slots frei. Genau genommen wäre ich mit 2 Karten "ausgebucht".
Gibt es da auch einen Geheimtip oder heißt es da "bluten"?

 

[underclocker2k4]

2 ist halt mehr als 1.

Alternativen gibt es aber auch einen Haufen.
Auch dual 40GBE Varianten, die günstiger sind.

Auch Intel X520-2DA wäre günstiger.

Intel Netzwerkadapter X520-SR2 E10G42BFSRBLK 10GbE + 2xSFP+ Optical Transceiver | eBay

Finden Sie Top-Angebote für Intel Netzwerkadapter X520-SR2 E10G42BFSRBLK 10GbE + 2xSFP+ Optical Transceiver bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

Direkt mit SFPs.
(Intel ist da aber nicht so genügsam, was die SFP-Wahl angeht)

Alternative auch MLX 311 zu MLX 312 gemodete

Mod Mellanox ConnectX - 3 mcx312 wie Dual Port 10 Gigabit Ethernet rmda/ROCE | eBay

Entdecken Sie Mod Mellanox ConnectX - 3 mcx312 wie Dual Port 10 Gigabit Ethernet rmda/ROCE in der großen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

Ka, was das gibt.

PS: Daher ist es immer gut, wenn man das Lager gefüllt hat.

EDIT:

MCX312A-XCBT Mellanox Connectx-3 CX312A 2x Port 2x 10GbE SFP Included High/prof | eBay

Model CX312A. We will do everything we can to rectify the problem! Serial numbers : All relevant serial numbers are logged in a data base; we also use warranty stickers where appropriate. These stickers are designed to break if removed or tampered with.

www.ebay.de

Auch direkt mit SFPs. (kann man sich dann ja runterrechnen, was die NIC kostet)

 

[hominidae]

@ddchiller:
Wenn der Switch laut Foristen unausgereift erscheint, könnte es auch daran liegen.
Eventuell den Mikrotik tauschen oder auf ein neues SwOS warten...

da im MT das Modul erkannt wird, aber im Zyxel nicht, muss man jetzt nicht unbedingt auf den MT als Ursache schliessen.
Bei mir und anderen läuft er ja auch einwandfrei und eine Intel Karte hat @ddchiller ja nicht am Start.

...man könnte also eher auf den Zyxel als Verursacher des Problems schliessen.

Mit den "alten" CRSn habe ich diesbezüglich keine Probleme, auch mit den "alten" Zyxel 1920 (?) im Zusammenspiel mit Mikrotik habe ich nix auszusetzen gehabt...

Finde ich aber interessant, dass man SwOS noch weiter "lite"n kann.

Optisch / Funktional ist auch kein Unterschied zum SwOS "full" festzustellen.
Ich glaube es liegt am Chipsatz begründet: https://wiki.mikrotik.com/wiki/SwOS/CSS610

Das konnte doch sowieso schon nix (nutze nur RouterOS auf meinen Switchen).

Ja, ich hatte den CSS genommen um mal günstig das Thema Uplink über cat5e zu testen....im HomeOffice muss man zu verschärften Massnahmen greifen....bei 75EUR für das Stück bzw 120 inkl. S-RJ10 Transceiver konnte ich nicht meckern....bin auch inzwischen voll zufrieden.