[Sammelthread] 10Gbit Homenetzwerk

[Rarity]

Geplant ist, im Heimnetzwerk, neben 1 GBit (1000Base-T) Ethernet zuerst ein schnelleres Netz (z.B. 10GBit-Netz) aufzubauen, und das langsamere interne Netz dann auszuphasen.
Benutzt wird gerade vorhandene Hardware.
Der Grund für 10 GBit SFP+ Planung sind leider die noch zu teuren Switches für SFP28 oder höher.

Schritt 1:
Direktverbindung zwischen Computer mithilfe von 2x NIC's Mellanox ConnectX-3 (Typ: MCX311A-XCAT) mittels DAC-Kabel.
Comp 1 ist ein HP Microserver Gen8 (OS: FreeNAS, cpu: Celeron G1610T, 10GB ECC-RAM (2+8GB) , 4x HDD's, zumeist 24/7 Betrieb)
Comp 2 ist ein zukünftiger Fileserver/Langzeitdatenablage (OS: *nix (Linux oder BSD abh. vom flavor), cpu: Xeon-E3 1245, Mainboard: Asus P8BWS, 16GB ECC-RAM (4x4GB), HBA: LSI 9201-16i, 4HE Case mit >10 HDD's, kein 24/7 Betrieb)
Testen ob es funktioniert, ob Performance passt, Kühlung beim Gen8 ausreicht, ich hoffe mal mit 9K-Jumboframes auf linear lesend >400 MB/s vom G1610T und ~1400 MB/s von Comp2, zumindest bei großen Dateien.

Schritt 2: DAC ersetzen durch
1x Switch -- MikroTik CRS309-1G-8S+IN (1x RJ-45, 8x SFP+, PoE PD)
4x Tranceiver -- SFP+ Transceiver Modul mit DOM - Generisch Kompatibel 10GBASE-SR 850nm 300m LC MMF #11552 (www.fs.com)
2x LWL-Patchkabel, 5m (16ft) LC UPC auf LC UPC Duplex OM4 Multimode PVC (OFNR) 2.0mm #40236 (www.fs.com)
Der RJ45 am CRS309 soll ein Uplink zu einem anderen Switch (FWall) sein, welcher wiederum an das FTTH-Kästchen vom Provider angeschlossen wird.

Schritt 3:
gleiche NIC's+Transceiver+LWL-Patchkabel wie oben, um Computer 3+4 an das schnellere Netz anzubinden.

Was haltet Ihr davon ? Passen die Teile ideal zusammen ? Etwas Übersehen oder nicht genügend bedacht in der Planungsphase ?
DAC durch ein AOC bei Direktverbindung im Rack ersetzen (ist Geschmacksache oder?) ? Gäbe es günstige 25G/40G Alternativen (daisy-chain?) ? Bessere Ideen ?

 

[Thermitkühlung]

10GBASE-T heißt ja nicht zwingend SFP+. Wie kommst du darauf?

Natürlich gibt es alle Kupfer Ethernet-Varianten sowohl als RJ-45 als auch als SFP. Ich dachte nur, es sei lohnender, dafür SFP-Tranceiver zu verwenden. Das ist aber wohl falsch. Nochmal Geizhals durchwühlt, und die Situation ist nicht so eindeutig. Die Kupfer-Tranceiver kosten mindestens 50€, und andererseits gibt es relativ "erschwingliche" Router mit RJ-45 10G. Viele davon haben nur wenige 10G Ports (Großteil der Ports oft 1G oder 2.5G), kann aber je nach Anforderungen ausreichen. Der von dir verlinkte Switch dagegen kostet fast 20k€, bisschen zu teuer.

Meine Schlussfolgerung ist, dass man sich bei 10G im vornherein für Kupfer oder LWL entscheiden sollte, außer man hat einen Goldesel. Allerdings ist SFP auch dadurch attraktiv, dass man sowohl Kupfer als auch LWL probieren kann. Die Situation kann sich ja auch mal ändern: z.B. Gelegenheit ein neues Kabel zu verlegen und dabei LWL nehmen. Oder anders herum: einen nur durch Kupfer erreichbaren Bereich mit 10G versorgen zu müssen. Da wäre es, rein theoretisch, schön, beides zu haben und flexibel zu sein.

Das ist alles nervig. Es stimmt auch, das 2.5G eigentlich nicht so toll ist. Ich glaube, ich warte einfach mal länger, bis 1G für mich wirklich inakzeptabel wird.

Der Trick bei LWL ist, dass das Zeug halt spotbillig, da die Zeit in DCs vorbei ist und das Zeug contrainerweise rausfliegt.

Was verwenden die DCs dann? Den nächst-besten LWL Standard?

Grundsätzlich hat man bei Kupfer heute das Problem, egal ob 2,5GBE oder 10GBE, dass entsprechende Leistung in DSPs benötigt wird und das kostet auch Strom.

Braucht man für LWL nicht ebenfalls einen DSP? Man verarbeitet dann halt optische Signale. Was ist der Unterschied? Wird das elektrische Signal im Kupfer eher gestört, weshalb es mehr Tricks und Rechenleistung braucht?

10GBE macht vor allem an einem Ort Sinn, wo sich Server und NAS Gute Nacht sagen.

In der Tat, ich bezweifle, die meisten Leute brauchen 10G überall, wo das Netzwerk hin soll. Bei mir wäre eine Direktverbindung ausreichend, muss aber trotzdem durch ein paar Wände.

Auch LWL-Kabel lassen sich, vorkonfektioniert, verlegen. Da gabs erst letztens ne Diskussion zu. So nen LWL-Stecker ist nicht zwingend dicker als nen komplettes CU-Kabel.

Wie viel Durchmesser?

 

[danielmayer]

Da ich gerade bequem auf dem Bett liege und nicht aufstehen mag, so formuliert: durch ein starres Rohr DN32 mit 3x90° Winkel und ca 1m Flexrohr DN32 an einem Ende habe ich problemlos 4x Duplex LC-Kabel gezogen. Bei 1x Duplex Cat7a war nach 2 Winkeln Schluss, und das schon mit erheblichem Zugaufwand.

 

[jonofe]

@hominidae
Danke für deine ausführliche Rückmeldung.

Bei den verrückten Preisen heutzutage kann es aber sein, dass eine DUAL sogar leichter und günstiger zu schiessen ist, als eine Single.

Habe inzwischen einen CRS305 für 80€ und zwei S+RJ10 für je 30€ das Stück bekommen.
Die Mellanox Single + DAC Cable gibts gebraucht für 75€ aus Deutschland.
Eine X540-T1 für 50€ auf ebay-kleinanzeigen. Fehlt nur noch eine X540 Karte.
Wenn alles gut läuft hab ich dann 3 Geräte auf 10G inkl. 10G Switch für unter 350€. Finde ich ganz okay ... 😅

 

[underclocker2k4]

zwei S+RJ10 für je 30€ das Stück bekommen.

Wo gibt es die denn für 30EUR?

 

[hominidae]

Die Mellanox Single + DAC Cable gibts gebraucht für 75€ aus Deutschland.

...alles, auch diese sehr günstig geschossen. Achtung, das es einen connectX-3 ist (meist AluSilber-Kühlkörper, PCIe-x4)...die C.X-2 sieht genauso (meist schwarzer Kühlkörper) aus, aber ist x8.

 

[java4ever]

ConnectX-2 (40GBe) sind deutlich länger als ConnectX-3 und haben hinten einen sehr auffälligen großen Widerstand.

Man lernt mit der Zeit die zu unterscheiden

 

[jonofe]

...alles, auch diese sehr günstig geschossen. Achtung, das es einen connectX-3 ist (meist AluSilber-Kühlkörper, PCIe-x4)...die C.X-2 sieht genauso (meist schwarzer Kühlkörper) aus, aber ist x8.

Diese hier ist es. Sollte doch richtig sein, oder?

 

[hominidae]

Jupp...die passt!

 

[GameCollector]

Ich wollte nochmal mein Problem aufgreifen: NIC->DAC->Switch: seltsamen Verhalten, langsames kopieren (also upload), teilweise kam der Link auch nicht up.
DAC getauscht (passiv) gegen ein neues, bisher keine Probleme mehr (hatte wohl 2 defekte oder ggf. Inkompatibel zu den Mellanox Connect-X3).

 

[jonofe]

Ich nochmal zu meinem 10G Setup mit Problemen bzgl. des CAT7 Installationskabels.
Aufbau ist wie folgt:

Desktop Intel X540-T1 => CAT7 Patchkabel (7,5m) => CAT6 Dose => CAT7+ Installationskabel (~12m) => CAT6 Patchpanel => CAT7 Patchkabel (2m) => MT CSR305

Hier kommt kein 10G Link zustande, sondern nur ein 100 MBit.
Verbinde ich die X540 direkt mit dem CRS305, dann ist der 10G Link stabil, egal ob das CAT7 Kabel oder ein dünnes 10m CAT6 Kabel.
Tausche ich im o.g. Setup das 2m CAT7 Kabel (Patchpanel => CRS) gegen ein altes CAT6 Kabel, dann kommt meist ein 10G Link zustande. Aber alles irgendwie nicht stabil. Gleiches Setup mit an einer zweiten CAT6 Dose im selben Raum gibt wieder nur einen 100MBit/s Link.

Mangels Kommunikationspartner kann ich noch keine Durchsatzmessung machen wenn man ein 10G Link vorhanden ist, da ich SwOS auf dem CRS305 laufen habe.

Wie kann das sein? Offensichtlich wohl ein Problem der festen Installation (Dose, Installationskabel, Patchpanel)?
Kann man da noch weitere Ursachenforschung betreiben? Was ist aus eurer Sicht die wahrscheinlichste Ursache?

Vor allem wundert mich, dass ein schlechteres Kabel einen 10G Link bringt, während das CAT7 Kabel dann nur 100Mbit/s bringt.
Sollte ich evtl. das 7,5m CAT7 Kabel auch noch mal gegen ein CAT6 Kabel tauschen?

Leider kann man die Installationskabel nicht tauschen. Sie wurden zwar in Leerrohre gelegt, aber leider nur bis aus dem Estrich, nicht bis in die Dose, die letzten 20cm sind wohl eingeputzt.

Das ist übrigens das Installationskabel:

Danke im Voraus für euer Feedback...

 

[0xsepa]

Wenn der Schirm in der Dose nicht sauber aufliegt, dann kommt es zu solchen Phänomenen. Ich habe sehr gute Erfahrungen mit Kupferklebeband am Schirm in den Klemmstellen gemacht.

 

[jonofe]

Habe mal eine Dose aufgemacht und entkabelt. Die Kabel werden quasi von hinten/oben eingeführt und mit den beiden Schrauben festgeklemmt, dabei wird der Schirm kontaktiert.
Das ganze ist aus dem Jahr 2006. Macht es Sinn eine andere Dose zu verwenden? mit Keystone? Auf dem Patchpanel sind Kabel auch alle fest aufgelegt.
Mit einem Kabeltester hatte ich getestet, ob alle Adern + Schirmung von Dose zum Patchpanel Durchgang haben.Dieser Test war positiv. D.h. auch, dass die Schirmung Kontakt hatte. Wie gut weiss ich natürlich nicht.

Ist hier was auffälliges zu sehen?

 

[Weltherrscher]

Ja, viel zu lang ungeschirmt.
Ist die Leiterplatte mit dem Schirm verbunden?
Nur über die beiden Schräubchen?
Die Dose hat vorne noch ein Metallgehäuse oder nicht?
An deiner Stelle würde ich die Dose gg. eine mit zwei Keystones tauschen.
Ist am sichersten.

 

[jonofe]

Ja, viel zu lang ungeschirmt.

Du meinst die Schirmung der einzelnen Adern?
Das hab ich damals nach Anleitung gemacht. Selbst ohne den Schirm ist es schon schwierig die Adernpaare von hinten oeben durchzuführen.

Ist die Leiterplatte mit dem Schirm verbunden?
Nur über die beiden Schräubchen?

Jep, nur durch das Anpressen über die beiden Schrauben, d.h. eigentlich nur über die untere Schraube, oben geht es als Zugentlastung auf den Mantel.

Die Dose hat vorne noch ein Metallgehäuse oder nicht?

ja genau, das wird mit zwei Schrauben noch draufgeschraubt.

An deiner Stelle würde ich die Dose gg. eine mit zwei Keystones tauschen.

Ja das werde ich machen. Wobei ich auch festgestellt habe, dass am Anschluss im Obergeschoss der 10G Link stabil ist, gleiches im Erdgeschoss und Bad.
An allen 4 Anschlüssen im Büro hingegen funktioniert es nicht. Die 4 Anschlüsse im Büro gehen allerdings auf ein anderes Patchpanel als alle anderen Dosen im Haus.
Daher werde ich die 2 Keystone Module erstmal zum Anschluss von zwei Kabeln am Patchpanel verwenden.
Danach werde ich sukzessive alle 10G relevanten Kabel auf Keystone Module umrüsten.

Werde dann nochmal ein Update geben, ob dann auch mein Büro mit 10G verbunden ist.

 

[Weltherrscher]

Ok, sry für die späte Antwort, bin grad geschäftlich im nahen Osten, da dauert das immer. *fg*
Interessant, dann natürlich hätte ich mal das Patchpanel in Verdacht.
Bei mir zuhause hab ich alles, ALLES mit Keystones gemacht.
Dosen, Patchfelder, alles.
Bis auf die drecks Verlängerung, dafür hab ich nen Telegärtner 6x CAT7A Verbinderfeld genommen...
(https://www.elektroversand-schmidt....at-7A-fuer-Wandmontage.html?isextsearch=alist)

Wobei die Dose aufgrund der geringen Schirmkontaktierung jetzt auch nicht so den 10G-Eindruck macht, aber, wenns in anderen Räumen luppt... =)
Die Leiterplatte auf den Schirm zu drücken, um ihn zu kontaktieren ist auch so...lala...
Sieht man an dem Telegärtner Ding ganz gut, die Aderpaare werden verdrillt, mit Alufolie bis ran (an die Klemme) geführt und dann mit LSA aufgelegt, der Schirm wird stark und breit über die Klammern aufgelegt.
Das Ding macht tatsächlich auch 10G über die so verlängerten Kabel...

//Edith:
Klarstellung Aderpaare und Klemme

 

[konfetti]

Du meinst die Schirmung der einzelnen Adern?
Das hab ich damals nach Anleitung gemacht. Selbst ohne den Schirm ist es schon schwierig die Adernpaare von hinten oeben durchzuführen.

->

...die Aderpaare werden verdrillt, mit Alufolie bis ran (an die Klemme) geführt und dann mit LSA aufgelegt,...

So macht man das auch! - und zwar schon immer - hab aber auch schon so schlimme Sachen gesehn, wo bis zur LSA-Leiste gefühlt 1m ohne Folie aufgelegt ist...

Ich würde die Keystones gegen nix eintauschen wollen!

 

[Thermitkühlung]

Ich will mal versuchen, ob ich die LWL-Kabel durch die Wände bekomme. Ich habe noch nie ein LWL-Kabel gesehen, und muss erst eines kaufen. Sollte es durch die Wand gehen, kann ich mal die teurere Hardware nachkaufen. Wie leicht kann man einen LWL oder die Stecker bei solchen Aktionen beschädigen? Weil Testen kann ich ja dann erst nicht.
Vielleicht das hier:

https://www.amazon.de/Goobay-95753-Kabel-Multimode-Aqua/dp/B00DR4HLGW

Der Duplex LC-Stecker sieht aber etwas groß aus. Kann man da auch 2 Simplex LWLs nehmen (und welche)? Gibt es Duplex-Stecker, die man trennen kann?

Für den Rest der Hardware vielleicht:

https://www.fs.com/de/products/65334.html?attribute=96&id=219910

und 2x irgendwelche Mellanox MCX311A-XCAT CX311A ConnectX-3 PCIe-Karten von E-Bay. (Oder Inter-Tech Argus ST-7211, dann wohl mit Intel-Kompatibilität oder was?) Ohne Switch dazwischen.
Würde das passen?

---

Gab es schon Tests, ob 10GBase-T (also Kupfer) PCIe-Adapter signifikant weniger Energie verbrauchen, wenn man 1000Base-T erzwingt? Vielleicht wird es ja auch Kupfer statt Glasfaser.

 

[katzenhai]

Der Duplex LC-Stecker sieht aber etwas groß aus. Kann man da auch 2 Simplex LWLs nehmen (und welche)? Gibt es Duplex-Stecker, die man trennen kann?

Das täuscht. Viel größer als ein RJ45 Stecker ist er nicht. Die preiswerten Duplex (dort wo jede Faser eine eigene Zugentlastung hat) kann man eigentlich immer auftrennen, man muß ja einstellen können, ob das Kabel gekreuzt sein soll oder nicht.

 

[supernode]

welche sfp+ module bieten sich denn für die mellanox karten an?

bräuchte SM und 10G Base T Module.
Bei fs.com gibt es da ja herstellerspezifische und generic typen, 30m und 80m Modelle. was sollte man hier nehmen?

 

[jonofe]

Interessant, dann natürlich hätte ich mal das Patchpanel in Verdacht.

Ein Kabel des Patchpanels gegen ein Keystone Modul getauscht und schon ist einstabiler 10G Link vorhanden. Schon krass, Ich werde gleich mal ein Foto vom Patchpanel hochladen. Vielleicht hab ich da ja auch was falsch gemacht.

Bei mir zuhause hab ich alles, ALLES mit Keystones gemacht.

Werde ich dann wohl nach und nach auch so machen. 2006 als die Installation gemacht wurde, kannte ich die Keystone Module leider noch nicht. Gab es die damals schon?

Ich habe übrigens das Rutenbeck Modul verwendet, hatte allerdings etwas Probleme die Einzeladern im Adernverteiler zu fixieren. Gefühlt sind die Adern meines Kabel sind zu dick. Beim Reinziehen schneiden die Kunststoffseiten die Adern schon ein wenig an. Auch das Einschieben des Montagekeil war nur mit echtem Kraftaufwand möglich. Muss das so sein? Im Video von Rutenbeck sieht das so einfach aus, allerdings hab ich mich da auch gefragt wie dann die Adern in die inneren Klingen geschoben werden, wenn das so leicht geht.

 

[Thermitkühlung]

Das täuscht. Viel größer als ein RJ45 Stecker ist er nicht.

RJ45 Stecker haben ja auch wild unterschiedliche Abmessungen. Der Stecker selbst ist natürlich immer gleich, aber die Hülle mit der Lasche dran kann durchaus einen Unterschied machen, ob das Ding irgendwo durch passt oder nicht.

Genaue Abmessungen sind wohl selten zu finden, ich habe für LC-Stecker wenig nützliches gefunden. Ich probiere es einfach mal.

Die preiswerten Duplex (dort wo jede Faser eine eigene Zugentlastung hat) kann man eigentlich immer auftrennen, man muß ja einstellen können, ob das Kabel gekreuzt sein soll oder nicht.

Das sollte helfen, wenn man damit mindestens 20cm des Kabels teilen kann.

 

[supernode]

Danke, bestellt.

 

[Thermitkühlung]

Wie sieht es denn mit Energieverbrauch und Linux-Kompatibilität bei der ASUS XG-C100C aus?

 

[maxblank]

Linux Treiber:

Aquantia AQC107 NBase-T/IEEE 802.3bz Ethernet Controller [AQtion]

A database of all the hardware that works under linux

linux-hardware.org

 

[Thermitkühlung]

Irgendwo im Forum habe ich diesen Satz gefunden:

> Ne Singleport Mellanox CX3 SFP+ liegt bei 4-5W, ne Intel 520 bei 3-4 Watt.

Empfehlung Gebrauchhardware für Energiesparenden Home-NAS-Server

Hallo zusammen, an mein neues NAS habe ich folgende Anforderungen: IDLE

www.hardwareluxx.de

auch nicht so prickelnd, man bekommt halt nichts umsonst.

Zur ASUS ebenfalls im Forum gefunden:

> Typical Power Consumption 6 W at 10 Gbps, 4W at 5 Gbps full length 100 m Cat6a

[Sammelthread] - Der 10Gbase-T (RJ45) / CAT6A 10gbit Homenetzwerk Thread

mika, dass du es nicht so mit Korrektheit und Präzision hast, ist doch nun schon hinreichend bekannt. Das brauchst du nicht jedes Mal aufs neue unter Beweis stellen. Es ist eine 10GBE Karte und kann daher auch hier erwähnt werden. Daher ist es kein Frevel. Wenn du Karte nur NBASE-T (und...

www.hardwareluxx.de

Das ist aber nur der Chip, nicht die ganze Karte.

Intel X520:

"Typical Power" für Single-port 10GBASE-SR: 4.5W

https://www.intel.com/content/dam/www/public/us/en/documents/product-briefs/ethernet-x520-server-adapters-brief.pdf

Linux Treiber:

Aquantia AQC107 NBase-T/IEEE 802.3bz Ethernet Controller [AQtion]

A database of all the hardware that works under linux

linux-hardware.org

Danke, aber die Hauptfrage ist, wie stabil das läuft. Ich hatte in der Vergangenheit schon häufig Probleme mit Netzwerkhardware, die Upstream-Treiber hatte.

welche sfp+ module bieten sich denn für die mellanox karten an?

bräuchte SM und 10G Base T Module.
Bei fs.com gibt es da ja herstellerspezifische und generic typen, 30m und 80m Modelle. was sollte man hier nehmen?

Warum nicht einfach mit Mellanox-Kompatibilität bei fs.com? Aber guter Frage. Meinem gefährlichen Halbwissen zufolge setzt die Kompatibilität wahrscheinlich eh nur irgendein Firmware-Feld, das nur darüber bestimmt, ob eine Warn-LED leuchtet.
Und wenn man 30m nimmt, muss man halt wirklich unter 30m bleiben.

 

[supernode]

Die Kabellänge ist soweit klar. Hätte aber sein können dass hier jemand negative Erfahrung mit den 30m Modulen gemacht hat und deshalb davon abrät. die

Ich vermute bei der Kompatibilität wird einfach ein anderes Image und damit digitales Typenschild in das Modul eingespielt. Technisch werden die sich sicherlich nicht unterscheiden. Aber auch hier die Frage der gemachten Erfahrung- ist es sinnvoller GENERIC zu wählen? Könnte mir schon vorstellen dass so ein Modul dann auch mal in einen UI oder Cisco Switch wandert.

Bei Messwerten die sich um ein oder zwei Watt unterscheiden, noch dazu von unterschiedlichen Personen gemessen, wäre ich hinsichtlich Aussagekraft vorsichtig. Will aber nicht sagen dass das Thema nicht relevant ist.
Aus meiner Sicht wichtiger wäre bspw. pcie 3 x4 vs pcie 2 x8. Meist sind die lanes Mangelware aber pcie 3 in aktueller Hardware Standard.

 

[sch4kal]

Bei Transceiver sollte man nach Möglichkeit immer Cisco-compatible nehmen, anstatt Generic. Ganz einfach, weil Cisco der mit Abstand größte Netzwerksupplier der Welt ist, und alles und jeder eher Cisco abkupfern oder zu Cisco kompatibel sein möchte, als zu den anderen Herstellern.

 

[Thermitkühlung]

Bei Messwerten die sich um ein oder zwei Watt unterscheiden, noch dazu von unterschiedlichen Personen gemessen, wäre ich hinsichtlich Aussagekraft vorsichtig. Will aber nicht sagen dass das Thema nicht relevant ist.

Ja, leider. Ich hab einfach mal vorgetragen, was ich überhaupt gefunden habe. Wer will sich schon all die teure Hardware kaufen, nur um aussagekräftige Messungen durchzuführen.

Aus meiner Sicht wichtiger wäre bspw. pcie 3 x4 vs pcie 2 x8. Meist sind die lanes Mangelware aber pcie 3 in aktueller Hardware Standard.

Für meine Hardware würde pcie x8 überhaupt gar nicht gehen, deshalb schiele ich auf die Mellanox oder ASUS Karten.

 

[supernode]

Alles klar, dann nehm ich die Ciscos.

Hatte mittlerweile die Info erhalten dass bspw. für Mikrotik oder Generic geflashte problemlos funktionieren.