[Sammelthread] 10Gbit Homenetzwerk

[Trambahner]

Im Homelab ist RJ45 in vielen Fällen halt einfacher, da man oft einen Mix aus verschiedenen Consumergeräten hat. Es hilft mir ja nix, wenn ich z.B. in einer ETW ein Backbone aus LWL hab, dann aber in jedem Zimmer wieder nen Switch brauche, um RJ45-Geräte dranzuhängen. Dann kann ich gleich Kupfer nutzen. Ist halt eine andere Situation als im RZ oder Bürogebäuden.

@Swp2000: Nein, mit den Originalfans hab ich die Temps nicht wirklich. Idle haben die mal mein ich 35 Grad angezeigt, als ich das Ding eingesteckt hab; ich kanns aber nicht bestätigen.

 

[underclocker2k4]

@Firebl

Dann evtl. sowas

QNAP QSW-1200 Desktop 10G Switch | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für QNAP QSW-1200 Desktop 10G Switch ✔ Bewertungen ✔ Produktinfo ⇒ Funktion: Switch • Typ: Standalone, Rackmount (via Montagewinkel) • Netzwerkanschlüsse: 8x RJ-45/SFP+, 4x… ✔ Switches ✔ Testberichte ✔ Günstig kaufen

geizhals.de

ist halt unmanaged. Wirklich warm dürfte der auch nicht werden...

 

[Trambahner]

Aber ist halt auch nicht passiv, der hat auch 2 40er Fans.. Ich hatte den 2019 auch mal im Auge, aber da gabs die eine oder andere Usermeinung mit Problemen bei den Links. Ich kanns aber mangels eigener Anschauung nicht wirklich werten; man hats halt gelesen.

 

[Firebl]

jetzt ist die frage mit dem unmanaged. Kann man clients, die alle zusammen labern dürfen, an einen unmanaged Switch hängen und diesen dann an einen Managed-Port eines Switchs hängen?

Das quasi nicht nach Paketen gefiltert wird, sondern der managed Port einfach weiss, das sein gesamter Traffic mit VLAN Tags zu taggen ist?

könnte man zwischen einem managed und einem unmanaged ein LAG aufbauen?


Wie leise sind die zwei 40er wirklich? ansonsten kann man auch, wenn der nicht nahezulautlos ist, einen XS712T kaufen und hat das gefrikkel nicht

 

[oNyX`]

Hab die Tage auch mal restliches Netzwerk Equipment gekauft.

Mikrotik:
1x CRS309
2x CSS326

2x Mellanox Connectx-3

FS.com Stapel Tranceiver, MMF OM3 Kabel und paar DAC Kabel, kommt hoffentlich Montag...



Kann der Umzug beginnen

 

[JohnnyBGoode]

Ist eigentlich 10 GbE nach wie vor mit optischen Transceivern energieeffizienter als die herkömmlichen RJ-45-Pendants oder hat sich mit aktuellen Karten à la X550 das Blatt gewendet?

Ich kann leider nur Aufputz-Kabelkanäle nutzen, da keinerlei Verkabelung vorinstalliert ist, und finde Glasfaser-Kabel deutlich bequemer zu verlegen als Patch-Kabel.

Und gibt es innerhalb von SFP+-10 GbE-Transceivern Modelle, die besonders stromsparend sind?

 

[bluesunset]

Auf 3-7 Meter sind die dünnen SFP+ Kabel besser. "RJ-45" ist eher bei den 2,5Gbit und 5Gbit Consumer Geräten, wie der neuen Fritzbox 6660 (für Kabelkunden) interessant - hat 1x 2,5Gbit. Bei 30-100 Meter - bei entsprechend guten OM4+ Kabeln auch mehr, ist LWL einfach zu bevorzugen, sind deutlich dünner und leichter. 10/40 Gbit Ethernet über RJ-45 ist eher auf 10-30 Meter interessant, vor allem wenn auch PoE bei einigen Endgeräten benötigt wird.

 

[Trambahner]

Ich jag 10Gbase-T sogar über mehr als 130m Verlegekabel zwischen Switch und Nic; mit Patchkabel dazu komm ich knapp über 140m. Leider keine Möglichkeit mehr, das auf LWL umzubauen.

Btw XS716T: Die Noctuas haben bei 4 Links @ 10G-Traffic (ZFS Send/Recv von etwa 1 TB) auf 2500 rpm beschleunigt. Temp PHY bei 54 Grad. U.a. über die 140m-Verbindung. Nachdem Transfer gings wieder runter auf etwa die obigen Idle-Werte. Die Kabeldiagnostik des 716T sagt bei dem 140m-Kabel: 43-71m lang.

 

[underclocker2k4]

Die extreme Stromaufnahme von 10GBase-T ist genau das Problem, warum die SFP+ RJ45 auf 30m längenbegrenzt sind. Der SFP+ liefert einfach nicht genug Power.
Und das wiederum ist auch das Problem warum der ein oder andere Hersteller Einschränkungen bei den SPF+ RJ45 macht, was die Anzahl oder Platzierung angeht.

Da ist LWL einfach massiv im Vorteil.

 

[danielmayer]

Und PoE über 10 oder gar 40Gbit gibt es (noch) nicht. Vermutlich zuviel Einfluss auf den Datenlink.
Ich bin auf "Fan" von LWL und würde gerade bei Gedanken an >=10Gbit nur LWL in die Planung nehmen. Parallel dazu gerne CAT7, aber nur für <=1Gbit (I-Radios, Sat-Receiver/Medienplayer, AV-Receiver, IPMI/BMC-Ports, etc).

 

[underclocker2k4]

@daniel
Quelle?
Schau dir mal 802.3bt an.

 

[Holt]

"RJ-45" ist eher bei den 2,5Gbit und 5Gbit Consumer Geräten, wie der neuen Fritzbox 6660 (für Kabelkunden) interessant

Für dich vielleicht, aber generell finde ich 10GBASE-T für Heimanwender praktischer als LWL, da es problemloser zu installieren ist. Die Nachteile bzgl. der Latenz und Leistungsaufnahme sind für Heimanwender weniger relevant als im Rechnenzentrum, denn so viele 10GbE Ports gibt es bei Heimanwendern normalerweise nicht und wer 10GbE nutzt, der will i.d.R. seinen Heimserver / NAS damit anbinden und dessen Latenz ist sowieso so hoch, dass es auf die minimal höhere Latenz des Netzwerks nicht ankommt, da geht es vor allem um die Bandbreite. LWL haben sich im Heimanwenderbereich nicht durchgesetzt und werden dies wohl auch nicht, selbst wenn Leute die diese auch beruflich verlegen, sie dann auch zuhause einsetzen.

 

[Weltherrscher]

@Firebl

Dann evtl. sowas

QNAP QSW-1200 Desktop 10G Switch | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für QNAP QSW-1200 Desktop 10G Switch ✔ Bewertungen ✔ Produktinfo ⇒ Funktion: Switch • Typ: Standalone, Rackmount (via Montagewinkel) • Netzwerkanschlüsse: 8x RJ-45/SFP+, 4x… ✔ Switches ✔ Testberichte ✔ Günstig kaufen

geizhals.de

ist halt unmanaged. Wirklich warm dürfte der auch nicht werden...

Ich hatte ne Zeitlang den 800er.
Der hatte bereits zwei Lüfter und ein (un-)lustiges Bootloop-Problem mit nicht supporteten, günstigen TwinAx-Kabeln (Cisco und Mellanox-gebrandet).

Beitrag automatisch zusammengeführt: 02.03.2020

Gibts doch von Mikrotik, 5 und 8 Port.

Wobei Mikrotik selbst schreibt, dass man die Ports nur abwechselnd mit 10GB-T-Transceivern voll klatschen darf:
https://wiki.mikrotik.com/wiki/S+RJ10_general_guidance

 

[JohnnyBGoode]

LWL haben sich im Heimanwenderbereich nicht durchgesetzt und werden dies wohl auch nicht, selbst wenn Leute die diese auch beruflich verlegen, sie dann auch zuhause einsetzen.

Hah! Deine gesamte These ist widerlegt, da ich nichts mit LWL beruflich zu tun habe und es dennoch zu Hause für QSFP+-Karten einsetze

Hat eigentlich Single-Mode-Fiber bei Short Range-10 GbE SFP+-Transceivern irgendwelche Vorteile (gegenüber Multi-Mode), was Bandbreite, Latenz, Energiebedarf oder Langlebigkeit angeht?

Werde mir wohl demnächst auch den Mikrotik CRS326-24S+2Q+RM holen, scheint einmalig zu sein, was Preis-Leistung betrifft und dann könnte ich von den Direktverbindungen weg.

Laut ServeTheHome-Review sind die max. 69 W wohl etwas zu viel für die beliebten 3 x 40 mm Noctua-Lüfter. Wie sähe es wohl mit 5 x 40 mm-Noctuas aus? Würde dann noch zwei Stück am Lochblech reinsaugen lassen, um den Luftdurchsatz etwas weiter zu erhöhen.

MikroTik CRS326 24S 2Q RM Internal Overview - ServeTheHome

MikroTik CRS326 24S 2Q RM Internal Overview

www.servethehome.com

 

[bluesunset]

Hat eigentlich Single-Mode-Fiber bei Short Range-10 GbE SFP+-Transceivern irgendwelche Vorteile (gegenüber Multi-Mode), was Bandbreite, Latenz, Energiebedarf oder Langlebigkeit angeht?

Wenn dich der Aufpreis nicht abschreckt, nimm gerne optische Module für SM-Fasern. SM-Module können (nicht offiziell) zur Not auch über MM-Fasern über eine längere Strecke verwendet werden als die 850nm Module sonst schaffen würden.
Zu beachten ist eigentlich nur die Mindestlänge von z.B. mindestens einem 2 Meter langen Kabel. Bei Modulen für 40/80/120km dringend davor das Datenblatt anschauen und zur Not ein Dämpfungsglied verwenden!
Für MM gibts neben den Bidirektionalen (BiDi) Modulen auch neuere, welche mehrere Wellenlängen verwenden. Problem ist halt, dass bisher nur 56Gb und 112Gb PAM4 vernünftig verwendbar sind und deswegen für 200/400Gbit mehrere Links/Wellenlängen benötigt werden.

 

[FabiHabie]

Hi Leute, da die Datenmengen aktuell nicht weniger werden bräuchte ich evtl Hilfe bei der Auswahl der Netzwerk Komponenten. Erst Mal die ist Situation.

Ich habe aktuell 3 Server von Dell am laufen

2x ESXi Hosts (R720)
1x Unraid Storage Server (R510 12Bay)

Derzeit alles noch an Gigabit angebunden.

Nun habe ich damit begonnen die Daten von meinem alten Unraid Storage auf den neuen Storage Server um zu schaufeln.
32TB *hust* und die ganze Aktion Dauer nun 5 Tage.

Damit ich in Zukunft hier etwas performanter werde hatte ich mir folgendes Setup überlegt

Der aktuelle HP 2510G 24port Switch wird durch einen günstigen 10Gbit T1700 von TP-Link ersetzt. Die Server werden via Dell Module (interner NIC) auf 10GBit RJ45 an die SFP+ Ports des Switches angeschlossen. Inkl. Storage Server somit sollten 10Gbit an allen 3 Servern via RJ45 Cat. 6 Anliegen. Zusätzlich wollte ich mir noch die 2 ESXi Server via Mellanox connecten via QSFP 56GB weiß jemand welche Module dafür geeignet sind und ob das in Kombi funktioniert ? Oder ob die dann via 10Gbit die Daten austauschen ?

Für Unterstützung wäre ich sehr dankbar.

 

[danielmayer]

@daniel
Quelle?
Schau dir mal 802.3bt an.

Kenne ich. Veröffentlicht 01/2019. Ich zitiere mich sinngemäß "noch keinen 10G/40G PoE". 10G ist spezifiziert, ich kenne keinen kaufbaren Switch mit dieser Funktion. 40G nicht einmal spezifiziert.
Warum ist also mein Post falsch?

 

[bluesunset]

Sind deine drei Rechner räumlich weit verteilt? Falls nicht, könntest auch die älteren, günstigen, Mellanox 40/56Gbit Adapter nehmen, mit QSFP Kabel.
https://www.atto.com/products/ether...0-gbe-nics/25-40-50-100gbe-nics/FFRM-N312-DA0
Ist mehr oder weniger noch aktueller Stand der Technik.

Die 10/40Gbit über RJ45 mit der Kabellänge, und die Nutzung von PoE über die selbe Kabellänge sind eine Empfehlung. Das sowohl PoE auf 10 oder mehr Gbit/sec bisher benötigt werden, hat auch Microsemi bisher nicht gesehen. Selbst vor 2,5 und 5Gbit Ethernet gab es schon APs mit 2xGbit, einer davon mit PoE.
https://www.microsemi.com/product-directory/poe-systems/3734-90w-poe-midspans

 

[FabiHabie]

Die Teile sind "quasi" im noch nicht vorhandenen Rack

Beitrag automatisch zusammengeführt: 02.03.2020

Es sind 19" Server 3 Stück.

Eigentlich ist die Kernfrage ob die Server im Stande sind zu unterscheiden zwischen dem 10Gbit Anschluss und dem zusätzlich geplanten Mellanox 56GB. Sprich ob Sie direkt auf sich gegenseitig kopieren oder ob die Daten über den Switch müssen.

 

[Holt]

Hah! Deine gesamte These ist widerlegt, da ich nichts mit LWL beruflich zu tun habe und es dennoch zu Hause für QSFP+-Karten einsetze

Dafür gibt es ja meines Wissens nach auch noch keine Alternative zu LWL und ein Einzelfall widerlegt nicht die Tatsache, dass LWL Technik sich für Heimanwender bisher nicht durchgesetzt hat.

 

[bluesunset]

10Gb Ethernet über RJ45 hat sich auch noch nicht bei "Heimanwendern" durchgesetzt. Die Fritzbox 6660 hat gerade mal einen 2,5Gbit Ethernet Anschluss.

Bei FC verwendet man für alles über nen paar Metern seit über 20 Jahren LWL. Neben falschem Handling durch Unwissenheit, gibt es bei optischer Datenübertragung nur eine großes Problem: Staub.

Die drei Rechner kannst du untereinander mit drei DualPort 10Gbit Ethernetkarten und SFP+ Kabel recht günstig verbinden. Nach außen hin gerne noch über die vorhandene Gbit Infrastruktur.

 

[Holt]

10Gb Ethernet über RJ45 hat sich auch noch nicht bei "Heimanwendern" durchgesetzt.

Weil die Hersteller offenbar erstmal reine NBASE-T Lösungen an den Mann bringen wollen, aber es gibt immerhin weit mehr Lösungen für Heimanwender mit 10GBASE-T als mit SFP+. So gibt es 5 TRX40 Boards mit 10GBASE-T und 9 X299 Boards mit 10GBASE-T, aber keines mit SFP+. Auch von den bei Geizhals gelisteten EPYC Boards haben 3 10GBASE-T und nur eines SFP+ und auch bei den LGA3647 Boards sind es "10GBase-T (23) 10GBase SFP+ (4)" und Serverboards die man einzeln bei den Händler kaufen kann die bei Geizhals vertreten sind, werden eher von Heimanwendern gekauft als OEM Server.

 

[FabiHabie]

Das ist mir durchaus bewusst das 10Gbit an allen 3 Servern möglich ist, und das wird auch so gemacht. Dennoch wird die Datenrate unter den 2 ESXi Hosts nicht ausreichen. Ich denke deshalb zusätzlich über 2x Mellanox 56GB nach. Eben nur zwischen den beiden ESXi Hosts. Die frage die sich hier stellt ist, wissen die Server das Sie untereinander die zusätzlichen Mellanox Karten haben. Und das Sie eben dabei nicht anfangen über das 10 Gbit Netzwerk zu gehen.

 

[bluesunset]

Die von dir zitierten Boards sind nichts, was sich ein durchschnittlicher Endanwender kauft.
Selbst die alten Sun Sparc T2 hatten vor 13 Jahren schon 10Gbit Ethernet in der CPU integriert,
https://en.wikipedia.org/wiki/Sun_Neptune
https://en.wikipedia.org/wiki/UltraSPARC_T2
Die XAUI-Karte hat einen XFP-Slot, selbst Kupferkabel von XFP auf SFP+ gibt es, optisch spielt der Slot eh keine Rolle, solange man das passende Modul hat.

Die 80-90% der normalen Endkunden werden 2,5 und 5Gbit Ethernet bekommen über die nächsten Jahre! Leider, mir wäre auch ein schneller Rollout von 50 und 100Gbit mittels PAM4 lieber, nebst PCIe 5.0.

 

[Holt]

Die von dir zitierten Boards sind nichts, was sich ein durchschnittlicher Endanwender kauft.

Darum geht es doch auch nicht, aber bei den Mainstream Boards, also AM4 und S.1151(v2), ist 10GbE noch seltener und auch da wird man wohl keines mit SFP+ finden. Aber da Lesen und Verstehen nicht deine Sache ist, ist es sinnfrei mit die Diskussion weiterführen zu wollen. Wer meint LWL Technik würde ich auch bei Heimanwendern durchsetzen, der mögen dies gerne weiterhin glauben, mich juckt es nicht.

 

[bluesunset]

Wer behauptet, dass sich LWL bei normalen Endanwendern durchsetzen wird!?
Bitte nichts hinein interpretieren, was nirgendwo steht. Ich habe nur die idealen, praktischen Anwendungen je nach Entfernung angegeben. Das man in der Praxis leider oft ein System für alles verwenden will, ist nunmal leider so.
LWL ist nur praktischer, gerade bei Entfernungen von 30-100 Meter, da es einem eben egal sein kann, was am anderen Ende ist. Ob XFP, SFP+, nen QSFP mit 4x10Gbit - wenns die Karte kann.
Ich habe genügend Standards für Kupferkabel im Storage und Netzwerkbereich durch gemacht in den letzten drei Jahrzehnten. Fazit: Bei LWL spielt nur das optische Modul eine Rolle, nebst der Unterstützung durch die Karte.
Bei FC wurden immer die letzten beiden langsameren Standards im Chip und Modul unterstützt.
Selbst ein 4 Port 32G FC Adapter kann noch mit 8G FC Gegenstellen kommunizieren.
https://www.marvell.com/content/dam...-qlogic-2770-series-product-brief-2019-09.pdf
Beim Einsatz eines 8Gbit SFP+ Moduls wohl auch noch mit 4 und sogar 2Gbit! Nur USB und PCIe sind noch so nett und abwärtskompatibel.
Bei den älteren 10Gbit Adaptern fällt man sofort von 10Gbit auf 1Gbit herunter, die neueren können immerhin auch 5 und 2,5Gbit, falls die Verkabelung doch nicht so optimal sein sollte oder die Gegenstelle einfach kein 10Gbit kann, aber mehr wie 1Gbit.

https://www.gigabyte.com/de/Server-Motherboard/MZ31-AR0-rev-1x#ov sowas mit PCIe 5.0 und 200Gbit Ethernet wäre später mal schön.

 

[underclocker2k4]

via QSFP 56GB

Was soll das denn für nen Standard sein?

 

[danielmayer]

Er hat nix von "Standard"gesprochen und meint https://www.mellanox.com/products/ethernet-adapters/connectx-3-pro
Mellanox wirbt da schon seit Jahren mit einer off-Standard-Geschwindigkeit. Im Direktlink oder mit bestimmten Mellanox-Switchen machbar.

 

[sch4kal]

Wenn dich der Aufpreis nicht abschreckt, nimm gerne optische Module für SM-Fasern. SM-Module können (nicht offiziell) zur Not auch über MM-Fasern über eine längere Strecke verwendet werden als die 850nm Module sonst schaffen würden.

Davon kann ich nur abraten, das funktioniert nicht immer (Mode Conditioning Kabel gibt es ja auch nicht zufällig wenn das so problemlos gehen würde). Abgesehen davon sind SM-Fasern idr günstiger als MM. Es würde also auch preislich keinen Sinn machen, teurere Module und dazu evtl. unpassende, teurere Kabel zu kaufen.

 

[underclocker2k4]

Kenne ich. Veröffentlicht 01/2019. Ich zitiere mich sinngemäß "noch keinen 10G/40G PoE". 10G ist spezifiziert, ich kenne keinen kaufbaren Switch mit dieser Funktion. 40G nicht einmal spezifiziert.
Warum ist also mein Post falsch?

Was willst du in einem RZ Link mit PoE?
Willste die Server mit PoE einspeisen? (ich mein 100W hätte der Standard ja...)

PoE macht bei 10G erstmal halt, weil das aktuell der schnellste Link mit 100m ist. Und 100m braucht man schonmal für APs.
Die 30m von 40GBE bringen einem im AP-Umfeld (wohl die Paradedisziplin für PoE) einfach Garnichts.

Switch kaufen?

Aruba CX 6300 Switch Series

The Aruba CX 6300 Switch Series is ideal for enterprise access, aggregation, core, and top of rack deployments.

www.arubanetworks.com

Mehr Ports?

Aruba CX 6400 Switch Series | Aggregation, Core, and Data Center Switches

The Aruba CX 6400 Switch Series are next-gen modular switches for enterprise networks.

www.arubanetworks.com