[Kaufberatung] 10GbE - Kupfer oder Glas?

[Bzzz]

Mahlzeit!

Das Thema 10GbE muss jetzt endlich mal vom Tisch, aber ich kann mich nicht recht entscheiden...

Standardszenario - zwei Rechner sollen untereinander verbunden werden. Der Rest des Netzwerks wird weiterhin 1GbE sein und auf absehbare Zeit auch bleiben. Da jegliches Board eh einen integrierten Netzwerkport hat, sind Dualportkarten von vornherein nett, aber eigentlich unnötig. Zumal der erste Rechner eh exklusiv über 10GbE erreichbar sein soll.

Beide Kisten sind die aus der Systeminfo - Rechner 1 hat ein Supermicro X8DTL-iF drin (fix!), auf dem bereits zwei BR10i stecken. Damit ist noch ein PCIe 2.0 x4 und ein 1.0 x4 verfügbar, beide mechanisch als x8 ausgeführt. OS ist Solaris 11.3 (!)
Rechner 2 basiert noch auf einem Asus M5A97 LE 2.0 (PCIe 2.0 x16 mechanisch @ x4 elektrisch frei), da kommt aber irgendwann ein Ryzenboard rein. Notfalls kann ich da eine Spur größer kaufen. OS wird Ubuntu sein, gelegentlich aber bestimmt auch mal Windows 7.

Uptime Rechner 1 sind wenige Stunden im Monat (je mehr Gb/s, desto weniger ), Uptime des Hauptrechners (Rechner 2, sobald Überlegungen Richtung Terminalserver gelöst ist) sind eher 16h/d, im 10-Jahres-Mittel immerhin noch 8h/d.

Beide Rechner sitzen in 19"-Gehäusen (3HE/4HE) übereinander im gleichen Rack, und gerade in letzter Zeit wird da öfter mal was rausgezogen und bewegt. Mir ist das mit Glasfaser unsympathisch, aber vielleicht übertreib ich da ja. Hab da keine große Erfahrung damit, schon gar nicht was Langzeit-Haltbarkeit bei nicht fester Verlegung angeht.

Pro-SFP+:
- billige Gebraucht-Kits für ab 70€ komplett statt 2x >80€
- geringerer Stromverbrauch (2? Watt, aber siehe Uptime)
- typische Serverhardware -> Solaris-Unterstützung out of the box

Pro-RJ45:
- Kabel unempfindlich und Ersatzkabel billigst
- Karten sinnvoll mischbar, R1 könnte ne gut unterstützte X540 bekommen und R2 meinetwegen eine Aquantiakarte wie die XG-C100C
- it just works - kein Geschiss mit inkompatiblen SFPs
- teils x4-Karten erhältlich, also keine Probleme wegen Anbindung mit weniger als der nativen Linkbreite zu erwarten
- derzeit noch unrentabel, aber Boards mit integriertem 10Gbase-T sind im Kommen
- in fernster Zukunft direkt in sonstiges Netzwerk integrierbar - SFP-System wäre für alle Zeiten Insellösung

Ich tendier dennoch immer mehr in Richtung SFP+ mit DAC...

...was kaufen? Eins der fertigen Sets mit Connectx2? Oder die Edellösung mit X520? Oder zwei Brocade 1020 abstauben? Oder doch ne Mischlösung mit ner neuen XG-C100C und ner gebrauchten Intelkarte? Hachja...

 

[smoothwater]

Wenn es Solaris als OS sein soll, fällt die Asus/Aquantia-Karte schon mal raus: Gibt nicht einmal FreeBSD-Treiber...nur Windows und ein Linux-Paket zum selber bauen.
Lieber die Intel X540-T/T2 bei Ebay einfangen. Meine gabs es für knappe 120 Euro.
Einziges Manko ist die von dir schon angesprochene Anbindung: Die Intel-Karte hat ne PCIe2.0-x8 Steckleiste, die Asus/Aquantia PCIe3.0-x4.
Ab und an hat man mal ne X550er Serie für um die 200-250 Euro rum schwirren.

Gibt derzeit einige Switche/Router mit 2-4 Ports für 10 GBit/s auf RJ-45 für 250-300 Euro, manchmal läuft einem ein Buffalo BS-XP2008 oder BS-XP2012 über die Füße für unter 300 Euro. Mit 8-12 Ports mehr als Genug. Leider etwas nervig im Lüftergeräusch...und Lüfter wechseln ist nicht so einfach, da Pins anders belegt und ne Drehzahlprüfung...

 

[sweetchuck]

Ich hör immer Glasfaser, aber SFP+ innerhalb eines Racks ist ein Fall für Kupfer (Twinaxialkabel). DAC hats mit dem C für Copper ja sogar schon im Namen. Würde übrigens auch eher zum Mellanox-Set raten, da die Geräte ja nicht 24/7 laufen und insgesamt auch eher keine Stromsparer sind.

 

[martingo]

Zukunftsträchtiger dürfte meiner Meinung nach SFP+ sein. Und nachdem die Rechner beieinander stehen, ist DAC möglich (was übrigens üblicheeweise auch Kupfer ist). Daher meine Stimme für diese Kombination.
X2 ist wohl EOL, daher wäre je nach zukünftig möglichen Betriebssystemen die X3 eine Überlegung wert. Dürfte P/L aber immer noch günstiger sein.

 

[sweetchuck]

Zukunftsträchtiger dürfte meiner Meinung nach SFP+ sein.

Naja, kommt darauf an, in welchem Segment man sich bewegt. In Rechenzentren wird SFP+ weiterhin eine wichtige Rolle spielen, in den Consumerbereich wirds es jedoch nicht schaffen. Hier wird 2,5/5/10GBase-T mit RJ45 so langsam salonfähig. Auch die nächsten Schritte sind mit 25/40GBase-T und Cat 8.1 schon vorgezeichnet.

 

[Bzzz]

Ich hör immer Glasfaser, aber SFP+ innerhalb eines Racks ist ein Fall für Kupfer (Twinaxialkabel). DAC hats mit dem C für Copper ja sogar schon im Namen.

Ach du Sch..., da ist ja tatsächlich Kupfer statt Glasfaser drin
Ja gut, dann muss ich die Vorstellung "vorkonfektioniertes Glas mitohne Kompatibilitätsprobleme" (C != cable sondern = copper, wie du richtig sagst) updaten und ein Haufen der Bedenken fällt weg. Damit wird es ein DAC-System werden.

Solange die X2 noch supported werden hab ich kein Problem mit EOL-Status. Die kürzlich verschenkten X1/Infinihost3 waren da schon drüber und ich hab auf der Mellanox-Seite keine offiziellen Treiber mehr finden können. Das kotzt mich vom Herstellerverhalten her an, aber irgendwoher muss der geringe Preis für die X2 ja kommen.

 

[underclocker2k4]

Naja, kommt darauf an, in welchem Segment man sich bewegt. In Rechenzentren wird SFP+ weiterhin eine wichtige Rolle spielen, in den Consumerbereich wirds es jedoch nicht schaffen. Hier wird 2,5/5/10GBase-T mit RJ45 so langsam salonfähig. Auch die nächsten Schritte sind mit 25/40GBase-T und Cat 8.1 schon vorgezeichnet.

Das hat auch einen Grund. 40GBASE-T kann man schlichtweg vergessen. 30m ist Ende im Gelände und selbst das macht es für einen Großteil der Consumer uninteressant. Was soll man mit 30m in einem Haus an Leitungslänge anfangen? Das Verteilerrack mittig ins Treppenhaus bauen?

10G sind ja noch 100m machbar, uns bist das wirklich flächig durchgesetzt ist, vergehen noch 10Jahre.

 

[danielmayer]

Außerdem hat RJ45 ein Problem mit hohen Frequenzen, weshalb >10G sich mit dem Steckertyp ziemlich sicher ohnehin nicht durchsetzen wird.
40Gbase-T mit Qsfp oder mit sfp+ ist eine andere Sache, dennoch bleibt die o.g. Kabellänge ein Problem.
Ich sehe Kupfer für Verlege-Lösungen bei 10G am Ende.

 

[underclocker2k4]

>10G @ RJ45 hat sich schon "durchgesetzt" in dem es "einen" expliziten Standard dafür gibt.
Mit CAT8 (USA) und CAT8.1 (ISO) sind explizit für RJ45 gedacht und die Weiterentwicklung von CAT6A. Dem gegenüber steht CAT8.2 als Weiterentwicklung von CAT7 und damit, wie auch CAT7, nicht RJ45 kompatibel.
Beide (alle drei) Standards sind für 40GBASE-T freigegeben.
RJ45 ist also mehr oder minder für die angesprochenen Frequenzen gedacht.
40GBASE-T wird es nie für QSFP geben, da BASE-T immer für eine Twisted Pair steht und damit keine andere Physik zugelassen ist.
QSFP auf alternativer Kupferbasis setzen immer auf Twinaxiale Kabel, da Twisted Pair an der Stelle deutliche Nachteile hat. Das kennt man als DAC. Genauso wie es schon bei SFP(+) ist.
Dieser Standard nennt sich dann 40GBASE-CR4. Das selbe gibt es auch bei 100GBASE.

Der Anwendungsfall für 40GBASE-T wird ja mehr oder weniger im Bereich der Rechenzentrumverkabelung.

40G auf SFP+ wird es so oder so nicht geben. SFP ist Moment mit SFP28 bei 28gbit auf dem Port am Ende. Zudem hat es nur je einen Kanal pro Richtung, was mit der restlichen Übertragungstechnik kolliniert, da 40G und auch 100G auf je 4 Kanäle mit 10gbit bzw. 25gbit setzt. QSFP ist damit nur die Vervierfachung der Übertragungswege des SFP+ (also 4x 10Gbit) wohingegen QSFP28 die Vervierfachung von SFP28, also 4x 25gbit.
Wenn man es genau nimmt, dann ist das umgangssprachliche QSFP eigentlich ein QSFP+, da QSFP für 4xSFP also 4x 1gbit steht. (das mal am Rande)

 

[danielmayer]

Auf deine ersten Sätze würde ich mit "jaein" antworten: Meiner Kenntnis nach ist der per Design ungeschirmte RJ45 ein echtes Problem, auch für die von Dir genannten Cat 8 und 8.1.
"kompatibel" ist auch ein typisches Marketing-Wort, da z.B. in diesem Artikel aus 2012 der RJ45 nur als Rückkompatibilitätsstecker genannt wird, der dann auf die MHz für 10G runtertaktet.
In diesem Artikel aus 2016 wird sogar ausdrücklich erwähnt, dass bis dato keine Cat 8 und 8.1 Stecker definiert wurden. Von Wanddosen und Patchfeldern ganz zu schweigen.
Dass nun doch zahlreiche Hersteller nur für RJ45-Patchkabel bewerben ist für mich alten Skeptiker ein klares Problem-to-come. Die Cat8 Spez. spricht ja nicht nur von 30m, sondern auch von max. 2 Steckverbindungen - also faktisch ausschließlich Direktverkabelung...
Insofern stimme ich zu, dass "mehr oder weniger" eher "mehr" der Anwendungsbereich im Rechenzentrum innerhalb einer max 10er Schrankreihe liegen wird. Für Home oder Gebäude zu Gebäude, selbst Zimmer zu Zimmer völlig untauglich.
Daher auch meine ablehnende Haltung in Foren zu 40Gbase-T-Überlegungen: Zu viele "aber nur, wenn"...

 

[underclocker2k4]

https://d3gx8i893xzz0e.cloudfront.net/fileadmin/datacom/publications/articles/rz-inf-2016-01_40gbs-auf-dem-sprung-zu-100gbs.pdf?1469696331
Du hast den Artikel nicht richtig verstanden, wie mir schein. Bzw. ist der Artikel 2012 mittlerweile im Detail Müll. Das wäre so, als wenn du heute einen Artikel von 1980 raussuchst, der bescheinigt, dass niemand mehr als 640kb RAM braucht, und damit begründest, dass du in einem neuen Server 512kb RAM einbaust.

Bei der Festlegung der Kriterien für die Verkabelung ging die zuständige Projektgruppe PT 40G bei ISO/IEC JTC1 SC25 WG3 für Kategorie8.1-Komponenten von optimierten Kategorie-6A-Komponenten (500 MHz) aus, deren Übertragungseigenschaften für Frequenzen bis 1,6/2 GHz interpoliert wurden.

Kategorie-8.1-Stecker/Module nach IEC 60603-7-81/82 sind derzeit noch nicht verfügbar, werden aber im Wesentlichen Cat.6AKomponenten sein, deren Kompensation für Frequenzen bis 2 GHz optimiert ist.

Das heißt, dass man für CAT8 und CAT8.1 optimierte CAT6A Komponenten benutzt, bzw. (zu dem Zeitpunkt noch) benutzen wird. CAT6A-Komponenten sind RJ45 basierend.

Verkabelungen nach Kategorie 8.2, Klasse II, basieren auf Kategorie-7A-Komponenten und sind hierzu rückwärtskompatibel.

Demgegenüber steht die CAT8.2 bei der die CAT7A Komponenten auch noch optimiert werden müssen.
Beides habe ich im Post vorher bereits ausgeführt.

Zu dem Artikel von 2012 sage ich auch, dass du da nicht wirklich durchgestiegen bist.

Mit deinem Runtertakten sprichst du auf Seite 4 an.
Allerdings taktet da Garnichts runter und die Aussagen, die dort getätigt werden, sind auch nur Gedankenblitze aus der Zeit.
1. Es taktet Garnichts runter.
2. GG45 hat eine spezifizierte Frequenz von 1GHz, RJ45 nur bis 500MHz
3. 10GBASE-T hat eine Bandbreite bis 413MHz, damit ist 10GBASE-T RJ45 problemlos kompatibel
4. basierend auf diesen veralteten Daten ergibt sich, dass 40GBASE-T garnicht funktionieren kann, da auch ein CAT7A keine ausreichende Bandbreite zur Verfügung stellt.
5. Von daraus ausgehend lässt sich ableiten, dass CAT6A und auch CAT7A weiterhin optimiert werden müssen, wohingegen CAT7A den geringeren Hub zu leisten hat.

Zurück zum RJ45. Es hilft bei sowas immer, sich die Normen anzuschauen.
Für die CAT ist es z.B. die Internationale ISO11801.
http://www.ieee802.org/3/bq/public/jan14/flatman__3bq_01_0114.pdf
Dort hat man gesagt (2014 wohlgemerkt), dass man jeden Stecker (RJ45, ARJ45, GG45, TERA) aufblasen muss, ergo SPEC geschaffen werden müssen, dass die die 2GHz schaffen werden.
Unterm Strich hat man festgestellt, dass man 40GBASE-T mit solch großen Bandbreiten fahren können muss, da man mit Codierungen und Co es nicht schafft die Bandbreite weiter unten zu halten. Eigentlich wollte man auf 1GHz kommen um so keine neuen SPECs machen zu müssen, sondern einfach CAT7A nutzen kann.
Updated requirements for structured cabling systems - new international standard ISO/IEC 11801 | KELine
Damit solltest du meine Aussagen als validiert ansehen können. Es lassen sich auch noch weitere Quellen im Netz zu der Norm und den genannten Aussagen finden.

Kompatibilität ist in dem Fall kein Marketingwort, sondern eine ganz klare Vorgabe, damit, mehr oder weniger die Amis, man weiterhin die bekannten Stecker einsetzen kann.
CAT8.2 bzw. CAT7A basierende Verkabelung hat als Vorteil, dass die Reserven deutlich größer sind und damit die Robustheit steigt.
Die Reserven rühren aus dem, von dir richtig erkannten, Nachteil des RJ45 Steckers, dem starken Übersprechen innerhalb des Steckers.

Zum Schluss noch der ultimative Beweis:
Telegärtner :: Technische Daten
Eins kannst du glauben, Telegärtner würde nichts bauen, was nicht in irgend einer Norm genausten spezifiziert ist.

Dass nun doch zahlreiche Hersteller nur für RJ45-Patchkabel bewerben ist für mich alten Skeptiker ein klares Problem-to-come. Die Cat8 Spez. spricht ja nicht nur von 30m, sondern auch von max. 2 Steckverbindungen - also faktisch ausschließlich Direktverkabelung...

Auch dort ist deine Interpretation falsch.
2 Steckverbindungen sind die Dose (Nr 1) und Patchfeld (Nr 2). Die Stecker an den Geräten sind nicht als Steckverbindungen spezifiziert. Dem gegenüber steht, dass man bei z.B. 1GBE gefühlt Stecken kann bis man schwarz wird. Das rührt daher, dass die Steckverbindungen extrem viel "Müll" verursachen.

https://www.google.de/url?sa=t&rct=j&q=&esrc=s&source=web&cd=5&ved=0ahUKEwjdspHLsqvcAhWFDewKHZmxCXAQFghKMAQ&url=https%3A%2F%2Fwww.ortronics.com%2F-%2Fmedia%2Fbrands%2Fortronics%2Fresources%2Fwhite-paper%2Fort-whiteppr-cat8.ashx%3Fla%3Den&usg=AOvVaw2BZrTKMM8sjklCf0CFTmJr
Ein Permanent Link ist eine Festverkabelung mit jeweils separaten Terminierungen von maximal 24m. Hinzu kommen nochmals 2x 3m Patchkabel. Damit ergibt es die bekannten Standardinstallation einer strukturierten Verkabelung.

Skepsis ist immer gut, aber kein guter Berater, wenn man nicht auf aktuellen Stand ist, was die Technik grad so hergibt. Siehe oben, das "RAM-Ding".

Ich gebe Allerdings zu, dass das aktuelle CAT Thema sehr kompliziert ist, da sich mittlerweile Parallelpfade für mehr oder weniger die selbe Anwendung etabliert haben.
Das war zu CAT5-Zeiten deutlich einfacher.
Du kannst aber wirklich glauben, dass RJ45 40G schafft. Beweise gibt es dazu tausende, im Zweifel hilft es, wenn man mit einem Hersteller spricht, die sind z.T. auch bei der Normung dabei.

 

[danielmayer]

Vielleicht denke ich wirklich viel zu praktisch und außerhalb eines kleinen Serverraums.
(total viel geschrieben und wieder gelöscht, hoch kritisch und lästernd, hart an der Flaming-Grenze
Hast Du ein logisches bzw. wirtschaftliches Nutzungsszenario für max 30m mit Vorteil gegenüber 40GBase-SR/LR. Mir fällt nix ein.

 

[underclocker2k4]

Vielleicht denke ich wirklich viel zu praktisch und außerhalb eines kleinen Serverraums.

Das ist genau das Problem. 40GBASE-T ist (aktuell?) nicht für außerhalb des RZ vorgesehen. Eben weil sich 30m für so ziemlich keine strukturierte Verkabelung eigenen, ansonsten kannste ja jeden 2. Raum nen Verteiler setzen, macht sich gut in der Flächenplanung. Praxis gibt es nicht nur in der Anbindung eines BüroPCs. (Da werden wir noch 10 Jahre brauchen, bis da 40GBE notwendig sein sollten, hoffentlich)

40GBASE-T lohnt daher nur als Anwendung innerhalb eines RZ. Ob das so der Ursprungsansatz war, keine Ahnung, müsste man sich mal die ersten Ideen dazu anschauen. Vorstellen kann ich mir, dass man schon die 100m wollte, allerdings sollte jeder halbwegs fitte Nachrichtentechniker, und das darf man bei den Standardisieren annehmen, schon abschätzen kann, was für Probleme beim vierfachen der 10GBE 413MHz mit diesen guten TP-Leitungen auf einen zu kommen, bzw. welche Codierverfahren man einsetzen müsste damit man bei 413MHz bleiben kann, inkl. der eingekauften schmerzen dadurch.

Halten wir also ma fest, 40GBase-T nur innerhalb eines "Raumes".

Es ist schade, dass du den kritischen und lästernden Text gelöscht hast. Mit Meinungen und Ansichten kann man auch diskutieren. Aber evtl. kommt das ja noch raus.
Wirtschaftlich:
Für einen 40GBE Link mit LR oder SR braucht man LWL, wer hätte das gedacht.
Das Problem bei SR ist, dass man für eine Verbindung, nicht wie bisher ein Doppelfaser braucht, sondern direkt mal vier. Das vervierfacht schonmal den Verkabelungsaufwand, bzw. reduziert die vorhanden Links auf 1/4.
Des Weiteren braucht man dafür MPO-Breakoutcable bzw. bei Bedarf Splittfelder.
Bei LR kann man die Verkabelung beibehalten, hat aber das Problem, dass man erstens diese Reichweiten garnicht braucht und damit etwas bezahlt, was man garnicht benutzt. (Fokus ist innerRZ)
Ein LR-Transceiver kostet ~5k(Liste, keiner zahlt Liste...), um mal eine Größenordnung zu haben, daher kostet ein Link mal eben 10k an Verbindungstechnik. (Kabel fällt da nicht mehr ins Gewicht)

Die Verkabelung nach CAT8.x ist demgegenüber relativ günstig. Das kostet, nach ein wenig Einspielphase, genauso viel wie man heute für einen 10GBE Link zahlt.
-T - günstige Verkabelung
-LR4 - teure Transceivertechnik
- SR4 -teure Verkabelung aufgrund der Mehrfachanspruchts

Mal eine praktische Anwendung:
Man stelle sich ein RZ vor, in dem Fall ein Bunker wo das RZ gespiegelt aufgebaut ist. Und zwar vollgespiegelt, was man in einem Bunker wunderbar machen kann, weil es die Substanz hergibt.
Jetzt braucht man zwischen beiden RZ multiple Links, gehen wir mal so von 500-1000 Links aus. Aufgrund der Räumlichkeiten liegen die Racks so, dass man zwischen beiden ca. 20m Wegstrecke hat. (lange gemeinsame Wand, wenn man sich das vorstellen kann) (sowas habe ich mal installiert)
Hier hätte -T den enormen Kostenvorteil, zumindest auf Verkabelungsseite.

-T hat im RZ grundsätzlich den Vorteil, wenn man mehr als die -CR4 Längen braucht ohne im Bereich von >= 30m zu landen. Das ist natürlich ein sehr schmales Einsatzband, aber durchaus realistisch, gerade wenn man bedenkt, dass der Datenverkehr enorm steigen wird.
In wirklich ausgewachsenen RZs, wo man von mehreren 100m² Fläche redet und man irgendwie von der einen Ecke in die andere Ecke will, bringt einem das nichts. (Beispiel wären Colos)

LWL ist also auch nicht unbedingt der Weisheit letzter Schluss, gerade weil es für das Anwendungsszenario die Längenanforderungen nicht notwendig sind.
Wurfverkabelung ist auch nicht immer sexy, weil man nicht bei jeder Erweiterung erstmal nen ganzen Sack Leute ins Boot holen will, die einem Leitungen werfen. Für gewöhnlich installiert man da erstmal einen ganzen Schwung fester Verkabelung und arbeitet damit. Da bieten sich Wurfleitungen oder -CR4 einfach nicht an. Man könnte jetzt noch weitere Einsatzfälle aufmachen, wo sich -T rechnen kann. Letztendlich wird zumindest die Verkabelung auf gleichem Preisniveau wie 10GBE bleiben, wohingegen -SR4 schlechter wird und -LR4 aufgrund der Aktivtechnik nicht unbedingt finanzierbar ist. Für diese RZ-Verkabelung im Bereich bis 20m ist -T bei 40G effektiver als man es heute bei 10G hat. (Bei 10G macht es im Moment nicht DEN großen Unterschied ob man -T oder -SR als Link einsetzt.)

Weiterer Vorteil von 40GBASE-T ist, dass man heute schon einen CAT8.x Link bauen kann, aufgrund der eigenen Anforderungen aber erstmal 10GBE macht und evtl. in 5-10Jahren einfach 40GBE aufbaut. (wenn man damit rechnet inkl. der Beachtung der Längenthematik, aber das ist ja eh klar)

Gespannt bin ich auch die 40GBASE-T NICs, insbesondere was die an Power brauchen werden.

Bei der Betrachtung lasse ich ganz bewusst irgendwelche latzenzsensitiven Anwendungen außen vor. In dem Fall ist -T im Nachteil und -CR oder LWL eh das Mittel der Wahl. Würde ich dann aber auch mal interessieren.

Evtl. sollte ich mir mal ein bisschen Spielzeug bestellen um CAT8.x mal zu testen, was da für Schwierigkeiten hochkommen.

EDIT:
Ich will hier keine Werbung machen. Ich will klarmachen, dass 40GBASE-T durchaus seine Vorteile hat, zumindest auf dem Papier aktuell. Die Geräte und die Praxis werden Zeigen, wo der Frosch wirklich die Locken hat. Es zeigt aber, dass man die Grenzen wieder einmal verschoben hat, aber auch, dass man sie eben nicht weit genug hat verschieben können. (ohne den Aufwand zu übertreiben)

 

[H_M_Murdock]

Passive SFP+ DAC Kabel sind nicht ganz unproblematisch weil damit eine direkte elektrische Verbindung zwischen den Geräten hergestellt wird.
Hast du jetzt ein Gerät von Hersteller A und ein anderes von Hersteller B kann sich das beißen.

Kommt alles vom gleichen Hersteller hab ich da keine Bauchschmerzen.

Deshalb findest du von jedem Hersteller eine Kompatibilitätsliste was die DAC Geschichte betrifft, allerdings sind halt z.B. in einem Datenblatt von HP / Aruba nur HP / Aruba Kabel und Geräte enthalten, in einem von Intel nur Intel, bei Cisco wird's ähnlich sein aber da weiß ich's nicht.
SFP+ auf RJ45 wurde mir auch schon von abgeraten weil die wohl so viel Strom ziehen können dass die Verbindung abreißt.

Dementsprechend plane ich bei uns im Betrieb für die Anbindung der Server an die Switches inzwischen mit 10GBase-T und verwende DAC Kabel nur im Aggregation- und Corebereich im Netzwerk wo es um die Verbindung von Switches des gleichen Herstellers untereinander geht.
Oder eben auch mal eine LWL benötigt wird.

 

[underclocker2k4]

@DAC
Die SPEC sagt dazu, dass nur Geräte verbunden werden sollen, die die gleichen Haben, eben weil es direkte galvanische Verbindungen. Bei RJ45 ist das anders, die haben Übertrager und sind daher getrennt.

@SFP+ auf RJ45
Das ist tatsächlich so, das die sehr viel Strom bräuchten.
Ein RJ45-Port braucht bei 10GBE irgendwas um 4-8W, je nach Alter. Da man das auf keinen Fall über den SFP+ ziehen kann, hat man hier die Leistung reduziert und begrenzt die Leitungslänge auf 30m. (die Zahl kommt einem bekannt vor...)
SPEC für SFP+ sagt maximale Leistung für Module von 1,5W. Die Kontakte können aber 500mA, es kommt daher auf die Implementierung der aktiven Komponenten an, ob man die 2,5W stemmen kann oder nicht.
Hersteller geben auch explizit 10GBASE-T SFP+ Module frei, ggf. wird aber die maximal Anzahl begrenzt, eben wegen der nicht übermäßigen Auslegung der Stromversorgung. Ein LWL Modul braucht im Schnitt 1W, also 1,5W weniger als es bei Base-T der Fall wäre. Gegenüber direkt RJ45 ist das nochmal ein ganz anderer Faktor. Daher sollte man auch nicht die Betriebskosten vernachlässigen, wenn man übermäßig RJ45 machen will.

 

[smoothwater]

Wenn es "nur" 2 PCs im Direktverbund sind, gebe ich dir vollkommen Recht. Sobald ein 10GBase-T-Switch zwischen hängt, ist die Betriebskostenrechnung noch etwas straffer. Mein Buffalo BS-XP2008 hat etwa 15 W Grund ohne aktive Ports, pro aktivem 10G-Port kommen etwa 1,5 W dazu. Komplett belegt sind wir so schon bei 28 W angekommen, ohne das Daten fließen. Werden die Verbindungen über 10G genutzt, schnellt das Wattmeter auf 4,2 W pro Port hoch. Das sind dann mal eben knapp 50 W im Maximum nur für den Switch. Meine X540-T kleckert dann nochmal 7,5 W pro Rechner dazu. Da sollte man sich das Nutzprofil sehr genau ansehen, denn da bleibt es nicht bei 5 Euro hinsichtlich der Stromkosten...

 

[banksy]

Hallo,

ich habe den Chatverlauf mit Freude gelesen.

Hier noch ein paar Links für 10GBE Netzwerke inklusive Stromberbräuche, Latenzen usw. im direkten Vergleich für 10G (SFP+) und 10GBase-T (RJ-45) dir mir bei meiner Zusammenstellung meines Netzwerks deutlich weitergeholfen haben:

https://www.gbic-shop.de/10GBASE-T-VS-DAC-VS-SFP-WELCHE-IST-DIE-BESTE-OPTION-FUeR-DIE-VERKABELUNG-VON-10-GIGABIT-ETHERNET-RECHENZENTREN

https://community.fs.com/de/article/guide-to-10g-dac-and-aoc-cables.html


Es gibt vier Größen an denen man sich bei diesen Netzwerkkonfigurationen ortienieren kann:

1. Steckertyp - SFP+ oder RJ-45 --> welche Seite meines Netzwerkes ist an dieser Stelle relevant?

1.a
Habe ich ein Rechenzentrum/"stark differenziertes Netzwerk mit mehreren Servern usw." --> ist SFP+ die beste Wahl.
Warum: die Ausgestaltung ist am flexibelsten, kann auch mit Transievern zu RJ-45 überführt werden, und ist aufwärtskompatibel bspw zu QSFP+ 40GBe Ethernet

1.b
Stehen Endgeräte (wenige bis viele) und deren Anbindung im Vordergrund --> ist RJ-45 deutlich einfacher zu handhaben

2. Stromverbrauch --> das hängt vom spezifischen Anwendungsfall ab, hier würde ich empfehlen die Option zu wählen, welche in Summe den geringsten Stromverbrauch für das gesamte Netzwerk darstellt.

3. Latenzen --> Glasfaser hat deutlich geringere Latzenzen und viele Vorteile hinsichtlich geringer/keine Störanfälligkeiten bei Temperaturen, elektromagnetischen Feldern

4. Verlegelänge --> die Verlegelänge von Kupferkabeln ist begrenzt ~100m

HINWEIS:
Wer PoE anwenden möchte wird um RJ-45 wohl nicht drumherum kommen.


Mein Fazit (Stand 02/2024):

Wenn man ein differenzierteres Netzwerk mit VLANs und primär 10GbE Geschwindigkeiten benötigt würde ich SFP+ für das Kernnetzwerk empfehlen. SFP+ ist von den Hardwarepreisen deutlich günstiger und wird in deutlich größeren Mengen angeboten. Kabel für SFP+ sind teuer und quasi nur in vorgegebenen Längen erhältlich.
RJ-45 Transiver zu SFP+ 10G würde ich soweit möglich vermeiden und vorzugsweise SFP+ PCI Karten in Einzelrechnern verbauen.

Allgemein würde ich als Core für das L2/L3 Netzwerk ein SFP+ 10GBe Switch (ggf mit QSFP 40GbE Ethernet) verwenden und dieses um ein 1G-Base (RJ-45) Switch mit ein oder mehr 1 SPF+ 10GBE Upload Ports kombinieren. Falls PoE benötigt wird, sollte hier ein entsprechends Switch mit der benötigten Leistung pro Port verwendet werden (Achtung: hier gibt es unterschiedliche Standards bis soweit mir bekannt 96W pro Port sind da aktuell möglich).

Ich hoffe, dem einen oder anderen weiterhelfen zu können.

 

[besterino]

Ich finde, man kann es noch viel einfacher zusammenfassen:

Ab 10gbit ist SFP+ bzw. Glas m.E. immer vorzugswürdig, es sei denn, man hat noch keine Glasfaser zwischen den zu verbindenden Punkten liegen und kann/will auch keine neuen Kabel verlegen. Nur im letzten Fall, bietet sich 10GBase-T an.

 

[Holt]

es sei denn, man hat noch keine Glasfaser zwischen den zu verbindenden Punkten liegen und kann/will auch keine neuen Kabel verlegen.

Oder man möchte eben keine gebrauchte Enterprise Hardware kaufen. 10GBase-T sollte für die meisten Heimanwender reichen, die maximale Kabellänge ist zwar kürzer, aber wer so eine große Bude hat das dies zum Problem wird, dürfte auch genug Geld haben sich das verlegen zu lassen. Die höhere Latenz dürfte für die meisten Heimanwender irrelevant sein, die werden da sowieso ihr NAS anschließen und brauchen nur die Bandbreite, im Vergleich zur Latenz des NAS, gerade wenn da HDDs drin sind, spielt doch die Latenz des Netzwerks gar keine Rolle. Der Stromverbrauch dürfte gar nicht so viel höher sein, der Marvell AQtion AQN-107 10 GbE Network Interface Adapter ist mit "Typical Power Consumption • 6 W at 10 Gbps, 4W at 5 Gbps full length 100 m Cat6a" angegeben und meine bei kürzeren Kabeln ist es auch weniger. Für den Marvell AQN-100 10 Gigabit Ethernet Fiber Network Interface Card fehlt diese Angabe leider, aber für diese Edimax EN-9320SFP+ steht geschrieben: "Typical Power Consumption 4 Watts".

Wir reden also vielleicht von so 2W pro Anschluss, wie viele hat man davon? Dies macht doch echt den Kohl nicht fett, denn wer zuhause Hunderte Rechner hat die alle so schnell ans Netz angeschlossen werden wollen, der hat sowieso eine fette Stromrechnung. Soll doch jeder kaufen, was ihm am Besten gefällt bzw. wo er eben günstig drankommt. Glasfaser dürfte sich allerdings im Consumersegment nicht durchsetzen, da wird es bei 10GBase-T bleiben.

 

[besterino]

Gibt auch neue SFP+ NICs für um die 70 Euro. Gut, kommen noch Transceiver + Kabel bzw. DAC dazu. Das ist zwar etwas teurer als die klassische 3m-Kupferstrippe, aber im Ergebnis nimmt sich bei den Anschaffungskosten an der Stelle m.E. nix Nennenswertes. Also selbst wer neu will, muss da m.E. nicht Unsummen ausgeben und spätestens bei nem halbwegs vernünftigen Switch spart man dann eher mit Glasbasis (und Lautstärke häufig mal ganz außen vor).

Gebe dir aber recht: Unterm Strich ist der Einstieg mit 10GBase-T leichter, weil man eigentlich nichts Neues lernen muss. Daher für Consumer der logische Weg. Aber nur weils nahe liegt, muss es ja nicht der richtige Weg sein.

Wie gesagt: als ich „schnelleres Netz“ wollte, bin ich zunächst GENAU den Weg gegangen, hübsch 10GBase-T als Basis und recht viel Geld in die Hand genommen, nur um am Ende wegen Hitze, Lautstärke, Kosten bei Erweiterungen uvm. doch auf Glas umzusteigen - bis eben auf die Punkte, wo ich keine Lust hatte, nen neues Kabel zu legen.

Darf ja auch jeder gerne machen, wie er/sie will. Mir geht es darum, dass es sich lohnen kann, NICHT den vermeintlich einfache(re)n Weg zu gehen.

Für z.B. nur einen Rechner plus NAS isses am Ende völlig egal. Aber wenn der Haushalt aus ner 5-köpfigen Familie besteht, mag das halt anders aussehen.

 

[Zeitmangel]

Oder man möchte eben keine gebrauchte Enterprise Hardware kaufen. 10GBase-T sollte für die meisten Heimanwender reichen

Für "die meisten Heimanwender" sind 2.5Gbit üppiger Überfluss. Samt 6ax Wlan. Wenn nicht sogar schon die letzten Variationen vom WiFi5. Ich würde daher diese generelle Killerphrase eher nicht benutzen, beim 10Gb-Netzwerk Das sind Forenblasen.
Die Normalos unter diesen die überhaupt darüber nachdenken, sehen das eher für den Uplink an 4x/5x 2.5Gb Switchen vor. Wenn sie denn mal mal eine 2fach/3fach Kaskade haben.
Da finde ich sogar, daß brauchbares Multimode OM2 LWL zu legen einfacher ist als Cat6A. Es sei denn a) man hat das schon und b) alles zugemauert ist.
Ein NAS ist zu um die 99.9985% ein PlasteNAS. Der braucht das nicht. Mal davon ab, daß die allermeisten Erdbewohner halt nicht fortlaufend 4k/HDR schneiden. Dann auch noch elend lange Sachen und übers Netzwerk. Und auch nicht wöchentlich den kompletten NAS einmal hin und einmal wieder zurück kopieren.

Darf für einen selbst natürlich überhaupt nicht interessant sein, aber, wenn man schon über andere reden möchte muss man halt auch überlegen was sich durch mehr oder weniger sinnvolle Notwendigkeiten ergibt und was reines fancy to have ist.

[...]
Wir haben die Stromleistungen grad im Nebenthread... REGE diskutiert Das daoben sind Milchmädchenrechnungen. Hier (Link am Ende) kann man sich mal, erstmal anhand von 2.5Gb, anschauen was real an den Buchsen passiert. Die Spanne. Die Spanne liegt zwischen 1.4W und 0.3W (!)
Verhält sich mit 10Gb-Kupfer oft ähnlich. Gemessen haben sie es leider nicht in Gänze, aber u.a. an einem Qnap. Auf modernerer Platform also, lag 2.5Gb bei 0.4W und 10Gb-Kupfer zog bis zu 1.4W. 3.5x mehr. Was ist aber so eine (Platform), wenn das nicht jemand vernünftig testet? Recherchieren, recherchieren...
Und moderne Platform kann auch mal bisschen seltsam sein. Der gleiche Switch hat mit HWv1 lahmeren Chip mit 2MB Puffer, mit max. Verbrauch von 12W. HWv2 hat einen flinkeren Chip und damit nur 1MB Puffer, mit max. Verbrauch von fast 13.5W. Geht aber auch noch besser...
Wobei bei STH die Idles imho noch weit interessanter sind. Man liegt auch mal bei Faktor 7.
STH Switch Roundup

Es gibt Switche wo die Buchsen von 10Gb-Kupfer über ein Wärmeleitpad mit dem Blechgehäuse verbunden sind Es gibt Leute die Kühlkörper auf 10Gb-T Transceiver machen.
Ich find das alles bisschen seltsam. Wenn man SFP+ hat, kann man sich das selbst aussuchen. Wenn man Switche/NICs mit fest verbauten 10Gb-Kupfer kauft, kann man das später nicht. Wenn sich das zu stark verbreitet, kann sich das später eben keiner mehr aussuchen.

Ob man das toll findet oder eben nicht ist jedem selbst überlassen. Was die Platform selbst angeht wäre es aber imho schlauer ausschliesslich auf Geräte mit SFP+ zu setzen.

 

[Holt]

Für z.B. nur einen Rechner plus NAS isses am Ende völlig egal. Aber wenn der Haushalt aus ner 5-köpfigen Familie besteht, mag das halt anders aussehen.

Ja, da ist dann aber die Frage ob jedes Familienmitglied denn wirklich eine 10GbE Anbindung braucht. Das muss natürlich jeder für sich entscheiden und eben auch sehen, wie weit diese auseinander liegen und wie damit die Verkabelung aussehen könnte.

 

[danielmayer]

@besterino: Außerdem wissen wir doch hoffentlich alle, dass "leichter, schneller, verführerischer" nur zur Dunklen Seite führt und keinesfalls mächtiger ist
Ich habe über meine Hausverkabelung heute noch Schmerz mit Kupfer, weil die drecks-Anbindung über Keystone noch Adern als fehlerhaft identifizieren lässt, wenn man von 1G auf 10G switchen will: das ein oder andere Twin-Ground-Äderchen halt doch mit dem Keystone geerdet war. Mit dem 2000€-Fluke- Tester sieht man da halt mehr.
Mit Glas einfach null Probleme. Irgendwie denke ich schon, dass dieses Forum auch zur Hellen Seite beraten sollte: Der ggf deutlich höhere Aufwand für die Erstinstallation könnte sich auf längere Zeit schon nur durch die geschonten Nerven rentieren...

 

[Zeitmangel]

@danielmayer
Ich bin über 2 Ebenen in der selten glücklichen Situation Cat rauszuziehen, an dem LWL angebunden wird Schon wäre LWL "gelegt". Hast du eine gute Empfehlung für eine multimode Strippe?

 

[underclocker2k4]

Ich habe über meine Hausverkabelung heute noch Schmerz mit Kupfer, weil die drecks-Anbindung über Keystone noch Adern als fehlerhaft identifizieren lässt, wenn man von 1G auf 10G switchen will: das ein oder andere Twin-Ground-Äderchen halt doch mit dem Keystone geerdet war.

Pfusch am Bau ist immer scheiße. Da nehmen sich Kupfer und LWL nicht viel. Auch an nem schiefen Schrank ist selten der Schrank schuld, sondern der, der den aufgehangen hat.

Wenn Datenadern über den Schirm geerdet sind, ist auch nicht 10GBE das Problem, sondern auch schon 1GBE hat das Problem. Das mag sich leichter kaschieren lassen, ist aber vorhanden.

Ansonsten ist LWL die problematischere Technologie.
Bei LWL muss man nämlich dafür sorgen, dass Stecker als auch Buchse entsprechend sauber sind.
Sowohl Dreck als auch bereits Kratzspuren sind problematisch. Das wird umso schlimmer, je höher die Datenraten werden.
Daher gibt es neben Kameras (Mikroskope) auch Reinigungswerkzeug. Letzteres sollte vor jeder Steckung genutzt werden und auch das Mikroskop sollte im selben Zuge danach zur Anwendung kommen.

Saubere Stirnflächen für LWL-Stecker sind kritisch| Corning

Verschmutzte Endflächen verursachen Signalverluste, Netzwerkfehler- und ausfälle. Reinigung und Sauberkeit sind wichtig für eine optimale Netzwerkleistung.

www.corning.com

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Jetzt kann man sagen, das interessiert mich @home nicht. Nur muss man einfach anerkennen, dass es solche Anforderungen an den Umgang mit der Technologie bei Kupfer so einfach nicht gibt.
D.h. also auch, dass Kupfer die robustere Technologie im Sinne der Handhabung ist.

Allen gemein ist, dass Pfusch immer zu Problemen führt.
Daher sage ich auch immer, dass man nach der Installation von CAT-Strecken Messungen (und damit ist kein billiges 2k "Mess"gerät gemeint) durchführt. Diese Messungen garantieren einem, dass man sauber gearbeitet hat. Und dann sind 10GBE absolut kein Thema.

Sauberes Arbeiten hat schon beim Burgenbau im Mittelalter für weniger Schmerzen gesorgt. Da gibt es keinen Unterschied zu CAT als auch zu LWL.

 

[Zeitmangel]

Jetzt kann man sagen, das interessiert mich @home nicht. Nur muss man einfach anerkennen, dass es solche Anforderungen an den Umgang mit der Technologie bei Kupfer so einfach nicht gibt.
D.h. also auch, dass Kupfer die robustere Technologie im Sinne der Handhabung ist.

Das stimmt schon. Ich bin aber erstmal irgendwie der Meinung, daß was man mit iperf3 nicht sieht, man mit einem Mikroskop nicht zu suchen braucht. Das Reinigungszeug ist cool.

 

[pwnbert]

(je mehr Gb/s, desto weniger )

25 gbit sfp28 Karten gibts auch "recht günstig", nur Switches bringen dich um. Wenn du aber gar keinen Switch brauchst....

Glas > Kupfer
Allerdings ist Kupfer praktischer in mancher Hinsicht, gerade als Heim-Amateur.

 

[besterino]

@danielmayer bin hoffnungslos auf der dunklen Seite. Bei Netzwerk sowieso.

@Holt Das Problem ist doch, dass wahrscheinlich viele (von den wenigen, die das überhaupt angehen ) mal mit 10Gbit anfangen und dann auch schon gleich wieder aufhören, wenn NAS und vielleicht noch der Hauptrechner miteinander 10Gbit „sprechen“. Dass mit einem schnellen NAS der Spaß doch erst beginnt, um mal großflächig Speicherplatz von (allen) einzelnen Rechnern und Geräten weg ins zentrale Storage zu verlegen, wird dann oft nicht weiter verfolgt.

Hatte gerade noch diverse Beispiele gebracht, was man mit nem NAS, nem schnellen Netz und etwas Virtualisierung so zu Haus anstellen kann. Aber das schreit eigentlich nach nem neuen Sammler…

 

[Holt]

Das Problem ist doch, dass wahrscheinlich viele (von den wenigen, die das überhaupt angehen ) mal mit 10Gbit anfangen und dann auch schon gleich wieder aufhören, wenn NAS und vielleicht noch der Hauptrechner miteinander 10Gbit „sprechen“. Dass mit einem schnellen NAS der Spaß doch erst beginnt, um mal großflächig Speicherplatz von (allen) einzelnen Rechnern und Geräten weg ins zentrale Storage zu verlegen, wird dann oft nicht weiter verfolgt.

Wieso ist das ein Problem? Wenn man das NAS nur vom Hauptrechner aus beschreibt und die anderen Familienmitglieder dann nur davon streamen, reicht doch das WiFi dafür aus.

ist doch herrlich, RZ Features @Home zu haben

Ja mir scheint manche hier wollen unbedingt zuhause die Infrastruktur nachbauen die sie in der Firma aufgebaut haben, die haben dann natürlich auch alles für die Verlegung von Glasfaser zur Hand, aber dies ist die Ausnahme.

Klar, wer nur seine Fotos und mp3s verwaltet, braucht das nicht.

Eben, die meisten User wollen einfach nur eine gute Geschwindigkeit wo es auch Sinn macht und das ist eben dann zwischen dem NAS und dem Rechner der vor allem dazu dient die Dinge da drauf zu spielen.

Aber es geht ja so viel mehr als der 08/15-User sich normalerweise überlegt

Klar, aber nicht jeder will deswegen ein RZ zuhause nachbauen.

 

[besterino]

Hast ja recht. Ich meine nur, viel mehr Leute würden ein RZ nachbauen wollen, wenn sie nur wüssten, was man dann für tolle Dinge damit machen könnten…

Und deswegen hab ich mal den Thread hier angelegt: https://www.hardwareluxx.de/communi...beispiele-für-einen-euren-homeserver.1350563/