Kleine Anmerkungen für den ersten Post
Ziel und Thema dieses Threads:
Wir wollen also die Grenze von klassischem Gigabit Ethernet (1 Gbit/s bzw. 1000 Mbit/s) durchbrechen. Dafür kann man sich verschiedener Technologien bedienen.
Dieser Thread beschäftigt sich hauptsächlich mit Infiniband (IB) und 10 Gbit Ethernet (10 GbE).
Es handelt sich dabei um konkurrierende Standards, die für verschiedene Anwendungen gedacht sind.
IB und Ethernet konkurrieren nicht direkt miteinander, da wie du schon angibst, beide Standards für verschiedene Anwendungen entworfen wurden.
Im Falle von Ethernet für eine billige Netzwerkverbindung, welche selbst Haushaltsgeräte unterstützen und einige Geräte der Unterhaltungsindustrie.
Infiniband ist für eine schnelle Cluster Verbindung entworfen worden auch unter Umgehung der CPU. Es können Daten direkt in den Ram bzw. auch Cache einer anderen CPU geschrieben werden. Sowas ist Sicherheitstechnisch nicht für eine normale Vernetzung von ungesicherten Geräten vertretbar. Das die aktuelleren IB HCAs auch Ethernet als Protokoll unterstützen ist dem Umstand geschuldet, dass die Infrastruktur für IB sehr teuer ist. Und man sich ein weiteres Netzwerk für Cluster-Internen Datenaustausch aus Kostengründen sparen will. Die einzelnen Rechner haben zumeist eh 2-4 Gbit Eth Anschlüsse.
Die sonstigen Alternativen für Highspeed Netze:
1. Myrinet - Der Exot:
Gibts in 2 Gbit/s und 10 Gbit/s versionen, die 10 Gbit/s Karten machen auch gleichzeitig 10 GbE.
Die 2 Gbit/s Karten gibts nur im PCI-X Format und sind damit eher uninteressant.
Ich habe die 2 Gbit/s Variante mal getestet und festgestellt, dass im TCP/IP Betrieb die Systemlast sehr hoch ist, da keinerlei Offloading vorhanden ist.
Durchsatz lag bei etwa 190 Mbyte/s (bei 100% CPU Last).
Um natives Myrinet zu nutzen muss man sich seinen eigenen Code basteln.
Die API ist gut dokumentiert, aber ich denke das möchte sich niemand fürs Heimnetz antun.
2. FibreChannel - Das geht nicht!
FibreChannel Adapter sind ebenfalls günstig zu erwerben.
Datenraten: 1, 2, 4, 8 Gbit/s.
Es ist aber nicht ohne weiteres möglich diese für Ethernet einzusetzen.
Es gab mal einen Ethernet over FC Standard, dieser hat eine sehr geringe Verbreitung bzw. ist inzwischen tot.
Heutzutage geht man den umgekehrten Weg: FibreChannel over Ethernet, kurz FCOE.
Netzwerkkarten, die das beherrschen, bezeichnet man als CNA. Dazu später mehr.
Myrinet war Anfang des letzten Jahrzehnts recht weit verbreitet. Es war eher ein Konkurrent zu IB. Die PCI-X Karten hatten allerdings nur einen Anschluss und passten wegen der Kodierung nur in 3,3V PCI Steckplätze.
FC gab es auch mit 100Mbit/sec und der aktuelle Standard ist 16Gbit/sec seit über einem Jahr. Die 1Gbit/sec Variante kann man streichen, da diese oft noch größere GBIC Module benötigten und keinen LC-Anschluss für den LWL hatten. Die Übertragungsraten von 2 bis hin zu 16Gbit/sec sind untereinander Kompatibel. FC verwendete für die 10GBit/sec Module XFP (gab es schon bevor 8Gbit spezifiert wurden). Für 2 und 4Gbit/sec SFP - so wie auch Gbit Ethernet. Und für 8 und 16Gbit/sec SFP+ Module so wie auch 10Gbit Ethernet.
Fibre-Channel wird innerhalb eines Racks auch über Kupferkabel übertragen. Hier konkurriert es auch mit 4x SAS mit 6Gbit/sec und wird von diesem wohl aus Kostengründen durch SAS-Expander verdrängt für den direkten Anschluss von Speicher. Als zuverlässiger und schneller Standard wird FC jedoch weiterhin in einem SAN für längere Strecken verwendet werden. Die Latenzzeit für einen FC-Switch liegt im einstelligen µ Sekunden Bereich. Und sofern eingestellt wird auch eine sichere Ende zu Ende Datenübertragung garantiert.
Standard #1: Infiniband
Infiniband ist der De-Facto Forenstandard weil die Hardware für günstiges Geld in der Bucht erhältlich ist.
Ein SDR Infiniband Kanal erreicht 2,5 Gbit/s Signalrate. Wie viele andere aktuellen Interfaces (z.B. SATA) wird ein 8B/10B Code verwendet. Das heisst, dass von zehn übertragenen Bits acht Bits Nutzdaten sind. Mit anderen Worten, der konzeptionell bedingte Overhead beträgt 20%.
Diese Rechnung beinhaltet noch nicht den zusätzlichen Overhead durch andere Protokolle, die man über IB nutzt. In unserem Fall zumindest TCP/IP, zusätzlich vielleicht noch FTP usw.
Darüber hinaus ist noch FDR und EDR spezifiziert, die mit einem 64B/66B Code den Overhead massiv verkleinern, auf die wird hier jedoch erstmal nicht weiter eingegangen auf Grund mangelnder Verfügbarkeit.
Das ergeben sich folgende, effektive Signalraten:
SDR: 10 GBit/s
DDR: 20 GBit/s
QDR: 40 Gbit/s
Bedenkt, dass davon mindestens 20% für Overhead draufgehen werden!
s/Das ergeben sich folgende, effektive Signalraten/Es ergeben sich folgende Kanal Übertragungsraten/*
CX4 wurde auch für die ersten 10Gbit Eth Netzwerkkarten sowie bei den 4x3Gbit/sec SAS Verbindungen. Inzwischen gibt es QSFP, SFP+ und bei SAS mit 6Gbit/sec noch einen anderen Anschluss.
Daten können _nicht_ einfach 1:1 gespeichert oder übertragen werden. Man nennt die dafür notwendige Kodierung Leitungskodierung
http://de.wikipedia.org/wiki/Leitungscode
Eine Leitungskodierung von 8bit/10bit wie bei SAS/SATA, 1Gbit Eth und IB mit 10-40Gbit/sec ist wie bei allen anderen Datenübertragungen zwingend notwendig und wird in der Regel nicht als Overhead bezeichnet. Bei aktuellem SAS/SATA mit 6Gbit/sec gibt man meistens halt nur gleich die Nutzdatenrate mit ca. 600MByte/sec an.
Wenn bei IB die reale Anzahl der Übertragenen nullen und einsen angegeben wird, dann ist das halt nunmal so. Ist wie der Streit bei der Speicherkapazität von Festplatten mit MByte und MiByte. Bei _richtigen_ Datenblättern von HDDs wird in der Regel auch die reine Schreib- bzw. Lesedatenrate von den Magnetscheiben angegeben incl. der RLL und ECC Daten nebst Sektorinformationen usw.
http://de.wikipedia.org/wiki/Run_Length_Limited
Bei HDDs werden aktuellere angepasste Codierungsverfahren verwendet.
Software:
IP over Infiniband (IPoIB) ist das Stichwort, wenn man normale Netzwerkanwendungen darüber laufen lassen möchte.
Dabei ist darauf zu achten, dass die Karten IP Offloading unterstützen, denn sonst ist mit hoher CPU last zu rechnen.
Für iSCSI gibt es RDMA, welches die Daten direkt zwischen den Hauptspeichern der beteiligten PCs ohne CPU Beteiligung transferiert.
Das funktioniert, soweit ich weiß, nur unter Linux/Solaris vernünftig.
Standard #2: 10 Gbit Ethernet
Planung und Aufbau:
Da die Retailpreise sich einfach nicht bewegen wollen kommt nur ein Gebrauchtkauf in Frage.
Switche mit 10 Gbit sind unverhältnismässig teuer.
Daher wird der Heimanwender auf eine Punkt zu Punkt Verkabelung setzen.
Günstigerweise sind die meisten Karten, die verkauft werden, Dualport Karten.
Das vereinfacht die Sache! Man baut einfach eine Netzwerkbrücke über diese beiden Ports. Damit lassen sich Theoretisch unbegrenzt viele PCs vernetzen, leider teilen sich diese auch die Bandbreite.
Das normale Heimnetz für Internet usw. bleibt natürlich physikalisch getrennt!
Die Verschiedenen Anschlüssen und Standards:
Glasfaser:
Lichtwellenleiter (LWL):
Oft auch Glasfaserkabel genannt, häufig findet man auch die falsche Bezeichnung FibreChannel-Kabel! Sehr billig gebraucht zu haben, auch neu noch problemlos erschwinglich. Preise werden weiter unten noch genau behandelt.
Üblicherweise sind Multimode-LWL orange, Singlemode-LWL sind gelb. Wir befassen und hauptsächlich mit Multimode-LWL, die für kurze und mittlere Übertragungslängen gedacht sind. Das sind immer noch mehrere 100 Meter, für den üblichen Heimgebrauch also ausreichend.
Außerdem unterscheidet mal die Faserkategorie, bei Multimode-LWL sind das die Kategorien OM1, OM2, OM3 und OM4. OM1 und 2 sind dabei hauptsächlich zur Anwendung mit LEDs als Lichtquelle gedacht, was früher häufig der Fall war. Damit war 10 Gbit/s technisch unmöglich, weswegen nun hauptsächlich Laser eingesetzt werden, wofür man OM3 oder 4 benötigt. Daher beim Kauf darauf achten, dass die LWL mindestens der Kategorie OM3 entsprechen!
Falsch! OM1 ist der veraltete Standard mit 62,5µm Kerndurchmesser für Multimode LWL. Ab OM2 beträgt dieser nur noch 50µm. Sowohl OM1 als auch ein paar Kabel mit OM2 gibt es mit den veralteten ST Steckern (Bajonett Verschluss wie frühers ein BNC Netzwerk) den großen SC-Steckern welche doppelt soviel Platz brauchen wie der aktuelle LC-Stecker. Wenn man längere Strecken als 30-60 Metern überbrücken muss sollte man auf OM3 Kabel achten. Falls noch länger bis hin zu 300 Metern bei 10Gbit Eth. oder 550 Metern bei 1Gbit Eth. eher doppelt so teure OM4. Wobei man in der Praxis ca. 10% von den max. Längen als Sicherheit abzieht.
Für 10/40/80/120km werden OS1 bzw. OS2 Single-Mode Fasern verwendet. Und hier werden Laser eingesetzt! Die optischen Module sind in der Regel deutlich teurer, im Gegenzug sind Single-Mode LWL-Kabel günstiger pro Meter.
Kupfer:
10Gbase-T:
SEHR selten zu finden, ist der standard der über CAT6 und CAT7 Kabel mit RJ45 Steckern läuft.
Soll aber viel Strom brauchen und weniger zuverlässig sein als die optischen Alternativen.
Distanz: 100 Meter
---------- Post added at 20:35 ---------- Previous post was at 20:18 ----------
Zeichnet sich im Moment eigentlich eine Kupfer basierende Lösung (Cat6, Cat7) für 10GBE ab, die sich in ähnlichem Maße einsetzen lässt wie 1GBE Ethernet heute? Also 100m Länge, "problemlose Verlegung im Sinne von praxistauglichen Anforderungen an die Leitungsführung" usw, wozu ja
hier geschrieben wird
Ist es abzusehen dass der 10GBase- T Standard sich "durchsetzt" oder wird das aus physikalischen Gründen vermutlich bei 10GBE eher im LWL Bereich, also 10GBase-SR usw. bleiben?
Also LWL für lange Strecken zwischen Serverräumen und Racks, Kurzstreckenlösungen innerhalb des Rack auf Kupfer und für die Anbindung der Clients bzw. im Bürobereich weiterhin kupferbasierendes 1GBE.
Hintergrund: es wird ja stets auf die Zukunfssicherkeit bei Cat6/ Cat7 Leitungsinstallationen hingewiesen.
Aus meiner Sicht zu allem was man im Netz dazu liest wird sich 10GBase- T aber kaum zur Arbeitsplatz/ Bürovernetzung auf Kupferbasis durchsetzen. (Somit auch entsprechende Hardware nicht bzw. teuer?)
Um die Brücke zurück zum Home- Einsatz zu schlagen: ich setze bei mir bei bestimmten Strecken mittlerweile LC-LC Kabel ein, und überlege ob es bei zukünftigen (Neubau Fest-) Installationen vielleicht nicht sogar klüger ist für das High- End Home Netzwerk
LC Einbaubuchsen neben Cat6 Leitungen vorzusehen?
Cat 6A wurde schon vor einiger Zeit spezifiziert und es gibt auch genug Kabel und Dosen dafür. Bei einigen Händlern sind entsprechende Produkte halt noch falsch unter Cat7 aufgeführt. Falsch deswegen, weil es für Cat7 noch keine Spezifikationen/Standard gibt.
10Gbit Eth. kommt dieses Jahr auf den ersten Server/Workstation Mainboards. Der Grund warum es so lange gedauert hat, ist mitunter der hohe Stromverbrauch. Warum 10Gbit Eth. für Consumer Geräte weiterhin auf lange Sicht nicht kommen wird: 10Gbit ist im Gegensatz zu 100 und 1000Mbit Eth
nicht abwärtskompatibel. Sprich, sofern man keinen Switch hat der das für einen übernehmen würde, können nur zwei Geräte mit 10Gbit Eth direkt untereinander Verbunden werden. 10 zu 1Gbit Eth. ist nicht vorgesehen.
LWL bis zum Arbeitsplatz ist für ein Haus wohl etwas übertrieben. Da wo man sich es vorstellen kann ist eher die Verkabelung von Stockwerk zu Stockwerk. Wenn man irgendwann mal einen Switch mit 10/40Gbit Modulen kauft. Der minimale Biegeradius von 30-50mm ist halt doch etwas anderes als man bei den günstigen Patchkabeln aus Kupfer gewohnt ist.
Sofern es dich trotzdem interessiert, bei telegärtner.de kann man sich auch konfektionierte Kabel zusammenstellen mit Einziehielfe usw.
Interessant ist sowas aber preislich rein zum Spass eher nicht.
