[Sammelthread] 10Gbit Homenetzwerk

[JohnnyBGoode]

Also Cat7 ist mit RJ-45-Verbindungen nicht möglich ("Etikettenschwindel"), max. Cat6A? Kennt jemand eine "ordentliche" Quelle für gute vorkonfektionierte Cat6A- bzw. Cat7-Kabel (Farbe weiss)? Klar, durch die R-J45-Stecker werden sie zu Cat6 degradiert, aber so ist man zumindest auf der relativ sicheren Seite, dass die Strippe zwischen den RJ-45-Steckern nicht das Problem ist...

 

[underclocker2k4]

Es wuerde schon CAT5 fuer einen sehr kurzen 10G Link reichen, da wuerde ich mit bei Heimanwenderanwendung keinen Kopf machen. CAT6(A) und gut ist.

Demnach ist RJ45 fuer 10G Base-t geeignet Steggi, steht auch SO in den Specs.
RJ45 ist, wie gesagt nur nicht CAT7 geeignet, CAT7 wird hier aber auch nicht benoetigt.

 

[JohnnyBGoode]

Hätte mich auch gewundert, wenn Intel da "komische" Netzwerkadapter herstellt, die durch die Verbindungsstückart gar nicht ordentlich funktionieren können. Wobei heutzutage wundert mich vieles

Ist es denn bei den Kabeln an sich zwischen Cat6(A) und 7 (ok, durch die RJ-45-Stecker nicht gerechtfertigte Bezeichnung) preislich ein so großer Unterschied? Bin ein shit magnet was seltsame Fehler angeht, daher versuche ich da so umsichtig wie möglich ranzugehen.

 

[underclocker2k4]

Wie lang soll das Ganze denn werden?

 

[JohnnyBGoode]

Zunächst wollte ich nur 30 m, hab' nun nochmal nachgemessen und 40 m wären sympathischer, um entspannt und flexibel verlegen zu können.

 

[underclocker2k4]

Reden wir hier von Patchleitungen?

Bei den Laengen wuerde es Sinn machen das als festverdrahtet zu machen, denn da sind die Leitungen deutlich besser.

Patchleitungen gehen glaube nur bis 625MHz und Verlegeleitungen schaffen da das Doppelte, gepaart mit guten Datendosen und du hast eine solide Loesung.

Das sollteste dir ma ueberlegen, so viel Arbeit ist das auch nicht.

 

[JohnnyBGoode]

Aber hätte man da nicht noch extra Stecker dazwischen? Also PC1--RJ-45-Patchkabel--Dose--Verlegekabel--Dose--RJ-45-Patchkabel--PC2? Dachte an PC1--RJ-45-Patchkabel--PC2, um Geschiss zu vermeiden.
Geht bei mir ja "nur" um die 10 Gb-Direktverbindung zweier Systeme parallel zu einem bestehenden 1 Gb-Netzwerk.

 

[underclocker2k4]

Die Stecker sind nicht das Thema, die packen ihr 500MHz ausm Stand, das Problem ist die Leitungslaenge. Bei 50m ist Schluss mit Patchleitungen, und du bist mit 40m schon gut dabei. Das ist problematischer als die 2 Stecker. Bei 5m oder sowas sieht das anders aus, da lohnt der Aufwand nicht und da ist die eigentliche Leitung weniger das Problem.

Es kann auch mit 40m Patch gehen, aber da muss man sich dann bei der Verlegung echt zusammenreißen. Verlegeleitung ist da unkomplizierter.

 

[JohnnyBGoode]

Danke für die Infos! Werde d'rüber nachdenken.

 

[DaReal]

Wenn man in den TX Laser schaut während die Karte eingebaut und in Betrieb ist bleiben sie dunkel.
Bei anderen Karten leuchten sie, auch wenn kein Kabel angeschlossen ist.
Ergo - der Port auf der Karte ist deaktiviert!
(Die Laser haben beim SR Standard so wenig Leistung das das nichts macht, ist eher wie eine recht dunkle LED)

Was für Experimente hier !!!

Also ich würde trotzdem nicht in den Laser gucken. Das was du siehst ist nur der sichtbare Teil des Lichts, wer weiß, wieviel nichtsichtbaren Anteil der Strahl hat, und Zack machst dir die Augen kaputt!!

SX: 850nm Wellenlänge -> ab 780nm beginnt der IR-Bereich! Also siehst du den Hauptanteil schon nicht mehr! (sichtbares Spektrum: 380 - 780nm)

LS: 1310nm -> ich würde mal behaupten, dort wirst du nichts mehr sehen, obwohl die Karte einwandfrei funktionieren könnte


Für sowas nehme ich meist irgendwelche Kameras ... Handy oder so. Die sind in den Bereichen meist empfindlich genug, damit man sehen kann, ob Licht rauskommt oder nicht.

 

[DunklerRabe]

Es ist komplett ungefährlich in den Laser von optischen Transceivern zu schauen. Die Leistung ist viel zu gering für einen Effekt, ich mach das seit Jahren und viele andere noch viel länger.
Ist auch einfach am einfachsten um zu sehen ob da was ankommt
Und, wie gesagt, völlig unbedenklich!

 

[barnacle2k]

Also ich würde trotzdem nicht in den Laser gucken. Das was du siehst ist nur der sichtbare Teil des Lichts, wer weiß, wieviel nichtsichtbaren Anteil der Strahl hat, und Zack machst dir die Augen kaputt!!

Mein SFP Modul sagt das es 0.5mW ausspuckt.
Damit liegts noch deutlich im ungefährlichen bereich.
Und die Divergenz des Strahls ist sehr groß da er unkollimiert ist.

Bei der Wellenlänge hast du natürlich recht.
Und das das bei den Leistungstärkeren LR Modulen nicht zu empfehlen ist versteht sich von selbst.

 

[JohnnyBGoode]

Habe mir nun zwei Intel 10 Gigabit AT2 Server Adapter bestellt, hoffe, die brauchen nicht allzu lange. Werde zunächst die Systeme zum Testen nebeneinander stellen und falls da alles rundläuft mich um die saubere Verkabelung kümmern.
Nochmals vielen Dank an alle für die Anregungen!

 

[barnacle2k]

Kurze Rückmeldung der Rot markierte Chip war der Config Rom eines der SerDes Chips. (AMMC QT2025)
[Die SerDes (Seriealisierer-Deserialisierer) Wandeln das 10Ghz Serielle Signal das aus dem SFP kommt in ein mehrlaniges XAUI um]

Werde mich jetzt mal den besonderheiten des "magischen" Slots zuwenden.

 

[barnacle2k]

Ok ich habs geknackt!
Die IBM gebrandeten 49Y4201 und 49Y4202 Emulex Karten sind nun Nutzbar.

Kurzlösung: Auf der Rückeite die letzen 4 Pins abkleben

Test aufbau mit der Karte, Die drähte sind nur zum Messen:

Der grün Markierte Transistor zieht die Enable Eingänge der SerDes Chips (Gelb) auf Low und deaktiviert diese damit.
Lösung der Transistor muss sperren.
Die Basis und der Colector sind wenn man die Karte in einen Normalen 16x Slot Steckt über Widerstände an Masse gelegt.
Wenn man beide Isoliert bringts aber nix da die Basis auf masse liegen muss damit es funktioniert.
Also nur die Eine seite Isolieren.

Einen permanenten fix ohne abkleben gibts auch.
Dafür muss aber auf der Karte gelötet werden.
Sollte jmd das bei seinen Karten gemacht haben wollen schickt mir ne pm.
(Nein das sieht dann nicht so Bastelmässig aus wie auf dem Bild)

 

[StormXP]

Hut ab!

Schade nur das meine Storages zu lahm sind um 10Gbit zu rechtfertigen...

 

[DunklerRabe]

Deswegen hats bei mir nicht geklappt, ich hab beide Seiten abgeklebt. Gnah!

Anyway, gute Arbeit! Thx!
Werde ich später oder morgen mal testen.

 

[barnacle2k]

Und? hats gefunzt?
Ich hab sie momentan Testweise in der Workstation.
Schafft deutlich mehr Durchsatz als die Brocade Karte die vorher drin war.
Und das sogar OHNE Offload welches iwie nicht funktioniert.
Den die Emulex dinger können ja den Kompletten TCP Stack in eigener HW Machen.

Das kann aber auch an dem Verpfriemelten Treibern liegen.
Ich Verwende Windows XP x64, da die Emulex treibe meinen das man sie nur auf serverversionen installieren darf.

 

[DunklerRabe]

Bin noch nicht dazu gekommen, hier herrscht grad noch Hardwarechaos, welches ich erstmal beseitigen muss.
Allerdings wär das echt tragisch, wenn man die Treiber unter Win 7 x64 nicht zum laufen kriegt, das wäre bei mir nämlich Voraussetzung.

 

[barnacle2k]

Der Installer verweigert unter Desktop OS den Dienst *facepalm*.
Welche gedanken dem Produktmanager dabei wohl durch den kopf gingen...

Egal man kann den Treiber manuell per Gerätemanager installieren, dann funktioniert die Verbindung.
Ich vermute das der XP Netzwerkstack dieses TOE nicht kann oder evtl. das Scalable Networking Pack oder iwas in der Registry fehlt.

Unter Win 7 ist der Netzwerkstack ein anderer, daher kann das anders sein.

Mit Unixoiden OS hat man solche schwierigkeiten natürlich nicht.

 

[DunklerRabe]

Sobald ich wieder an meine Hardware komme werde ich das mal testen.

In der Zwischenzeit hab ich deinen Startpost einmal komplett überarbeitet. Quasi einmal auf Korrektur gelesen, bisschen formatiert und nach meinem Verständnis die Lesbarkeit optimiert. Außerdem hab ich mal versucht, die verwendeten Begriffe möglichst einheitlich zu halten.

Inhaltlich habe ich nichts geändert, allerdings einige Passagen erweitert oder hinzugefügt, die bisher nicht oder nicht ausführlich behandelt wurden. Das wären z.B. die Eigenschaften von Infiniband sowie die Spezifikationen von LWL Kabeln.

Der Text ist bereits fürs Forum korrekt formatiert und vollständig, wenn du mit meiner Arbeit zufrieden bist kannst du es einfach per Copy und Paste einfügen und den Inhalt des Startposts überschreiben

 

[barnacle2k]

Vielen dank für die Überarbeitung!
Habe selbst leider nicht immer genug Zeit alles richtig Auf- und einzuarbeiten.
Habe ich so übernommen und das gleich als anlass genommen noch kleinigkeiten hinzuzufügen.

 

[aschrate]

hallo,

könnte jemand eine günstige und vmware esxi 5.0 taugliche lösung für 2 hosts empfehlen?
vielleicht etwas aus der eigenen praxis?

 

[DunklerRabe]

Eigentlich ist das nicht schwer. Zuerst sollte man sich anschauen, welche Hardware von VMware offiziell für den ESXi 5.0 supportet wird.

Da sieht man zum Beispiel, dass die hier auch angesprochenen Emulex OneConnect in Revision 10102 (älter) und 11102 (neuer) in allen Ausprägungen (Kupfer und optisch) supportet sind. Das trifft dann meistens auch auf alle OEM Versionen dieser Karte zu, z.B. von IBM oder HP oder sonstigen großen Systemherstellern.

Die hier auch viel besprochenen IB Karten von Mellanox sind z.B: nicht supportet. Da funktionen erst wieder die aktuelleren.

Ein Intel Chipsatz ist auch oft ein Garant für Kompatibilität mit dem ESXi.

Die ganze Kompatibilitätsliste findest du hier: VMware Compatibility Guide: I/O Device Search

Was du dann nimmst kommt auch ein wenig auf deine Vorlieben an. Mit Karten von Emulex oder Intel macht man imho nichts falsch, das ist fast eine idiotensichere Wahl! Benutze ich nach Möglichkeit auch immer!

 

[barnacle2k]

Die Brocade Karten funktionieren auch.
Infiniband - kA.

 

[JohnnyBGoode]

Kleine Frage: Kann man den tatsächlich möglichen Datendurchsatz zweier Systeme messen, die mit einer 10 Gb/s-Direktverbindung ausgestattet sind? Ich meine das, was die Netzwerkadapter hergeben würden, ohne, dass lokale Datenspeicher wie beispielsweise RAID-Arrays die offensichtlich limitierenden Faktoren sind. Irgendwie im RAM?
(Systeme haben Win 7 x64)

 

[barnacle2k]

Klar z.B. mit netio
Das misst dann die TCP/IP leistung deines aufbaus.

Für die Rawleistung ohne Netzwerk Protokoll ist mir unter Windows keine Software bekannt.

Was mit CIFS/SMB für Datentransfer davon übrig bleibt steht auf einem anderen blatt.
Um das zu benchen könntest du dir ne RAMDISK shareware o.Ä. besorgen.
Die kannst du dann Sharen und Benchen.

 

[JohnnyBGoode]

Danke, werde ich morgen mal testen.

BTW: Welche Adapter-Einsellungen (Intel 10 Gigabit AT2) sind eigentlich bei folgendem Aufgabenprofil empfehlenswert, also wie holt man das maximal Mögliche raus?

- Direktverbindung 2er Systeme (Win 7 x64)
- 99 % Übertragung großer Dateien (HD-Video) mittels Samba

 

[barnacle2k]

jumbo frames auf 9k ist ein guter Anfang.
->Adaptereigenschaften->Konfigurieren->Jumbo Packet
Das dann auf 9014bytes stellen (das variert, hauptsache ~9000 und bei allen Karten gleich)

Man kann TCP/IP und CIFS noch in der Registry tunen.
Wie -> google

 

[jdl]

OT: Kleiner Nachtrag zu HPC/Shared Mem Server

Die Frage ist, wie bekommt man das so hingebogen, das eben am "Schirm" beispielsweise ein Windows mit 32 CPUs zu sehen ist? So das eben quasi jegliche Windows Software drauf läuft? Geht sowas überhaupt?

Das sind spezielle Systeme sogenannten Shared Mem Server. Diese werden über proprietäre Technik miteinander verlinkt, und die Windows Version müßte ihren eigenen HAL mit bringen. Das ist notwendig, weil es hier im Server zwei Hierachien von NUMA-Knoten gibt, lokale NUMA-Knoten und entfernte. Das OS muß den Kopieraufwand minimieren, sonst wird das ganze sehr langsam.

Üblicherweise verclustert man "normale" Server für HPC, das ist billiger. Dazu fährt man meist über IB exklusiv MPI, manchmal auch ein spezielles ClusterFS (Lustre, FhGFS, ...). Diese Protokolle laufen direkt über IB und brauchen kein IP. Der normale Traffic wird dann über GbE abgewickelt.

Wenn man Rechenaufgaben über Knoten hinweg parallelisieren will, dann kann man direkt MPI nutzen oder man nutzt spezielle Libraries wie etwa PBLAS oder SCALAPACK, welche dann als Verbindung auch wieder auf MPI zurückgreifen. Selbst parallelisieren über MPI ist meistens sehr viel sinnvoller und schneller, aber mit mehr Aufwand verbunden.