[Sammelthread] 10Gbit Homenetzwerk

[underclocker2k4]

Kannst du mal versuchen eine NIC mit der IPoIB Karte im Netzwerkmanager zu bridgen, und schaun ob das noch geht?

(also ob man zB über IB vom Ethernet auf den Rechner kommt)

 

[Schlingel_INV]

well well.... zufrüh gefreut ebenfalls kein Offloading (oder es liegt am Bench und dessen Datenproduktion)



ausgeführt auf AMD PII B55@3,2Ghz
"Zielhost"/Server Intel I7-860@2,8Ghz stock (ggf. Turbo?)

Anbindung der Karte im AMD-Sys nur mit 4x (alle Slots schon voll ) und 8x im Intel-Rechner

 

[jumas]

@DunklerRabe
Gibts für die Voltaire HCA 410-4EX irgendwo ne Anleitung? Bzw. was brauch man alles dazu und gibts irgendwelche Haken oder Hindernisse? Hab in etwa die gleiche Konfig wie Du. Win 7 x64 und Windows Home Server 2011.

Die Karten sind ja schon verdammt günstig.

Grüße
Jürgen

 

[dako]

Noch eien Frage zu den mellanox Karten: Woran erkenne ich das richtige Infiniband Kabel? Könnte jemand mal ein Foto des Steckers einstellen, der definitiv paßt? Danke!

 

[Schlingel_INV]

Noch eien Frage zu den mellanox Karten: Woran erkenne ich das richtige Infiniband Kabel? Könnte jemand mal ein Foto des Steckers einstellen, der definitiv paßt? Danke!

ich hab mir dieses organisiert. mein sas mit schrauben wollte nicht. wichtig ist der laschenverschluss

HP 410123-B25 5M CX4-CX4 Ejector 10GB Ethernet Cable | eBay

hier nochmal deutlicher:

http://blog.connectzone.com/Portals/56403/images//Infiniband Cx4 cable-resized-600.jpg

 

[DunklerRabe]

@underclocker2k4: Klar, kann ich bei Gelegenheit mal machen. Idealerweise am Wochenende, wenns bis dahin warten kann.

@jumas: Da braucht man eigentlich keine Anleitung für. Es reichen Kenntnisse bei der manuellen Konfiguration von Netzwerkerbindungen unter Windows (manuelle IP Vergabe) sowie Kenntnisse beim Umgang mit den Diensten von Windows.

Man baut die Karten ein und installiert den aktuellen (!) Treiber von openfabrics.org -> Index of /downloads/Windows/v2.3

Es gibt auch noch ein Paket von Mellanox (Hersteller der Karten) selbst, das basiert aber auf einer alten Version. Diese Version supported den Connected Mode (eine Art Betriebsmodus von IB) nicht und daher werden die Framegrößen auf 2044 Byte begrenzt. Im Connected Mode sind Framegrößen von 64k möglich, was sich positiv auf die Performance auswirkt.

Der Treiber ist ein ganzes Paket und macht im Endeffekt drei Dinge:

1. Treiberinstallation für den IB HCA
2. Erstellung des logischen IPoIB Devices
3. Installation des "InfiniBand Subnet Manager" als Systemdienst (Verwalten -> Dienste)

Der InfiniBand Subnet Manager ist per default nach der Installation nicht aktiviert und startet sich beim Boot auch nicht. Auf einem der beteiligten Rechner kann man das aus Komfortgründen ändern. Alternativ kann man den auch manuell starten, jedes Mal wenn man die IPoIB Verbindung gebraucht wird, aber das ist ja nur unpraktisch und bietet keine Vorteile.
Es reicht aus wenn der auf einem Rechner läuft. Sobald das der Fall ist greift die Verbindung.
Die IP Adressen für die IPoIB Devices lassen sich wie für normale Ethernet Devices manuell vergeben, danach sind die Rechner über ihre IPoIB IP erreichbar.

Die Karten sind durchaus günstig, das Kabel ist dafür um so teurer. Zwei Karten kosteten mich 60 Euro, ein 3 Meter langes Kabel kam 82 Euro

@dako und Schlingel: Die Steckerform heisst SFF-8470, als ich mir das Kabel holte war ich nicht sicher ob CX4 das selbe ist, weil ich das eigentlich aus einem anderen Zusammenhang kenne, nämlich nur als "veralteteten" (?) Standard für 10 Gbit Ethernet über Kupfer.

 

[underclocker2k4]

Schneller wäre schon schön, aber wenns net geht, dann gehts halt net.

Evtl kann ja auch der Schlingel aushelfen.

Es geht mir eigentlich nur darum, ob man IB bridgen kann (sollte ja eigentlich). (ggf der Schlingel auch innhalb der KArten testen)

So kann man sich für 500EUR inkl allen nen IB Switch baun, das hat schon was.

 

[Schlingel_INV]

okay dazu von mir die kurzfassung:

- einfaches installieren des openfabrics ging bei mir nicht bzw ging schon wollte aber dann später nicht laufen. auch nach mauellen starten des opensm (Rechtsklick -> "Als Admin starten" (!!!!!!)). Sonst gibts nur IB_ERROR) ging nix über die Verbindung. Zum Glück erinnerte ich mich an die Tücken von Windows aka Userrechte

deshalb:

1. Treiberpacket von OF laden
2. UAC aus (!)
3. Neustart
4. Treiberpacket installieren (ggf. auch noch zusätzlich als Administrator)
5. Beim Server OpenSM zusätzlich auswählen
5. Warnmeldungen mit "Trotzdem installen" bestätigen
6. Fehlermeldung für Direct Network ignorieren
7. UAC an + Neu starten
8. Connected Mode im Konfiurationsmenue des auftauchenden Adapter einstellen
9. ggf. mit "ibstat" in der Console den Status überprüfen (Sollte nun "Aktive" sein)
10. Freuen

- Beim Rechnercrash laut Internet die gui2lib-Datei im entsprechenden Verzeichnis löschen sollte der OpenSM nicht starten wollen.
- Standby-Modus des Clients führt zumindest bisher nicht zum BSOD des Servers (es gab da so Hinweise im Netz -> Stecker_ab&Co)

 

[jumas]

@jumas: Da braucht man eigentlich keine Anleitung für. Es reichen Kenntnisse bei der manuellen Konfiguration von Netzwerkerbindungen unter Windows (manuelle IP Vergabe) sowie Kenntnisse beim Umgang mit den Diensten von Windows.

Ich denke das sollte ich hinbekommen, wenn nicht, gibts ja noch Google.

Die Karten sind durchaus günstig, das Kabel ist dafür um so teurer. Zwei Karten kosteten mich 60 Euro, ein 3 Meter langes Kabel kam 82 Euro

Dann sollten die von Schlingel_INV gerade geposteten Kabel auch passen?

Ich denk ich werd das mal riskieren!

Danke für die ganzen Infos!

 

[Schlingel_INV]

@underclocker: Das Erstellen einer Netzwerkbrücke funktioniert (Realtek Teaming Verbindung mit einem der HCA-Ports). Ich bin noch am grübeln ob man hiermit die beiden Ports der Karte vielleicht bündeln könnte:

 

[underclocker2k4]

Kann man bestimmt. (steht ja auch oben mit drinne "innerhalb" der Karten)

 

[Schlingel_INV]

wobei ein Bündeln auf 20Gbit auch nix bringt weil A: das zweite Kabel fehlt und B: die CPUs (scheinbar) limitieren

 

[underclocker2k4]

Bringen nix, aber gehen würde es?


Was ist mit den CPUs?

 

[Schlingel_INV]

siehe benchmark. ein kern auf 100% ich muss des demnächst nochmal mit echten daten prüfen

 

[underclocker2k4]

Kann der das bei mehr Last dann verteilen, sprich so halbes multithread, infos bekannt?

 

[GlassFin]

Hi

Also zunächst mal Teaming ist keine Netzwerkbrücke. Teaming ist Link Aggregation und Netzwerkbrücke Windows-Lingo für Routing ziwschen 2 NICs.

Das mit dem 100% ausgelasteten Kern dürfte daran liegen, dass der alle IRQs ab kriegt. Da müsste man irgendwie Interrupt Balancing mit rein bringen. Inwiefern da Hardware und OS mitspielen müssen wüsst ich aber grad nicht.

 

[underclocker2k4]

Wer sagt denn, dass bridgen (Netzwerkbrücke) ein Teaming ist? Btw, Teaming muß nicht 802.3ad sein, da gibt es noch andere Möglichkeiten.

 

[Schlingel_INV]

ich glaub das hatte er falsch verstanden. ich hab nen realtek onboard teaming-verbund (erstellt mittels realtek software) mit ner netzwerkbrücke (mittels windows 2k8 r2) unter verwendung der HCA-Verbindung erstellt. im grunde sind also 2x gigabit onboard als team konfiguriert und dann auf die HCA verbindung gebrückt (bzw. waren).

btw: ich werd gleich mal testen wie sich die cpu-last beim normalen kopieren verhält. nen aktuelles backup steht an und dazu liegen hier schon nen paar single-disks bereit

 

[DunklerRabe]

Vielleicht noch kurz zur Info wegen der CPU Last, bei mir ist es einmal ein Phenom II X4 955 bei Standardtakt und einmal zwei Intel Xeon L5630, ebenfalls bei Standardtakt und alle CPUs zeigen sich von den 380 MB/s komplett unbeeindruckt.
Ich bin da durchaus aus reinem Interesse an dem technischen Grund für interessiert.

 

[XTaZY]

Sind irgendwelche Inkompatibilitäten zwischen den Cisco-Dualport- und Voltaire-Karten bekannt ?

 

[jumas]

Hallihallo und vielen Dank für alle Infos.

Bei mir laufen jetzt auch 10Gigabit mit 2 Voltaire Karten. Einrichten war dank der Infos von DunklerRabe und Schlingel_INV gar kein Problem.
Das ganze hat nur 130€ gekostet, der Durchsatz liegt bei etwas über 400Mb, mein Athlon II 620 im Server limitiert da wohl etwas.
Die IP für die Voltaire im Server hab ich auf 10.0.0.1 gesetzt, im Client auf 10.0.0.2. Einzig, das Netzwerk ist noch auf "Nicht identifiziertes Netzwerk". Kann ich das so lassen? Oder, wie kann ich das ändern?

Viele Grüße
Jürgen

 

[dako]

Mal eben eine Frage von mir: Ich habe zwei Voltaires, beide sind installiert, wenn die PCs laufen leuchtet bei gestecktem Kabel auch schon das grüne Lämpchen an beiden Karten, dennoch melden beide Rechner: Netzwerkkabel wurde entfernt. Weiß jemand, wo das Problem liegen kann?

Ich habe leider keine 2. Infiniband Leitung hier um das Kabel zu testen, würde also nur ungerne in den sauren Apfel beißen, mir ein zweites kaufen zu müssen, falls das Problem auch woanders liegen könnte.

 

[DunklerRabe]

Das liegt vermutlich daran, dass du auf keinem der beiden Rechner den Subnet Manager laufen hast.

 

[dako]

.... das wars, danke!

Jipiieeee ... 15m 10gbit Verbindung ... und das Beste ist: Das 15m Kabel hat mich aus den USA keine 50 Euro gekostet.

 

[jumas]

@dako

Kannst Du mal mit netio Deinen Durchsatz prüfen? Bin neugierig...

 

[dako]

Komme im Moment noch nicht über 250mb/s, da klemmt es noch irgendwo.

 

[jumas]

Bei mir kommt demnächst ein Phenom II 1090T in den Server. Mal schaun obs noch besser wird.

 

[dako]

Es scheint tatsächlich die CPU zu sein, der Pentium g620 ist bei 100% am Anschlag, sowohl, wenn ich als Quelle mein RAID nehme als auch eine RAM Disk. Virenscanner, Firewall etc. auf beiden rechnern für den Test abgeschaltet natürlich. Ganz schön heftig.

Vielleicht sollte ich doch mal etwas modernere als die Voltaire Karten ausprobieren.

 

[jumas]

Vielleicht sollte ich doch mal etwas modernere als die Voltaire Karten ausprobieren.

Was die wohl kosten und wo man die herbekommt?
Wenn Du was findest, sag bescheid.
Auf der anderen Seite...ich bin schon froh das es deutlich schneller als Gigabit ist.

 

[DunklerRabe]

Ich kann immer nur noch mal betonen, dass bei mir praktisch keine CPU Last entsteht mit den einfachen Voltaire Karten für 30 Euro von ITSCO.
An einer Erklärung bin ich nach wie vor interessiert, an den Karten alleine kann es wohl nicht liegen.