[Sammelthread] 10Gbit Homenetzwerk

[fdsonne]

Richtig, so kenn ich das ja auch... Die preisfrage ist aber, wie macht man das, das eben eine dicke Maschine zu sehen ist, wo alle CPU Cores quasi reingemappt wurden!?

Das es geht, zeigen die alten hwbot.org Ergebnisse mit 32 Intel Xeon CPUs. Das sind 192 Cores... Die Frage ist, wie macht man das!?
Ich glaube nicht, das sich WPrime so clustern lässt.

 

[H_M_Murdock]

@fdsonne
Das ist genau die Frage die ich mir auch schon gestellt hab.
Manchmal gibts aber auch von bestimmten Serverherstellern diverse proprietäre Lösungen, denkbar wäre z.B. ne Koppelung über (früher) den FSB oder HT (bei AMD Systemen).

 

[fdsonne]

Ja über den FSB schon machbar... Da dort theoretisch unbegrenzt Einheiten in den Busintegrierbar wären. Aber bei HT wirds wohl nix. Da Punkt zu Punkt.

Das Problem, in den größeren Kisten fällt beim Thema Clustering immer Infiniband... Das reine Verbinden denke ich ist auch nicht unbedingt der Punkt, an dem es scheitert. Das Problem scheint eher die Möglichkeit, das ganze in eine dicke virtuelle Maschine zu mappen!?

 

[mrlinux]

infiniband hat halt maximale kabellänge von 15m und die kabel sind sehr teuer
wenn jemand ne quelle für günstige cx4->fc medienkonverter hat immer her damit

 

[ulukay]

[  3] local 192.168.111.1 port 58553 connected with 192.168.111.2 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  7.44 GBytes  6.39 Gbits/sec

noch ein bisl rumgedoktort

 

[fdsonne]

Dafür das der mit 20GBit/sec connectet ist, ist das doch aber bissl mager, oder?
Oder ist hier IP over Infiniband das Problemkind?

 

[H_M_Murdock]

Zumindest die besseren Infiniband Adapter von Mellanox können auch IP Offloading.
Aber ich weiß natürlich nicht ob das Modell das ulukay einsetzt das auch kann.

 

[ulukay]

naja 20GBit/s ist brutto.
von 10 uebertragenen bits sind nur 8 datenbits. ergo schonmal nur 16GBit/s.
von den 16GBit/s muss man noch den protokolloverhead abziehen. sollten aber trotzdem locker 15GBit/s rausschaun. allerdings ist unter windows ein cpukern auf 80% wenn ich mit 800MB/s daten schauffel.
wird wohl kein offloading betrieben.

 

[fdsonne]

Das klingt nach ziemlich üblen Windows Treibern... Wie schaut die CPU Last unter Linux aus?

 

[ulukay]

zirka 50%
allerdings hab ich schon mit 2x debian versucht, kommt ~6,6GBit/s raus

edit: so nun im "connected" modus bekomm ich ne mtu size von 65520. mit 2x debian schaff ich dann 10.5 GBit/s

 

[PhreakShow]

Die etwas älteren, aber günstigeren Voltiare-Karten sind ja um 30€ erhältlich. Nur 10Gbit und PCIe x4, also dürfte die Karte den PCIe exakt auslasten.

Die machen mich grad ein wenig gierig. Hat die schon jmd getestet? Oder gibts einen Grund warum man die meiden sollte?

 

[ulukay]

mrlinux hat die imho?

 

[DunklerRabe]

In der Preisklasse bis ~100 Euro hat man sogar eine gewisse Auswahl an Karten bezüglich Single- und Dualport und SDR bzw. DDR.
Zumindest die Mellanox Karten sind auf der Website mal ganz gut dokumentiert und die Versorgung mit Software/Treibern sieht gut aus. Von IP Offloading sieht man dort aber nichts, vielleicht können die Karten das nicht.
Der wirklich offensichtlichste Nachteil ist der Preis der Kabel, die irgendwo bei 50 Euro für 1 Meter anfangen. Die Preise schwanken dort allerdings auch heftig, das günstigste was ich fand war ein 3.0 Meter langes für 82 Euro plus Versand bei eBay.
Trotzdem nicht uninteressant wie ich finde, vielleicht probier ich das einfach mal aus.

Da ergibt sich gerade aber noch eine Frage, sind überhaupt 1:1 Verbindungen zwischen Hosts bei IB vorgesehen oder muss man über einen Switch gehen?

 

[ulukay]

bei mellanox geht crossover. bei anderen fabrikaten ist das nicht soooo sicher.
was du dabei aber brauchst ist ein subnet manager der auf einem der beiden hosts rennt.

 

[DunklerRabe]

Verstehe, weisst du ob bei der Mellanox Software ein Subnet Manager dabei ist?
Wenn nein, gibts da eine empfehlenswerte, freie, Software von irgendeinem Drittanbieter?

 

[mrlinux]

ich hab den openipoib treiber installiert
der hat das dabei

 

[DunklerRabe]

Kannst du was zur Performance und CPU Last sagen?
Mellanox sagt die Karten können "Hardware Transport", aber ich bin mir nicht sicher ob das IP Offloading mit einschliesst. Ich vermute eher nicht, weil IB dafür ja eigentlich nicht unbedingt gedacht ist.

 

[mrlinux]

also mit netio hab ich um die 600mb/s
cpu ist nicht komplett ausgelastet, vllt 50% auf einem core

 

[ttom]

achso, ja denke schon.
fuer windows hab ich den generischen treiber von mellanox geladen. laut support gehn damit sogar die uralten 10gbit karten (Voltaire HCA 410-4EX).

Mellanox Products: Mellanox OFED for Windows (WinOF)

unter linux gehts sowieso. karte rein, ein paar module geladen, fertig.

wenn du crossover ohne switch betreiben willst muss auf einem der host ein subnet manager laufen. unter linux kein problem, ist sogar als package im debian repo.

Und unter Windows muss man noch was einstellen?
Der Treiber bietet doch noch an einige Protokolle mit zuinstallieren wenn ich das richtig ig in Errinerung habe. Sind die notwendig?

 

[ulukay]

IOB solltest schon mitinstalliern

bei den openipoib ist ein subnet manager ebenfalls dabei. also auch bei 2x windows kein problem

 

[DunklerRabe]

Mit dem Paket von Mellanox muss man eigentlich garnichts extra zu oder abwählen.
Der OpenSM Subnetmanager installiert sich als per default deaktivierter Dienst mit, den musst du auf einem Host nur anwerfen. IP zuweisen in den neu erstellten IPoIB Verbindungen und ab gehts.
In einem ersten Test hab ich jedoch "nur" 200 MB/s drüber bekommen, jeweils mit den Voltaire HCAs.

 

[ttom]

Ok danke soweit.
Hab die Software installiert, IP zugewiesen, OpenSM dingerns gestartet aber ich denk mal es wird nachwievor die GB NICs für die Verbindung genutzt.
Wie bringe ich jetzt die zwei Win7 Rechner dazu über IB zu kommunizieren?

 

[barnacle2k]

-anderes subnetz
-Dein normales netz in das IB netz routen

 

[ttom]

Beide Punkte oder einer von beiden?
Steht dazu auch was in der manual drin?

 

[DunklerRabe]

Wie machst du das denn fest, dass nach wie vor die onboard NICs für $irgendwas benutzt werden? Was genau willst du denn über IB laufen lassen?
Sobald du von Rechner A aus Rechner B über die IB IP ansprichst wird natürlich auch IB genutzt.

 

[oc_parts]

Ich habe bei mir die Voltair HCA 410 einfach nur als Datenverbindung von der Workstation zum Filserver eingesetzt. Per Netzlaufwerk einfach die IP der iob Verbindung eingegeben. Das reicht aus.

 

[ttom]

Sobald du von Rechner A aus Rechner B über die IB IP ansprichst wird natürlich auch IB genutzt.

Aha, und die andere IP gebe ich wo an? Sorry aber ich verstehe es nicht ganz.
Verbindung ist verfügbar im Netzwerkcenter. Hab die IPs eingetragen wie in der Manual verlangt. Jetzt will ich was auf den anderen Rechner kopieren. Aber irgendwas fehlt doch noch oder?

---------- Beitrag hinzugefügt um 14:54 ---------- Vorheriger Beitrag war um 14:49 ----------

Per Netzlaufwerk einfach die IP der iob Verbindung eingegeben. Das reicht aus.

Beim Netzlaufwerk kann man eine IP eingeben? ok das muss ich mal testen

 

[DunklerRabe]

Du gibst die IP immer da ein wo du sie brauchst.
Zum kopieren von Dateien wäre FTP eine beispielhafte Möglichkeit. Auf dem Fileserver läuft der FTP Server, auf deiner Workstation gibst du die IP im FTP Client ein.
Mit freigegebenen Ordnern funktioniert das nicht anders: //Server-IB-IP/Freigabename

 

[ttom]

Ja habs jetzt hinbekommen. Thx

Einfach bei Freefilesync die IP statt Pfad angeben.

Hab so 550MB/s Übertragungsrate. Ein Kern ist ziemlich ausgelastet @SB 3,4 GHz

Naja bin erstmal zufrieden

---------- Beitrag hinzugefügt um 20:05 ---------- Vorheriger Beitrag war um 19:32 ----------

da könnt sogar noch was gehen. Das Quelllaufwerk gibt nicht mehr her

 

[dako]

ich hab einfach beim selben shop um 60 euro eins mitbestellt.

viel guenstiger wirst da nichts bekommen: DeLOCK InfiniBand (SFF-8470) Kabel, 1m (83060) | Geizhals.at EU

Ein spezielles Crossoverkabel ist nicht nötig?

Und noch eine Ergänzende Frage: Wie ist denn die CPU Last auf Client und Server?