[Sammelthread] 10Gbit Homenetzwerk

[special_fx]

Netter Thread.

Kann zu der Intelkarte im Startpost eine Kompatibilitätsbestätigung für das Asus Board M4A89GTD in Verbindung mit Debian 6.0 machen.

Vor knapp 2 Monaten hatte ich bei einem Bekannten mit einem Fotostudio zwei Systeme mit der oben genannten Konfiguration und je 18TB Brutto im Raid 0+1 zum Spiegel konfiguriert.

Dafür lohnt es sich schon auf 10Gbit Adapter zu setzten die Transferrate ist dabei um Faktor 3,5 höher als bei 1Gbit.

 

[xymos]

ich denke letztendlich muss jeder für sich selbst entscheiden, ob ihm der jetzige Kostenaufwand wert ist, für den spürbaren Mehrgewinn, wenn die Hardware mitspielt.

Mein RAID kann weit mehr als 1Gbit, aber die summierten kosten sind aktuell für mich nicht tragbar.
Von dem Stromverbrauch eines 10Gbit Switch mal ganz zu schweigen.
( über die kosten ..hehe, habe ich sowieso nicht )

Mich würde eine direkte SFP(+) Anbindung schon reizen, denn Datenvolumen wo sich die Geschwindigkeit lohnt, hätte ich zuhauf.

Mein Raid ist so aufgestellt, dass ich mit wachsen kann
Abwarten -und Tee trinken.

Aber interessantes Thema.

_xymos.

 

[gamefreaktegel]

woher stammt der Preis für die Intel Pro/10GBE XF SR ? Hast du da eine 1 vergessen?

 

[barnacle2k]

Es sind alles gebrauchtpreise bei Eb*y Auktionen die ich Beobachtet
oder selbst für diesen Preis gekauft habe.

(ich werde bald selbst wieder 2 verkaufen wenn ich die durchgebencht
habe, leider benötige ich noch SFP module für die Emulex)

 

[Hades42]

Hallo!

Meiner Meinung nach ist Infiniband etwas zu schnell abgetan - Durch die Ablösung "alter" 10G Karten sind diese im Moment preiswert gebraucht zu bekommen. Und es gibt erschwingliche Switches.

Wer sich dafür interessiert: Der entsprechende Hersteller heisst Mellanox.

Und über die Frage, wer so etwas zu Hause braucht, na ja, kann man geteilter Meinung sein.

Stellt euch eine Anzahl SSDs im iSCSI Server (oder iSER Server) vor, von dem alle Clients ihre LUNs beziehen... Mit Latenzen im Nanosekunden-Bereich und Bandbreiten um 700MB pro Sekunde. Mit Snapshots und Backup-Server mit Datengrab-Festplatten.

Ich hatte das letztes Jahr schon einmal angefangen, aber bislang nicht intensiv daran gebastelt.

Nur eine Warnung vorweg: ein 8-Port Infiniband-Switch, den ich für 150 Euro erstanden habe, ist Datacenter-Equipment und LAUT =)

 

[ulukay]

infiniband karten von mellanox kommen mit crossover zurecht

 

[ulukay]

und hier der beweis dafuer

hab 2 stueck mellanox MT25204. eine im debian fileserver, eine im win7 gamepc.

~# ibstat
CA 'mthca0'
        CA type: MT25204
        Number of ports: 1
        Firmware version: 1.2.917
        Hardware version: a0
        Node GUID: 0x0005ad00000bf2d4
        System image GUID: 0x0005ad000100d050
        Port 1:
                State: Active
                Physical state: LinkUp
                Rate: 20
                Base lid: 1
                LMC: 0
                SM lid: 1
                Capability mask: 0x02510a6a
                Port GUID: 0x0005ad00000bf2d5

netio:

TCP connection established.
Packet size  1k bytes:  482.30 MByte/s Tx,  345.77 MByte/s Rx.
Packet size  2k bytes:  492.21 MByte/s Tx,  355.79 MByte/s Rx.
Packet size  4k bytes:  518.59 MByte/s Tx,  461.18 MByte/s Rx.
Packet size  8k bytes:  515.79 MByte/s Tx,  555.62 MByte/s Rx.
Packet size 16k bytes:  554.43 MByte/s Tx,  600.20 MByte/s Rx.
Packet size 32k bytes:  536.83 MByte/s Tx,  629.66 MByte/s Rx.

sind wohl nich in echten 8x PCI-E Slots - aber wayne, mehr als 300MByte/s brauch ich derweilen nicht

atto vom gamepc aufs verschluesselte sw-raid6 (~300mb/s bekomme ich lokal am linux server vom array)

hier die netzwerklast bei ~200MByte/s -acronis backup, schneller duerften die ssds im gamepc ned sein

edit: achja, damn, das ist ja nur der 10Gbit Thread

 

[underclocker2k4]

Das sieht ja mal nach was aus. Was sind das für Karten genau?
128er?

 

[ulukay]

ne, sind die da
4x DDR
IBM Cisco Single-Port 4x DDR PCI-E Infiniband HCA 44E9033 Komponenten Peripherie

 

[underclocker2k4]

Jo, hab das reingecheatet Bild gesehn. ^^

MELLANOX MHXL-CF128-T Infiniband HCA 10 Gbit/s PCI-X Komponenten Controller Sonstige

Hast du dazu Infos, ob IPoIB geht?

 

[ulukay]

klar gehts, sonst haett ich ja keine netzwerkverbindung ueber samba

 

[underclocker2k4]

Dass es bei deinen geht seh ich ja ^^.

Meinte eher bei der PCI-X Karte. (128er)
Die haben halt 2x IB, da kann man dann eine "Ring" bauen.
(sofern man denn PCI-X hat, gibbet aber auch als PCIe)

 

[ulukay]

achso, ja denke schon.
fuer windows hab ich den generischen treiber von mellanox geladen. laut support gehn damit sogar die uralten 10gbit karten (Voltaire HCA 410-4EX).

Mellanox Products: Mellanox OFED for Windows (WinOF)

unter linux gehts sowieso. karte rein, ein paar module geladen, fertig.

wenn du crossover ohne switch betreiben willst muss auf einem der host ein subnet manager laufen. unter linux kein problem, ist sogar als package im debian repo.

 

[underclocker2k4]

Jo, aber nen SM ist mir für die Windows Welt nicht bekannt.

 

[ulukay]

klar, opensm
siehe auch den hinweis in der release notes: http://www.mellanox.com/related-docs/prod_software/MLNX_WinVPI_IB_ReleaseNotes.txt

 

[underclocker2k4]

So, ulukay, jetzt hast du meinen Forscherdrang geweckt.

 

[ulukay]

wunderbar

 

[underclocker2k4]

Irgendwo nen günstigen Ship für IB Kabel?

 

[ulukay]

ich hab einfach beim selben shop um 60 euro eins mitbestellt.

viel guenstiger wirst da nichts bekommen: DeLOCK InfiniBand (SFF-8470) Kabel, 1m (83060) | Geizhals.at EU

 

[gamefreaktegel]

die Kabel sind natürlich recht dick
hmmm bohre ich noch nen größeres Loch?

 

[underclocker2k4]

Haste sowas da game?

 

[gamefreaktegel]

ne, aber ich bin schon seit Langem am überlegen.... FC, 10Gb RJ45 oder Infiniband...

 

[Blacktron]

Oho, sowas hab ich mir auch schonmal überlegt. Also Netzwerk von Rechner zu Server via Infiniband... Hier hat man ja einige nette Anregungen gefunden.

 

[xymos]

würde das auch Nativ unter OSX laufen ?

 

[fdsonne]

Was mich beim Thema Infiniband auch interessiert, hat jemand Erfahrungen mit Clusterbildung unter Windows über Infiniband?
Das muss irgendwie gehen, aber ich hab so recht dazu noch nix gefunden

 

[H_M_Murdock]

@fdsonne
Du meinst so richtig mit gemeinsamem Hauptspeicher und alle CPUs = 1 System?
Tät mich so rein aus Prinzip auch mal reizen...für Linux hatte ich sowas mal wo gefunden.

Unter Windows kenn ich nur ganz rudimentär den Compute Cluster Server der im Prinzip Jobs über ne Warteschlange verteilt.

 

[fdsonne]

richtig genau das mein ich...

Ich habe damals im hwbot.org gesehen wie jemand den WPrime Rekord mit ner 32x Intel 7460 gebrochen hat. Mittlerweile ist das Clustering dort aber untersagt weil es um OC gehen soll und nicht wer Zugriff auf den größten Cluster hat...
Aber interessieren würde es mich trotzdem...

An ne Windows HPC Edition kommt man ja übers Technet ran... Selbst wenn nur als Testversion für 180Tage definitiv aber mal ne Probe wert

Ich glaube auch nichtmal das das zwingend an Infiniband gebunden ist...

 

[ulukay]

HPC?

scroll mal runter

Mellanox Products: Mellanox OFED for Windows (WinOF)

 

[fdsonne]

Die Frage ist, wie bekommt man das so hingebogen, das eben am "Schirm" beispielsweise ein Windows mit 32 CPUs zu sehen ist? So das eben quasi jegliche Windows Software drauf läuft? Geht sowas überhaupt?

Ich muss mal schauen, bei MS gibts den HPC Cluster in der 180Tage Trail. Damit könnte man ja schon erstmal testen...

 

[ulukay]

glaube ich nicht.
das ist eher ein computing cluster wo jeder node ein paar jobs bekommt.

so aehnlich wie openmosix bei linux damals.
da kannst am master zwar die ganzen prozesse starten, die werden aber dynamisch auf die nodes aufgeteilt.