[Sammelthread] 10Gbit Homenetzwerk

[koaschten]

Mellanox New Pricing Structure Enables Worldwide Adoption of 10 GbE in Datacenters | techPowerUp

 

[barnacle2k]

Kampfpreise? 390$ pro karte und 188$ Pro Switchport liegt zwar noch nicht so richtig im
in unserem Ramen aber das dürfte hoffentlich die anderen Hersteller zur anpassung ihrer Mondpreise zwingen.

@DunklerRabe und Bluesunset:
Danke für die Infos, ich war nur die Letzen Tage recht beschäftigt weshalb ich den Startpost noch nicht upgedated habe.

 

[DunklerRabe]

So, gerade hatte ich ein paar HP NC550SFP im Testrechner. Das sind die Vorgänger der NC552SFP und basieren auf der Emulex OCe10102, genau so wie die IBM 49Y4201. Während aber IBM scheinbar geändert hat, was sie ändern konnten/durften (PCIe x9 Leiste, kein Support für SFP+ CU Kabel) hat HP alles beim Standard gelassen.
Die NC550SFP funktionieren ebenso mit den Unified Treibern von Emulex und melden sich lediglich als NC550SFP. SFP+ CU Kabel funktionieren anstandslos!

Damit sind die NC550SFP und NC552SFP meiner Meinung nach extrem empfehlenswert, wenn man welche findet. In den USA kriegt man sie durchgehend und günstig, muss man sich eben überlegen ob einem der Aufwand und die anfallenden Gebühren und die Einfuhrumsatzsteuer wert sind!

 

[susannnnne]

hmm... kennt jemand atm eine günstige Quelle für zwei 10gbe nics + ein 3-5m kabel?
In der Bucht find ich nix günstiges...

 

[JensS]

Das Problem ist, dass 10GigE einfach nicht günstig geht - dazu sind die Karten neu zu teuer und gebraucht zu selten...
Wenn du etwas bastelfreudig bist, schau dir die Infiniband-Lösung an, da sind 2 HCAs und Kabel durchaus günstiger als eine 10GigE-Karte.

 

[DunklerRabe]

Es braucht etwas Geduld um in der Bucht was passendes zu finden. Du kannst leider nicht davon ausgehen, dass zu jeder beliebigen Zeit entsprechende Angebote eingestellt sind. Und wenn doch, dann sind es oft 10 GbE Karten ohne Transceiver, die auch nochmal gut ins Geld gehen können.
Das einzige, was daran wirklich immer günstig zu kriegen ist, sind die Kabel. LWL oder SFP+ CU Kabel kosten vergleichsweise wenig und sind leicht zu kriegen. SFP+ CU würde dir sogar die Transceiver ersparen, funktioniert aber nicht mit jeder Karte.

Wenn InfiniBand für dich in Frage kommt solltest du dir das definitiv mal anschauen, denn das ist im Moment die einzige Lösung für einen 10G Verbindung, die wirklich als "günstig" durchgeht. Auch hier ist aber etwas Geduld nötig um entsprechende HCAs zu bekommen.

 

[susannnnne]

hmm - selbst bei infiniband siehts atm wohl eher mau aus mit guten Angeboten... zumidest find ich mit den einschlägigen Suchbegriffen kaum was unter 250Euro Setpreis ... (2x Karten plus KAbel)

 

[JensS]

Schau mal hier im Marktplatz, iirc hatte ein User ein solches Set im Angebot und lag damit noch deutlich unter 200,-.

 

[DunklerRabe]

Ja, mrlinux: http://www.hardwareluxx.de/communit...stern-digital-10-gigabit-netzwerk-838529.html

 

[JensS]

Soooo, graben wir doch das Thema mal aus...

Ich habe jetzt auch 2 von den kleinen Mellanox-HCAs und die openfabrics-Geschichte ist gerade am installieren. Als Anmerkung zum HowTo: Wenn man nicht an den Einstellungen für ein öffentliches Netz drehen mag kann man bei beiden PCs jeweils das Gegenüber als Gateway eintragen - anhand des Gateways (iirc IP und MAC) identifiziert W7 das Netzwerk und somit kann man die IPoIB-Strecke dann auch als privates Netz betreiben. Oder vielleicht dhcpsrv mit aufsetzen?

 

[Schlingel_INV]

das muss ich gleich mal probieren. das öffentliche hat mich nen bissel genervt

@ funzt

 

[-INU-]

Gibt es eigentlich immer noch keine reinen 10GB Switche, bräuchte 6~8 10GB Ports.

 

[jdl]

Brocade und Mellanox haben 10GbE Switches im Programm, bei denen alle Ports 10GbE unterstützen.

 

[Noiseless]

Cisco Nexus gibt es auch noch

 

[H_M_Murdock]

HP und Arista bieten ebenfalls reine 10 GbE Switches an.

 

[ulukay]

So, mein neuer GamingPC hat leider zuwenig PCIE Slots ....
Werd deshalb wohl meine beiden 20Gbit Infiniband Karten und das Kabel abstoszen muessen. Schade, der Speed wird mir definitiv fehlen.

 

[koaschten]

Aus reiner Neugierde, war das Verbindung zwischen PC und Storage um die Terabytes leise zu bekommen?

 

[underclocker2k4]

leise?

Es gibt für bestimmte NAS auch 10G ethernetkarten -> eine in den PC und fertig ist der Spaß.

 

[Grav3]

was brauch man eigentlich als unterstruktur für zb Infiniband also 10gbe??

Also was ich vorhabe: mein Rechner (i7-860 mit 2x 2tb + 320gb 2,5" + 60gb ssd) soll 2 platten weniger haben (die beiden 2TBs)... kommen natürlich noch 2 weitere dazu.. (in den server)
nun die frage: was für einen server an hardware brauche ich mindestens, der dann auch das 10gbit auch vernünftig hinkriegt??

was der server machen muss: Datengrab für haupt-pc und LAN, TV-Server, Streaming-Server an Laptop, Netbook, PS3 und iOS (inkl. umrechnung) .... alles unter WHS2011.

 

[bluesunset]

10Gbit/sec = 1,25GiB/sec ~ Inhalt einer Single Layer - Single Side DVD (4,7GB) innerhalb von 4 Sekunden von A nach B und von B nach A (Duplex!).
Einzelne aktuelle HDDs ~ 100MB/sec bis max. 200MB/sec, SSDs ~60-500MB/sec.
Für deine genannten Anforderungen reicht in der Regel Gbit Ethernet (ggf. mit mehreren Ports - und das auch nur für viele parallele Übertragungen zum bzw. vom Datengrab) aus.

 

[DunklerRabe]

was brauch man eigentlich als unterstruktur für zb Infiniband also 10gbe??

Das ist nicht gleichzusetzen, es sind verschiedene Technologien!

Grundsätzlich brauchst du, um die 10G Leitung vernünftig zu nutzen, ein performantes Storagesystem. Deine Platten oder SSDs müssen also an BEIDEN Enden der 10G Strippe schnell genug sein. Bluesunset hat es ja schonmal vorgerechnet.
Wenn da nicht einige hundert MB/s durchgehen, dann lohnt sich das nicht.

 

[denniswisnia]

Finde das Thema unheimlich interessant. Nur wie reizt ihr das Netzwerk aus? Nicht einmal bei uns in der Agentur könnten wir das ganze vollständig ausreizen und wenn ich das hier richtig lese, dann benutzt ihr das zuhause. Ist es nur ein Hobby/Spielerei oder..?

 

[Grav3]

Dann danke ich euch schon einmal.
Jetzt weiß ich mehr und kann mir dann die gedanken darüber machen

 

[DunklerRabe]

@denniswisnia:
Grundsätzlich kann man das auf zwei Möglichkeiten runterbrechen.
Entweder machst du die Leitung mit vielen kleineren Zugriffen dicht, das entspricht einer typischen Client-Server Umgebung. Das erfordert einen performanten Server, die Clients hingegen müssen nicht sehr performant sein. Hier werden auch die maximal möglichen IOPS des Storages interessant, die limitieren meist bevor man an die Bandbreitenbegrenzung stößt. Zuhause hat man so eine Umgebung eher nicht. Das dürfte eher das Setup sein, was du (und viele andere) in der Firma hast.
Oder du machst das, was eher ein Server-Server Interconnect wäre. Eine performante Verbindung zwischen zwei Servern mit ausreichend schnellen Storagesystemen. Auf deutsch brauchst du also zwei Raids, mindestens ein auf jeder Seite. Klassischerweise mit HDDs, um auch die notwendige Kapazität zu erreichen. SSDs gehen natürlich auch und erreichen schneller die notwendige Performance, um auf 10G zu kommen, bieten aber die Kapazität nicht.
Das dürfte dem entsprechen, was die meisten zuhause haben. Bei mir trifft das auch zu.

Es macht also schon Sinn (oder besser: Es kann Sinn machen!), aber natürlich ist der Aspekt Spielerei und "Weil es geht!" kaum von der Hand zu weisen

 

[underclocker2k4]

So sieht es aus. Keiner braucht ideale 10G um ein paar Daten zu schieben. Es geht hier eher darum, dass man innerhalb kurzer Zeit möglichst viel Daten transferieren kann. Und da ist gbit nunmal ein Flaschenhals. RAIDs schaffen das idR locker. SSDs mittlerweile auch, SSD RAID erst recht.

Daher kann es hier schon Sinn machen sich sowas hinzustellen.

Alternative wäre natürlich, dass man wirklich auf einem zentralen Datenspeicher arbeitet, auch hier ist gbit schnell am Ende.

Aber wie gesagt, Spiel Spaß und Spannung ist auf jeden Fall ein wichtiger Aspekt.

 

[underclocker2k4]

Könnt ihr mal eure Speeds vom Netz und auch von Storagetransferraten übers Netz posten? Geht um eine grobe Einschätzung von aktuelle Installationen.
(beim Storage dann bitte kurz angeben, wie das Storage aussieht)

 

[jumas]

Hoi,

ich bekomm den 3.0 oder 3.1 Treiber nicht vernünftig zum laufen.
Und auch mit dem alten 2.3 hab ich immer mal wieder Aussetzer.
Ich hab die VOLTAIRE HCA 410-4EX!

Hat jemand ein ähnliches Problem?
Hat jemand schon mal ein Firmware Update auf die Karten gespielt? In den Release Notes steht "make 'sure' your Mellanox HCA firmware is up-to-date". Was bei mir sicher nicht der Fall ist!

Grüße

Edit:
Mit dem alten Treiber hängt sich die Verbindung auf, wenn ich gleichzeitig in beide Richtungen kopiere!

Nochmal Edit:
Hab jetzt alle Treiber am laufen, allerdings ohne "connected mode". Der Durchsatz ist etwas geringer, aber gar nicht so viel.
Dafür scheinen aber meine Probleme komplett weg zu sein.

 

[DunklerRabe]

Könnt ihr mal eure Speeds vom Netz und auch von Storagetransferraten übers Netz posten? Geht um eine grobe Einschätzung von aktuelle Installationen.
(beim Storage dann bitte kurz angeben, wie das Storage aussieht)

Von einem LSI 3ware 9750-8i mit Raid 5 8x Samsung HD154UI schreib ich via Emulex OCe10102 (eigentlich die IBM OEM Version davon) mit 430 MB/s über Glas auf LSI 3ware 9750-4i mit HP SAS Expander mit Raid 50 16x Seagate ST31500341AS.
Welches Array da limitiert hab ich aber noch nie ausgetestet. Der Plan sieht sowieso mal aus die 5400er Platten durch 7200er zu ersetzen. Das wird aber noch einige Zeit dauern.

 

[DunklerRabe]

In der Bucht sind mir grad zwei 10G Karten über den Weg gelaufen:

INTEL (R) Ethernet 10G Server Adapter X520-S NIANTIC B0, 10g., DP, Fibre, SR-IOV | eBay
INTEL (R) Ethernet 10G Server Adapter X520-S NIANTIC B0, 10g., DP, Fibre, SR-IOV | eBay

Das scheinen Intel X520-SR1 zu sein:
Intel X520-SR1 Server Adapter, 2x 10GBase-SR, PCIe x8, low profile (E10G42BFSR) | Geizhals.at Deutschland
Intel® Ethernet X520 Server Adapters Product Brief

Der Preis scheint ganz gut zu sein, vielleicht interessiert es ja jemanden!

 

[bluesunset]

*hust* habe da auch ein paar 10Gbit Eth NICs.