[Sammelthread] 10Gbit Homenetzwerk

[jdl]

Was sind denn aktuell brauchbare manged Switche mit min. 10 Ports? am besten LWL..

Mit diesem Rahmenbedingungen haben wir letztlich einen Mellanox SX1012 gekauft. Die 10GbE Ports erlangt man durch Nutzung von QSFP auf SFP+ Adapter, die relativ billig sind. Man kann natürlich auch Fanouts nutzen und dann die volle Portzahl für 10GbE von 48 Ports nutzen.

 

[danielmayer]

Puh, 5000€ für den Switch? Da muss ich über infrastrukturelle Nutzung von 10G-LWL ja doch nochmal nachdenken: Ein 8Port-Infiniband-40G-Switch kostet max. 1500€, der nächstgrößere nicht viel mehr. Das ist schon ein kleiner Unterschied. Und da die Mellanox IB-Karten in etwa gleich teuer wie 10g-Brocades sind... hmmm...
Da liegt noch einiges zum Test-Basteln für den Winter vor mir

 

[DunklerRabe]

Für ~1400 Euro kriegt man einen 12-Port 10GBase-T Switch: Netgear ProSafe XS712T
Den kleineren XS708E mit 8 Ports kriegt man mittlerweile für unter 700 Euro.

Lösungen über Kupfer sind mittlerweile vergleichsweise günstig geworden, muss man sich halt überlegen ob da ein Umstieg möglich und/oder rentabel ist. Und ob die Managementmöglichkeiten dieser Switche ausreichend sind.

 

[danielmayer]

Ja, die Preise der Netgears sind angemessen gefallen in den letzten Monaten.
Allerdings sehe ich noch vielleicht den größten Vorteil von LWL im Stromverbrauch: Meine Gbase-T-Karte von Broadcom zieht ca. 20Watt. Die Brocade ca. 7.
Pro PC macht das schon was aus. Aber bei dem Preisunterschied Switche... das relativiert deutlich.

 

[jdl]

Puh, 5000€ für den Switch?

Z.B. der Netgear XSM7224 ist auch nicht billiger und bei Mellanox weiß man das die Dinger "non blocking" sind. Wenn man die Preise für die großen Switche (SX-1018 oder SX1024) sieht, lohnen sich diese kleinen Dinger eigentlich nicht, weil man pro Port für die größeren sehr viel weniger zahlen muß.

Realistisch sind für SoHo nur 10GbE T Switche, die SFP+ sind einfach zu teuer.

 

[danielmayer]

Jo, ich habe jetzt mal die günstigsten bei der Bucht recherchiert: Dell refurbished 8024 (24x10GB-T + 4xSFP+) oder 8024F (24x10GB-SFP + 4x10GB-T) für 1300-2300€ zzgl. Import. Oder die neueren Modell 8132 / 8132F.
Natürlich fehlt wieder jede Info, welche Transceiver-Marken in den Modellen arbeiten dürfen...

 

[jdl]

Jo, ich habe jetzt mal die günstigsten bei der Bucht recherchiert: Dell refurbished 8024 (24x10GB-T + 4xSFP+) oder 8024F (24x10GB-SFP + 4x10GB-T) für 1300-2300€ zzgl. Import. Oder die neueren Modell 8132 / 8132F.
Natürlich fehlt wieder jede Info, welche Transceiver-Marken in den Modellen arbeiten dürfen...

Von Mellanox weiß ich, daß sie jeden beliebigen aufnehmen. Bei den Dells ist es meines Wissens ebenfalls der Fall, aber nicht bei den ehemaligen Force10 Produkten! D.h. die 8000 Serie ist ok, die neueren S irgend was sollte man unbedingt meiden.

 

[oTTze]

Holla Leute,
beim Stöbern im Netz bin ich grad über ne neue 10GBase-T Karte gestolpert:
DAS/Others | Thecus C10GTR - Your Key to the Future of Networking

Vorallem der Stromverbrauch wäre mal ne ganze Ecke besser als bei bisherigen Produkten:
Power Consumption 4.95W/10G, 3.3W/1G, 2.48W/100M

Und der Preis (unter 200€) ist auch ne Ansage. Hat schon jemand damit Erfahrung sammeln können, zumal mir der Hersteller des Chipsatzes (http://www.tehutinetworks.net/Upload_ProductsFiles_Files/TN4010 Product Brief.pdf) gerade 0 sagt?

 

[The-Master]

Ja, die verbrauchswerte machen die karte sehr attraktiv im vergleich zu anderen NICs. Meine verbrauchen jeweils 20W, da sind die 5W ein deutliches plus.
Ich hoffe die preise fallen noch ein wenig, dann werde ich ca. 2015 wechseln.

 

[The-Master]

Ich möchte noch darauf hinweisen, dass es für die NICs HP NC523SFP (Baugleich QLE 3242) neue Firmware gibt. Die hat bei mir für einen ordentlichen schub bei der bootzeit im UEFI betrieb gesorgt, weswegen ich sie allen besitzern der karte empfehlen möchte.
Auf der HP seite wird die Firmware als version 4.0.0.19 (26 Aug 2014) bezeichnet, ist jedoch unter der haube version 4.16.50.

HP: Drivers & software for HP NC523SFP 10Gb 2-port Server Adapter - HP Support Center
QLogic: QLogic Driver Download - Intelligent Ethernet Adapters - QLE3242 - Windows Server 2012 R2 (x64)

Sorry wegen doppelpost.

 

[DunklerRabe]

Holla Leute,
beim Stöbern im Netz bin ich grad über ne neue 10GBase-T Karte gestolpert:
DAS/Others | Thecus C10GTR - Your Key to the Future of Networking

Vorallem der Stromverbrauch wäre mal ne ganze Ecke besser als bei bisherigen Produkten:
Power Consumption 4.95W/10G, 3.3W/1G, 2.48W/100M

Und der Preis (unter 200€) ist auch ne Ansage. Hat schon jemand damit Erfahrung sammeln können, zumal mir der Hersteller des Chipsatzes (http://www.tehutinetworks.net/Upload_ProductsFiles_Files/TN4010 Product Brief.pdf) gerade 0 sagt?

Sagte mir auch nichts, kurze Suche ergab:

Start-Up aus Israel die angetreten sind im "TCP/IP Acceleration" business, namentlich also um günstige und effiziente 10 GbE Chips anzubieten. Finanziert wurde die über eine Förderung der isrealischen Regierung und ein paar Venture Kapital Buden, die da investiert haben.
Die Firma gibts seit 2003 und in anbetracht der Tatsache, dass ich in den letzten 11 Jahren nicht einmal ein Produkt von denen gesehen geschweige denn von der Firma selbst was gehört habe würde ich sagen, dass das mit der Ankunft im Markt wohl noch so eine Sache ist.
Aktiv sind die allerdings, man findet Infos und News über neue Chips usw. von denen aus den letzten acht Jahren.

 

[konfetti]

Naja, im NAS Bereich sagt mir Thecus schon was, im Netzwerkbereich an sich eher weniger, aber was nicht ist, kann ja noch werden - und nur weils bei uns im Europäischen Bereich vlt. noch nicht so bekannt ist, heists ja nicht, das es keine gute Firma sein muss

 

[DunklerRabe]

Thecus ist durchaus bekannt, aber in dem Fall geht es ja um den Zulieferer der 10G Chips

 

[oTTze]

Dann werd ich mich mal demnächst opfern und 2 so Karten mal für nen Test besorgen. Klingt ja zumindest mal nach ner sinnvollen Alternative zu den Intel Karten, zumal man seine Cat7 Verkabelung im Haus weiter nutzen kann.

 

[DunklerRabe]

Kommt dann halt schwer drauf an was die wirklich kosten sollen. Eine Intel X540 kostet ca. 280 Euro und ist über fast alle Zweifel erhabene Hardware, da müsste Thecus diese 10G Karte schon deutlich günstiger vertreiben, damit man die als Alternative in Erwägung zieht.

 

[oTTze]

Aktuell für 212€ + Versand zu haben: http://geizhals.de/thecus-c10gtr-a1132992.html
Nur die ersparten 70€ würden nichts bringen wenn die Leistung nicht stimmt. Evtl tut sich da an den Preisen bis in den November ja noch was, dann werd ich mal berichten.

 

[bigghost]

Über die Thecus würde ich nicht mal nachdenken es sei die Kosten nur 100€. Die sehen mit der halben länge einer Intel schon ziemlich billig aus.
Zum anderen sind gute Treiber das besondere und Intel hat Top Treiber und released alle paar Wochen neue.Unterstützung für Vmware etc..

Wette da gibt es Qualitativ den selben Unterschied wie bei einer billigen Pro 1000 und i350 highend

 

[timiner2mc]

Naja, wie Pro 1000 sind im Vergleich zu Netzwerkkarten manch anderer Hersteller immer noch Top

 

[DunklerRabe]

Oh, naja, also für ab 212 Euro...

Das wäre mir die 70 Euro nicht wert, da würde ich ohne nachzudenken zur Intel X540 greifen.

 

[danielmayer]

Mal ne Frage an die Infiniband-Benutzer.
- Wir splitte ich unter Linux einen QDR-Port auf 4x10Gbit unter Nutzung eines Breakout-Kabels (QDR->LC,LC,LC,LC)?
- Ist die Trennung der phyischen Lanes treiberseitig als getrenntes Device ausgewiesen (ib0, ib1, etc. oder als ib0_0, ib0_1, etc.)?
- Kann ich diese Devices geviertelten Devices je als 10GB-IPoIB konfigurieren?
- Wo finde ich irgendwelche Anleitungen dazu? Ich google mir nen Wolf nach "Infiniband"+ "splitting", "divide", "Virtual Lanes" + "config", etc....

Sinn und Zweck: Eine dual-Port QDR-Karte bietet 8x10GBit-Anschlüsse, man könnte sich im durchschnittlichen Enthusiasten-Haus damit den LWL-Switch sparen...

 

[jdl]

Mal ne Frage an die Infiniband-Benutzer.
- Wir splitte ich unter Linux einen QDR-Port auf 4x10Gbit unter Nutzung eines Breakout-Kabels (QDR->LC,LC,LC,LC)?

Das geht mit Infiniband gar nicht! Break Out Cable verwendet man nur im Zusammenhang mit Ethernet.

 

[bigghost]

@danielmayer

Das feature was du sucht nennt sich NIC-Partioning. Aber ich kenne das nur von 10G Karten von Blades.Da kann man dem OS wirklich aus einem 10G Port
vier Lan Ports vorgaukeln. Das verteilen der Bandbreite pro Port stellt man im Bios der NIC Karte ein. Glaube aber nicht das sowas bei Infinitiband gibt.
Bei den DELL Blade Servern z.b. kann das auch nur QLogic oder Broadcom Karten.Intel leider nicht.

 

[danielmayer]

Hmmm.. jaein. Ich habe definitiv mal davon gelesen, dass einer einen 40gbit QDR-Infiniband auf 4x10 verteilt hat und "irgendwie" auf der Host-Karte einstellen konnte (Linux).
Bei der Beschreibung des Kabels ist "Infiniband" ausdrücklich genannt. In Shenzen bekommt man es auch deutlich günster, für ca. 60€/5m.
Also bleibt mir wohl nur, mal eines zu bestellen und auszuprobieren...

 

[bigghost]

aber auch ohne das kabel zu testen solltest du optionen dazu im bios der karte haben.findest du diese dort nicht brauchste das kabel gar nicht er zu probieren.

 

[jdl]

Hmmm.. jaein. Ich habe definitiv mal davon gelesen, dass einer einen 40gbit QDR-Infiniband auf 4x10 verteilt hat und "irgendwie" auf der Host-Karte einstellen konnte (Linux).

Ich kenne einen Großteil der Mellanox Doku, aber davon habe ich noch nie etwas gelesen.

Bei der Beschreibung des Kabels ist "Infiniband" ausdrücklich genannt.

Wenn man achte Fasern koppelt, kann man so einen IB Link über normale Fasern z.B. mit einem Nachbarraum verbinden, und man ist nicht gezwungen teure MTP Kabel (z.B. weil man die Wand aufreißen muß) zu verwenden.

 

[danielmayer]

Ja, bzgl. MTP hatte ich tatsächlich schon mal an eine Hausverkabelung mit diesem Typ gedacht. Und dann gibt es da immer diesen penetranten Gedanken im Kopf: "Wer braucht 12xLWL pro Wanddose?! Wer braucht 40Gbit in nem Hauszimmer?!" - dabei wissen wir alle, dass schon 10gbit (momentan) keiner "braucht"
It's simply nice to have.
Die Infinibandkarten erkennen jedoch über eine solche Breakout-Lösung die aktiven Kanäle. D.h., wenn ein QSFP-Kabel (40gb) mit nur einer duplexLWL an eine andere Infinibandkarte verbunden wird, baut sich eine 10Gbit-Infiniband-Leitung auf. Insofern liegt die Splittungsfähigkeit durchaus nahe.
"Können" tun das wohl tatsächlich einige Infiniband-Switche, z.B. der 8port von Mellanox, wodurch er faktisch 8x4x10Gbit Infiniband switchen kann. Zumindest bei Sun hatte ich das auch in einem Handbuch gelesen - über Kommandozeilenoptionen.
Nuja, für einen Feldversuch bräuchte ich das Breakoutkabel und 2x LC->QSFP Adapter bzw. 3x das Breakoutkabel. Mal sehen, ob das eine Firmen-Teststellung werden kann. Danke jedenfalls für die Rückmeldungen. Vermutlich ist im Winter mal Zeit dafür, ich berichte ggf. über den Versuch.

 

[Oliver_]

Kennt ihr eigentlich schon die Intel X710 Serie? Ich denke damit wird 10GE / 40GE richtig durchstarten können das sowohl Preis als auch Energieverbrauch endlich auf ein humanes Level gedrückt wird!
Intel® 10 Gigabit Ethernet Network Connection
ARK | Compare Intel® Products

Zu QSFP:
Bei Switchen die ich kenne, oder auch eingesetzt habe (EN Summit X670), welche QSFP und 40GE nutzen ist ein Breakout auf 4x10GE immer möglich! Das ist auch irgendwie sehr sinnvoll 1. für high density 2. QSFP=Quad SFP 3. wenn mich nicht alles täuscht ist 40GE ein Mutistream von 4x10GE (sozusagen nativer Portchannel ).
Bei diesen Geräten stellt man das 40Ge interface auf 10GE mode und muss entweder die Karte oder das komplette Gerät neustarten!

Leider hatte ich noch keine 40GE Netzwerkkarte in der Hand, aber meine Vermutung ist das es auch hier die Option Splitt in tengig gibt.
PS: das QSFP Breakout musste bei mir immer gesteckt sein, um die Option aktivieren zu können!

Mfg Oli

PS: der Produkt Brief
http://www.intel.com/content/dam/www/public/us/en/documents/product-briefs/ethernet-xl710-brief.pdf

 

[jdl]

Zu QSFP:
Bei Switchen die ich kenne, oder auch eingesetzt habe (EN Summit X670), welche QSFP und 40GE nutzen ist ein Breakout auf 4x10GE immer möglich!

Das ist auch ein Ethernet Switch! Die 40GbE Ports an Mellanox Switchen kann man zwar nicht alle auf 4x10GbE splitten, aber bei bestimmten Ports geht das. Maximal werden 64 Ports pro Switch unterstützt.

 

[Cookie1990]

Kennt ihr eigentlich schon die Intel X710 Serie? Ich denke damit wird 10GE / 40GE richtig durchstarten können das sowohl Preis als auch Energieverbrauch endlich auf ein humanes Level gedrückt wird!
Intel® 10 Gigabit Ethernet Network Connection
ARK | Compare Intel® Products

Zu QSFP:
Bei Switchen die ich kenne, oder auch eingesetzt habe (EN Summit X670), welche QSFP und 40GE nutzen ist ein Breakout auf 4x10GE immer möglich! Das ist auch irgendwie sehr sinnvoll 1. für high density 2. QSFP=Quad SFP 3. wenn mich nicht alles täuscht ist 40GE ein Mutistream von 4x10GE (sozusagen nativer Portchannel ).
Bei diesen Geräten stellt man das 40Ge interface auf 10GE mode und muss entweder die Karte oder das komplette Gerät neustarten!

Leider hatte ich noch keine 40GE Netzwerkkarte in der Hand, aber meine Vermutung ist das es auch hier die Option Splitt in tengig gibt.
PS: das QSFP Breakout musste bei mir immer gesteckt sein, um die Option aktivieren zu können!

Mfg Oli

PS: der Produkt Brief
http://www.intel.com/content/dam/www/public/us/en/documents/product-briefs/ethernet-xl710-brief.pdf

Sehr schön, gibts die auch in einer günstigeren 1 Port Variante?

 

[DunklerRabe]

Sehr schön, gibts die auch in einer günstigeren 1 Port Variante?

Mh? Guck doch mal genau hin!

Die XL710-AM1 ist eine Single Port Karte. Und die X710-AM2 ist selbst als Dual Port Karte schon so günstig, dass ich mir vorstellen könnte Intel lässt da die Single Port Variante einfach weg.

Wenn die Recommended Customer Prices auch nur grob die Richtung erahnen lassen, in die es hier geht, dann sind diese Karten allesamt extrem günstig. Wie günstig würdest du sie denn noch haben wollen?