[Sammelthread] 10Gbit Homenetzwerk

[DunklerRabe]

Seh ich anders, bis 10G in der Art relevant wird ist die angesprochene Weiterentwicklung auch so weit, sodass für Mainstream Systeme zutrifft was im Moment für 2011 gilt.

edit: Genau so ist es!

 

[bluesunset]

Also der Preis für eine neue Dual Port Intel 1Gbit PCI-X Karte welche mit 32bit/64bit und 33, 66 und 133 MHz sowie 5 und 3,3Volt klar kommt ist seit annähernd 9 Jahren konstant bei ~150 Euro im normalen Fachhandel (damals für 189 Euro gekauft).

Der NC7170 ist der 1000MT. Und dieser ist bei weitem keine 150EUR Wert. Das ist einfach nur, wie das eben so ist, der Preis einer Ware, die keiner haben will. Daher aufwendige Lagerung usw.
Der Wert der Karte liegt bei runden 50EUR. Von den von Rabe genannen Gebrauchtpreisen ist da noch keine Rede.

Das ist aber letztendlich auch egal, weil man sowas nur noch selten einsetzt, oder einsetzen kann. 1GBE ist nen alter Hut. 10G ist das, was uns wirklich interessiert.

Jakob elektronik verkauft die NC7170 Karte auch neu für ~47 Euro als Einzelstück, ist wohl bei einer Inventur aufgefallen und die Karten werden in der einen oder anderen Firma noch neu im Schrank als Ersatz herum liegen. Ohne solche Lagerbestände wäre ich auch nicht an neue 4 Port FC-HBAs gekommen.

Mir ging es eher darum, dass schon seit annähernd 10 Jahren Dual-Port Gbit NICs zu einem vernünftigen Preis gibt und wenn Dual-Port 10Gbit NICs auch in dem Preisbereich 150-200 Euro angekommen sind ist es kein weiter Schritt mehr zum Massenmarkt. Supermicro bietet ja schon seit einiger Zeit Mainboards mit 10Gbit Base-T onboard an.
Ein normaler Desktop PC liegt im Bereich 250-400 Euro. Je nachdem wie viel Wert auf etwas bessere Komponenten von gewissen Firmen gelegt wird.
Interessieren tun mich eher 32Gb FC und 40Gb Ethernet sowie 12Gb SAS. Meine ersten (zu viel gekauften) 10Gbit Ethernet NICs biete ich ja schon zum Verkauf an.

Und seien wir mal ehrlich. Für welchen Anwendungszweck braucht ein normaler Nutzer 10Gbit Eth am Desktop? Letzten Endes sind es doch eher wir, die eigene Server mit einigen HDDs und ggf. auch SSDs betreiben und die Geschwindigkeit auch über das Netz haben wollen im LAN.
Dem typischen Heimanwender reicht doch die externe USB 3.0 HDD.

 

[DunklerRabe]

Mal ein kurzes "Unboxing" vom Netgear XS708E in Form von vier qualitativ eher schlechten Bildern

https://dl.dropbox.com/u/20763195/IMG_20130225_172349.jpg
https://dl.dropbox.com/u/20763195/IMG_20130225_172410.jpg
https://dl.dropbox.com/u/20763195/IMG_20130225_172506.jpg
https://dl.dropbox.com/u/20763195/IMG_20130225_172627.jpg

Nichts weiter dramatisches, so würde man das eigentlich erwarten. Im Karton ist neben dem Switch selbst nichts weiter als Material für die Rackmontage, verschiedene Stromkabel, CD mit Config Utility etc. und ein Manual.

Der Switch hat Lüfter, die Lautstärke ist "ok". Von silent kann natürlich keine Rede sein. Weiß noch nicht, ob ich den Switch hier in Reichweite stehen lasse oder komplett außer Hörweite verbanne, Abstellkammer oder so.

Leistungsaufnahme im Idle liegt bei ca. 32 Watt. 24/7 Betrieb kostet also, ne nach Tarif, ~70 Euro pro Jahr. Wenn da dauerhaft Action abgeht, dann natürlich entsprechend höher.

 

[PhreakShow]

Hab hier grad ein Problem mit meinem 10G Setup. Kurze Beschreibung:

2x Mellanox MT25208 InfiniHost III Dual Port Karten, 2m CX4 Kabel. Direktverbindung zwischen Windows 7 x64 und ESXi 4.1, Subnet Manager auf Win7 installiert.
Eigenes Subnetz, nur IP und Netzmaske vergeben, kein DNS, kein Gateway, kein WINS. VM ist Server 2008R2, mit virtueller NIC vmxnet3, am virtuellen Switch mit der 10G Karte.

Der R2 benutzt Microsofts iSCSI Softwaretarget für drei Targets, Files, Spiele und virtual machines. Files und Spiele sind am Win7 eingebunden, virtual machines am ESXi selbst (für Test-VMs, hab lokal nicht viel Platz). Files ist eine temporäre Datenablage, alle Downloads landen erstmal dort. Was wichtig ist wird wegkopiert, nach zwei Monaten formatier ich das Laufwerk und gut is. Die iSCSI-Targets liegen auf einem Raid5 aus 4x 2TB Samsung F4 an einem LSI 9260 inkl BBU (Caches aktiv).

Spiele ist logischerweise der Installationsort für meine Spiele. Und hier beginnt das Problem. Beispielsweise dauert es ewig, ein Spiel in Dota2 zu laden. Wenn während des Spiels ein Ereignis eintritt, welches ein neues Soundfile benutzt (zB First Blood), hängt die Kiste 20-30s bis die Datei geladen und abgespielt wurde. Während der ganzen Zeit ist der Ping aber <1ms. Im Taskmanager/Resourcenmonitor ist keine Netzwerkaktivität zu sehen.

Beim Start des Win7-Rechners werden ja erstmal die iSCSI Laufwerke gemountet. Dieser Vorgang dauert ewig, immer mit Eintrag in der Ereignisanzeige "Vom Initiator konnte keine Verbindung mit dem Ziel hergestellt werden. Die Ziel-IP-Adresse und die TCP-Anschlussnummer sind in Sicherungsdaten angegeben." Authentifizierung auf dem Target geschiet per IP des Initiators, welche fest eingetragen ist und im 10G Subnet liegt. Serverseitig sind keine Einträge im event log. Grad eben hatte ich das selbe Problem bei Anno 1404, mit folgendem Eintrag "Der Initiator konnte keine iSCSI-PDU senden. Der Fehlerstatus ist in den Sicherungsdaten enthalten".

Es ergibt für mich keinen Sinn. Ein Bench mit Atto zeigt mir bei 4k ~32MB/s an, maximal rund 200-250MB/s. Wenn ich auf meine Daten zugreifen möchte, geht das auch instant ohne langes Warten. Ich wüsste nicht mal, wo ich da nun ansetzen soll. Vor dem Umstieg auf 10G hatte ich das schon in der Art in Betrieb, nur dass die iSCSI Targets halt über 1G angebunden waren. Die sonstige Hardware ist identisch, und da gab es diese heftigen lags/Verzögerungen nicht. Es muss also an 10G liegen, nur woran?

 

[bluesunset]

Der Subnetmanager sollte auf dem Rechner laufen der immer an ist. Infiniband nutzt per default wohl eher immer Jumboframes. Setze hier die MTU mal auf allen Rechnern gleich. Wobei für die beteiligten Rechner mit iSCSI diese wohl geringer sein müsste.

 

[PhreakShow]

Bist du dir sicher mit dem Subnetmanager? Dachte ich hätte hier in diversen How-Tos das Gegenteil gelesen?

 

[pumuckel]

ich will in den USA leben

Mellanox MHQH29B XSR 40GIGABIT Dual Port Infiniband Adapter 4110 | eBay

laut amiforum akzeptiert er 125 + Steuer

sollen wohl VPI Karten sein die IB und (mit Adapter) 10GbE unterstützen

 

[DunklerRabe]

IPoIB ist, meiner Meinung nach, sowieso nicht so richtig das Wahre. Für den Preis kriegst du außerdem auch schon gebrauchte 10 Gbit Karten mit SFP Slots und 40 Gbit brauchst du vermutlich eh nicht. Außerdem setzt sich jetzt 10GBase-T so langsam durch, die Karten der letzten Generationen kriegt man deutlich UNTER dem Preis der IB Karte.
Ich sehe ein zweckentfremdetes IB, auch für Bastler und Heimanwender, ziemlich am Boden und auch schon angezählt, weil der Preisvorteil immer weiter zusammenschrumpft.

 

[pumuckel]

Außerdem setzt sich jetzt 10GBase-T so langsam durch, die Karten der letzten Generationen kriegt man deutlich UNTER dem Preis der IB Karte.

haste fix nen Link zu einer 10GBase-T die deutich unter den 125 liegt ?

 

[DunklerRabe]

Intel 10GB PCIe Server Network Adapter DELL XR997 | eBay

Der Anbieter hatte in den letzten Wochen mehrere davon drin, oder immer die gleiche, die nicht verkauft wurde, das weiß ich natürlich nicht so genau.

Das ist eine Intel EXPX9501AT mit Intel 82598EB Chip.
Intel 10 Gigabit AT Server Adapter, 1x 10GBase-T, PCIe x8, low profile (EXPX9501AT) Preisvergleich | Geizhals Deutschland
http://download.intel.com/support/network/adapter/10gbe/atserver/sb/318349002.pdf

Die Karte ist irgendwann 2008 erschienen und damit schon etwas älter, was aber ja nicht unbedingt schlecht sein muss. Viel mehr kann ich dazu nicht sagen, weil ich davon keine hab
Die Leistungsaufnahme liegt, laut Intel, bei 24 Watt. Das ist natürlich ordentlich und eben auch dem Alter geschuldet. Aktuelle Chips sind da doch etwas effizienter. Daher hat die Karte einen aktiven Lüfter, der ggf. etwas laut sein könnte. Laut einem Thread bei STH, den ich gerade gefunden hab, lässt sich da aber leicht was gegen machen: A solution to intel EXPX9501AT / dell XR997 "Screaming Fan"

 

[Steggi]

Also für gut 70€ geht das ja eigentlich noch. Währen die Switches nicht so teuer, würd ich wohl auch die ein oder andere Maschine bei mir mir 10GBit ausstatten

 

[DunklerRabe]

Realistisch gesehen ist das hier der einzige Switch, der preislich für den Heimbedarf einigermaßen zu vertreten ist: Netgear ProSafe Plus XS708E, 8-Port Preisvergleich | Geizhals Deutschland

 

[Steggi]

Ja, den hatte ich auch schon gesehen, aber auch das find ich zum jetzigen Zeitpunkt immer noch etwas teuer. Nur leider setzt sich 10GBase-T nur sehr langsam durch, wenn man bedenkt, dass wir jetzt schon seit gut 15 Jahren mit 1 GBit vor uns hin tuckern

 

[millenniumpilot]

Hallo,

kennt jemand von Euch den gerade genannten Switch schon näher?
Wie realistisch ist die Hoffnung, das der SFP+ Port auch SFP+ Kupferkabel (SFP+ Twinax Copper Cables) frist?
Oder ist soetwas grundsätzlich wurst, Hauptsache SFP+, genauso als ob da SX- oder LX- LWL-Module drinn sind.

 

[DunklerRabe]

Ich hab den hier liegen, ich probiers grad mal aus.

edit:
Dauert nen Moment, muss gerade einen Testrechner neu installieren.

edit2:
Ja, funktioniert. Mit einer HP NC550SFP Netzwerkkarte (Emulex OCe10102) und einem beliebigen, No-Name SFP+ CU Kabel. Ich hab jetzt keinen richtigen Verbindungstest gemacht, aber Karte und Switch zeigen sofort einen Link an und einigen sich auch auf 10 Gbit. Ich gehe davon aus, dass das funktioniert und es somit dann auch mit allen anderen Netzwerkkarten funktioniert, die mit SFP+ CU Kabeln umgehen können.

 

[millenniumpilot]

Hallo DunklerRabe,

ich danke Dir für Deine Mühe. Das beruhigt doch ungemein.

 

[DunklerRabe]

Warum ist das für dich denn relevant? Der Switch hat ja eh nur einen SFP Port, darauf kommts doch wohl jetzt nicht an?

 

[millenniumpilot]

Hallo,

ich habe hier zwei 10gb-nics mit SFP+ Slots und SFP+ Kupferkabel. Mit dem Switch könnte ich den Filer ins normale Netz bekommen. Aber alles noch reine Gedankenspiele fuer später einmal.

 

[DunklerRabe]

Bringt dir ja auch nichts, wenn du nicht weitere Rechner mit 10G anbindest, die alle auch hinreichend schnellen Storage brauchen.

 

[millenniumpilot]

nunja, die nächsten Karten werden dann 10gBase-T werden.

 

[ojumle]

Summa Summarum: was ist nun die günstigste Variante für schnelle Direktverbindungen?

Intel x540 10G Copper (300€)
oder 10G SFP (250€+SFP-Mudule+Kabel)
oder Infiniband mit RAM (->ebay IBM 40€)
oder Infiniband ohne RAM (??€)

Intuitiv würde ich zur einfachen Kupferbasierten Variante greifen. Zwar hat man hohe Anfangskosten für die NICs, aber das wars dann auch schon. Kabelpreis sollte da vernachlässigbar sein im Gegensatz zu SFP/Infiniband und der Wartungsaufwand ist minimal (SFP-Module gehen gerne alle paar Jahre regelmäßig kaputt). Es sind in meinem Fall Streckenlängen von unter 10 Meter von nöten. Hohe CPU-Last sollte ja in Zeiten von Haswell und 3,x Ghz Turbo kein Problem mehr sein.

THX

 

[DunklerRabe]

Nunja, mittlerweile hat man eigentlich alle Optionen. Dazu gehört z.B. auch ein geswitchtes 10GBase-T Netz, was imho ja seit einigen Monaten durchaus bezahlbar ist.

Wenn du aber speziell nach der günstigsten Direktverbindung suchst, dann dürfte es immer noch InfiniBand sein. Hat aber auch den größten Bastelcharakter und die höchsten Kabelpreise. Es ist insgesamt nur am günstigsten, weil die HCAs fast nichts kosten.
Was die Kabelpreise angeht, die sind eigentlich bei allem, außer InfiniBand, zu vernachlässigen. Standard TP Cat5e oder Cat6 Kabel mit RJ45 Steckern sind genau so günstig, vorallem in Relation zu den Karten, wie LWL mit LC Stecker oder SFP+CU Kabel für 10GBase-SR. Eigentlich fallen nur die Infiniband Kabel aus dem Rahmen.

Bei "unter 10 Meter" könnte auch technisch alles für dich in Frage kommen, abhängig davon wie weit unter 10 Meter. SFP+CU und IB sind ja in der Reichweite durchaus begrenzt.

Ich hab gestern meine 10GBase-SR Karten in den Marktplatz geworfen, da ich auf 10GBase-T umgestellt habe. Vielleicht magst du ja mal einen Blick drauf werfen

 

[ojumle]

Danke erstmal.
Infiniband scheint mir eng verwandt mit dem SAS-Standard. Da gibt es auch 4-Fach Multilane Verbindungen mit aktuell 4x6GBps also 24 GBps. Und wenn ich jetzt vollen Infiniband-Speed (4x5Gbps) haben will brauche ich eine sogenannte 4x Infiniband HCA ?!
http://www.ebay.de/itm/HP-InfiniBan...ng_Interne_Netzwerkkarten&hash=item5658eaf5d6
Voltaire InfiniBand HCA 4X DDR PCI-e 1Port - 410Ex-D | eBay
Oder hat jemand einen anderen Tipp für eine am Besten 2-Port-Low-Profile 4x-HCA?

Also das Infiniband klingt da am interessantesten (danke für den Tipp). Und in der Rechnung ist das am günstigsten:

2xHCA 4x(20GBps) a 100€
5m Infinibandkabel 120€ (das sowas teuer ist war mir von Anfang an klar, externe SAS-Kabel kosten auch so viel)

Kupfer-Ethernet:
2xNIC a 300€
5m Ethernetkabel der besseren Sorte max 20€
620€!

Ergo: Infiniband ist 100% schneller, und 50% billiger.
Oder: Kupfer-Ethernet ist 100% teurer und 50% langsamer, dafür Switchingfähig (hier überhaupt nicht von Nöten)
Weiterer Vorteil: keine Optische Verbindung mit Transmittern die gerne mal abrauchen

Ich denke damit dürfte alles gesagt sein und jede weitere Überlegung wäre reine Zeitverschwendung.
Und die HP/IBM HCA's laufen auch auf Fremd-Systemen (vernünftiges BIOS und SMBUS vorrausgesetzt)? Bei Raid-Controllern weigern sich ja mitunter gerne mal welche in anderen Systemen zu arbeiten (HP, IBM) Andere wiederum laufen in jedem anderen PC (Fujitsu, Dell).

Aber noch eine Frage zur Einbindung ins OS und deren Nutzung als TCP/IP-Schnittstelle:
1) Weisen sich Infiniband-Karten als Netzwerkcontroller aus, wie es auch Firewirekarten machen? (-> Openfabrics Enterprise Distribution Ethernet Emulator, früher gabs "Firenet" für Firewirekarten, da diese unter Win2000 nicht Netzwerkfähig waren. Ich denke mal diese Software macht quasi das gleiche)
2) Weisen sich die 4x-Modelle (20Gbps) auch nur als eine einzige Karte aus sodass ich volle 20GBps Netzwerkspeed zwischen zwei Endpunken habe?
3) Und wie bringe ich Windows bei, dass es bitteschön die schnelle Verbindung nutzen soll für den Dateitrannsfer im LAN und nicht die Gigabit Ethernet-Verbindung?

THX

EDIT: gestrichen - Es gibt QSFP optisch UND per Kupfer. Kommt es da nur auf das Kabel an? Dachte erst das wäre wie bei MiniGBic-Ethernet-Ports wo man je nach Anwendung 4 unterschiedliche Typen von GBics hat. Ist heir die Wandlereinheit optisch/elektrisch in dem Stecker verbaut? So spülte es ja keine Rolle ob Optisch oder Kupfer. Und die HBAs sind dann auch 40Gbps tauglich aber etwas teurer.

 

[DunklerRabe]

Infiniband nutzt die selben physikalischen Verbindungen wie SAS aus der Zeit, das wars aber dann auch schon.

Die aktuellen Angebote sind m.M.n. auch nicht gut und nicht preiswert genug. Für den Preis kriegt man auch native Lösungen für Ethernet via LWL oder Kupfer. Deine Bedenken über abrauchende Transceiver kann ich übrigens nicht nachvollziehen. Die gehen eigentlich so gut wie nie kaputt.

Kompatibilität hängt meistens eher vom Mainboard als von der Karte ab. Das ist auch bei Raidcontroller und anderen Karten so. Mir fallen gerade nur zwei Ausnahmen ein wo es andersrum ist.

Die OpenFabrics Software ist ein Treiber, der einen IP Stack auf die IB Verbindung aufsetzt. Die IB HCAs sind ansich keine Netzwerkcontroller.

Wenn du eine 20 Gbit IB Verbindung hast, dann kannst du darüber auch 20 Gbit Traffic schieben. Dazu brauchst du dann aber richtig performanten Storage auf beiden Seiten. Ich hab die OF Software damals nur mit 10 Gbit HCAs benutzt, aber 20 Gbit sollte genau so gehen.

Und deinem Betriebssystem bringst du das entsprechend garnicht bei. Du connectest einfach auf die richtige IP. Client und Server haben dann ja eine weitere IP unter der sie erreichbar sind. Du bindest dir dann halt ein Netzwerkshare nicht unter //<Gigabit-IP>/<Share> sondern //<IPoIB-IP/<Share> ein.

 

[ojumle]

Du hast natürlich vollkommen Recht, wenn du sagtst, dass dahinter auch ein entsprechender Speicher stehen mus um den Speed auszukosten.

Nun mein ursprünglicher Plan sah vor, mit einer Intel NIC 802.3ad Link-Aggregation zu nutzen. Mein Switch würde dies auch unterstützen auf bis zu 4 Ports pro Verbindung. Aber mit 2 GBit stünden halt nur 2GBit zur Verfügung - also 200MB/s. Was ja auch schon ordentlich ist.

Also komme ich theoretisch mit 10GBit SDR Infiniband locker hin. Da dieser aber doch ziemlich alt ist (PCIe 1.0) wollte ich schon die etwas neueren Karten mit 20 oder 40GBit und PCIe 2.0 nutzen. Und da hab ich jetzt die Wahl zwischen CX4 und QSFP. Leider kosten die QSFP Karten mind. 100€. Die 20GBit DDR CX4-Karten gibt es schon ab 50€.

Noch mal in der Zusammenfassung:
DDR 1-Port CX: nicht als PCIe 2.0 verfügbar
DDR 2-Port CX: MHGH28-XTC und HP IB 4X DDR - 50€


QDR 1-Port CX: MHGH19-XTC - 75€ (nur 20Gbps)
QDR 2-Port CX: MHGH29-XTC - 105€ (nur 20GBps)
QDR 1-Port QSFP: MHQH19-XTC - 60€ +Versand
QDR 2-Port QSFP: MHQH29-XTC - 160€
und HP IB 4X QDR

Die MHGH28-XTC werdens wohl - für 50€ ein wahres Schnäppchen.

Zur Kompatibilität: Es gibt aber nunmal Karten, die prüfen, ob es der Original-Vendor ist. Ist das dann nicht der Fall, verweigert die Karte Ihren Dienst - egal welches Mainboard. Ich hoffe gelabelte HB HCAs gehören nicht dazu.

 

[DunklerRabe]

Zur Kompatibilität: Es gibt aber nunmal Karten, die prüfen, ob es der Original-Vendor ist. Ist das dann nicht der Fall, verweigert die Karte Ihren Dienst - egal welches Mainboard. Ich hoffe gelabelte HB HCAs gehören nicht dazu.

Hab ich so noch nicht erlebt. Ich wüsste auch nicht wie das technisch gehen sollte. Von den IBM 10 GbE Karten kenn ich aus eigener Erfahrung die physikalische Realisierung einer gewollten Inkompatibilität durch den fantastischen PCIe x9 Anschluss. Aber sonst...

Von den da zur Wahl stehenden Karten würde ich auch die MHGH28-XTC nehmen, das ist preislich noch einigermaßen akzeptabel. Für zwei Karten plus Versand plus ein Kabel bist du dann aber auch wieder über 200 Euro los und das ist auch schon wieder der Einstiegspreis von nativen 10 GbE Lösungen, mit denen man imho besser fährt.

 

[ojumle]

Ja, aber mit dem kleinen Unterschied das ich zwei NICs brauche. Und die Intel kostet nunmal 299€ und nicht 200€.

2xIB PCI kosten 100€ und Kabel 60-120€. In jedem Fall deutlich billiger als Ethernet und dazu doppelt so schnell. Von daher ist Ethernet hier völlig daneben.

Nur weil du noch nicht erlebt hast, dass RAID-Karten das System checken, muss es nicht heißen dass der Rest der Welt auch so tickt. Nichtumsonst gibt es gerade hier im LUXX Forum jede Menge Threads die ich damit befassen. Es läuft über ein bestimmten PIN auf dem PCIe-Interface, der mitunter gekappt werden muss.
Aber wenn du sagst, bei IB ist dir das nicht bekannt, dann glaub ich dir das und hoffe dass es klappt.

Die MHGH28-XTC klingt wirklich sehr vernünftig. Und diese ist auch als Low-Profile als auch in Full-Size verfügbar.

 

[DunklerRabe]

Ja, aber mit dem kleinen Unterschied das ich zwei NICs brauche. Und die Intel kostet nunmal 299€ und nicht 200€.

Ich rede durchaus von zwei 10GBase-SR NICs mit SFP+CU oder LWL Verkabelung. Ich kanns nur wiederholen, ich hab gerade welche im Marktplatz. Schau einfach mal rein

 

[Schlingel_INV]

120€ für nen 5m IB-Kabel!?? Ich hab für meins 30€ inc Versand damals bezahlt über ebay... nur mal so als Tipp

Und: Bei IB läufst du schnell ins CPU-Limit. Ob nunr 10G oder 40G macht da keinen großen Unterschied.

 

[ojumle]

Infiniband Over Ethernet is better than Ethernet says VMware

Glaube und Wirklichkeit ...