[Sammelthread] 10Gbit Homenetzwerk

[linuxlebt]

Ja, die DAC-Kabel haben im Normalfall keinen Vendor-Lock, wäre auch reichlich sinnlos. SFP+-Module für Glas-Verbindungen solltest du aber passend kaufen. Da gibts zwar einige Adapter die mit mehreren Karten arbeiten, aber das macht oft Probleme.

 

[Fr3@k]

Aber Manche Karten/Switches funktionieren nicht mit allen DACs.
Z.b. mögen HP Switches die Delock Kabel nicht

 

[Raptor]

Moin!

Ich hab vor eine 10Gbit Verbindung zwischen meinem Server und meinem PC herzustellen.
Habe bisher nur mit 1Gbit und RJ45 gearbeitet, also halten sich meine Kenntnisse in Grenzen.

Also ich hab schonmal ein bisschen was rausgesucht, weiß nur nicht ob das alles zusammenpasst bzw. obs evtl. was Besseres/Billigeres gibt.

Karten würde ich folgende nehmen (evtl. auch die Dual Variante, muss ich mal noch gucken):
2x Mellanox ConnectX-2 PCIe x8 NIC 10 Gigabit 10GBe SFP+ Single Port Server Adapter | eBay

Dann als Kabel (brauche ca 20m):
LWL Glasfaser Patchkabel OM3/ OM4 OS/2 mit Prüfzertifikat | eBay
OM3 oder OM4? Egal?
Stecker dann LC/LC.

Und Transceiver weiß ich am wenigsten, da hab ich die hier bei GH gefunden:
Ubiquiti UF-MM-10G, 1x 10GBase Multi-Mode SFP Geizhals Deutschland
Kann man die nehmen? Andere Empfehlungen auf Ebay evtl? Je günstiger desto besser.

Danke schonmal!

EDIT: Achsoo, ganz vergessen. Es gibt ja diese Sets:
HP Mellanox 10GbE SET 2x Connext-2 1Port 10GbE inkl 3M SFP+ Kabel 671798-001 | eBay
Vllt ne doofe Frage, aber kann man evtl die Transceiver von dem Kabel nehmen und einfach an ein anderes hängen?

 

[DunklerRabe]

Auch wenn das so aussieht, es ist wohl ein DAC, in dem SFP-Enden ist nix drin was einen Transceiver ausmachen würde

 

[Raptor]

Ahh, okay.

 

[danielmayer]

Ja, Set mit DAC ist einfach. Bei Transceiver + LWL-Kabel bitte immer daran denken: Multi-Mode = OMx, Single-Mode = OSx, je höher "x", desto besser die Reichweite = besseres Kabel.

 

[Raptor]

Ja, Set mit DAC ist einfach. Bei Transceiver + LWL-Kabel bitte immer daran denken: Multi-Mode = OMx, Single-Mode = OSx, je höher "x", desto besser die Reichweite = besseres Kabel.

Ja, das hab ich schon dem ersten Post entnehmen können. OM3 sollte schon locker reichen für meine 20m (bei Wikipedia steht bis 300m bei 10Gbit), kann aber sicherheitshalber auch OM4 nehmen. Ist ja jetzt nicht so wild vom Preis her.
Und der Rest, passt das so zusammen?

 

[danielmayer]

Mellanox-Karten sind für recht großzügige Hardware-Kompatibilität bekannt, es ist dennoch nicht auszuschließen, dass der Transceiver nicht akzeptiert wird (Ubiquiti). Ggf. stattdessen bei FS.com einen Mellanox- oder Intel-kompatiblen bestellen.

 

[Raptor]

Sehr cooler Shop, danke!
Dann nehm ich einfach 2x http://www.fs.com/de/products/65334.html und dazu OM3 Kabel, komm ich sogar noch günstiger weg als mit Ubiquiti.

EDIT: Ach das kommt aus China oder so, muuh. Hatte mich schon gewundert.

- - - Updated - - -

Ggf. stattdessen bei FS.com einen Mellanox- oder Intel-kompatiblen bestellen.

Okay also heißt das, dass ein Transceiver Mellanox kompatibel ist, wenn er z.B. mit der Intel X520 Karte läuft?
Bei Amazon in den Rezensionen meint nämlich jemand, dass die Ubiquitis mit der Intel Karte perfekt laufen.
Dann würd ich es nämlich einfach mal wagen, wenn es nicht geht kann ich die Dinger ja immer noch zurückschicken..

 

[DunklerRabe]

OM3 wäre völlig ausreichend, aber wenn du jetzt eh noch neue Kabel kaufen musst, dann kannst du auch direkt die aktuelleren OM4 nehmen. Preislich sollte das keinen Unterschied machen.

 

[Raptor]

OM3 wäre völlig ausreichend, aber wenn du jetzt eh noch neue Kabel kaufen musst, dann kannst du auch direkt die aktuelleren OM4 nehmen. Preislich sollte das keinen Unterschied machen.

Unterschied ist minimal, jo.
Hab jetzt einfach mal bestellt inkl. OM4 Kabel. Transceiver kommen von Jacob Elektronik, kann ich also ohne Probleme zurückschicken wenns nicht funktioniert.
Mal gespannt, danke euch!

 

[LuckyOne]

Hab gerade bei ebay eingekauft.
2x Mellanox Karten mit defekter Arretierung und zwei 3m Dacs für knapp über 60 €.
Und dazu einen TP Link t1700g-28tq. Den leider nicht als Schnapp.
Bin ja mal so gespannt.

 

[fdiskc2000]

Die Kombi macht Spaß [emoji6]

 

[DerErzherzog]

Hab gerade bei ebay eingekauft.
2x Mellanox Karten mit defekter Arretierung und zwei 3m Dacs für knapp über 60 €.
Und dazu einen TP Link t1700g-28tq. Den leider nicht als Schnapp.
Bin ja mal so gespannt.

Guten Abend,

bin sehr an der Kombi interessiert, ob das so klappt
Habe gestern Abend auch noch Mellanox Connect X2 Karten bestellt, hoffe die laufen bei mir Problemlos im Windows Server und Windows 10 Pcs.
Gerade der Switch interessiert mich auch sehr, da ich so auch meine Geräte besser verbinden könnte.

Würde mich freuen, wenn du hier berichtest! Auch falls da was speziell eingestellt werden muss.

Viele Grüße und allen ein schönes Wochenende!

 

[LuckyOne]

Na, ich Nixwisser werd mir hier lieber Tipps holen, was ich einstellen sollte...

 

[pumuckel]

na dann hoffe ich, ihr ward fix, denn die X2 werden grad massiv teurer

 

[Raptor]

na dann hoffe ich, ihr ward fix, denn die X2 werden grad massiv teurer

Hab knapp 60 Euro für beide inkl. Versand bezahlt.

 

[Knogle]

Moin

Moechte gerne meinen Server ein bisschen schneller an meinen Client anbinden
Sowohl Client als auch Server benutzen Linux als Systemen, daher meine Frage:
Ist es eventuell guenstig moeglich, eine Punkt zu Punkt Verbindung zwischen beiden zu etablieren und dann Daten rueber zu schaufeln?
Denn 2 Karten und Kabel kosten insgesamt weniger als 20 Euro

Hat jemand damit Erfahrung?
Ist Ethernet ueber FC volkommen unmoeglich? Habe dazu im Startthema nur eine kurze Einfuerhung gelesen, jedoch wurde ja leider nicht weiter drauf eingegangen

 

[Raptor]

Oookay, ist heute alles angekommen, direkt mal angeschlossen:


Jumbo Frames hab ich noch angeschaltet, aber war auch ohne schon auf 9,36 Gbits.
Würde sagen es sieht gut aus.
Also merke, Ubiquiti Transceiver laufen mit Mellanox Karte.

Danke euch!

Und Knogle:
Hab für 10Gbit Punkt zu Punkt jetzt gut 100 Euro bezahlt.
Was für Karten + Kabel hast du denn gesehen?

 

[DunklerRabe]

Ist Ethernet ueber FC volkommen unmoeglich?

Ja. Was du mit zwei FC HBAs und Linux machen kannst ist SCST, sofern es HBAs von QLogic sind. Damit kann man ein System als FC-Target konfigurieren.

 

[Knogle]

@Raptor und DunkerRabe

Habe mir die Karten angeschaut

IBM QLE2460 Single Port 4 Gbit/s Fibre Channel / FC HBA, PCI-E - 39R6592 | eBay

Und das Kabel

IBM Fibre Channel-Kabel LC (M) - LC (M) 25,0m Glasfaser (23R7138) (W14-DV0588) | eBay

Das Problem bei mir ist:

Ich muss ca. 20 Meter Kabel vom Client zum Server fuehren, daher faellt Infiniband wohl schonmal raus, vorallem weil ich die dicken Stecker nicht durch das Kabelrohr in der Wand kriege

Direktverbindung zwischen Client und Server waere natuehrlich super wenn das ginge, aber wenn ich sehe dass kein Ethernet geht wird das wohl ziemlich lustig und unpraktisch
Ich frag mich fast ob es da die guenstigere Loesung ist 2x 10GBit Dual RJ45 Karten fuer je 80 zu holen und so eine Direktverbindung aufzubauen? Hmm. Ginge da dann Link Aggregation bei Punkt-zu-Punkt, so dass ich bei 20GBit/s rauskomme?

Im Server schlummert ein RAID 50 aus 12 Platten

 

[DunklerRabe]

Bei 25 Meter brauchst du ja sowieso 10GBase-T (RJ45) oder 10GBase-SR (SFP, optische Transceiver). Wie du selbst sagst, Infiniband geht nicht und 10GBase-SR-Karten mit DAC zu verbinden geht auf die DIstanz auch nicht.

Zwei RJ45-Karten oder SFP-Karten sind also nicht die günstigere Lösung, sondern die einzige. Ob du Link Aggregation machen kannst ist eine Frage der Karten, der Treiber und des Betriebssystems. Kann man so nicht sagen. Mit 12 Platten im Raid 50 hast du aber sowieso nicht die Kapazitäten für 20 Gbit/s, daher wäre das eigentlich auch egal.

 

[Knogle]

Hm ich denke dann werde ich die 160 Euro investieren fuer 2x 2 Port 10GBit Karten mit RJ45
Danke fuer den Rat

 

[pumuckel]

Hm ich denke dann werde ich die 160 Euro investieren fuer 2x 2 Port 10GBit Karten mit RJ45
Danke fuer den Rat

wenn du die original (non fake) zu dem preis bekommst, poste uns allen gern den Link

 

[danielmayer]

Na klar geht auch Infiniband auf die Entfernung zwischen zwei Linux-Rechnern. Qlogic 7340/7342 aka Intel Truescale, Qsfp-kabel oder Transceiver mit MPO-Kabel und fertig ist die nicht ganz so effiziente aber dennoch 40G-Verkabelung. MPO kann überall durch ein Loch, durch das RJ45 passt. Ethernet over Infiniband ist bei Linux halbwegs passabel einzurichten.
Ist aber wegen des Kabels dennoch teurer als die bereits genannten 10G-Lösungen... Und ausschließlich zwischen linux-Rechnern (Qlogic/Intel treiberseitig). Mellanox wäre auch unter Windows möglich, aber dann nochmals teurer.

Edit2: IPoIB ist gemeint.

 

[Knogle]

Das klingt gut! Hast du eventuell paar Links für mich?
Hier mal die Ethernet Karten
Habe mir 2 Stück davon angeschafft
Ver isto no eBay Intel X540-T2 10G Dual RJ45 Ports PCI-Express Ethernet Converged Network Adapter

- - - Updated - - -

Das klingt gut! Hast du eventuell paar Links für mich?
Hier mal die Ethernet Karten
Habe mir 2 Stück davon angeschafft
Ver isto no eBay http://www.ebay.com/itm/122370953362

 

[Knogle]

Hat jemand hier eigentlich eine Punkt-zu-Punkt Verbindung ueber SFP + LWL am laufen?

Mein Experiment mit den QLogic QLE2460 kann ich mir wohl abschminken, habe daher gedacht sowas zu probieren: HP Mellanox Connext-2 Netzwerkkarte Single Port 10Gbps GbE PCI-E 671798-001 | eBay

Dazu dann 2x FC Transceiver, da es Ethernet Karten sind, heisst das dass ich z.B. FTP und andere normale Anwendungen ueber die Punkt-zu-Punkt Verbindung nutzen kann?

 

[danielmayer]

Knogle: FC ungleich Ethernet, das ist oben schon geschrieben worden. FC steht für Fibre Channel und das ist ein reines Storage-Netz ohne IP!
Du brauchst mit den genannten Karten 10G SFP+ Transceiver. Ich habe die dual Port von Mellanox, da laufen vom fs.com die Intel-kompatiblen Multimode für 16euro tadellos mit in einer Punkt zu Punkt. Und ja, das ist IP-seitig dann identisch mit 1G, daher laufen auch alle üblichen Tools/Programme.

 

[DunklerRabe]

Wie gesagt, mit den QLogic-Karten kannst du FibreChannel und dann SCST zwischen zwei Linux-Systemen nutzen. Für Storage einwandfrei, aber mit Ethernet hat das nix zu tun. Gleichermaßen kannst du die Transceiver aus FC-HBAs nicht in Ethernet-Karten benutzen. Mit richtigen 10G-Transceivern und den Mellanox-Karten kannst du dann natürlich Ethernet machen und dann alles benutzen was IP-basiert funktioniert. FTP würde z.B. gehen. Ob das eine 1:1-Verbindung oder eine geswitchte Verbindung ist spielt da keine Rolle.

 

[Knogle]

Wie gesagt, mit den QLogic-Karten kannst du FibreChannel und dann SCST zwischen zwei Linux-Systemen nutzen. Für Storage einwandfrei, aber mit Ethernet hat das nix zu tun. Gleichermaßen kannst du die Transceiver aus FC-HBAs nicht in Ethernet-Karten benutzen. Mit richtigen 10G-Transceivern und den Mellanox-Karten kannst du dann natürlich Ethernet machen und dann alles benutzen was IP-basiert funktioniert. FTP würde z.B. gehen. Ob das eine 1:1-Verbindung oder eine geswitchte Verbindung ist spielt da keine Rolle.

Was sind denn "richtige" 10G Transceiver ?
Sowas hier? NEW SEALED CISCO SFP-10G-SR SFP TRANSCEIVER MODULE | eBay

Mellanox Technologies MFM1T02A-SR 10GB/s Fiber Transceiver fibre 10G 10GB | eBay
Wenn ja, dann ist das ja preislich noch gerade vertretbar

Ahhh okay jetzt verstehe ich.


Also das heisst, bei den Mellanox-Karten die Ethernet koennen, koennte man auch einfach ein RJ45 Modul reinstopfen und das Ding einfach an irgendeinen Switch stecken?

@danielmayer:

Was haste fuer deinen Kram bezahlt? Also ich rechne gerade, das wuerde im Bestfall ja nur halbsoviel kosten wie die 2x 10GBit Rj45 Karten die ich wieder storniert habe
Kann ich jeden Transceiver nutzen der da reinpasst, oder muss es vom gleichen Hersteller sein?

Diese LWL und SFP Sache ist eigentlich super spannend im Gegensatz zu einfachem RJ45 Kram