[Sammelthread] 10Gbit Homenetzwerk

[BazzT]

Hallo,

Also PCIe 2.0 x4 sollte real um die 1600MB/s übertragen können, für einen 10GbE Link sollte es also reichen, wenn der Treiber keine Probleme macht...

zum Thema 4x/8x hier nochmal : https://forums.servethehome.com/ind...s-between-two-connectx-2-machines.8845/page-3... es kann zicken, aber meist ist bei Problemen das DAC schuld

Deswegen die Frage, es steht eben nur PCIE2x4 zur Verfügung also 20 GBit/s Brutto, das sollte aber Netto auch für die 10GBit reichen, ist zumindest meine Meinung.
In dem Verlinkten Beitrag war das Problem anscheinend die DACs, ich muss aber nicht mal im Ansatz eine so "lange" Strecke überbrücken und hoffe die Kabel welche im Set sind werden die 10GBit schaffen.

Dann spricht ja theoretisch nix gegen ein solches Set, wie dann die Praxis aussieht wird sich zeigen.

die werfen Sie dir doch seit 6 Monaten überall nach - Leider meist in den USA...

Das ist auch der Grund warum ich zumindest diese Verbindung verändern möchte da mir 1GBit inzwischen einfach zu langsam ist.
Ich finde die Anschaffungskosten wenn man keinen Switch braucht volkommen in Ordnung.


MfG Basti

 

[DunklerRabe]

Ich nutze seit einiger Zeit 10G Verbindungen mit Intel X540 in PCIe 2.0 x4 Slots und von der Performance her gibt es keine Probleme. Solange die Karte läuft, und das sollte sie, wird das mit den 10G auch funktionieren. Man muss halt ein bisschen aufpassen, in meinem Fall kommen die 2.0 Lanes vom PCH und nicht von der CPU. Man muss also aufpassen, dass man sich die Verbindung zwischen CPU und PCH nicht zuballert und dann gehen da auch die 10G durch.

 

[besterino]

Gehen wird sie. Alle PCIe Karten müssen per Spezifikation auch PCIe 1x laufen - aber dann halt nicht mit voller Speed. Ich hab auch diverse x540-T2 in x4 Slots die jedenfalls auf einem Link die vollen 10gbit packen. Bei 2x Fullduplex (also theoretisch max. 40gbit) wird es wohl Flaschenhälse geben, das dürfte aber wohl ein zu Hause unrealistisches Szenario sein.

Ich hatte einmal nen Engpass als ich eine 10gbit Karte in einem x4 Shared Slot mit SATA und anderem Geraffel hatte. Lief zwar auch, aber nur mit Ca. 150-200MB Durchsatz.

 

[Holt]

Das ist ja was DunklerRabe mit zuballern meint, aber andererseits ist PCIe ja bidirektional und kann daher auch die Daten von den SATA Ports des Chipsatzes über DMI zur CPU dann gleichzeitig wieder über DMI zur Netzwerkkarte übertragen oder eben umgekehrt. Zugeballert wird DMI nur, wenn man sowohl Daten übers Netzwerk als auch zeitgleich über z.B. ein RAID am SATA Controller lädt oder zeitgleich auf beide schreibt. Aber das dürfte ja die Ausnahme sein, denn normalerweise übertragt man die Daten von den Platten auf das Netzwerk oder vom Netzwerk auf die Platten.

 

[besterino]

Moinmoin Holt, sag mal hockst Du auf der anderen Seite des großen Teichs, arbeitest im Schichtbetrieb oder wann schläfst Du so?

Sorry für offtopic, aber der Gute postet so oft zu unchristlichen Zeiten, dass man sich ja Sorgen machen muss.

 

[Holt]

Das mit dem Teich passt schon, meine Zeitzone ist eine andere als in Deutschland.

 

[teqqy]

Ich bin gerade etwas am hin und her rechnen. Was nimmt denn im Schnitt ne 10 GB SFP+ Karte mit einem Port aus der Steckdose? 10, 20 oder 30 Watt?

 

[patknott]

Könnt ihr was gebrauchtes empfehlen mit 2 SFP+ Anschlüssen wo die Cisco TwinAx Kabel funktionieren. Ich wollte für meinen HP Gen8 eigentlich NC550SFP kaufen, habe aber gelesen das es da mit den Cisco SFP+ Probleme geben könnte. Hatte bisher SinglePort Mellanox Karten im Einsatz.

 

[danielmayer]

@teqqy: Die Tehuti-OEMS (Delock, Synology, D-Link 810S) sind single-port liegen alle unter 5W.
Meine Broadcom 58710 10GBase-T dual port nimmt 17W bei 10m Kupferkabel (nur ein Port angeschlossen). Ich denke, das dürfte schon die gesamte Bandbreite darstellen. Allgemein gilt: Neuere Chips (Tehuti, Intel X/XL710) brauchen deutlich weniger Strom. Die Laser-Einheiten für SFP+ liegen bei ca 1W.

 

[BazzT]

Ich rechne bei der IDLE-Leistungsaufnahme mit irgend etwas zwischen 5-10W. Low Profile Karten dürfen sowieso nicht mehr als 10W "Verbrauchen".
Die Melanox ConnectX®-2 EN sind hier z.b. mit ~6,5W angegeben.

 

[AxelMertes]

Hallo Zusammen!

Ich habe eine Weile hier im Forum und insbesondere hier im Thread gesucht, aber noch keine Antwort gefunden:

Kann ich einen Server mit einer 40 GBit QSFP Karte mit einem reinen 10 GBit SFP+ Switch verbinden?
Und wenn ja, habe ich dann 4 echte 10 GbE Links, die ich mit Dynamic Link Aggregation zu einem 40 GbE Port bündeln kann (das ist das Ziel)?

Rein physisch geht das ja, weil es ja diese QSFP auf 4*SFP+ "Splitterkabel" gibt. Siehe z.B. diese hier: QSFP+ to 4 SFP+ Copper Breakout Cable 3M, Passive | QSFP-4SFP10G-CU3M
Im Text steht:
- Economically Links up a QSFP port with an Upstream 10GbE-SFP+ Switch
- Bridge the gap between your 10G and 40G capable switches/host adapters

Was mich glauben lässt, das es doch eigentlich gehen müsste. Ein Vertriebler von Mellanox sagte mir aber, solche Kabel seien nur dazu da, bis zu 4 Server mit 10 GbE an einen 40 GbE Switchport anzuschließen. Was stimmt nun? Kaufen ums auszuprobieren ist dann doch etwas teuer...

Nun stellt sich aber die Frage, ob das auch funktioniert und wie?

Ich würde gerne eine Mellanox MCX354A-FCBT dual 40 GbE Karte mit zwei solcher Kabel an unseren Brocade VDX6720 anschließen. Der hat noch reichlich Ports frei und die zu belegen kommt allemal günstiger, als auf einen 40 GbE Switch zu wechseln.

Über Eure Meinung/Erfahrung diesbezüglich würde ich mich freuen...

 

[onlyReaver]

Hallo Zusammen!

Ich habe eine Weile hier im Forum und insbesondere hier im Thread gesucht, aber noch keine Antwort gefunden:

Kann ich einen Server mit einer 40 GBit QSFP Karte mit einem reinen 10 GBit SFP+ Switch verbinden?
Und wenn ja, habe ich dann 4 echte 10 GbE Links, die ich mit Dynamic Link Aggregation zu einem 40 GbE Port bündeln kann (das ist das Ziel)?

Rein physisch geht das ja, weil es ja diese QSFP auf 4*SFP+ "Splitterkabel" gibt. Siehe z.B. diese hier: QSFP+ to 4 SFP+ Copper Breakout Cable 3M, Passive | QSFP-4SFP10G-CU3M
Im Text steht:
- Economically Links up a QSFP port with an Upstream 10GbE-SFP+ Switch
- Bridge the gap between your 10G and 40G capable switches/host adapters

Was mich glauben lässt, das es doch eigentlich gehen müsste. Ein Vertriebler von Mellanox sagte mir aber, solche Kabel seien nur dazu da, bis zu 4 Server mit 10 GbE an einen 40 GbE Switchport anzuschließen. Was stimmt nun? Kaufen ums auszuprobieren ist dann doch etwas teuer...

Nun stellt sich aber die Frage, ob das auch funktioniert und wie?

Ich würde gerne eine Mellanox MCX354A-FCBT dual 40 GbE Karte mit zwei solcher Kabel an unseren Brocade VDX6720 anschließen. Der hat noch reichlich Ports frei und die zu belegen kommt allemal günstiger, als auf einen 40 GbE Switch zu wechseln.

Über Eure Meinung/Erfahrung diesbezüglich würde ich mich freuen...

Die Breakoutkabel müssten prinzipiell wie 4x 10GBe wirken, also 4 einzelne Leitungen. Theoretisch sind sie, wie auch beschrieben, dafür da um einen Coreswitch an bspw. vier Edgeswitches anzuschließen, jeweils mit 10 GBe.
Allerdings kann man ja auch mit Teaming bzw. Link Aggregation bzw. LACP aus mehreren Uplinks bzw. Anbindungen "eine" Leitung erstellen, bzw. Failover Leitungen erstellen. Daher spricht nichts dagegen die 4x 10GBe anzuschließen.

Der Rest müsste im Prinzip nur eine Konfiguration sein. Allerdings gilt eben, das werden keine 40 GBe sein sondern eben 4x 10GBe, ein Client wird also höchstens eine Leitung gleichzeitig nutzen können, wie gehabt.

EDIT: Wobei ich beim googlen auch Antworten finde dass das wohl nicht von den Mellanox Karten supported wird.

 

[AxelMertes]

Ich denke dann probiere ich vielleicht lieber z.B. eine Intel x710 Quad 10 GBit Karte mit Link Aggregation zu nutzen.
Es geht ja ohnehin nicht darum vom Server zu einem Client mehr als 10 GBit zu übertragen, die Clients haben derzeit nur 1 * 10 GBit drin.
Andererseits unterstützt SMB3 unter Windows Server 2012/2016 sowie Windows 8.1/10 die Nutzung mehrerer Verbindung mit wirklich addierter Bandbreite. Somit wären aus einem Quad 10 GBit Link auch tatsächlich 40 GBit rauszuholen. Mit 1 GBit Karten habe ich das mal getestet und es hat funktioniert. Müsste also auch bei 10 GBit gehen, dafür ist es ja gedacht. Das alte LACP ist dagegen eher dumm.

 

[Falo999]

Irgentwie habe ich etwas Schwierigkeiten mir ein Szenario auch nur auszudenken wo man mehr als 10Gbit beim SMB zugriff sinnvoll verwenden kann.

Das bei Servern für bestimmte Cluster/Replicationsdienste man >10 Gbit nutzen könnte leuchtet mir durchaus ein aber beim SMB da muß ja sowohl der Server die Daten so schnell liefern können aber auch der Client/2.Server muß sie so schnell 'verarbeiten' können, bei welchen Szenaion wäre sowas denkbar?

 

[danielmayer]

Der Mellanox-Mann hat recht. Mellanox-Karten, zumindest bis X3, können kein 40->10G-Split. Einige Switche der Firma beherrschen das tatsächlich auf einzelnen derer 40G-Ports, womit die Aussage stimmt, "n:1" (PCs:Switch) fähige 40G-Ports.
Intel XL710 kann das, allerdings bei 40G-dual-port-Karten auch nur auf EINEM port, der zweite ist dann deaktiviert: Der Chip der Karte kann insgesamt nur max. 4 MACs verwalten.
edit: Es gibt auch eine Intel-Version mit 4x10G unmittelbar (X710-DA4), die allerdings etwa gleich viel kostet wie die XL710-QDA2. Ich würde der Variabilität halber dann die XL mit breakout-Kabel nehmen, dann kann irgendwann auch nativ 40G geschaltet werden.
Der neue Intel FM10420 kann jeden 100G-port in 4x25G oder 4x10G splitten (-> 8x10G möglich): AOC-S100G-i2C von Supermicro für ca. 900€... ich suche ja noch einen Tester

Edit: Sorry, dreimal überarbeitet..

 

[besterino]

AOC-S100G-i2C von Supermicro für ca. 900€... ich suche ja noch einen Tester

Gegen einen kleinen Unkostenbeitrag in Höhe von ca. 900€ biete ich mich natürlich gerne an...

Schon der Hammer das Ding.

 

[Fatality]

bevor ich mich jetzt komplett einlese,

was ist aktuell der günstigste tipp um 2 Rechner (für Backup) mit 10GBit gegenseitig direkt zu verbinden (15m entfernt)?

 

[pumuckel]

2* MNPA19-XTR (Mellanox ConnectX2)
2* Cisco FET-10G (notfalls Finisar SR wobei die klappen aber evtl mit späteren Switches etwas haken können)
20/25M OM3 Fiber Kabel (lieber ein paar meter mehr nehmen wegen der Biegeradien) - LC/LC Duplex Kabel


wenn du es stumpf aus De von Ebay bestellen willst kostet es dich mehr, aber nicht jeder mag etwas warten

 

[danielmayer]

Das oder das z.B.
bzw. 2 hiervon mit nem 20m LC-Kabel und 2 Transceivern. Letztere vom fiberstore oder diese. Funktionieren bei meinen MNPA19.

 

[pumuckel]

Das oder das z.B.
bzw. 2 hiervon mit nem 10m LC-Kabel und 2 Transceivern. Letztere vom fiberstore oder diese. Funktionieren bei meinen MNPA19.

- - - Updated - - -

Das oder das z.B.
bzw. 2 hiervon mit nem 10m LC-Kabel und 2 Transceivern. Letztere vom fiberstore oder diese. Funktionieren bei meinen MNPA19.

15meter funktionieren nicht mehr mit DACs

 

[danielmayer]

Es sind bei den Packeten ohnehin nur 3m-Kabel dabei. Mir ging es um das doppel-Set zweier Karten zum akzeptablen Preis, das 3m-Kabel kann man ggf. später brauchen. Aber die einzelnen Karten für 29€ sind ja auch bestens.

 

[pumuckel]

ist ja gut

 

[Fatality]

sehr geil, schau ich mir mittag mal genau durch alles, danke euch

 

[pumuckel]

...

 

[NewUser]

2* Cisco FET-10G (notfalls Finisar SR wobei die klappen aber evtl mit späteren Switches etwas haken können)

Die sind offiziell nur zum Anschluss von CISCO Nexus Fabric Externdern gedacht und haben gegenüber den 10G-SR nur die halbe Reichweite.

 

[pumuckel]

15 m sollte die packen .. auch 30 oder 100

meinste nicht ? (!!Sarkasmuss)

 

[AxelMertes]

Irgentwie habe ich etwas Schwierigkeiten mir ein Szenario auch nur auszudenken wo man mehr als 10Gbit beim SMB zugriff sinnvoll verwenden kann.

Das bei Servern für bestimmte Cluster/Replicationsdienste man >10 Gbit nutzen könnte leuchtet mir durchaus ein aber beim SMB da muß ja sowohl der Server die Daten so schnell liefern können aber auch der Client/2.Server muß sie so schnell 'verarbeiten' können, bei welchen Szenaion wäre sowas denkbar?

Na das ist relativ einfach, wenn Du 4K, 6K oder 8K Videomaterial und Sequenzen bearbeiten musst... Während das compressed aus der Kamera noch "human" ist, bläht es sich bei ggf. unkomprimierten Einzelbildsequenzen ins unerträgliche auf. Aber damit haben ich und meine Kollegen nun mal ständig zu tun (propagiere aber ganz klar compressed).

Man beachte: UHD2 ist mit 8K = 7.680x4320y120p standartisiert, bei mindestens 12 Bit Farbtiefe je Farbkanal. Da geht die Reise hin (vorläufig). Macht an unkomprimierten Bildern 7.680x4320y*3*12Bit/8Bit/Byte=199.065.600 Bytes pro Einzelbild, bei 120 Bildern/Sekunde sind das dann 23.887.872.000 Bytes = 22,25 GByte/s. Noch Fragen?

Realistisch hantieren wir ständig mit uncompressed 4K, was bei 3840x2160y*3*16/8=49.766.400 Bytes pro Bild (16 Bit RGB während der Bearbeitung) bzw. 3840x2160y*3*10/8=31.104.000 Bytes pro Bild (10 Bit RGB während der Bearbeitung) liegt. Damit kommen wir bei 50 Bildern/Sekunde auf 2.488.320.000 Bytes/s (2.5 GByte/s) bzw. 1.555.200.000 Bytes/s (1.5 GByte/s). Selbst wenn wir "nur" 25p machen liegen wir bei ~1,25 und ~0,75 GByte/s - pro Bildstrom. Für einen bekannten koreanischen TV Hersteller haben wir u.a. Videos für 3 * UHD curved Breite nebeneinander bearbeitet (die sogenannte Colliseum Lösung), das war dann 12K * 2K...

Also ja, solche Szenarien gibt es durchaus. Und wenn schon jeder Heimanwender mit seinem Handy UHD 30p drehen kann, ist das selbst im Heimgebrauch nicht fern.

- - - Updated - - -

Der Mellanox-Mann hat recht. Mellanox-Karten, zumindest bis X3, können kein 40->10G-Split. Einige Switche der Firma beherrschen das tatsächlich auf einzelnen derer 40G-Ports, womit die Aussage stimmt, "n:1" (PCs:Switch) fähige 40G-Ports.
Intel XL710 kann das, allerdings bei 40G-dual-port-Karten auch nur auf EINEM port, der zweite ist dann deaktiviert: Der Chip der Karte kann insgesamt nur max. 4 MACs verwalten.
edit: Es gibt auch eine Intel-Version mit 4x10G unmittelbar (X710-DA4), die allerdings etwa gleich viel kostet wie die XL710-QDA2. Ich würde der Variabilität halber dann die XL mit breakout-Kabel nehmen, dann kann irgendwann auch nativ 40G geschaltet werden.
Der neue Intel FM10420 kann jeden 100G-port in 4x25G oder 4x10G splitten (-> 8x10G möglich): AOC-S100G-i2C von Supermicro für ca. 900€... ich suche ja noch einen Tester

Edit: Sorry, dreimal überarbeitet..

Vielen Dank für die detaillierte Antwort. Da hast Du mehr Infos aufgetan als der Mellanox Support

Ich liebäugele auch mit der Intel X710-DA4. Die neue Karte klingt auch sehr vielversprechend, aber dafür bekomme ich vermutlich derzeit 4 Stück Intel X710-DA4...

Dem Brocade VDX6720 mit 60 Ports bleibe ich vorerst treu.

 

[TobiasAlt]

Hallo zusammen,

nutzt hier jemand einen 10GBase-T Switch bzw. könnte einen günstigen empfehlen?

 

[besterino]

Guck mal in den Schwesterfred speziell zu 10GBase-T: http://www.hardwareluxx.de/communit...cat6a-10gbit-homenetzwerk-thread-1082682.html

Ich hab z.B. den billigsten D-Link mit 8+2 Ports. Laut ist der Kerl...

 

[TobiasAlt]

gegen die Lautstärke hab ich einen klasse Mod