[Sammelthread] 10Gbit Homenetzwerk

[MisterY]

du weißt, dass das 1830 Posts (+ diesen hier) sind?

 

[butcher1de]

Thx @ Pumuckel wie es der Zufalll so will habe ich gestern Abend nach 5 oder 10 Metern gesucht. Durch die Bezeichnung von dir jetzt doch ein relative günstiges aus DE genommen.
5€ PayPal Gutschein eingelöst.. passt. China ist billiger dauert mir aber zu lange.

 

[pumuckel]

du weißt, dass das 1830 Posts (+ diesen hier) sind?

ja.. aber alle deine Fragen sind beantwortet ... evtl nutz mal die Suchfunktion von HWLuxx oder Google

- - - Updated - - -

Thx @ Pumuckel wie es der Zufalll so will habe ich gestern Abend nach 5 oder 10 Metern gesucht. Durch die Bezeichnung von dir jetzt doch ein relative günstiges aus DE genommen.
5€ PayPal Gutschein eingelöst.. passt. China ist billiger dauert mir aber zu lange.

du hast nicht wirklich 25€ für einen 5M DAC bezahlt ........ sag mir du hast das nicht getan ... wenn ja, werde ich mal ein paar DACs bestellen und im MP einstellen

 

[MisterY]

nein, meine Fragen sind noch nicht beantwortet

So wie es aussieht, gibt es für die connectx-2 wohl überhaupt keine Treiber mehr, da EOL.

 

[pumuckel]

nein, meine Fragen sind noch nicht beantwortet

So wie es aussieht, gibt es für die connectx-2 wohl überhaupt keine Treiber mehr, da EOL.

evtl solltest du dich dann an einen vertrauenswürdigen Händler in deiner Nähe wenden ... kostenfreie persönliche Beratung hat man nur, wenn man auch etwas gibt (siehe deine proxmox, ZFS, etc posts) ... ja ich bin ein Arsch - aber es gibt menschen, die zahlen wirklich gut um "nicht selbst denken zu müssen"

 

[MisterY]

was soll das denn?
Was ist denn an meinen Proxmox, ZFS etc posts so schlimm? Darf man keine Fragen haben? Darf man diese nicht stellen? Dir ist der Sinn eines Forums schon klar, oder? Da geht es um Austausch, Fragen stellen etc pp. Weil so dämliche (sorry, ist aber so) Antworten wie "google mal" oder "benutz die Forensuche" zeugen nicht wirklich davon, dass du den Sinn eines Forums verstanden hast.

Ich habe in meinem Leben schon genug Computerberatung gegeben und werde ich auch jetzt in den Bereichen, wo ich es kann tun. Da ich mich aber in letzter Zeit in für mich neue Dinge einarbeite (Proxmox, ZFS,...) bin nunmal ICH es, der mal fragen hat. Es mag ja sein, dass du das Wissen mit dem Löffel gefressen hast, aber normalsterbliche wie ich es bin, müssen sich sowas aneignen und wenn man Fragen hat, sollte man auch den Mut haben, diese zu stellen. Also bleib jetzt mal auf dem Teppich...Weil mit deiner Einstellung kann eigentlich jedes Forum dicht machen. Weil Fragen darf man nicht, sondern man soll nur googlen.


Also zurück zum Thema: Hat jemand eine HP Mellanox ConnectX-2-Karte kürzlich unter Linux ans laufen gebracht?

 

[pumuckel]

was soll das denn?

Also zurück zum Thema: Hat jemand eine HP Mellanox ConnectX-2-Karte kürzlich unter Linux ans laufen gebracht?

..... LMGTFY

dazu: Forum de Luxx (HWluxx ist ein Forum.. keine Uni )

 

[MisterY]

Danke aber genau danach hatte ich auch schon gesucht. Auf der Herstellerseite war ich auch schon, da steht aber nichts genaues von der X-2. ist das eine "ConnectX-2 EN" ? Funktioniert der Treiber 4.0 damit?

dein zweiter Link funktioniert nicht

 

[sweetchuck]

zu den HP Mellanox ConnectX-2-Karten habe ich auch ein paar Fragen:
funktionieren die mit COnsumer Hardware unter Linux gut?
Ist der Stromverbrauch wirklich so hoch?

Habe wie gesagt Ubuntu 16.04 Server mit nem 4.8er-Kernel (HWE-Stack), damit wurde die Karte ohne zusätzliche Treiber sofort erkannt und war auch nutzbar (Ping zu einer Windows-Gegenstelle). Geschwindigkeitstests habe ich noch nicht gemacht und auch keine Langzeiterfahrungen gesammelt. Auch wenn die Karte EOL ist, nehme ich an, daß der Treiber im Kernel "gut abgehangen" ist, d.h. ausgereift und stabil. Der eigentliche Leerlauf-Stromverbrauch der Karte wird nicht bei den gemessenen ca. 8 Watt liegen. Aber sie verhindert, daß der Rest des Systems in die tiefen Stromsparzustände geht. Wenn dein Rechner also eh nur in C3 kommt (z.B. wegen einer dedizierten Grafikkarte), wird der Zusatzverbrauch vrsl. geringer sein als bei mir (ein gutes Netzteil vorausgesetzt).

 

[MisterY]

Super, danke dir Der Server ist Headless. Wie kann ich unter Linux herausfinden, in welchem C-State sich der Server befindet? Hast du mal Powertop versucht?

 

[sweetchuck]

So wie es aussieht, gibt es für die connectx-2 wohl überhaupt keine Treiber mehr, da EOL.

Firmware-Downloads:
http://www.mellanox.com/page/firmware_table_ConnectX2EN

Treiber:
http://www.mellanox.com/page/products_dyn?product_family=32&mtag=windows_driver
Dort dann auf WinOFDownload -> Archive Versions. Die letzte Version, die die ConnectX-2 offiziell unterstützt, ist die v4.80. Aber ich glaube, auch höhere Versionen bringen die Karte ans Laufen, hatte IIRC v5.10 verwendet.

Und EN ist glaube ich die normale Ethernet-Variante (also kein Infiniband, VPI/IB).

- - - Updated - - -

Super, danke dir Der Server ist Headless. Wie kann ich unter Linux herausfinden, in welchem C-State sich der Server befindet? Hast du mal Powertop versucht?

Genau, Powertop. Es zeigt auch an, welche C-States verwendet werden. Und solange der Server nichts wesentliches zu tun hat, hängt er zu >90% im höchsten erreichbaren State rum. Powertop hatte ich natürlich auch verwendet, um die hohen Sparzustände überhaupt zu erreichen (alles auf "gut").

 

[MisterY]

danke dir. Ich werde dann glaube ich auch einfach mal mein Glück versuchen.

hmm mein Bulldozer kommt da nur auf C2.

 

[butcher1de]

@Pumuckel Bezahlt: EUR 23,89 damit kann ich leben. Alle DE Angebote waren teurer. Wer nicht warten will/kann zahlt halt mehr. Meine Privaten Kabel hatte ich 3m zu 9,90€ und 10 zu 30€ (glaube ich). Das sind natürlich bessere Preise, aber wegen einem Kabel mache ich da nicht lang rum.

 

[UserZ]

Gibt es Erfahrungen oder Meinungen zu Netgear M4300-8X8F und Cisco SG500XG-8F8T?

Aktuell steht an zentraler Stelle ein HP HP 1950-24G-2SFP+-2XGT, der allerdings "nur" 2 10 GBase-T Anschlüsse hat. Die sind von Servern belegt. Ich hätte aber gern zum Anbinden weiterer Räume (max. 6) noch weitere Ports. Da CAT 7 verlegt ist, brauche ich 10 GBase-T. Die NICs in den Servern könnte ich bei Gelegenheit mal gegen SFP+ austauschen. Auch den 1950 würde ich behalten und per SFP+ anbinden wollen, da ich noch ein paar 1000Base-T Ports im Switch brauche. Also wären vielleicht auch ein paar SFP+ Ports im Switch nicht verkehrt.

Der Switch kommt in einen schallgedämmten Serverschrank im Keller, von daher ist die Lautstärke egal (dass er lauter als der Supermicro-Server dort brüllen wird, glaube ich eh nicht...).

 

[[SoD]r4z0r]

Der Cisco ist ja nicht gerade der günstigste
Direkt zu dem Modell kann ich nichts sagen. Wir nutzen in der Firma zwei aus der normalen Gbit SG500er Serie und sind damit soweit zufrieden.
Um Server untereinander schnell zu verbinden nutzen wir zusätzlich nen SG350XG-2F10. Hat weniger Ports, bei uns im Büro reicht er aber - und ist auch etwas günstiger. Habe bisher keine Performance-Tests gemacht, aber der läuft soweit problemlos.
Zur Lautstärke kann ich nichts sagen, da die mit vielen Geräten im Rack stehen.

 

[UserZ]

Danke, der SG350 hätte den Vorteil, dass er ggü. dem SG500 noch nicht end of Sale wäre. Keine Ahnung, ob das bei Switches ein großes Problem sein kann, auf der preislichen Seite hilft es jedenfalls.

 

[pumuckel]

braucht noch jemand evtl Meli X2 mit DAC ?
muss wieder welche bestellen

Edit: muss leider die nächsten 1-2 Monate weg von "daheim"
evtl finden sich die Leute welche PMs schickten mal zusammen

ich bestellte bei met-server-parts | eBay
... und handelte immer etwas bei 5er/10er/20er sets

wenn Ihr 10 Stück (10 karten + 10 DACs) bestellt kommt ihr auf 248 Dollar inkl allem ... mit Geschick und PV auf evtl 200 Dollar

= 20 Dollar / Karte + DAC (zzgl VSk in DE)

 

[wolfo]

bräuchte Eure Hilfe:
möchte meinen Eigenbau-Server (2012-R2) mit einer 10GB Karte aufrüsten und
einen Client-PC anbinden W10 (35m entfernt) - später soll ein weiterer Client folgen.
Switch würde neben dem Server stehen.

lese hier schon eine Ewigkeit mit und daher meine Frage:

als Switch TP-Link T1700G aber könnte ich damit 4 x 10GB realisieren?
welche SFP+ Module sollte ich dazu nehmen - gehen im T1700G wirklich 4 Module (im Endausbau)?

welche Karte sollte ich im Client verwenden?
ASUS XG-C100C?
welche im Server?

welches TP Kabel kann ich verwenden für die 35m? sollte möglichst dünn sein - (muss da durch ein Labyrinth an Leerrohren

 

[Traumzauberbaum]

Für den Server sollte eine der Mellanox X2 Karten tun. Die funktionieren sowohl unter Server 2012 R2, als auch unter Windows 10 Creators Update wunderbar.
Der Switch ist auch echt klasse, verwende den mit den Cisco DAC Kabeln.

Bzgl. der SFP+ Module bei FS.com anfragen - der Support dort ist sehr nett - oder dich bei Pumuckl an die Bestellung dran hängen

Die von dir genannte ASUS Karte ist mWn. eine 10G-T Karte. Über die Distanz mit CU auf 10G zu kommen ist sportlich. Und ein 10G-T Modul für den Switch.. naja.

 

[wolfo]

ah ok!
Ihr redet immer von DAC Kabeln: damit verbinde ich den Server mit dem TP-Link (über die "Meli X2) ?

den Client muss ich erst noch verkabeln, wie verbinde ich da über mein 35m Kabel (welches auch immer) das Modul (im TP-Link)?
was wäre das richtige Kabel?
ich hab da (obwohl ich hier viel lese) noch keinen Plan...

 

[DunklerRabe]

DAC ist Direct Attached Copper, das sind relativ kurze Kupferkabel mit SFP-förmigen Enden für 10G-Links über kurze Distanz. Für die 35 Meter brauchst du dann optische Transceiver im SFP-Format auf beiden Seiten und einen entsprechenden Lichtwellenleiter (LWL), typischerweise ein LC-Kabel. Da sowohl die DAC-Kabel als auch die Transceiver im SFP-Format vorliegen funktioniert das typischerweise, abgesehen von ein paar Inkompatibilitäten, mit den selben Netzwerkkarten und Switchen, auch parallel.

 

[sweetchuck]

Hm, für 35 Meter würde ich @Home nicht auf SFP+ mit Glasfaser setzen, sondern lieber normales Twisted-Pair mit RJ45 verwenden. Der Markt dafür kommt so langsam in die Gänge (ASUS XG-C100C, ASUS XG-U2008), wobei ich da noch auf nen passenden Switch warten werde, welcher neben 10G-BaseT auch NBase-T unterstützt.

 

[wolfo]

Ja jetzt kapier ich das auch - hmm
schade, das wäre die Lösung gewesen (und vorallem leise)
dann brauch ich (wenn ich die 35m mit Kupfer hab) einen völlig anderen Switch

 

[MisterY]

Ich hab mir mal zwei Mellanox Connectx-2 bestellt. Sollen morgen kommen - werde dann berichten

 

[myBerg]

Ja jetzt kapier ich das auch - hmm
schade, das wäre die Lösung gewesen (und vorallem leise)
dann brauch ich (wenn ich die 35m mit Kupfer hab) einen völlig anderen Switch

Willst Du die bestehende Verkablung deines 1G-BaseT Netzwerks weiterverwenden, benötigst Du einen Switch der 10G-BaseT oder NBase-T kann. Je nach Kabelqualität und Entfernung.

Falls das Einziehen eines optischen Kabels in Frage kommt, dann ist SFP+ eine alternative Lösung, die vergleichsweise günstig und direkt verfügbar ist. Für kurze Entfernungen: DAC, für lange Entfernungen optisches Kabel + 2 x Transceiver. Original Transceiver von TP-Link liegen bei 65€ (z.B. Alternate), kompatible Cisco 15€ bei Versand aus China (z.B. fs.com).

 

[mika2004]

Die Asus-Karte scheint wirklich langsam zu kommen:

10GBase-T-Adapter von ASUS kostet nur 115 Euro - Hardwareluxx

 

[MisterY]

Wie sieht es eigentlich mit der CPU-Leistung aus?
Aktuell habe ich in meinem Fileserver einen A10-6800K, der sich eigentlich nur langweilt, da er eigentlich nur Mediendateien bereitstellt und/oder als Datengrab fungiert. Plex transcodiert nicht, und falls das mal nötig sein sollte, kann ich das auch mit meinem Proxmox-Server machen. Irgendwann ist auch angedacht, dass ich Programme/Spiele auf dem Fileserver installiere und in meinem PC nur noch eine SSD habe.
Da ist die Frage, ob da nicht ein A4-4000, den ich auch noch rumfliegen habe, nicht für 10Gbe ausreicht? Die vollen 10GBe werden zu dem Fileserver eh nicht vorhanden sein, da es sich hierbei um einen mergerfs+Snapraid Pool handelt und somit die Datenrate wohl auf um die 200mb/s limitiert werden wird.

Also: Reicht dafür der A4-4000 aus? Wie viel RAM sollte ich verbauen? Aktuell hätte der Server 16GB, tendiere aber aktuell dazu, den RAM auf 8 oder gar 4GB zu reduzieren. Reicht das?

 

[Anarchist]

Die Asus-Karte scheint wirklich langsam zu kommen:

10GBase-T-Adapter von ASUS kostet nur 115 Euro - Hardwareluxx

sehr schön. Ich hoff ja mal auf NUC oder Zbox Geräte mit einem 10G Port und dann vielleicht auch 64GB RAM Support. Dann steht einem sparsamen Multi Node Homelab nichts mehr im Wege

 

[pumuckel]

sehr schön. Ich hoff ja mal auf NUC oder Zbox Geräte mit einem 10G Port und dann vielleicht auch 64GB RAM Support. Dann steht einem sparsamen Multi Node Homelab nichts mehr im Wege

wenns nur um sparsam geht, aktuelle Boards brauchen auch kaum noch idle Strom .... aber wer bitte hat nen Server zum idlen

Problem der 10GBase-T ist nicht umschiffbar der verbrauch pro Port

wenn ich mal für 4 ports rechne:

TPLink 1700 + 4 Meli + 4 DACs kosten ca 300-320€ grad (selbst mit ein paar Opticals und OM3/4 kommt man günstiger) - TP-Link T1700G JetStream Rackmount Gigabit Smart Stack Switch Preisvergleich Geizhals Deutschland

eine 10GBase-T Lösung kostet ein vielfaches ... verbraucht mehr, und der Switch ist ab > 2 P nicht passiv kühlbar

und nun langsam schafft es auch UBQ für den Ubiquiti UniFiSwitch 16 XG Preisvergleich Geizhals Deutschland brauchbare Firmware auszuliefern (dauert aber noch einige Monate - der 10GBase-T Teil ist immernoch flawed)

 

[mika2004]

nen NUC mit 10 Gb/s?
Intel hat es in den letzten 10 Jahren nicht geschafft,
10 Gb/s in den Notebooks unterzubringen.
Ich denke, das sollte man nicht vergessen.