[Sammelthread] 10Gbit Homenetzwerk

[sch4kal]

Zumal die meisten IB-Karten ohnehin von Mellanox kommen, und oft (VPI) Beides können.

 

[danielmayer]

Oder man kauft versehentlich - wie ich seinerzeit - Qlogic 40Gbit 7340er IB, für die es keine Windows-Treiber gibt...
Lass man lieber. Auch VPI erlaubt viele Fehlerquellen, die Anfänger in dem Thema nicht brauchen..

 

[Polygon]

Hei Leute,
ich habe hier und im Startpost bisschen gelesen bin mir aber unsicher was die beste Lösung für meine Anwendung ist. Ich habe ein 1GB Netzwerk und das reicht fast auch. Zwischen zwei Linux Rechnern die im selben Raum ggf. auch direkt nebeneinander stehen muss ich allerdings Daten hin und her schaufeln. Sollten so ab 500Megabyte/Sekunde sein. Die Hardware sollte aber möglichst günstig sein ... wäre super wenn ich da irgendwie unter 100EUR insgesamt landen könnte. Falls es mehr werden muss, wo liegt da so in etwa das Minimum? Wäre super wenn ihr mich da in die richtige Richtung schubsen könntet.

 

[danielmayer]

Des Alters halber werden inzwischen die Mellanox ConnectX-3 empfohlen, da die 2er keinerlei offizielle Unterstützung mehr haben.
Als Single-Port wären für 10G die MCX311A interessant, wenn es wirklich und auf absehbare Zeit nur um eine 1:1 Verbindung oder später mit Switch geht. Ansonsten nimmt man gerne für den Server eine Dual-Port (MCX312A) und für bis zu zwei Workstations die Single-Port.
In Deinem Fall reicht also 2x MCX311A, bei Ebay inkl. eines Direktkabels für 128€.

 

[underclocker2k4]

IB war mal vor >5 Jahren interessant, weil zu der Zeit gerade die IB Karten rausgeschmissen wurden und man mittels IPoIB relativ einfach nen p2p 10G aufbauen konnte.
Heute aber schmeißen die Leute aber die 10GBE Karten raus und man kann eben diese für nen schmalen Taler bekommen.
Nichts ist einfacher als die native Technologie dafür auch zu gebrauchen wofür sie gemacht wurde.

(Kombikarten jetzt mal außen vor)

 

[Polygon]

IB war mal vor >5 Jahren interessant, weil zu der Zeit gerade die IB Karten rausgeschmissen wurden und man mittels IPoIB relativ einfach nen p2p 10G aufbauen konnte.
Heute aber schmeißen die Leute aber die 10GBE Karten raus und man kann eben diese für nen schmalen Taler bekommen.
Nichts ist einfacher als die native Technologie dafür auch zu gebrauchen wofür sie gemacht wurde.

(Kombikarten jetzt mal außen vor)

Mit 10GBE Karten meinst du SFT wie die Mellanox mcx311a wie danielmayer meinte?

 

[XN04113]

ich kann mitteilen, daß die folgende Geräte einwandfrei zusammen arbeiten:

• Intel X520-DA1
  
• Cisco DAC SFP-H10GB-CU3M
  
• Ubiquiti US-16-XG

Jetzt muß ich nur noch den 2ten US-16-XG leise bekommen um ihn ins Büro zu stellen, dann werde ich hoffentlich den Keller mit dem 1ten OG via Kupfer mit 10GB verbinden können (eventuell auch mit 2x 10GB).

Jemand einen Tip wie man am besten den US-16-XG mit einem US-16-150W via SFP bzw. SPF+ verbindet?
Mit dem oben genannten Cisco Kabel geht es schon mal nicht.
Habe jetzt so ein ähnliches Kabel mit SFP statt SFP+ bestellt. Zusätzlich zwei SFP Fiber 1GB Module plus Kabel. Mal sehen was funktioniert.

 

[Polygon]

Also die MCX311A gibt es für 50EUR das Stück auf Ebay etwa, Kabel nochmal extra komme ich da nicht mit zwei ASUS XG-C100C für 90EUR günstiger weil ich nur ein normales LAN Kabel brauche?

 

[Stueckchen]

SFP+ - DAC Kabel sind bei FS.com echt günstig und gut.
Wenn es einfach nur günstig und Linux sein soll: Such bei Ebay nach sfp+ und nimm was dir da gefällt (außer wenn da FC dabei steht) . Umso Neuer (Teuer) umso weniger Strom brauchen die und mehr Support haben die. Aber bei Linux oder Windows bist du bei den alten auch noch mit Treibern ganz gut dabei.

Aber wenn du rechnest ASUS XG-C100C 2*90€ gegen 2*50€ weis ich nicht was für "vergoldtete kabel" du gefunden hast das die ASUS billiger im gesammten billiger werden.

 

[Polygon]

[..] was für "vergoldtete kabel" du gefunden hast das die ASUS billiger im gesammten billiger werden.

[..] inkl. eines Direktkabels für 128€.

Ich habe das so verstanden dass das Kabel 128EUR kostet. Wenn man sich die Mühe macht nachzuschauen ist natürlich klar das er den Gesamtpreis meinte und mir ist das jetzt im Nachhinein etwas peinlich.

 

[danielmayer]

Jup, der Niedergang der Sprache durch verkrüppelte Sätze. Ich hätte ja auch schreiben können ", die es bei eBay inkl. eines Direktkabels für 128€ gibt." Ein verkürzter Relativsatz, my bad
Für eine Direktverbindung zweier nebeneinander stehender Linuxrechner "kann" man natürlich noch auf IB zurückgreifen. Ist aber wirklich auch bei der Einrichtung wieder ein wenig mehr Aufwand und nicht mehr "wirtschaftlich".

 

[Polygon]

Jup, der Niedergang der Sprache durch verkrüppelte Sätze. Ich hätte ja auch schreiben können ", die es bei eBay inkl. eines Direktkabels für 128€ gibt." Ein verkürzter Relativsatz, my bad
Für eine Direktverbindung zweier nebeneinander stehender Linuxrechner "kann" man natürlich noch auf IB zurückgreifen. Ist aber wirklich auch bei der Einrichtung wieder ein wenig mehr Aufwand und nicht mehr "wirtschaftlich".

Bin gerade nur etwas genervt, dass die Karten für 58EUR verkauft werden aber nur mit Lowprofile Blende. Die einzigen Blenden aus der EU mit schnellem Versand bei Ebay kosten 15EUR das Stück.

 

[Holt]

Wie vertragen sich bei 10GBase-T so Intel X550 und ​Aquantia AQC107 zusammen, hat da wer Erfahrung?

Also bei mir hängt ein AQC107 (ASUS Karte) in einer Direktverbindung an einem Xeon-D 1541, dessen 10GbE Ports vom X557 genannten, internen NIC des Xeon-D sind. Damit gab es nie Probleme.

 

[Bzzz]

Bin gerade nur etwas genervt, dass die Karten für 58EUR verkauft werden aber nur mit Lowprofile Blende. Die einzigen Blenden aus der EU mit schnellem Versand bei Ebay kosten 15EUR das Stück.

Wenns nix aussehen muss: Selber drucken. Die Chancen, dass ein Luxxer als technikaffiner Mensch zumindest jemanden kennt, der einen schäbigen 3D-Drucker hat, stehen Ende 2019 ganz ordentlich.

 

[martingo]

Kann man temporär auch mal ohne Blende einbauen und was günstiges aus China ordern.

 

[Thorndike]

Jetzt muß ich nur noch den 2ten US-16-XG leise bekommen um ihn ins Büro zu stellen, dann werde ich hoffentlich den Keller mit dem 1ten OG via Kupfer mit 10GB verbinden können (eventuell auch mit 2x 10GB).

Ich habe ein paar Sachen versucht das Teil leise zu bekommen. Was dann wirklich eine Verbesserung gebracht hat (Also nicht lautlos aber erträglich) ist folgendes: Die Lüfter durch 40mm Noctua getauscht und dann das Gehäuse soweit aufgeschnitten das die Luft ohne Hindernis fließen kann und man das Gehäuse auch mit den größeren Lüftern noch öffnen kann. Nun ist zwar Garantie Geschichte aber der Switch hat eine Lautstärke mit der ich leben kann.
Netter Nebeneffekt ist das die Temperatur im Switch sogar niedriger geworden ist.

 

[sch4kal]

Ich habe ein paar Sachen versucht das Teil leise zu bekommen. Was dann wirklich eine Verbesserung gebracht hat (Also nicht lautlos aber erträglich) ist folgendes: Die Lüfter durch 40mm Noctua getauscht und dann das Gehäuse soweit aufgeschnitten das die Luft ohne Hindernis fließen kann und man das Gehäuse auch mit den größeren Lüftern noch öffnen kann. Nun ist zwar Garantie Geschichte aber der Switch hat eine Lautstärke mit der ich leben kann.
Netter Nebeneffekt ist das die Temperatur im Switch sogar niedriger geworden ist.

da würde ich dann doch eher einen anderen Switch nehmen. Viele 10G-Ports und absolute Stille gibts leider noch nicht, oder hab ich was verpasst ?

 

[Weltherrscher]

Was sind denn *viele*?
Der CRS309 von Mikrotik hat 8 SFP+-Ports und einen dicken, externen Kühlkörper samt Heatpipe.
Mehr Ports passiv wird es wohl so schnell nicht geben.

Allerdings gibt Mikrotik gleich die Empfehlung mit, nur jeden zweiten Port mit einem n-Base-T-Transceiver zu bestücken.

 

[darkpuridee]

Wenns nix aussehen muss: Selber drucken. Die Chancen, dass ein Luxxer als technikaffiner Mensch zumindest jemanden kennt, der einen schäbigen 3D-Drucker hat, stehen Ende 2019 ganz ordentlich.

Wenn mir jemand das Modell schickt würde ich lediglich gegen Versandkosten dem jenjgen die blende schnell drucken

Gesendet von meinem Mate 20 Pro mit Tapatalk

 

[me777]

*EDIT*
Die Ursache dürfte die Bridge für die virtualisierung sein, nur eine Bridge ohne virtuelle NIC zieht den abderen Anschluss auf 8.10 Gbits/sec runter. Trotzdem riesiger Verlust dadurch...
*/EDIT*

hat jemand eine Erklärung für folgendes:
iperf3 vom selben PC auf 2 Ports des Servers auf gleicher Karte unterschiedlich schnell: DAC-Kabel hat 7.14 Gbits/sec, Glas hat 9.26 Gbits/sec

Switch: MikroTik CRS300
PC Windows10, Melanox conectx3 mit DAC-Kabel
Server, omniOSce, intel X520-SR2 einmal mit DAC-Kabel und eimal mit Fiber (es war 1 Fiber Modul bei der Karte dabei, sollte also ein gutes intel sein.)

Heist das wenn die DAC Kabel nicht ganz so gut sind ist es langsamer?

und noch eine Bonusfrage: eine ConectX-3 will unter debian linux auf ner anderen Kiste nur 3.00 Gbits/sec machen, aber die gleiche Karte ging in anderem Server schneller, auch mit debian. (Ich versuche später mal n anderen pcie-Slot)

 

[quotengrote]

Moin, hat hier jemand ProxMox mit 10GE über Kupfer in Nutzung? Läuft das problemlos oder muss noch etwas konfiguriert werden und was kommt bei den VMs davon an? Entweder bin ich zu blöd zum suchen oder in der ProxMoxdoku steht nichts dazu.

Gruß
mg

 

[danielmayer]

Läuft mit Intel X550 onboard problemlos, wird von PVE6 direkt erkannt und eingerichtet. Bridge drauf heißt auch in VMs kommen 10Gbit mit Virtio auch an. Mit Windows-Guests habe ich noch keine Tests laufen lassen.

edit: im Gegensatz zu Tehuti Chips, die sind im Proxmox-Kernel nicht aktiviert. Also die D-Link/Tehuti/Delock etc mit tn4xxx Chipsatz laufen nicht "nativ" auf PVE6, man muss bei jedem Kernel-Update den Treiber manuell übersetzen und installieren. Ziemlich lästig.

 

[quotengrote]

Das klingt gut, danke.

Gruß
mg

 

[mani74]

Moin, hat hier jemand ProxMox mit 10GE über Kupfer in Nutzung? Läuft das problemlos oder muss noch etwas konfiguriert werden und was kommt bei den VMs davon an? Entweder bin ich zu blöd zum suchen oder in der ProxMoxdoku steht nichts dazu.

Gruß
mg

Ich habe die ASUS XG-C100C unter Proxmox laufen. Bisher keine Probleme. Die Intel war mir zu teuer.

 

[Ingrate]

Hat jemand zufällig eine Emulex 49Y7942 twinax 10Gbe SFP+ Karte zusammen mit VMWare ESXi 6.7 im Einsatz? Und ggf einen Mikrotik CRS 305 4port Switch? Bekomme keine 10gbit verbindung. Die Leds leuchten. In Esxi sind die ports zugewiesen und das Mikrotik ist auf level2 Switch aufgebaut. Ohne Routingfunktion. Wenn ich die Ports entferne und die 1gbit ports des Motherboard verwende, funktioniert alles. Komme da nicht mehr weiter. Auf dem ESXi läuft eine nappit zfs appliance und Windows.

 

[besterino]

Mein Mikrotik verschluckt sich manchmal beim Umstecken mit den 10Gbase-T-SFP+-Adaptern. Da hilft dann Switch kurz stromlos zupfen und dann geht's wieder.

 

[Weltherrscher]

@Ingrate:
Sind die DAC-Kabel speziell kodiert?
Ich hab am CRS305 zwei DACs dran, eins zum ESXi (Mellanox CX2) und eins zum FreeNAS (Mellanox CX3).
Ein Kabel ist Cisco-kodiert, das andere Intel.
Fluppt beides mit 10G.

Was hast du am ESXi extra eingestellt?
Lief bei mir ootb.
Ist die Karte eventuell nicht dem Default-TCP/IP-Stack zugeordnet?


@Besterino:
Sind die 10G-Adapter auch von Mikrotik?
Revision 1 oder 2 der Adapter?
Hab den CRS305 mit 2x rev.2 Adaptern ohne Probleme am laufen.
Ein Kabel geht ca. 30 m direkt zum Rechner mit der QNAP 10G-Karte (AQ107).
Das andere ca. 25 m auf einen rev.1 Adapter am CRS328.

Das große Umstecken findet bei mir nicht statt, aber beim letzten Update ist das gesamte Netzwerk ja mehrmals neu gestartet, ist alles ohne Probleme wieder hoch gekommen.

 

[besterino]

@Weltherrscher: sind Mikrotik S+RJ10 Transceiver , Revision 2.16 und stecken im CRS309-1G-8S+

Kabel sind 1x glaub 20m und 1x 3m, Gegenstelle 1x Onboard Intel x550 und 1x... öh... muss ich nachschauen.

 

[Weltherrscher]

Hmm, muss ich mal probieren, ich stöpsel so oft nicht um, bin froh, dass der Backbone jetzt steht. =)
Jedes Mal, wenn ich nen Kabel vom Backbone trenne, bricht das WLAN zusammen, da es vom RB850 im Keller geCAPst wird...
Dann gibts bei uns immer fliegende Nudelhölzer.

Ziehst du die Kabel am Switch oder am Endgerät?

 

[besterino]

Am Switch. Betreibe ihn übrigens mit dem SwitchOS. Alle Ports sind mit Transceivern bestückt (auch RJ45 belegt), wobei aber meistens nur RJ45 und 5 SFP-Ports aktiv sind.

Transceiver ziehen und wieder stecken allein hilft jedenfalls auch nicht - der SFP-Port bleibt dann "tot".

Passiert auch nicht jedes Mal, konnte das noch nicht näher eingrenzen. Ist mir am Ende auch egal: "Workaround" funktioniert zuverlässig und wenn ich umstecke, bin ich ja eh vor Ort. Will den Thread hier gar nicht mit Nichtigkeiten zuspammen.