[Sammelthread] 10Gbit Homenetzwerk

[Weltherrscher]

Danke dir, solche Erfahrungen suche ich. Soll laufen, ohne Treibergefrickel, das ist mir wichtig

Die CX3 ist aber seit 7u2 nicht mehr in der HCL drin!
Glücklicherweise nutzt die aber den CX4-Treiber von VMWare, so dass das bis zum Rausschmiss der CX4 kein Stress sein *sollte*.
Die CX2 beispielsweise ist mit 7.0 hart rausgeflogen, wird einfach nicht erkannt.

 

[solfolango]

Danke für die Zusatzinfo - ich warte gerade auf einen Primergy TX13020-M4, in den einfach mal meine Synology Dual NIC einbaue und schaue, ob das läuft. Ist für mich generell auch ein Testballon, was an Hardware da alles gut reinpasst bevor ich das auf 2-3 Knoten aufpuste.

 

[onkel09]

Bitte dran denken, dass x4 Slots gerne am Chipsatz hängen und dessen Link zur CPU dann schnell ein Engpass werden kann, wenn da noch mehr dran hängt wie M.2 PCIe oder mehrere Sata-SSDs und Datendurchsatz parallel von diesen Geräten am Chipsatz erfolgen soll.
Es gibt auch Boards, da werden dann die x4 Slots wg. Lanesharing auf elektrisch x2 oder gar x1 limitiert, wenn bestimmte Slots bestückt werden.
Bei den kleineren Sockeln ist dieser Link selber oft nur 3.0x4 (und damit etwa 3,5 GiB/s pro Richtung), nur bei X570 bei AMD oder aktuellen Intel-Plattformen hat er mehr Bandbreite wenn gepaart mit der richtigen CPU.

Ein Grund, warum ich mich beim Server für ein X570D4U-2L2T und gegen ein B550 entschieden hatte; weil da der Chipsatz 4.0x4 angebunden ist und damit über 7 GiB/s Bandbreite möglich ist und das nicht so schnell zum I/O-Deckel werden kann.

Hi, ja danke wußte ich zwar schon, aber super wichtige Info - da gebe ich Dir vollkommen recht.
Den PCI 4x ist an der CPU angebunden, ansostn müsste ich den 16 Fach nehmen.
Gruß

 

[Nemac]

Hab den Qnap in der Variante mit dem Kupfer/SFP+ Kombiport (QSW-308-1C) selbst. Glas in den Keller, 10G-Kupfer für den Desktop, 1Gbit für diverses andere Gelumpe.
Läuft unauffällig, benutze darin FS.COM „generic“ Tranceiver. Aber ACHTUNG: irgendwas ist das bei der Verriegelung im SFP+-Slot komisch: wenn der FS-Transceiver einmal steckt, bekommt man den im Zweifel nicht beschädigungslos wieder heraus!

Die Kupfer-Transceiver würde ich eher meiden, hatte damit bei Mikrotik Problemchen. Von daher, wegen einiger weiterer Auffälligkeiten bei meinen Mirkotrik Switches und den diversen Postings im Mikrotik-Fred bin ich auch nicht mehr uneingeschränkt großer Fan von Mikrotik. Preislich in der Regel allerdings unschlagbar.

Kurz als Bestätigung: Funktioniert. Die damals von FS.com geholten Module funktionieren im Qnap... Verbindung steht. Das erst getestet DAC Kabel aber leider nicht, das müsste wieder raus.. Die SPF+ Module zu entfernen ist tatsächlich seltsam.. ich nerv damit mal den Support. Oder hast du noch einen Tip?

So, jetzt müsste nur noch das Storage etwas schneller werden. :/

 

[besterino]

Tjo, das sind diese unangenehmen „Folgekosten“. Wenn man auf einmal 1GB/s im Netz übertragen könnte, WILL man das irgendwie auch…

 

[Nemac]

Tjo, das sind diese unangenehmen „Folgekosten“. Wenn man auf einmal 1GB/s im Netz übertragen könnte, WILL man das irgendwie auch…

Joa, deswegen hätten 2.5Gbit/s auch gereicht, aber das glaszeug lag schon eine Weile rum

 

[besterino]

Ach geh weg mit diesem 2,5-Gelumpe. Nix Halbes nix Ganzes. Alles mit Komma in den Specs sollte man per se ignorieren. Da bist Du jetzt schon richtig unterwegs.

 

[sandreas]

Hallo zusammen,

ich würde mir ganz gerne auch mal anschauen, was heutzutage so mit > 1 Gigabit LAN geht. Aktuell brauche ich "nur" eine Verbindung für 2 Geräte (2xDell T20). Dazu habe ich mir folgendes überlegt:

• Router (SFP+): MikroTik Cloud Router Switch - CRS305-1G-4S+IN (135 Euro)
• 2xNIC (RJ45): ASUS XG-C100C (2x74 Euro)
• 2xSFP+ to RJ45 Transceiver module: QSFPTEK 10GBASE-T (2x55 Euro)
• 2xCat6 Kabel (vohanden)

Würde das überhaupt gehen? Es kommt mir so günstig vor, für < 400 Euro ne Komplettlösung für 2 Clients in 10GBe zu haben mit der Option auf 2 weitere Clients mit 55 / 130 Euro pro Client. Vermutlich habe ich was übersehen. Oder geht es sogar noch günstiger / besser?

 

[hominidae]

Vermutlich habe ich was übersehen. Oder geht es sogar noch günstiger / besser?

Was ist der Grund für CAT6? Stehen die beiden T20 nicht im selben Raum?
Einfacher wäre sonst alles über SFP+ und dann entweder LWL- oder DAC Patchkabel
Für die beiden T20 zum Start, brauchst Du nur die NICs, nichtmal nen Switch.
Edit: sowas: https://www.ebay.de/itm/14285380983...AtD6CY0/CADV2ZcUdhJSfmZlORFj|tkp:BFBMjMXthP5f

 

[Stueckchen]

Ist es denn nötig für beide Geräte auf 10GBaseT zu gehen? Wenn nicht wäre es evtl. besser bei zumindest einem auf spf+ zu bleiben.

 

[sandreas]

Was ist der Grund für CAT6? Stehen die beiden T20 nicht im selben Raum?

Hab ich gar nicht drüber nachgedacht, weil ich dachte, die SFP+ Kabel wären so teuer. Dann komme ich ja noch günstiger weg.

Für die beiden T20 zum Start, brauchst Du nur die NICs, nichtmal nen Switch.

Vollkommen richtig. Allerdings werde ich bei dem Preis wohl tatsächlich auf SFP+ gehen und den Switch anschaffen, um einen anderen Client ohne PCIe per USB 3 auf 2.5 oder 5 gbe hochzurüsten (auch wenn das im Grunde wenig taugt).

Ist es denn nötig für beide Geräte auf 10GBaseT zu gehen? Wenn nicht wäre es evtl. besser bei zumindest einem auf spf+ zu bleiben.

Absolut.

Vielen Dank für die Rückmeldung. Das Projekt kann ich dann sehr bald angehen

 

[hominidae]

Vollkommen richtig. Allerdings werde ich bei dem Preis wohl tatsächlich auf SFP+ gehen und den Switch anschaffen, um einen anderen Client ohne PCIe per USB 3 auf 2.5 oder 5 gbe hochzurüsten (auch wenn das im Grunde wenig taugt).

...beachte, das die 10GB-T (RJ45) Transceiver *sehr* heiss werden und gerade die CRS305 und CRS309 nicht aktiv gekühlt sind.
MT gibt da Empfehlungen, wie viele dieser Transceiver man da reinpacken darf...i,d,R, nur jeden 2ten Port befüllen. In den CRS305 dürfen also max. nur 2 Stück.
Ich hatte jetzt den Fall, dass sogar in meinem CRS309, der eigentlich 4-6 Stück "darf" schon ab 2 Stück Temp-Warnungen kamen.
Suche Dir die Transceiver also sehr genau aus...die von fs.com sind deutlich kühler, können aber wohl nur 10G, kein 1/2.5/5G ....

 

[sandreas]

...beachte, das die 10GB-T (RJ45) Transceiver *sehr* heiss werden und gerade die CRS305 und CRS309 nicht aktiv gekühlt sind.

Ja, das habe ich auch schon recherchiert. Vielen Dank noch mal für den Hinweis. Ich denke, ich werde einen alten Bequiet Silent Wings in der Nähe unterbringen

 

[Strikeeagle1977]

Hallo zusammen,

Ich habe ein ganz ähnliches Vorhaben wie User @sandreas, aber etwas komplizierter ist es schon.

Vorhanden ist ein GbE Netzwerk, vor 4 Jahren verlegt, wertige Wandkabel Cat6.
Um mein NAS und seine Performance (HP Microserver N54L) etwas besser auszunutzen, würde ich mir ebenfalls gerne anschauen, was so >1 Gigabit LAN geht.
Zwischen NAS und Netzwerk Hauptrechner wollte ich deswegen ursprünglich ein "modernes" 2,5Gbit Netzwerk etablieren,
mit passender Switch, jedoch macht mir der Support von FreeNAS was i225 und Realtek RT8125 Karten angeht , einen Strich durch die Rechnung.
FreeNAS 11.2, basiert auf FreeBSD 11.2

Hardwareunterstützung hier gelistet:

FreeBSD 11.2-RELEASE Hardware Notes

FreeBSD is an operating system used to power modern servers, desktops, and embedded platforms.

www.freebsd.org

Vorgaben sind also eine Netzwerkkarten schneller GbE, die unter FreeBSD läuft und nen passenden Switch, den ich mit ins normale Netzwerk einbinden kann.
Im Hauptrechner ist ne 2,5Gbit Karte verbaut, die ich bisher nicht als Flaschenhals sehe. Optional würde ich dort eine zweite 5-10Gbit RJ45 Karte einbauen, falls es noch Vorteile >50% bringt.

• Switch Zyxel XGS1010 oder QNAP QSW-2100 inkl SFP+ Ports
• 1xNIC (RJ45) z.B. ASUS XG-C100C/ F oder gebrauchte Serverhardware mit SFP+ Port mit Support für FreeBSD 11.2
• SFP+ to RJ45 Transceiver Modul oder DAC Kabel zwischen NAS und Switch (gleicher Raum ca1m Abstand )

Idee wäre dann PC an Switch via 2,5GBit und NAS an Switch via 10Gbit ... NAs schafft locker 300-400MB/s und das möchte ich auch nutzen.

Was ist da an Hardware zu empfehlen? Hat jdm 10Gbit mit Freenas laufen gehabt? Welche Hardware ist da erschwinglich?

Vielen Dank für eure Unterstützung, was 1000Mbit übersteigt, bin ich einfach trotz viel lesen noch nicht wirklich fit. Vor allem die Transreciever machen mich irre als Thema, was wie wo geht und nicht geht.

Hab nen Video zum Zyxel gefunden und das war interessant.

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

 

[Weltherrscher]

...beachte, das die 10GB-T (RJ45) Transceiver *sehr* heiss werden und gerade die CRS305 und CRS309 nicht aktiv gekühlt sind.
MT gibt da Empfehlungen, wie viele dieser Transceiver man da reinpacken darf...i,d,R, nur jeden 2ten Port befüllen. In den CRS305 dürfen also max. nur 2 Stück.
Ich hatte jetzt den Fall, dass sogar in meinem CRS309, der eigentlich 4-6 Stück "darf" schon ab 2 Stück Temp-Warnungen kamen.
Suche Dir die Transceiver also sehr genau aus...die von fs.com sind deutlich kühler, können aber wohl nur 10G, kein 1/2.5/5G ....

Öhm, laut den Kommentaren soll das 30 m Modul schon nBase-T machen:

FS SFP+ 10GBASE-T Modul | SFP-10G-T | 10GBASE-T SFP+ Kupfer Transceiver RJ45 - FS Deutschland

Kaufen Sie 10Gb SFP+ Modul, FS Kompatibel 10GBASE-T SFP+ Transceiver Modul, Kupferkabel RJ45 Stecker 30m beim 10 Gigabit Ethernet SFP+ Modul Hersteller mit bestem Preis.

www.fs.com

Hab ich auch und das wird absolut nicht heiß.

Kann nur die nBase-T- Kompatibilität gerade nicht testen, da das Ding den Backbone bildet, wenn ich da *jetzt* dran rum spiel, gibts Nudelholz...

//Edith:
Heute gegen Mittag mal bissi rumspielen...

 

[hominidae]

Öhm, laut den Kommentaren soll das 30 m Modul schon nBase-T machen:

FS SFP+ 10GBASE-T Modul | SFP-10G-T | 10GBASE-T SFP+ Kupfer Transceiver RJ45 - FS Deutschland

Kaufen Sie 10Gb SFP+ Modul, FS Kompatibel 10GBASE-T SFP+ Transceiver Modul, Kupferkabel RJ45 Stecker 30m beim 10 Gigabit Ethernet SFP+ Modul Hersteller mit bestem Preis.

www.fs.com

Hab ich auch und das wird absolut nicht heiß.

Ich habe die 80m Variante und die kann es angeblich nicht.
In den Kommentaren, inkl. Antworten vom fs.com Support gibt es gemischte Infos.
Zumindest Fallback auf 1G sollte das 30m Modul können...

//Edith:
Heute gegen Mittag mal bissi rumspielen...

 

[Strikeeagle1977]

Mein Switch verbraucht z.B. gerade ohne nennenswerte Last 14 Watt. 😉

Doppeldosen in der Wohnung ja, aber auch teils entsprechend genutzt. Wo der Hauptrechner steht, sind auch 1 Rechner angeschlossen, eigentlich sogar 3, aber 2 wechseln (FirmenNotebook und ZweitPC nie gleichzeitig, weil sich die Benutzerzeiten nicht überlappen).

Idee um Strom zu sparen war ja, den Zyxel aus dem Test zu nutzen.

1.PC an 2,5Gbit (ok, die erzeugen einen kleineren Mehrverbrauch) und NAS an SFP+ mit DAC Kabel (weil Switch und NAs im gleichen Raum stehen).
SFP+ mit DAC Kabel scheint keinen Mehrverbrauch unter Last zu generieren laut Video.

GbE 7,9W bei Last
pro Port 2,5GB ca 1,3W mehr
GbE+ SFP+ mit DAC kein Mehrverbrauch !
SFP+ mit Kupfer ca 3,6W pro Port Mehrverbrauch !



Damit sollt SFP+ mit RJ45 Transreciever (also kupfer) ausgeschlossen sein und damit auch extrem hoher Stromverbrauch.



Nur man muss erst mal ne 10Gbit Karte finden, die mit dem FreeBSD/FreeNAS 11.2 läuft.

Da ist die Auswahl klein, d.h. nur Intel X520/550, Chelsio, ggf Mellanox X3 und ggf baugleiche OEM Karten von HP, Fujitsu, Dell, etc. pp
Wollte aber keine 400€ dafür ausgeben, damit das Backup oder der Upload aufs NAS dann doppelt so schnell läuft. Switch ist ja schon mit 150€ dabei, aber unvermeidlich.
Für Link Aggregations brauche ich auch nen Switch mit "active LACP". Hohe Kosten für Switch, ggf auch deshalb höherer Verbrauch und geringer Mehrwert.

Dann lieber gleich 10Gbit per Lichtleiter.

 

[deveth0]

Ich würde eventuell direkt zum 1210 greifen, der kann dann direkt LACP falls es mal notwendig ist und halt das übliche mit Vlan usw.

Den hatte ich ne zeitlang bei mir verbaut, dazu zwei mellanox x3 (truenas und Windows). Seit aber mein neuer Backup Server auch 10gbit kann, muss ich @******* zustimmen. Deswegen ist der ZyXEL einem MikroTik gewichen...

 

[Strikeeagle1977]

sollte auch eine Direktverbindung kein Problem sein. Das spart einfach die Kosten für Anschaffung und Verbrauch eines 10G Switches,

Direktverbindung müsste für mehrwert nen taugliche 2,5GBit Karte für FreeBSD 11.2 existieren, kommt aber erst mit FreeBSD 13 der Support hinzu. Aber auch da müsste ich entweder DAC Kabel verwenden (geht nicht) oder auf Kupfer setzen und dann im PC und um NAS mit den stromhungrigen Transrecievern kämpfen. Das will ich ja vermeiden, sowohl im PC als auch im NAS, als auch am 24/7 Switch

Beitrag automatisch zusammengeführt: 05.04.2022

Aber ok, nun bin ich still.

nein nein, du hast schon Recht, aber es passt eben nicht bei mir ...

 

[hominidae]

Switches mit nur zwei 10G Ports sind doch eigentlich nur dafür da, um daran weitere Switches anzuschließen.

...oder als kleiner Edge Switch...nutze da schon den CSS610 von MT ... aber da gibt es jetzt einen neuen, erweiterten CRS305 den CRS310...SFP/1G Module in der Bucht kosten auch nicht viel.

 

[Strikeeagle1977]

Ich finde einen Switch, der nur zwei 10G Ports hat, immer vermeidlich, wenn man denn Doppeldosen hat. Einfache Switches verbrauchen doch so gut wie garnix.
Switches mit nur zwei 10G Ports sind doch eigentlich nur dafür da, um daran weitere Switches anzuschließen.

Grundsätzlich bin ich da bei dir, die SFP+ Ports sind eigentlich für Verbindungen zu anderen Switches entwickelt. Aber das kann ich mir doch zu Nutze machen, oder?

Beitrag automatisch zusammengeführt: 05.04.2022

...oder als kleiner Edge Switch...nutze da schon den CSS610 von MT ... aber da gibt es jetzt einen neuen, erweiterten CRS305 den CRS310...SFP/1G Module in der Bucht kosten auch nicht viel.

Ich muss halt nen 2,5Gbit Kupfer mit 10Gbit im NAS verbinden, ohne auf GbE zurückzufallen. Sonst lohnt der Aufwand nicht. Ne 10Gbit Karte für den PC möchte ich mir bei der Kupferanbindung bis zum Switch eigentlich sparen und bisher ist nur nen Zyxel GS108 vorhanden und voll genutzt.

Gibt es empfehlenswerte Software um das schnell symbolisch mal aufzumalen? LibreOffce Draw?

 

[deveth0]

Draw.io ist ganz nett

 

[Strikeeagle1977]

Ich überlege gerade ...

SolarFlare SFN5122F Dual Port 10Gb/s PCI-E 2.0 x8 Enterprise Sever Adapter FH | eBay

Entdecken Sie SolarFlare SFN5122F Dual Port 10Gb/s PCI-E 2.0 x8 Enterprise Sever Adapter FH in der großen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

oder doch ne ältere Chelsio?

Beitrag automatisch zusammengeführt: 05.04.2022

Ausgangssituation, eine Kupferverkabelung mit Cat6 Kabel und RJ45 Adaptern

Ziel ist die Beschleunigung der Verbindung Hauptrechner NAS.

Switch Austausch notwendig wegen Entfernung Hauptrechner - NAS (Direktverbindung nur mit GbE möglich)

Zur Kostenvermeidung setze ich erst einmal auf die 2,5Gb Nic im Hauptrechner und auf ein Switch mit 2,5Gbit Ports + SFP+ Ports
Mangels Unterstützung von 2,5Base-T Adaptern beim NAS (FreeNAS11.2/FreeBSD11.2) auf 10Gbit bis Switch.

Zur Vermeidung von höheren Stromkosten nur 1x 2,5Gbit Port zum Hauptrechner, ggf später zum 2.PC.

 

[underclocker2k4]

Bei älteren NICs musst du auch bei den Verbrauch der NICs achten. Da kann so ne NIC selber schonmal 15W ziehen.
Das ist dann nicht nur nen Stromproblem, sondern auch ein Kühlungsproblem, sprich passive Karte + kaum Luftstrom = Räuchermännchen.
Von daher würde ich auf halbwegs was aktuelles setzen. Und ne CX3 ist auch gerne günstig zu bekommen.

Ansonsten gibt es von Netgear irgendeinen bekloppten Switch, der irgendwie von alles Speed einen Port im Angebot hat, der hätte dann 5GBE und 10GBE Base-T, aber auch SFP+.
Das ist evtl. ne Option für die Zukunft, wenn man überlegt min 1x 10GBE im Haus zu verwenden bzw. auch auf 5GBE hochzugehen.

 

[Weltherrscher]

Rückmeldung: Ich kann mit der aktuellen ROS-Vedrsion 7.1.5 immernoch kein Auto-Nego ausschalten...
Sobald ich das tue, verliere ich die Connectivity ins Internet, wieso auch immer.
Der Link steht, aber es geht garnix.
Und ich kann in 7.1.5 auch nur 10/100/1G/10G/25G/40G auswählen, aber kein nBase-T.
Obwohl unten im KEller ein S+RJ10 steckt, das FS meldet sich als optisches Modul.

tl;dr:
Momentan entweder 10G oder garnix.

 

[Strikeeagle1977]

Und ne CX3 ist auch gerne günstig zu bekommen.

Du meinst ne Mellanox CX3? Habe ich auf Suche, ja ...
was wären denn Günstig? unter 50€

Was die Karte im NAS angeht, ist es nur ein 25% Problem, dann das NAS läuft im Haus nur, wenn auch jdm da ist und es nutzt. Ca 6h am Tag. 15W ist viel, aber das NAS ist kein 24/7 system zum Glück. Nur Medianserver mit Plex und Backupserver + NAS für die Daten, die man nicht doppelt auf jedem Rechner rumliegen haben will. Inkl. TV Aufzeichnungen aus der Mediathek usw.

Und bekanntlich werden nur Backups gemacht, wenn die schnell und einfach gehen und alle 20 diff Backups gibt es nen Vollbackup und bei 1TB dauert das im GbE nun mal sehr lange.
Von 300GB Ordnern hab ich auch einige und VMS sind auch nicht immer klein ...

 

[Nemac]

Ich habe noch ein Pärchen Mellanox connect X2 oder 3 rumliegen, incl SPF+ Modul. Muss die nochmal einbauen und schauen was das genau war.

Willst du die mal zum spielen haben und FreeNAS testen ob es die Karten frisst?
Der Haken an der Sache: die NICs haben keine Blenden

 

[Strikeeagle1977]

Der Haken an der Sache: die NICs haben keine Blenden

die Blenden werden einem doch auf Ebay gegen Geld nachgeworfen, oder? Mal davon ab, HP Microserver N54L bekannt? Ob Blende oder nicht, sieht man nicht. Transreciever benötige ich eigentlich nicht, aber zum testen würde ich die Karte gerne mal her nehmen.



Du machst mir Hoffnung. Screenshot ist ein Ausschnitt aus dieser Liste ...

FreeBSD 11.2-RELEASE Hardware Notes

FreeBSD is an operating system used to power modern servers, desktops, and embedded platforms.

www.freebsd.org

 

[Nemac]

Naja, die liegen hier nur rum, aktiv im Einsatz sind Brocade / Qlogic 1020. Deswegen kaufe ich da keine Blenden nach.
Schick mir mal ne PM klären wir was du brauchst und dann tüte ich das Zeugs ein, kein Problem

 

[fiesta26]

Hallo zusammen,
ich habe mir einen neuen PC zusammengestellt und in dem Zuge auf Win11 gewechselt.
Leider läuft meine Mellanox Connect X3 nicht bzw ich bekomme einen bluescreen nach ca 1-2 Minuten nachdem Windows hochgefahren ist. Treiber habe ich den aktuellsten den es für Win10 gibt genommen, da keiner für Win11 gelistet ist. Unter Win10 lief die Karte problemlos. Hat jemand eine Idee oder Tip?
Gruß
Fiesta26