[Sammelthread] 10Gbit Homenetzwerk

[besterino]

@tw2 Korrekt. Lüfterlos/leise ist die Herausforderung.

 

[underclocker2k4]

@besterino
Das ist nen Standardhohlstecker, wo man einfach nen "Ding" drumrum gemacht hat, damit das irgendwie "sexy" aussieht, bzw. eben nicht so ohne weiteres rausfallen kann. Hat also schon einen kleinen Effekt. Früher hat man dazu einfach gewinkelte Stecker genommen und ein paar Nasen, wo man das Kabel einklemmt.
(siehe Telefonunterseite)

Jo, wie gesagt, so nen Handlingsverfahren ist halt nicht so ohne -> inkompatibel.
Und MT hat sich ja nun schon öfter als absolut ungeeignet erwiesen. Daher würde ich sowas auch im Leben nicht produktiv einsetzen.

 

[hominidae]

Hmmm... mit dem QNAP funzt der MT-Transceiver bisher unproblematisch. Scheint also nicht am Transceiver, sondern vielleicht am Switch zu liegen.

....hast Du den CRS309 man mit ROS gebootet und getestet, statt SwOS?

 

[besterino]

Näh. Ich brauch den Router-Firlefanz nicht, daher hab ich den im Switch-OS. Kann ich auch nochmal testen bei Gelegenheit.

 

[tw2]

@tw2 Korrekt. Lüfterlos/leise ist die Herausforderung.

Ja, geht mir auch so.

Wegen lüfterlos habe ich auch einen Mikrotik CRS309-1G-8S+IN und (allerdings erst seit kurzer Zeit) u.a. auch ein Kupfer-SFP+ Mikrotik S+RJ10 (v2.16) drin. Alles andere mit 10G habe ich auf Glasfaser.

Bislang keine Verbindungsabbrüche mit dem S+RJ10, aber das verbindet bei mir auch nicht über eine lange Strecke. Dafür aber teilweise seltsame Performance-Schwankungen beim Schreiben auf mein Synology NAS im Vergleich zu Glasfaser, die ich noch nicht weiter erforscht habe. Hat sich durch Aktivierung von Flowcontrol an dem Port im Mikrotik anscheinend gebessert. Muss ich mal weiter beobachten. Aber habe ich bei anderen Switches früher (Netgear, Zyxel) nie gebraucht.

Aber ich sehe gerade bei Geizhals, dass es auch einen QNAP-M408S gibt mit 4 x SFP+ der laut Geizhals, auch lüfterlos ist.

Wie ist der QNAP bislang sonst so im Vergleich zum CRS309?

 

[besterino]

@tw2 Naja, der QNAP kam heute erst an und hab den auch noch nicht wirklich ins Schwitzen gebracht. Immerhin zeigt mir die NIC im Desktop bisher keine Verbindungsabbrüche. Ne große Datei kopiert der aber immerhin so ziemlich am theoretischen 10GBE-Maximum:

Auf kurze Distanz hatte ich mit dem CRS309 auch keine Probleme mit 2 SFP+/10Gbase-T Adapter-Transceivern. Nur jetzt vom Keller ins 2. OG zickt der halt. Hab jetzt mal noch den vom @underclocker2k4 verlinkten FS 80m zum Testen bestellt... mal schauen.

Wenn Dir 4xSFP+reicht, würde ich statt den QNAP wohl eher einen TP-Link nehmen. Davon hatte ich mal vor ein paar Jahren einen (war damals unschlagbar günstig) und der war völlig unauffällig & lautlos.

Ärgere mich durchaus schon, dass ich damals keine Glasfaser Unterputz gelegt habe - aber da war ich netzwerktechnisch einfach noch nicht so weit.

 

[Badrig]

Nur so als Rückmeldung: Hab mich dafür entschieden eine Fritzbox 5530 Fiber und einen Zyxel XGS1250-12 in den Kasten reinzuklatschen. Kein pfsense erstmal, VLAN kann das Ding, damit werde ich mich nach dem Umzug beschäftigen.

 

[besterino]

@Badrig toitoitoi!

 

[underclocker2k4]

Aber ich sehe gerade bei Geizhals, dass es auch einen QNAP-M408S gibt mit 4 x SFP+ der laut Geizhals, auch lüfterlos ist.

Da würde ich nochmal nach anderen Switches schauen.
4x SFP+ gibt es wie Sand am Meer, auch passiv.
Beispiel Aruba: JL682A

Beitrag automatisch zusammengeführt: 03.09.2021

Ärgere mich durchaus schon, dass ich damals keine Glasfaser Unterputz gelegt habe - aber da war ich netzwerktechnisch einfach noch nicht so weit.

https://www.amazon.de/Einhell-1300-Spindelarretierung-Transportkoffer-Diamant-Trennscheiben/dp/B00IYEEXR0/

 

[besterino]

 

[tw2]

@tw2 Naja, der QNAP kam heute erst an und hab den auch noch nicht wirklich ins Schwitzen gebracht. Immerhin zeigt mir die NIC im Desktop bisher keine Verbindungsabbrüche. Ne große Datei kopiert der aber immerhin so ziemlich am theoretischen 10GBE-Maximum:

Anhang anzeigen 666753

Danke, dass sieht ja eigentlich gut aus. Ist genauso auch mein wichtigster Standardtest...

Auf kurze Distanz hatte ich mit dem CRS309 auch keine Probleme mit 2 SFP+/10Gbase-T Adapter-Transceivern. Nur jetzt vom Keller ins 2. OG zickt der halt. Hab jetzt mal noch den vom @underclocker2k4 verlinkten FS 80m zum Testen bestellt... mal schauen.

Wenn Dir 4xSFP+reicht, würde ich statt den QNAP wohl eher einen TP-Link nehmen. Davon hatte ich mal vor ein paar Jahren einen (war damals unschlagbar günstig) und der war völlig unauffällig & lautlos.

Ja, mit 4 x SFP+ würde ich erstmal als Übergangslösung hinkommen. Wäre allerdings dann alles direkt belegt.

TP-Link hatte ich vor ein paar Wochen auch schon mal ins Auge gefasst, aber passende lüfterlose Switches von denen hatte ich nur zwei gefunden. Beide leider relativ groß (ich habe kein 19" Rack) und der mit den 4x SFP+ hat 24x RJ45 (1 Gbps), die ich aber in der großen Anzahl nicht brauche. Der verbraucht dadurch bis zu 25W oder so. Vermutlich kann man unbenutze Ports abschalten. Trotzdem Overkill für mich. Außerdem liegen bei dem die SFP+ Slots sehr dicht zusammen. Zumindest Mikrotik empfiehlt, ja dass wenn man ein 10 Gbps Kupfer-Modul stecken will, man bei passiv gekühlten Switches wegen der starken Hitzeentwicklung neben dem Slot jeweils zum nächsten Modul einen Slot freilassen soll. Beim QNAP-M408S sind die SFP+ alle schön weit auseinander.

Der andere, neuere von TP-Link ist der TL-SX3008F mit nur 8x SFP+:

JetStream 8-Port 10GE SFP+ L2+ Managed Switch

JetStream 8-Port 10GE SFP+ L2+ Managed Switch. Als ein SFP+-Switch, welches sich nahtlos in der Omada Software Defined Networking (SDN) integriert, bietet der TL-SF3008F den Fernzugriff und zentrales Management von überall zu jeder Zeit.

www.tp-link.com

Der verbraucht max. 15W war. Denn wollte ich schon im Juni probeweise bestellen, der war aber bisher nicht oder nur schwer lieferbar.

Ärgere mich durchaus schon, dass ich damals keine Glasfaser Unterputz gelegt habe - aber da war ich netzwerktechnisch einfach noch nicht so weit.

Ich habe (nach einem Umzug) erstmal gar nichts mehr Unterputz von daher bin ich da zum Glück freier...

Beitrag automatisch zusammengeführt: 04.09.2021

Da würde ich nochmal nach anderen Switches schauen.
4x SFP+ gibt es wie Sand am Meer, auch passiv.
Beispiel Aruba: JL682A

Oh, der Preis sieht schon sehr interessant aus. Aber wie oben geschrieben sind mir diese "Flundern" mit den vielen 1 Gbps Ports eigentlich zu groß.

 

[Guru4GPU]

Ich werfe mal meine üblichen Verdächtigen ein, wenn gebrauchte Enterprise HW in Ordnung geht: Brocade ICX6450-24P, oder, falls es für den schmalen Taler richtig abgehen soll: Brocade ICX6610

Wie kommt man denn am besten an Brocade Switche / wo kauft man diese am besten?
Ich würde mir am liebsten einen Brocade ICX6450-24 kaufen, auf eBay finde ich aber nur Angebote im Ausland oder sie sind mir zu teuer.
Der Brocade ICX6610 ist mir übrigens zu laut und der Brocade ICX7250 zu teuer - jedenfalls das was ich finde.

Der Grund für meine Suche ist zum einen dass ich meinen OPNsense beim Inter-VLAN Routing entlasten kann (Fileserver), zum anderen spiele ich gerne mit alter Enterprise Hardware.

 

[BazzT]

Hallo,

ne kurze Frage, setze einer von euch eine Mellanox Connectx-2 unter Proxmox 7.0 ein? (ich weiß ist offiziell nicht supported)
Im Testsystem ist gerade kein großer Slot mehr frei gewesen und sie sollte in einem PCIE 2.0 x1 Slot laufen.
Übertragungsrate 160MB/s, ich hatte mir eigentlich so um die 300 erhofft...

Spoiler: Auszug aus lspci

07:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0)
LnkCap: Port #8, Speed 5GT/s, Width x8, ASPM L0s, Exit Latency L0s unlimited
LnkSta: Speed 2.5GT/s (downgraded), Width x1 (downgraded)
08:00.0 USB controller: VIA Technologies, Inc. VL805 USB 3.0 Host Controller (rev 01) (prog-if 30 [XHCI])
LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <2us, L1 <16us
LnkSta: Speed 5GT/s (ok), Width x1 (ok)

Beide Karten sind in PCIE 2.0 x1 Slots (gleichwertig) wieso stellt sich die Mellanox nun auf PCIE 1.0 Geschwindigkeit um?!

Mainboard: Gigabyte Z97X Gaming3
Unter Ubuntu lief sie wenigsten immer mit PCIE 2.0 in einem x1 Slot, da sollte doch auch Proxmox nix dran ändern, das ist doch eigentlich BIOS sache oder?

Möglicherweise hatte schon mal jemand das Problem und kann Tipps geben, sonst geht es morgen ans Karten tauschen.
Ich halte heute nicht mehr die Datrensynchronisation an .

EDIT:
Auszug aus lspci - keine Änderung bei betrieb im x4 Modus sowie in anderen Slots:
07:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0)
LnkSta: Speed 2.5GT/s (downgraded), Width x4 (downgraded)


Mfg Basti

 

[pumuckel]

Wie kommt man denn am besten an Brocade Switche / wo kauft man diese am besten?
Ich würde mir am liebsten einen Brocade ICX6450-24 kaufen, auf eBay finde ich aber nur Angebote im Ausland oder sie sind mir zu teuer.
Der Brocade ICX6610 ist mir übrigens zu laut und der Brocade ICX7250 zu teuer - jedenfalls das was ich finde.

Der Grund für meine Suche ist zum einen dass ich meinen OPNsense beim Inter-VLAN Routing entlasten kann (Fileserver), zum anderen spiele ich gerne mit alter Enterprise Hardware.

der hier?

https://happybytes.nl/product/brocade-icx-6450-24-24-port-gbe-ethernet-switch-managed-refurbished/

 

[Guru4GPU]

der hier?

https://happybytes.nl/product/brocade-icx-6450-24-24-port-gbe-ethernet-switch-managed-refurbished/

Genau der, vielen Dank für den Link

 

[besterino]

@underclocker2k4 Mit dem 80m FS Transceiver scheint's tatsächlich auch mit dem Mikrotik zu klappen. Ich teste mal noch ein bisserl die Tage, aber die ersten 10 Minuten sind schonmal ohne Verbindungsverlust. Speed ist auch ok:

Werde das die Tage mal weiter beobachten.

 

[chakk0r]

Hab den QSW-M408-4C und würde behaupten daß der quasi unhörbar ist, zumindest bei mir im Büro wo der kleine dlink 1510 quasi alles übertönt

 

[tw2]

Hab den QSW-M408-4C und würde behaupten daß der quasi unhörbar ist, zumindest bei mir im Büro wo der kleine dlink 1510 quasi alles übertönt

Hier gibt es einen Test des QSW-M408-4C mit Aufnahme des Lüftergeräusches:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Scheint zwar wirklich leiser zu sein, als andere, aber "unhörbar" ist er - zumindest nach dem Video zu urteilen - leider auch nicht. Jedenfalls wenn man nichts permanent Lauteres zum Übertönen am laufen hat. Ist natürlich alles primär subjektives Empfinden bzw. eigene Hörempfindlichkeit. "Leider" habe ich ein sehr gutes Gehör und wenn der Lüfter so permanent an ist (und ich nehme an, bei Last dreht er wahrscheinlich schneller?), würde mich das dann doch stören beim Arbeiten.

 

[chakk0r]

Ich hab heute nochmal gelauscht, und ich muss wirklich sagen: Wer das als unangenehm empfindet wird selbst bei leise laufendem Radio nervös. Aktuell hab ich nur 2 SFP+, 1 10Gbe RJ45 sowie ein 1Gbe abgeschlossen was vielleicht Einfluss darauf hat (ka) aber im Büro ist halt alles lauter als das Qnap Switch.

 

[tw2]

Stimmt, wenn ich mich konzentrieren muss (Softwareentwicklung) und jemand lässt z.B. im Nachbarbüro leise aber eben permanent Radio laufen, wie ein Grundrauschen geht mir die Konzentration komplett flöten. Andere kommen damit problemlos klar. Wenn dagegen draußen die Vögel im Frühling viel lauter zwitschern, stört mich das kein bischen. Dabei kann ich abends sogar einschlafen, genau wie bei Gewitter oder im Urlaub bei sehr lautem Meeresrauschen. Keine Ahnung, aber ist so. Deswegen habe ich z.B. in meiner Synology auch die Lüfter getauscht und die Regelung so geändert, dass sie im Dauerbetrieb still ist.

 

[-]AF[-Death]

Guten abend, bin auch gerade dabei meine Rechner und das kommende Synlogy Nas auf 10gbit umzurüsten.

Was ich bislang im Thread hier gelesen habe sollte man wegen der Hitze und dem hohen Stromverbrauch zu SFP+ Nics greifen.
Laut Thread hier kann man mit einer Intel X520-DA2 oder einer Mellanox Connect X3 nichts verkehrt machen. Win und Linux sowie FreeBSD Treiber gibts bei beiden. Da der Preis ähnlich ist ca 119€ frag ich mich welche man von beiden kaufen soll? Die benötigten Module liegen ja preislich ähnlich ? Und in der Geschwindigkeit nehmen sich die beiden ja auch nichts ?

Bei den Rechnern würde ich wohl die Nics mit Dual Port kaufen, aber beim NAS reicht doch die Single Variante oder für was könnte man den 2ten Port nutzen ? Verbrauch liegt laut Datenblatt zwischen Dual und Single bei 5,8W zu 4,3W ( Twinaax ).

Nach einem Switch habe ich auch schon geguckt, preislich wollte ich nicht mehr als ca 300€ dafür ausgeben und meine momentanen DLinks Switches auch erstmal behalten. 5x SFP+ und passiv wäre schon nett. Hat schon jemand Erfahrung mit dem neuen TP Link ? TL-SX3008F

 

[tw2]

Ich nutze eine Mellanox ConnectX-3 MCX311A-XCAT (1x SFP+) selber in einer Synology. Wenn ein Port reicht, dann ist, der Vorteil von der, dass sie weniger Energie verbraucht als Intel, wie Du selber schon schreibst. Wobei es eher 3,5 - 4 W sind, wenn ich richtig erinnere. Zudem braucht sie nur PCIe 3.0 x4, was manchmal auch von Vorteil bei Mainboards sein kann, wo man z.B. nur einen x16 Slot hat und der schon mit der Graka belegt ist und sonst nur x4 und x1 o.ä.. Die X520-DA braucht PCIe 2.0 x8, wobei sie auch mit x4 tut, aber mechanisch ggf. nicht passt. (NAS wie Synology DS1618+ oder DS1621+ haben auch nur x4, aber bei einem mechanischen PCIe x8 Slot, so dass es bei denen geht.)

Außerdem kriegt man die MCX311A-XCAT gebraucht ab ca. 35 Euro bei Ebay. Versendet wird meistens aus China. Wenn man sie neu und von einem deutschen Händler haben will, wird es allerdings z.T. teurer. Ich habe früher auch schon Händler aus Polen gefunden, die sie neu für 65 Euro verkaufen, aber habe das nie selber ausprobiert.

Ein konkreter Nachteil für mich bei der ConnectX-3 ist, dass in ESXi 7.0 es mit nativen Treibern keine SR-IOV-Unterstützung mehr für ConnectX-3 zu geben scheint (ging früher). Für die X520-DA2 gibt es die wohl weiterhin, für ConnectX-4/-5/-6 usw. Karten wohl anscheinend auch.

Zum TL-SX3008F kann ich nichts sagen. Ich nutze einen lüfterlosen Mikrotik CRS309-1G-8S+IN.

 

[crazyk]

Hallo zusammen,

ich habe mein NAS, ESX und den PC je mit einer Mellanox Connectx-3 ausgestattet.

Verbunden sind alle an einem Unifi US–PRO-48-POE Switch.

Unter Windows 10 habe ich die Treiber installiert und die Paketgröße angepasst (9600). Auch bei dem NAS und ESX wurde diese Einstellung vorgenommen.

Unter Windows 10 pendelt der Kopiervorgang bei 200MB/s

Vom ESX zum NAS hatte ich teilweise über 1GB/s

Nun habe ich gelesen, das Windows 10 tatsächlich den Speed drosselt - ist das so?

Dann würde ich die Fehlersuche sein lassen.

 

[tw2]

[...]

Nun habe ich gelesen, das Windows 10 tatsächlich den Speed drosselt - ist das so?

Dann würde ich die Fehlersuche sein lassen.

Nein, Windows 10 drosselt nicht den Speed. Ich erreiche auch knapp 1 GB/s von meinem Windows PC zur meinem NAS, eine Synology mit Mellanox ConnectX-3, zumindest solange der RAM-Cache nicht voll ist (habe 32 GB RAM im NAS eingebaut). Danach limitieren die Platten im RAID im NAS. Die Karte im PC ist dabei eine Asus XG-C100F (SFP+) mit Marvell AQtion AQC100 Controller.

Bei der XG-C100F kann ich aber in dem Marvell Treiber für Windows 10 nicht beliebige Jumbo Frame Größen einstellen, sondern nur aus einer Liste von vordefinierten wählen. Dort habe ich 9014 ausgewählt (nächstgrößer wäre nur 16384 wählbar, was ich nicht will) und entsprechend dazu passend auf der Synology 9000 Bytes eingestellt (da muss man die MTU-Größe angeben, also die Jumbo Frame Size - 14 Bytes für Ethernet-Header).

 

[sch4kal]

Ein konkreter Nachteil für mich bei der ConnectX-3 ist, dass in ESXi 7.0 es mit nativen Treibern keine SR-IOV-Unterstützung mehr für ConnectX-3 zu geben scheint (ging früher). Für die X520-DA2 gibt es die wohl weiterhin, für ConnectX-4/-5/-6 usw. Karten wohl anscheinend auch.

Ist das nicht eher ein Lizenzproblem ?

 

[tw2]

Ist das nicht eher ein Lizenzproblem ?

Nein.

 

[-]AF[-Death]

@tw2

Mal gut das ich nochmal nachgefragt hatte. Hatte an die PCIe Lanes gar nicht mehr gedacht. Und gerade mal die aktuellen 1200 Boards angeguckt. Glaub da ist es sinnvoller doch auf x4 zu gehen was die ConnectX-3 ja hat, gerade wenn man jetzt was kauft und spätere Mainboard Upgraden mit hinzuzieht.

Auch im Bezug auf das Synlogy NAS. Das hat wie du schon sagst PCIe 3.0 mechanisch x8, elektrisch x4. Wenn ich da die Intel Karte reinstecke und die DUAL nehme, würde ich nicht mal Vollspeed kriegen weil wenn ich das richtig verstanden habe die Karte dann nur auf PCIe 2.0 x4 läuft, obwohl der Port 3.0 ist, die Karte aber nur 2.0, hat der Port ne Leistung von 2.0 x4 was 2.000 MB/s entspricht.

Naja China Kauf bin ich eher abgeneigt, weiss nicht ob es da auch Fake Karten gibt wie bei Intel. Aber lange Lieferzeit und dann kommen noch 19% MwSt. + Einfuhrumsatzsteuer drauf. Das lohnt nicht.

Werd mir ESXI mal angucken und dann abwägen ob ich SR-IOV benötige.

 

[underclocker2k4]

Auch im Bezug auf das Synlogy NAS. Das hat wie du schon sagst PCIe 3.0 mechanisch x8, elektrisch x4. Wenn ich da die Intel Karte reinstecke und die DUAL nehme, würde ich nicht mal Vollspeed kriegen weil wenn ich das richtig verstanden habe die Karte dann nur auf PCIe 2.0 x4 läuft, obwohl der Port 3.0 ist, die Karte aber nur 2.0, hat der Port ne Leistung von 2.0 x4 was 2.000 MB/s entspricht.

2x 10GBE sind 2,5GB/s. Es fehlen also wahnsinnige 500MB/s. (PCIe 3.0 vs. 2.0 @x4)
Wo willst du denn eigentlich die 2,5GB/s herholen, bzw. hinschicken?
Diese Gedankengänge machen rein technisch Sinn, haben aber nahezu 0 Bezug zur Realität, es sei denn, wir reden hier von nem SA3600 oder sowas.

 

[Weltherrscher]

SR-IOV macht doch bei Netzwerkkarten privat nicht groß Sinn?
Die VMWare-Netzwerkkarte schiebt auch 10G durch, reicht mir völlig und ich bin unabhängig von einer virtuell echten NWK.
Somit kann ich ne VM auch mal auf den Backup-ESXi verschieben und mit kurzer Ausfallzeit den Mailserver oder die Services am Laufen halten.

Mittlerweile hab ich so viele Sachen mit den eigenen Mailadressen, dass ich darauf keine Stunde mehr verzichten mag. =)

 

[besterino]

Bei 10gbit "reicht" meines Erachtens vmxnet3 durchaus. Erst ab ca. 20gbit wird das nach meiner (sehr eingeschränkten Erfahrung) ein Flaschenhals.