[Sammelthread] 10Gbit Homenetzwerk

[danielmayer]

die DeviceVendorID lässt das positiv vermuten, 8086 ist Intel selbst. Allerdings kann das subsys im Firmware-Update unterteilt werden. Ich täts probieren.

 

[Weltherrscher]

Für die, die neue Hardware bevorzugen:
Den QNAP QSW-800 gibts gerade für 262 €.
Gerade vor Ostern für 296 € bestellt, schon ist er wieder billiger geworden.

Bin überzeugt davon, er hängt jetzt im Serverschrank im Keller (die beiden Lüfter stören mich also nicht).
1x 3 m DAC zum NAS
1x ca. 30 m 10GBaseT über 7 Verbindungsstellen zum Rechner
1x ca. 25 m 10GBaseT über 5 Verbindungsstellen zum Dell 5524 (mit dem Mikrotik 10GbaseT Transceiver)

Gestern kurz mal Teile der Steam-Bibliothek auf ein iSCSI Laufwerk runter geschoben, Spitze 1,1 GB/s, im Mittel 400..600 MB/s, fluppt.
Mehr geht nicht, weil unter dem ZFS noch die alten 500 GB Platten lahmen und noch keine Cache-SSDs drin sind, somit begrenzt mich der RAM-Cache von FreeNAS...

 

[Trambahner]

Ich überleg aktuell daheim ja den XS716E, Von Kupfer auf Fiber komm ich auf Sicht nicht und ich würde gerne bei mir meine Switch-Kaskade zwischen 1 und 10G etwas konsolidieren.
Jemand Erfahrung mit dem Ding?

 

[sch4kal]

Naja, den Switch gibt es noch nicht so lange und unmanaged ist er auch noch, da würde ich mal davon ausgehen das der in Ordnung ist. Wird nur blöd, wenn er nur kodierte Transceiver frisst, Debugmöglichkeit gleich Null.

 

[Weltherrscher]

Der XS716E ist doch managed?
Und den SFP+ möchte er auch nicht nutzen.

Der QNAP frisst wohl alle Tranceiver, zumindest zickt er bei meinen Noname-DACs und dem Mikrotik nicht rum.

 

[konfetti]

Mag ja sein, das ich mich vertue, aber:

Konfiguration Webinterface, Konfigurations-Software (Windows)
Gelistet seit 04.10.2016, 09:48

Webinterface finde ich persönlich ja immer schwierig, aber besser als nix.
Ich hab @home nen Dell 6248P mit 2x dem 10G Dual SFP+ Modul - aktuell aber nur 1 eingesteckt, da des ja doch bissl was braucht - muss den Verbrauch demnächst nochmal mit dem KD302 nachmessen.
Zumindest hat der bisher nicht mit den GBIC gezickt.

Ich würd ja gern nochmal eine/zwei günsteige ConnectX3 haben ^^

 

[sch4kal]

Der XS716E ist doch managed?
Und den SFP+ möchte er auch nicht nutzen.

Der QNAP frisst wohl alle Tranceiver, zumindest zickt er bei meinen Noname-DACs und dem Mikrotik nicht rum.

Den hat er ja momentan, so hab ich das zumindest verstanden.

Wenn er aber die SFP+ gar nicht nutzen will, kauft man sich doch nicht ein 280 € 4-Port Switch.
Da gibt es doch dann schon günstigere Alternativen (CSS/CRS326, gebrauchte Brocade, Quanta LB4M, Dell 5524,...).
Ist der Stromverbrauch eher "unwichtig" (darf also auch 50-80W nuckeln) ?

21W idle Verbrauch, also ohne was drin, d.h. real sind wir dann bei ~30W. Bei Linerate braucht er dann 41W. Kann mir gut vorstellen, dass die 10GBase-T Ports wenn Sie nicht gerade im EEE-Modus sind extrem viel ziehen. 802.3az greift ja ohnehin nur bei den Kupferports, also eigentlich eine Mogelpackung deren Marketing.

Mein Cisco SG500X verbraucht 50W mit 14 belegten Gigabit Kupfer Ports und 4 belegten SFP+ (2x DAC, 2x MMF) im Idle.
Mein CRS326 verbraucht sogar nur ~15W mit 10 belegten Kupfer- und 2 belegten SFP+ Ports (2x MMF) im Idle.

 

[Trambahner]

Aktuell hab ich nen XS708E , nen DGS-1008 , die Switch Ports einer Fritzbox und Stöpsel dauernd um wenn ich zwischen 1G und 10G an Ports wechseln will.
Und das Gewurschtle und hin und her soll aufhören und einfach alles auf 10G.
Daher meine Idee den XS716E als relativ sparsamen 10Gbase-T Switch.
Ich brauch Minimum 13 Ports, also fallen die Qnaps eh schon raus.

 

[sch4kal]

Aktuell hab ich nen XS708E , nen DGS-1008 , die Switch Ports einer Fritzbox und Stöpsel dauernd um wenn ich zwischen 1G und 10G an Ports wechseln will.
Und das Gewurschtle und hin und her soll aufhören und einfach alles auf 10G.
Daher meine Idee den XS716E als relativ sparsamen 10Gbase-T Switch.
Ich brauch Minimum 13 Ports, also fallen die Qnaps eh schon raus.

Bei knappen 1000 € würde ich mir an deiner Stelle einen gebrauchten, richtigen Enterprise-Switch holen. Was wäre denn mit dem hier: Arista DCS-7050T-64-DC-F 48x RJ45 1/10GBASE-T 4x QSFP+ Switch F-R 2x DC PSU HSS | eBay

Selbst bei einem Mehrverbrauch von 100W könntest du den Switch locker 1-2 Jahre laufen lassen und hättest nebenbei gleich noch 40G für die nahe Zukunft. Nicht zu vergessen von dreimal so vielen Ports ^^
LWL legen ist wirklich nicht möglich ? Da gäbe es wirklich schöne und günstige Alternativen.

 

[Elektromat]

Hallo Zusammen,

es geht um meinen Mikrotik CRS317 (Router OS v6.44.3) hier habe ich aktuell zwei 10g RJ45 ports verbaut (1x Server, 1x uplink zu CRS305), die restlichen Geräte hängen an 10/100/1000 RJ45 Ports.
Mein CRS305 hat aktuell zwei 10g Ports (ein Port uplink (10G zum CRS317 und ein Port 10g zum PC). Mir stell sich nun die Frage, wie ich die Ports unabhängig auf ihre Geschwindigkeit optimieren kann bzw. was hier der beste Weg ist.

Laut martingo (Thread [Sammelthread] MikroTik Geräte) ist die lösung vermutlich über VLANs zu gehen.


Folgend meine aktuelle Config:

# may/01/2019 11:45:09 by RouterOS 6.44.3
# software id = WRW5-GD0Y
#
# model = CRS317-1G-16S+
# serial number = ***************
/interface bridge
add disabled=yes name=bridge1
add mtu=9000 name=bridge2
/interface ethernet
set [ find default-name=ether1 ] comment="Uplink zu Router"
set [ find default-name=sfp-sfpplus1 ] advertise=\
10M-half,10M-full,100M-half,100M-full,1000M-half,1000M-full,10000M-full \
comment="Server - 10G" l2mtu=9000 mtu=9000
set [ find default-name=sfp-sfpplus2 ] advertise=\
10M-half,10M-full,100M-half,100M-full,1000M-half,1000M-full,10000M-full \
comment="Switch - 10G" l2mtu=9000 mtu=9000
set [ find default-name=sfp-sfpplus16 ] comment="***"
/interface list
add name=WAN
add name=LAN
/interface bridge port
add bridge=bridge2 interface=ether1
add bridge=bridge2 interface=sfp-sfpplus1
add bridge=bridge2 interface=sfp-sfpplus2
add bridge=bridge2 interface=sfp-sfpplus3
add bridge=bridge2 interface=sfp-sfpplus4
add bridge=bridge2 interface=sfp-sfpplus7
add bridge=bridge2 interface=sfp-sfpplus8
add bridge=bridge2 interface=sfp-sfpplus9
add bridge=bridge2 interface=sfp-sfpplus10
add bridge=bridge2 interface=sfp-sfpplus11
add bridge=bridge2 interface=sfp-sfpplus12
add bridge=bridge2 interface=sfp-sfpplus13
add bridge=bridge2 interface=sfp-sfpplus14
add bridge=bridge2 interface=sfp-sfpplus15
add bridge=bridge2 interface=sfp-sfpplus16
add bridge=bridge2 interface=sfp-sfpplus5
add bridge=bridge2 interface=sfp-sfpplus6
/interface detect-internet
set detect-interface-list=all
/interface list member
add interface=ether1 list=WAN
add interface=sfp-sfpplus1 list=LAN
add interface=sfp-sfpplus2 list=LAN
add interface=sfp-sfpplus3 list=LAN
add interface=sfp-sfpplus4 list=LAN
add interface=sfp-sfpplus5 list=LAN
add interface=sfp-sfpplus6 list=LAN
add interface=sfp-sfpplus7 list=LAN
add interface=sfp-sfpplus8 list=LAN
add interface=sfp-sfpplus9 list=LAN
add interface=sfp-sfpplus10 list=LAN
add interface=sfp-sfpplus11 list=LAN
add interface=sfp-sfpplus12 list=LAN
add interface=sfp-sfpplus13 list=LAN
add interface=sfp-sfpplus14 list=LAN
add interface=sfp-sfpplus15 list=LAN
add interface=sfp-sfpplus16 list=LAN
/ip address
add address=192.168.***.220/24 interface=bridge2 network=192.168.***.0
/ip dns
set servers=192.168.***.1
/ip firewall service-port
set ftp disabled=yes
set tftp disabled=yes
set irc disabled=yes
set h323 disabled=yes
set sip disabled=yes
set pptp disabled=yes
set udplite disabled=yes
set dccp disabled=yes
set sctp disabled=yes
/ip route
add distance=1 gateway=192.168.***.1
/ip service
set telnet disabled=yes
set ftp disabled=yes
set www disabled=yes
set ssh disabled=yes
set api disabled=yes
set api-ssl disabled=yes
/ip ssh
set forwarding-enabled=remote
/system clock
set time-zone-name=Europe/Berlin
/system ntp client
set enabled=yes primary-ntp=81.7.4.127
/system routerboard settings
set boot-os=router-os

Mir ist aufgefallen, das wenn ich den beiden 10g Ports eine MTU von 9000 hinterlege, die angelegte bridge obwohl ich dort auch die 9000 eingetragen habe nur mit MTU 1500 agiert (siehe screenshot).



Ist es irgendwie möglich einen Mischbetrieb zu konfigurieren? Bzw. es dahingehend zu Optimieren? Entsprechende Beispiele wenn mögl. wären super.

Grüße
Elektromat

 

[Morpheuz]

Das Endgerät muss auch auf ne höhere MTU eingestellt werden. Die Ports handeln im Konfliktfall die geringste MTU aus.

 

[besterino]

Verstehe noch nicht, was/worauf Du da genau optimieren willst. Grundsätzlich gilt, was Morpheuz schon schrieb: MTU muss überall gleich gesetzt sein, sonst gilt sozusagen der kleinste gemeinsame Nenner (ein Gerät MTU 1500, alle Geräte MTU 1500).

Solange Du quasi nur ein Endgerät im 10g-Netz hast (den Server), ist doch eh 1g bei allen anderen Geräten der Flaschenhals, ob jetzt mit MTU 1500 oder 9000. Und Dein Server wird schon genug Power auf die Leitung brennen, um auch mehr als eine 1g-Verbindung auszulasten... da limitiert Dir im Zweifel eh vorher Storage, vor allem bei mehreren parallelen Zugriffen von mehreren Clients...

Ich würde also solange Dein Hauptnetz auf 1g läuft, entspannt bei der MTU 1500 bleiben. Hab ich auch so in meinem Misch-1g/10g-Netz, und dass obwohl meine Workstation ebenfalls mit 10g angebunden ist. Nur in meinem 100g-Netz gelten andere Regeln...

 

[Trambahner]

Nur in meinem 100g-Netz gelten andere Regeln...

 

[Elektromat]

Verstehe noch nicht, was/worauf Du da genau optimieren willst. Grundsätzlich gilt, was Morpheuz schon schrieb: MTU muss überall gleich gesetzt sein, sonst gilt sozusagen der kleinste gemeinsame Nenner (ein Gerät MTU 1500, alle Geräte MTU 1500).

Solange Du quasi nur ein Endgerät im 10g-Netz hast (den Server), ist doch eh 1g bei allen anderen Geräten der Flaschenhals, ob jetzt mit MTU 1500 oder 9000. Und Dein Server wird schon genug Power auf die Leitung brennen, um auch mehr als eine 1g-Verbindung auszulasten... da limitiert Dir im Zweifel eh vorher Storage, vor allem bei mehreren parallelen Zugriffen von mehreren Clients...

Ich würde also solange Dein Hauptnetz auf 1g läuft, entspannt bei der MTU 1500 bleiben. Hab ich auch so in meinem Misch-1g/10g-Netz, und dass obwohl meine Workstation ebenfalls mit 10g angebunden ist. Nur in meinem 100g-Netz gelten andere Regeln...

Sorry irgenwie hab ich vor lauter schreiben meine Haupt Anliegen nicht unter gebracht.
Mir geht es darum das mein Rechner welcher eine Asus 10Gigabit XG-C100C PCI-E Netzwerkkarte hat per 10g zu meinem Homeserver übertragen kann.

Wie beschrieben hängt mein Server an dem CRS317 hier an einem 10G Port. Der weitere 10g Port am CRS317 geht zu meinem CRS305 Mikrotik Switch der auch zwei 10g Ports hat. Der eine ist der Link zum CRS317 der andere geht zum 10g port an meinem PC (ASUS 10G). An dem kleinen Mikrotik Switch hängt zusätzlich noch ein Samsung Farblaser Drucker an dem fest verbauten 1g Port.

Besteht hier überhaupt eine mögichkeit das man über dieses Setup eine Verbindung schneller als 1g zum Server im Keller aufbauen kann? Bzw. wie muss ich die zwei Switches konfigurieren.

Folgend das Setup als Grafik:



In der Grafik die Ports vom CRS317 sind natürlich 10/100m /1g hab hier den falschen Text rein.

 

[wenzilinho]

Also die Zeichnung mit 20g, 100g und 1000g solltest du nochmal überdenken..

Wenn es so aufgebaut ist, PC 10 Gbit -> CRS 10 Gbit -> CRS 10 Gbit -> Server 10 Gbit, solltest du doch eine 10 Gbit Verbindung haben.. Auf welche Datenrate kommst du denn?

Deine Serverkonfiguration scheint auch nicht so ganz optimal. Warum RDM statt Passthrough, warum die SSD nicht mit unter Solaris?

 

[Elektromat]

Also die Zeichnung mit 20g, 100g und 1000g solltest du nochmal überdenken..

Wenn es so aufgebaut ist, PC 10 Gbit -> CRS 10 Gbit -> CRS 10 Gbit -> Server 10 Gbit, solltest du doch eine 10 Gbit Verbindung haben.. Auf welche Datenrate kommst du denn?

Deine Serverkonfiguration scheint auch nicht so ganz optimal. Warum RDM statt Passthrough, warum die SSD nicht mit unter Solaris?

Hab es eben nur auf die schnelle zusammengeschustert, den Fehler direkt gemerkt als ich schon auf Antworten geklickt hatte, deswegen auch der Edit des Beitrages. Die Legende rechts neben dem 2. OG passt. Hab den Fehler erst gemerkt als ich den Beitrag schon abgeschickt hatte. Das unter dem CRS317 sollte natürlich anstatt g ein m sein. Also 10/100/1000. ;-)
Du hast recht ich muss meine Signatur besser schreiben / sortieren..

Auf der 500er SSD ist die Solaris VM und der ISO Store für den ESXi. Alle anderen Platten sind zu entsprechenden Setups zusammengestellt. Das ZFS Filesystem der 2000er SSD ist zudem per NFS an den ESXi durchgereicht für die weiteren VMs.
RDM da ich mit dem Passtrough probleme hatte.
Das Pool anlegen ging problemlos im Passtrough Modus. Die ZFS Dateisysteme konnte ich auch problemlos anlegen diese haben auch problemlos bis zum reboot funktioniert. Das Problem allerdings war, das ich sobald ich einen reboot gemacht habe, meine Solaris VM im Boot hängen blieb ohne diesen zu vollenden. Deshalb RDM. Ich wusste mir da nicht anders zu helfen, es war auch nicht meine erste Wahl. Für Tipps diesbezüglich bin ich offen. Passthrough war meine erste Wahl wollte aber nicht so wie ich das wollte.
Alle Platten ausser der 500er SSD laufen über das Solaris als ZFS Filesystem mit ebenfalls hinterlegten automatisierten Snapshots / Scrub jobs insofern für den jeweiligen Pool / Dateisystem erforderlich.


Bezüglich der Transferrate werde ich gleich erst mal meinen Switches eine saubere Konfig / Backup verpassen, und kann mich danach diesbezüglich melden.

 

[wenzilinho]

Ahh, nun verstehe ich das
War mir etwas unklar, auch weil in der Signatur 500 MB steht, ging ich von einer Partitionierung aus. Aber so wie du es beschreibst hat es ja alles Hand und Fuß.
Wenn du die Datenrate getestet hast, hat man einen Ausgangspunkt. Dann kann man es besser beurteilen und dir helfen können.

 

[besterino]

@Elektromat: zwei Fragen...

1. kannst Du eine zweite Strippe legen zwischen Keller und 2.OG? 1Gbit würde reichen?

2. Hättest Du Platz für den Drucker im Keller?

EDIT & @Trambahner: die 100g-Hinweise sind nur für Dich... ... fies, gell?

 

[Elektromat]

Ahh, nun verstehe ich das
War mir etwas unklar, auch weil in der Signatur 500 MB steht, ging ich von einer Partitionierung aus. Aber so wie du es beschreibst hat es ja alles Hand und Fuß.
Wenn du die Datenrate getestet hast, hat man einen Ausgangspunkt. Dann kann man es besser beurteilen und dir helfen können.

Getestet hab ich mit meinem 4x Ironwolf Datenpool (2x Mirror + 2x Mirror)
Der Upload auf einen der ZFS Pools per SMB bringt so um die 122MB/s
Der Download von einen der ZFS Pools per SMB bringt so um die 11MB/s bis 12MB/s

Beim Test zur SSD ziemlich genau die selben Werte. Das Laden zum Rechner ist halt ungewöhnlich langsam.
Selbiges auf einer Win 10 VM mit VMXNET3 also ist das Kabel zu meinem PC vermutlich nicht das Problem, oder sehe ich das falsch.

Dem Solaris ist der VMXNET3 zugewiesen.
Ebenfalls sind die aktuellen VMware Tools 10.3.10 installiert.
Ach ja die Tuning Opionen im Napp-it hab ich auch angewendet.

@Elektromat: zwei Fragen...

1. kannst Du eine zweite Strippe legen zwischen Keller und 2.OG? 1Gbit würde reichen?

2. Hättest Du Platz für den Drucker im Keller?

Zu Punkt1: Wäre sicherlich machbar halt nicht auf die schnelle, vermutlich auch kein schlechter Ansatz. Die Rolle Verlegekabel die ich noch da hab, iss vermutlich zu kurz. Müsste mal alles ausmessen.

Zu Punkt2: Könnt den Drucker auch per WiFi einbinden, wäre halt auch nicht meine erste Wahl. Umstellen eher schlecht.

 

[Elektromat]

Hat sich erledigt im vSwitch war Traffic-Shaping aktiv. Nun ist alles IO.
Danke.

 

[sch4kal]

RDM da ich mit dem Passtrough probleme hatte.
Das Pool anlegen ging problemlos im Passtrough Modus. Die ZFS Dateisysteme konnte ich auch problemlos anlegen diese haben auch problemlos bis zum reboot funktioniert. Das Problem allerdings war, das ich sobald ich einen reboot gemacht habe, meine Solaris VM im Boot hängen blieb ohne diesen zu vollenden. Deshalb RDM. Ich wusste mir da nicht anders zu helfen, es war auch nicht meine erste Wahl. Für Tipps diesbezüglich bin ich offen. Passthrough war meine erste Wahl wollte aber nicht so wie ich das wollte.
.

pciPassthru0.virtualDev = „pci“, dann bootet Solaris. Die Konfig manuell im Editor ändern, nicht per Menü im ESXi

 

[Elektromat]

pciPassthru0.virtualDev = „pci“, dann bootet Solaris. Die Konfig manuell im Editor ändern, nicht per Menü im ESXi

Ganz großes Danke von mir. Das ist des Rätsels Lösung.
Nun rennt alles wie es soll... im Passtrough an Solaris.

 

[oelsi]

@Elektromat: Sorry for offtopic, aber ich sehe in Deiner Signatur, dass Du einen CRS305-1G-4S+IN besitzt. Hast Du die Möglichkeit, davon mal die Leistungsaufnahme zu messen?

 

[Azrael_ct]

Ich habe auch einen CRS305-1G-4S+IN, mit 2x 10 GBit DAC von Mikrotik, 1x S+RJ10 (10 GBit/s) und dem normalen GBit Port liegt der bei mir bei 7.4 Watt.

 

[Elektromat]

Also laut meinem Messgerät komme ich mit meinem CRS305-1G-4S+IN dem fest verbauten 1g Port (belegt) und zwei MikroTik S-RJ10 10G/RJ45/SFP+ Transceiver Modulen (beide ebenfalls belegt) auf 11,6Watt.

 

[oelsi]

@Azrael_ct und @Elektromat: Super, danke fürs Nachmessen

 

[Azrael_ct]

Das ist mal recht interessant. Die DACs sind sparsamer als die SFP-Module, schon einmal klar. Was hängt denn bei @Elektromat an den Transceivern dran ? Ich habe 2x 1m Mikrotik DAC, das S+RJ10 geht per 2m Patchkabel auf eine Dose, dann folgen 8m CAT 7 STP Kabel, 2m Patch-Kabel zum CRS326. Würde fast vermuten, dass die Transceiver bei dir größere Strecken haben und deswegen mehr Energie brauchen.

 

[Holt]

Marvell to Acquire Aquantia

 

[sch4kal]

Das ist mal recht interessant. Die DACs sind sparsamer als die SFP-Module, schon einmal klar. Was hängt denn bei @Elektromat an den Transceivern dran ? Ich habe 2x 1m Mikrotik DAC, das S+RJ10 geht per 2m Patchkabel auf eine Dose, dann folgen 8m CAT 7 STP Kabel, 2m Patch-Kabel zum CRS326. Würde fast vermuten, dass die Transceiver bei dir größere Strecken haben und deswegen mehr Energie brauchen.

Das ist schon bekannt, das DACs weniger Energie benötigen und 10GBase-T ohne EEE nicht gerade sparsam ist. Schau dir einfach nur mal entsprechende Netzwerkkarten an die sehr ähnlich sind: Intel X520 vs Intel X540, die Erstere hat einen kleinen Passivkühlkörper, Letztere einen aktiven kleinen Lüfter zusätzlich oder zumindest einen sehr viel größeren Kühlkörper.

 

[Elektromat]

Das ist mal recht interessant. Die DACs sind sparsamer als die SFP-Module, schon einmal klar. Was hängt denn bei @Elektromat an den Transceivern dran ? Ich habe 2x 1m Mikrotik DAC, das S+RJ10 geht per 2m Patchkabel auf eine Dose, dann folgen 8m CAT 7 STP Kabel, 2m Patch-Kabel zum CRS326. Würde fast vermuten, dass die Transceiver bei dir größere Strecken haben und deswegen mehr Energie brauchen.

Hab mal alle RJ45 vom CRS305 getrennt, die zwei Module sind eingesteckt. Dann liegt er bei 7,7 Watt. Bezüglich der Kabellänge zum CRS317 habe ich aktuell keine genauen Werte, aber es sollten so um die 25m sein an beiden enden jeweils ein 2m Patchkabel (Link zum CRS317). Wenn dieses eingesteckt ist liegt er bei 9,9 Watt . Belege ich auch das Modul mit einem 2m RJ45 kabel zu meinem PC dann liegt er bei 11,2 Watt. Packe ich meinen Drucker mit an den fest ausgeführten Port bin ich bei den oben genannten 11,6 Watt.
Die Module bewegen sich laut Interface Ausgabe bei ca. 77°C am 10g Port mit der längeren Kabelstrecke. 75°C am 10g Port mit dem 2m Patchkabel.