[Sammelthread] 10Gbit Homenetzwerk

Hier eine Verbrauchsmessung der ASUS XG-C100C Karte:
- ohne Link: 1,8 Watt
- 1G Link (Idle): 3,0 Watt
- 10G Link (Idle): 4,0 Watt

Der Treiber muss unter Win10 manuell installiert werden.
Für eine Client Aufrüstung auf den ersten Blick eine gute Option. Da sind die Karten mit SFP+ und Kupfer GBIC preislich weit entfernt.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hier eine Verbrauchsmessung der ASUS XG-C100C Karte:
- ohne Link: 1,8 Watt
- 1G Link (Idle): 3,0 Watt
- 10G Link (Idle): 4,0 Watt
Sehr schön! Verglichen was für SFP+ Karten genannt wird, ist das doch gar nicht so viel.
Für eine Client Aufrüstung auf den ersten Blick eine gute Option. Da sind die Karten mit SFP+ und Kupfer GBIC preislich weit entfernt.
Naja, wenn man Gebrauchtes oder B-Ware aus China auf EBay kauft, kann das wohl mit SFP+ sogar noch billiger kommen. Mit diesen China-Händlern scheint auch niemand Probleme zu haben (defekte Ware oder ****** ist wohl selten). Noch billiger geht es, indem man ältere Modelle kauft (die hier weniger diskutiert werden), die dann halt mehr Strom oder PCIe Lanes fressen.

Andererseits ist der derzeitige Preis der ASUS natürlich attraktiv. Man braucht auch keine Transceiver, die hier im Forum öfters als Verschleißteile bezeichnet werden. Altes verlegtes Kabel kann weiter verwendet werden. Stromverbrauch/Performance scheint auch zu stimmen. Nicht schlecht. Bin mal gespannt, ob USB4, Thunderbolt, oder WLAN für diesen Zweck überhaupt noch billiger oder praktikabler werden.
Intel X550-T1/T2 sind z.B. PCIe 3.0x4.
Die sind natürlich sehr teuer, selbst gebraucht.

Übrigens gäbe es noch die Inter-Tech Argus ST-7211 mit SFP+, neu für 50€ bei deutschen Händlern, mit Intel Chipsatz, aber mit PCIe 2.0 x8. Scheint mir doch sehr günstig für SFP+ Neuware. (Potentiell in meiner engeren Auswahl, würde aber nur für einer der beiden zu verbindenden PCs funktionieren.)
 
Zuletzt bearbeitet:
ich hatte als alternative die 1fach mellanox für rund 50 € im Blick (weiter oben im thread verlinkt). Ein Modul kostet bei fs.com über 60 Euro. Da ist man schon beim doppelten des Preises der ASUS!
Dass man da günstiger weg kommt sehe ich da, bis auf wenige Ausnahmen, nicht.

Für meine Windows Clients auf jeden Fall ausreichend.
 
ich hatte als alternative die 1fach mellanox für rund 50 € im Blick (weiter oben im thread verlinkt). Ein Modul kostet bei fs.com über 60 Euro.

Was denn für ein Modul? Sfp+ auf 10G rj45? DA macht gleich rj45 natürlich mehr Sinn.
Bei sfp+ transiveren sollte man die Gebrauchtpreise auch beachten, die bekommt man die für echt schmalen Taler teils (~10€).
Auch immer muss man abwiegen wie man das ganze ans Netzwerk bringt: Bei einer Direktverbindung über kurzer Strecke ist DAC mit Sfp+ auf jeden sehr günstig. Auch sind switches mit Sfp+ noch deutlich günstiger als rj45 10G.
 
Glasfaser durch die Wand probiert bzw. eine der Wände. Der Duplex LC-Stecker meines Billigkabels konnte auseinandergenommen werden (dann hat man Simplex LC, die Klemme geht ganz weg). Das Ding ist etwa 4,5mm breit. Mit einem kam ich durch die Wand, aber dann war die Staubschutzkappe weg, nicht wieder gefunden. Außerdem steckte das Kabel einen Moment fest, und ich habe mit drücken und ziehen nachgeholfen. Würde mich nicht wundern, wenn es defekt wäre. (Wobei es keine erkennbaren Spuren am Mantel gab.) Vielleicht doch Kupfer.
ich hatte als alternative die 1fach mellanox für rund 50 € im Blick (weiter oben im thread verlinkt). Ein Modul kostet bei fs.com über 60 Euro. Da ist man schon beim doppelten des Preises der ASUS!
Achso, mit Kupfer als zwingend, sorry.
Bei sfp+ transiveren sollte man die Gebrauchtpreise auch beachten, die bekommt man die für echt schmalen Taler teils (~10€).
Wieder gebraucht bei EBay? Ich dachte, die Tranceiver können mit der Zeit kaputt gehen?
Bei einer Direktverbindung über kurzer Strecke ist DAC mit Sfp+ auf jeden sehr günstig. Auch sind switches mit Sfp+ noch deutlich günstiger als rj45 10G.
Ich glaube, man konnte behaupten, dass 10GBase-T bei Mainboards an fahrt gewinnen. Selbst die Serverboards scheinen öfter mit 10G Kupfer als SFP+ zu kommen.
Gibt es eigentlich DACs mit abmontierbaren Kabel?
 
Glasfaser durch die Wand probiert bzw. eine der Wände. Der Duplex LC-Stecker meines Billigkabels konnte auseinandergenommen werden (dann hat man Simplex LC, die Klemme geht ganz weg). Das Ding ist etwa 4,5mm breit. Mit einem kam ich durch die Wand, aber dann war die Staubschutzkappe weg, nicht wieder gefunden. Außerdem steckte das Kabel einen Moment fest, und ich habe mit drücken und ziehen nachgeholfen. Würde mich nicht wundern, wenn es defekt wäre. (Wobei es keine erkennbaren Spuren am Mantel gab.) Vielleicht doch Kupfer.
Ich mach so etwas immer mit einem Schaschlik-Spieß und Tesafilm. Spieß vorne abknicken damit der nicht mehr spitz ist, dann so um den Stecker tapen das er den Stecker quasi "anschiebt", und dann auch ums Kabel obv rum, und dann durch die Wand geschoben. Staubschutzkappen sollte obv. auch abgetaped sein. Das ist dann nicht dicker als der Stecker, gibt dem ganzen aber die notwendige Stabilität um die empfindliche Glasfaser zu schützen. Gibt bestimmt professionellere Methoden, aber als Getto-LWL-Wand-Schieber tuts bisher immer das was ich davon wollte. :d
 
danke für den Stromverbrauch-Test @supernode genau die Info hat mir noch gefehlt :-)
 
Ich möchte auch mein LAN in das 10Gbit Zeitalter bringen. Ich stelle mir die Frage SPF+ oder Kupfer? Das Haus bzw. die Wohnung ist CAT7 verkabelt.

Infrastruktur:
Im Rack:
- 2x HP Microserver G9 (kein 10G vorhanden) Upgrade SPF oder Kupfer?
- 1x Server in Planung bisher noch offen ob SPF oder Kupfer
- 24er 1G LAN Switch ist vorhanden (ohne SPF) und für die "Standard"-Geräte
Wohnung;
- 1x PC Kupfer mit 2,5er NIC Upgrade evtl. auf 10G geplant
- weitere Geräte nicht ausgeschlossen

Hätte mich jetzt an diesem Vorschlag orientiert:
Dann fehlt aber noch, ein 10G Kupfer Receiver und ein bis zwei 1G Kupfer, Uplink (oder Router und Upling zu 1G Switch). Als auch für die SPF+- und oder NIC-Karten für die Server PCs.

Da supermode den Stromverbrauch einen nicht all zu viele höhere Stromverbrauch gemessen hat, ist die SPF+ Lösung wieder in Frage gestellt, dann doch den Kupfer TP-Link TL-SX100 Desktop 10G Switch?
 
Zuletzt bearbeitet:
@bbott ich würde ja den PC im OG nicht 1:1 verkabeln. Evtl. will man diesen Link ja für mehr nutzen.

Wieso willst Du einen Router? EVtl. hat Dein 24er Switch keinen 10G/SFP+ ??

Generell in der Zentrale/Rack auf SFP+ und DAC oder LWL
Zwischen den Etagen Kupfer, aber - wie oben gesagt - über einen Switch.

Ich habe einen MT CSS610 https://geizhals.de/mikrotik-cloud-...it-smart-switch-css610-8g-2s-in-a2379806.html im OG, verbunden über S-RJ10 https://geizhals.de/mikrotik-routerboard-10g-lan-transceiver-s-rj10-a1827894.html.
Im PC daneben dann eben noch ein SFP+ (mellanox CX-3, mit DAC).
Um den 24er in der Zentrale und den CRS309 zu verbinden nimmst Du den 1Gbos des CRS309...wenn Du mehr willst, auch hier einen CSS610 dazwischen (DACs).

Der TL-SX100 ist unmanaged und keine schlechte Idee, wenn unmanged ausreicht.
 
Ich mach so etwas immer mit einem Schaschlik-Spieß und Tesafilm. Spieß vorne abknicken damit der nicht mehr spitz ist, dann so um den Stecker tapen das er den Stecker quasi "anschiebt", und dann auch ums Kabel obv rum, und dann durch die Wand geschoben. Staubschutzkappen sollte obv. auch abgetaped sein. Das ist dann nicht dicker als der Stecker, gibt dem ganzen aber die notwendige Stabilität um die empfindliche Glasfaser zu schützen. Gibt bestimmt professionellere Methoden, aber als Getto-LWL-Wand-Schieber tuts bisher immer das was ich davon wollte. :d
Ich machs aehnlich nur das ich den Stecker selbst noch mit Frischhaltefolie und Iso umwickele.

Hab hier Glas direkt in Herrenzimmer, Frauenzimmer und Serverraum gelegt, von dort aus auf Switches und die kleinen Clients mit Kupfer und rest Glas/DAC angebunden.
 
@hominidae
Die Switches sind im Rack und das Rack in der selben Etage wie in der Wohnung, ein Upling 1G zum Router reich solange es hier kein LWL mir über 1G gibt. Deine Switche haben alle "nur" zwei 10G Ports. Ich benötige min. 4 Port mit 10G mit Upgrade auf mehr. Die SPF-Karten als auch das S-RJ10 Modul ist doch recht teuer. Da ist doch eine Asus XG-C100C 10G und TP-Link TL-SX100 Desktop 10G Switch Kombination deutlich günstiger.

Ich hatte gehofft mit 3x SPF+ und einmal Kupfer 10G (+1x 1G Kupfer) auf ähnlich Anschaffungskosten komme und Strom spare, aber dem ist scheinbar nicht der Fall.
 
Deine Switche haben alle "nur" zwei 10G Ports. Ich benötige min. 4 Port mit 10G mit Upgrade auf mehr.
Die CSS waren für die Uplinks in Etagen/Zimmer.
In der zentrale macht der CRS309 Sinn.

Die SPF-Karten als auch das S-RJ10 Modul ist doch recht teuer.
Echt? Eine Mellanox-CX3 kosten keine 50EUR...ein 1.5m DAC 10-15EUR, wenn es es nicht bei der Karte eh schon dabei ist.
Das RJ10 ist günstiger als die bei fs.com....brauchst Du ja nur, da wo Du Kupfer nimmst.
Natürlich kannst Du auch den PC direkt auf 10G Kupfer nehmen, aber dann brauchst Du an dem Platz, wenn keine weitere Dose da ist evtl. nochmal einen Switch (Drucker, PS4, WLAN-APs, ...)

Da ist doch eine Asus XG-C100C 10G und TP-Link TL-SX100 Desktop 10G Switch Kombination deutlich günstiger.
Denke ich nicht....der TP-Link hat 5 Ports, der CRS309 hat 9 Ports...bedenke, das ein Port davon zu Deinem 24er Switch "verbraucht" wird.
Es gibt auch den CRS305...

Ich hatte gehofft mit 3x SPF+ und einmal Kupfer 10G (+1x 1G Kupfer) auf ähnlich Anschaffungskosten komme und Strom spare, aber dem ist scheinbar nicht der Fall.
sehe ich auch so.
 
Also ich habe nun bei Geizhals eine Kupfer Einkaufsliste mit (8 Port TP-Link TL-SX100 Desktop 10G Switch):

und eine LWL-Kupfer Einkaufsliste:
erstellt.

Zusammenfassung:
642€ Kupfer, die ASUS XG-C100C gibt es immer mal für 65€, dann wären es 558€
712€ LWL-Kupfer, jede Weitere 10G Kupfer kostet 50(!)€ und ein LWL ~20€)

Die Mellanox-cx3 habe ich gebraucht nur ohne Tranceiver für 50€ gesehen, also zzgl. 20€ (Tranceiver), dann komme ich auf 562€. Wenn ich gebrauche LWL-Hardware kaufe kommt es zur Preisparität. Nun habe ich aber bei der Kupferlösung noch drei Ports, welche ich Preis neutral nutzen kann, bei LWL käme durch die Tranciver im Switch bei drei 10G-Geräten 60 bis 150€ hinzu.
Der eindeutige Vorteil des MikroTik Cloud Router Switch CRS309 wäre die Routing Funktion, mein 24er Port ist nur Smartmanagd. Git es eine gute Übersicht über den Stromverbrauch (Vergleich: LWL, Tranceiver und Kupfer)? Bin offen für Tipps die kosten zu drücken ;-)


Laufen die Mellanox-cx3 und (inzwischen) ASUS XG-C100C OotB in TrueNAS?

PS.:
Der CRS309 hat 8 Ports und ein Manage Port.
 
Zuletzt bearbeitet:
Mellanox ist kein Problem mit Truenas.
 
Nein, das ist eine LOM Karte, keine PCIe...die bekommst Du nicht fest...ist auch anders belegt.....gibt so Adapter, zB : http://shop.sysmocom.de/products/hpe-flexiblelom-pciex8-adapter-diy-kit
Aber ehrlich, die 5EUR wären es mir nicht wert.
Wenn Du PCIe suchst, nimm einfach eine solche: https://www.ebay.de/itm/123680947631?epid=0&hash=item1ccbf57daf:g:S1oAAOSwIVVcgfEZ
Edit: gibt zahlreiche...achte auf PCIe-x4 und gewünschte Slotblenden, evtl. gleich mit einem DAC Kabel dabei....oder kaufe ein Set für 2.
 
@bbott bei mir steht da "Versand aus China"
 
@bbott bei mir steht da "Versand aus China"
Stimmt, habe zu viele Händler angeboten offen :fresse2:
Beitrag automatisch zusammengeführt:

Ist das eine gute alternative zu den SPF+ Modulen + LWL-Kabel?
 
Zuletzt bearbeitet:
und eine LWL-Kupfer Einkaufsliste:
erstellt.
...bitte lass die Finger von den 1G SFP Modulen von ubiquiti im MT...die laufen nur in ubiquiti ...nimm was passendes von fs.com, den S-RJ01 vom MT oder cisco von ibäh
Am besten hier im Mikrotik Thread fragen...SFP/1G module hat ja kaum noch jemand ;-)

Zusammenfassung:
642€ Kupfer, die ASUS XG-C100C gibt es immer mal für 65€, dann wären es 558€
712€ LWL-Kupfer, jede Weitere 10G Kupfer kostet 50(!)€ und ein LWL ~20€)
Wenn Du es krachen lassen willst, schau Dir den CRS312 an ;-)

Der eindeutige Vorteil des MikroTik Cloud Router Switch CRS309 wäre die Routing Funktion, mein 24er Port ist nur Smartmanagd.
Es ist aber nur ein Switch, von der CPU her...HW-Offloading geht mit dem CRS309 erst besser ab ROS v7.1rc2, siehe: https://help.mikrotik.com/docs/display/ROS/L3+Hardware+Offloading
Die ist aktuell auf rc6...eher noch beta, aber "normale" Sachen sollten schon funktionieren.

Git es eine gute Übersicht über den Stromverbrauch (Vergleich: LWL, Tranceiver und Kupfer)? Bin offen für Tipps die kosten zu drücken ;-)
Denke ein DAC, dann LWL, dann RJ45 im SFP wird so die Rangfolge sein.
 
Wenn mans leicht krachen lassen will:

Wenn mans richtig krachen lassen will:
 
...bitte lass die Finger von den 1G SFP Modulen von ubiquiti im MT...die laufen nur in ubiquiti ...nimm was passendes von fs.com, den S-RJ01 vom MT oder cisco von ibäh
Am besten hier im Mikrotik Thread fragen...SFP/1G module hat ja kaum noch jemand ;-)
Danke. Sollten erstmal nur als Platzhalterdienen, da die fs Module bei Geizhals nicht gelistet sind. Da ein ein GB LAN-Port vorhanden ist, werde ich evlt. darauf erstmal verzichten können.

Wenn Du es krachen lassen willst, schau Dir den CRS312 an ;-)
Welches Problem soll der CRS312 lösen? 8 Ports sollten erstmal erreichen ;-)

Es ist aber nur ein Switch, von der CPU her...HW-Offloading geht mit dem CRS309 erst besser ab ROS v7.1rc2, siehe: https://help.mikrotik.com/docs/display/ROS/L3+Hardware+Offloading
Die ist aktuell auf rc6...eher noch beta, aber "normale" Sachen sollten schon funktionieren.
Sollte kein Problem sein, das 10G LAN wollte ich nicht trennen, nur den IoT (Mist) würde ich evtl über das Switch zum 24 Port Switch schiefen

Denke ein DAC, dann LWL, dann RJ45 im SFP wird so die Rangfolge sein.

Per Google habe ich das gefunden:

Stromverbrauch identisch (LWL <> DAC), die Latenz ist bei DAC etwas schlechter, aber das solle bei meiner Anwendung(en) keine wirkliche Rolle spielen. Mit DAC würde sich die LWL Lösung um ~100€ vergünstigen, wenn man 20€ je Transceiver ansetzt.
 
Ist das eine gute alternative zu den SPF+ Modulen + LWL-Kabel?
Ja, ist ein DAC...bei der Länge eben unkritsch...aber auch nicht "modular"...es sind genau 3m mit festem "Stecker"...für eine frei fliegende Verkabelung im Rack oder Serverram zwischen Server + Switch genau richtig.
Um das Ding irgendwo durchzufummeln, wie Kabelkanal usw evtl. zu kurz (DAC bis max 7m) und fummelig/sperrig...dafür günstiger um eine Verbindung herzustellen.
Beitrag automatisch zusammengeführt:

Welches Problem soll der CRS312 lösen? 8 Ports sollten erstmal erreichen ;-)
Etwas mehr Flexibilität, insbesonder bei Kupfer, zB um den 24eer mit mehr als einem Port zu beglücken.
Aber man könnte den ja auch gegen einen CRS326 tauschen...irgendwann.
 
Ja, ist ein DAC...bei der Länge eben unkritsch...aber auch nicht "modular"...es sind genau 3m mit festem "Stecker"...für eine frei fliegende Verkabelung im Rack oder Serverram zwischen Server + Switch genau richtig.
Um das Ding irgendwo durchzufummeln, wie Kabelkanal usw evtl. zu kurz (DAC bis max 7m) und fummelig/sperrig...dafür günstiger um eine Verbindung herzustellen.
Damit ist DAC gesetzt ;-)

Etwas mehr Flexibilität, insbesonder bei Kupfer, zB um den 24eer mit mehr als einem Port zu beglücken.
Aber man könnte den ja auch gegen einen CRS326 tauschen...irgendwann.
Der CRS309 17W-23W ist passiv und der CRS312 aktiv mit 60W. Wenn der CRS312 ein paar mehr RJ45 Ports (und nicht shared) hätte er mein 24er ersetzen können, Ich denke in ein paar Jahren wenn die Dinger effizienter sind und ich mehr Ports brauche, kann ich über ein Upgrade nachdenken.
 
@sch4kal aber „Krach“ ist da auch wörtlich zu nehmen, oder? :d
 
Hier mal ein Zwischenergebnis meines 10G Projektes. Vielleicht ist es ja für den ein oder anderen interessant, der Ähnliches vor hat.

Das ist der aktuell implementierte Zustand, welcher mich in Summe 370€ gekostet hat. Außer der Asus Karte und der Kabel habe ich entweder gebraucht (ebay-Kleinanzeigen) oder refurbished gekauft.

10G Homeserver Upgrade.drawio (1).png


Erste Netzwerk Performance Messungen per iperf3 haben folgende Ergebnisse geliefert:

Mellanox@ESXi <=> ASUS@Win10: 9,2 GBit/s
X540-T2@ESXi <=> ASUS@Win10: 9,4 GBit/s
Mellanox@ESXi <=> X540-T2@ESXi: 9,3 GBit/s

Alle 3 Clients sind in einem VLAN, Alle Ports des CRS305 in einer Bridge mit HW-Offload. Keine Verwendung von Jumboframes. ESXi Server ohne laufende VMs. iPerf3 läuft direkt in ESXi. Win10 Desktop ohne sonstigen Traffic auf dem 10G Interface. Bei laufenden VMs (ca. 10 Stück) liegen die iperf Werte bei ~8 - 9 GBit/s.

Meine Fragen dazu:
  1. Wie sind diese Werte einzuordnen? Hätte man noch mehr erwarten können? Oder ist dies ein guter Startpunkt für weitere Messungen auf Application Layer (napp-it CIFS/NFS)
  2. Bringt es weitere Performance, wenn man Jumbo Frames verwendet? Müsste dann vermutlich in den ESXI vSwitches, im CRS305 und im ASUS Treiber unter Win10 eingestellt werden, oder?
  3. Ich musste ein Patchpanel durch Keystone Module ersetzen (nicht in der Preiskalkulation enthalten) und habe mich für Rutenbeck Keystone Module entschieden. Gibt es Kompatibilitätsprobleme mit bestimmten Keystone Patchpanels oder kann ich jedes beliebige Keystone Panel verwenden? (z.B. das für 11€ von Digitus bei Amazon)
  4. Wie habt ihr 10G in ESXI integriert? Ich habe zwei Varianten probiert:
    1. Eigener vSwitch mit eigenem VLAN nur für 10G. In dem Fall müssen alle VMs, die über 10G kommunizieren sollen, ein separates Interface in diesem VLAN haben. Normaler Traffic geht weiterhin über die beiden 1G Adapter
    2. 10G Karte als weiteren Uplink zum vSwitch0 hinzugefügt und dann mit der Failover Priority den 10G Adapter zum Hauptnetwerkadapter gemacht. Der gesamte Traffic geht über die 10G Karte und nur im Fehlerfall werden die beiden 1G Karten verwendet. Hier könnte man auch eine 1G für andere exklusive Zwecke aus dem vSwitch0 rauslösen (z.B. Management Netzwerk)
Ich freue mich auf eurer Feedback...

André
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh