[Sammelthread] 10Gbit Homenetzwerk

[Holt]

Braucht mehr Strom ist zwar richtig, aber die Entwicklung ist da weitergegangen und schon mit den PNYs in 28nm Fertigung waren es schon 2013 nur so 1,5 bis 3W pro Port:

November 7, 2013

On November 5 integrated circuit (IC) developer Aquantia announced sampling of its latest-generation, 28-nm 10GBase-T PHY. When making the announcement, the company said, “The new device, which is the fourth generation of 10GBase-T ICs from Aquantia, reduces the power consumption of its data center products to 1.5W per port while also integrating such features as Energy Efficient Ethernet, 1588 and MACsec.” In an interview with Cabling Installation & Maintenance, Aquantia explained that the 1.5W consumption level applies to 10GBase-T lengths on par with those of 10GBase-CX4—up to 7 meters—used in top-of-rack architectures with direct-attach twinaxial cabling. When used in a full 100-meter 10GBase-T architecture, the PHY consumes energy at 3W-per-port—still a marked improvement over previous- and current-generation PHYs.

In Rechenzentren ist weniger die Leistungsaufnahme der Grund warum man dort lieber optischen Verbindungen nimmt als deren geringere Latenz:

Recent advancements have allowed switch manufacturers to significantly lower power consumption on 10GBASE-T server and switch ports. While early versions of 10GBASE-T switches required up to 12 Watts per port, switch vendors now offer a range of 1.5 to 4 W per port depending on distance.
Despite the reduced power consumption for 10GBASE-T, the small form factor pluggable (SFP+) interface that has been widely deployed for 10 gigabit ToR switches continues to use less power—typically less than 1 W per port.
With simplified electronics, SFP+ also offers better latency—typically about 0.3 microseconds per link. 10GBASE-T latency is about 2.6 microseconds per link due to more complex encoding schemes within the equipment.
When you consider an environment where data transmits through three switches, 10GBASE-T therefore introduces nearly an 8 microsecond delay, while SFP+ introduces less than 1 microsecond delay.
Lower power consumption and lower latency makes SFP+ well suited for large high-speed supercomputing applications where latency is a critical factor and where high port counts can add up to significant power savings.

Heimanwender brauchen aber Durchsatz und weniger die geringen Latenzen und haben auch nicht die hohe Anzahl an Ports als das die Leistungsaufnahme ein Grund für die teurere optische Verkabelung sein könnte.

 

[tekken321]

Hi,

Vielen Dank schonmal für die Antworten. Das hilft mir schonmal weiter. Wie siehts mit den Karten aus? Nennenswerte Unterschiede,ausser preislich? Mellanox gibts ja z.T. schon irgendwo um die 40-50€, die Intel Karte kostet ja auch gut 100€+, wobei ich da je nach Modell auch gleich 2 Ports hab.

 

[AliManali]

Hi

Habe heute ein neues Board für meinen ESXi bekommen (ASUS Z10PA-U8/10G-2S) mit 1 x Dual Port BCM57840S 10GbE LAN controller. Wie nennt man die Anschlüsse an dem Board denn korrekterweise? Leider habe ich keine Ahnung, was ich da für Hardware bräuchte, und wie ich mit dem nun umgehen soll. Vorerst wird der eh mal still stehen, habe im Moment nicht vor, das ganze Netzwerk umzubauen. Allenfalls eine Direktverbindung vom PC zum Server wäre denkbar. Was bräuchte ich für den PC (X79) denn für eine Karte, Module und Kabel um das sinnvoll zu verbinden? Nur so rein hypothetisch?

Ich werde das Board Ende Woche von meinem Kumpel einbauen lassen. Da ich die 10 Gbit/s Anschlüsse noch nicht brauche, kann man die irgendwie verschliessen, um sie vor Staub zu schützen? Bei mir ist es schon sehr staubig, da Raucherhaushalt.

Hat das einen bestimmten Grund, wieso die Anschlüsse für Glas ausgelegt sind? Kupfer mit RJ45 wär mir irgendwie symphatischer gewesen. Obwohl ich keine Ahnung habe, nur so vom Bauchgefühl her.

 

[MisterY]

Habt ihr Erfahrungen mit RJ45-->SFP+ Adaptern?

 

[sch4kal]

Du meinst SFP+ Transceiver mit RJ45 Port ? Anders herum kenn ich das nämlich nicht, vielleicht weiß aber Herr @underclocker2k4 mehr.
Ansonsten den von Mikrotik, Recht stressfrei, kann in der neuen Revision Jumbo Frames und NBase-T Support.

 

[Swp2000]

Ich habe heute eine 32GB Datei per ASUS XG100C an ein Synology NAS 1618+ mit 10GBE Karte gesendet. Im NAS sind 5x6TB Red im R5. Dabei lägt der Durchsatz meist bei 356MBs schwankte durchgehen zwischen 300-455MBs. Ist das normal?

 

[Mick1306]

Von was für einen Medium hast du die 32 GB gelesen?

 

[besterino]

@Swp2000 würde sagen ja. HAtte mit 4 WD Red im "Raid5" ~350MB

 

[Holt]

Eben, die Red haben ja nur 5400rpm und HDDs haben auf den äußeren Spuren mehr Sektoren pro Spur als auf den inneren, von daher ist die Transferrate auf den äußersten Spuren etwa doppelt so hoch wie auf den innersten. Es hänge also auch davon ab, wo auf der HDD die Daten liegen bzw. geschrieben werden, wie hoch die Tansferraten jeweils sind.

 

[Kevinkuensken]

Hallo zusammen,

habe da mal ne kurze frage zu 10 G Port.Ich habe ein 10G Netzwerkkarte in meinem Nas verbaut und will jetzt auch eine in meinem Hauptrechner bauen.Wenn ich die beiden zusammen direkt verbinde sollte ich doch die Volle Geschwindigkeit erhalten beim Medien kopieren oder?Ausser die SSD Limitiert oder halt ne andere Festplatte oder?

 

[DerMalle]

Sollte so sein.

Ich habe z.B. eine Intel X710-DA2 in meinem Rechner und im NAS ist eine Mellanox MCX312B-XCCS drin.
Jeder Port hat eine feste IP Adresse.

Beim Crystaldiskmark liegt die Auslastung bei 1218 MB/s / 1190 MB/s für Seq Q32T1.
Verbaut sind 8 x 8TB IronWolf.

Wenn Du unter Windows kopierst, sollte der angezeigte Werte bei ~ 1GB/s liegen.

 

[Kevinkuensken]

es ist aber egal ob es SFP+ oder RJ45 ist oder?

 

[Luckysh0t]

Test zum MikroTik CRS312-4C+8XG-RM

MikroTik CRS312-4C+8XG-RM 12-Port 10GbE Switch Review

 

[sch4kal]

es ist aber egal ob es SFP+ oder RJ45 ist oder?

Wenn du Beide verbinden willst ist es nicht egal, ob RJ45 oder SFP+. Da brauchst du für SFP+ einen RJ45 Transceiver ala Mikrotik S+RJ10.

 

[Swp2000]

Von was für einen Medium hast du die 32 GB gelesen?

Vom Rechner direkt aufs NAS per Drag n Drop

 

[besterino]

Ich glaube, die Frage ging eher in Richtung "Storage darunter". Bring ja nix von (nur) einer HDD lesend eine 10Gbit-Leitung auslasten zu wollen...

 

[Trambahner]

Und dann kommts auch auf das OS und den Chipsatz+Treiber der Nic an.
Windows 7 z.b. braucht bei Intel X540/550 Tuning von ein paar Parametern. Sonst ist OOB bei 300-350 MB/s schluss.

 

[sch4kal]

Und dann kommts auch auf das OS und den Chipsatz+Treiber der Nic an.
Windows 7 z.b. braucht bei Intel X540/550 Tuning von ein paar Parametern. Sonst ist OOB bei 300-350 MB/s schluss.

Echt ? Die X540/X550 haben doch auch den 82599ES Chip ? Meine X520 hat per iperf3 komplett Stock mit aktuellsten NIC Treibern von Intel auf Win7 volle Leistung gehabt.

 

[Swp2000]

Welche Parameter sind dies? Bei mir kommt ein Windows 10 zum Einsatz. Was könnte man hier noch versuchen Umbau testen ob die HDDs im NAS limitieren?

 

[sch4kal]

Iperf3 TCP Multistream und UDP Durchsatz testen, wenn da volle 10G anliegen limitieren deinen Platten (sehr wahrscheinlich).

 

[Trambahner]

Ich musste die Interrupt Moderation ausschalten und die RSS-Queues hochdrehen, damit der Durchsatz bei SMB Dateizugriffen flutscht.

 

[Kevinkuensken]

mein Mainboard hat nen normalen 10G Port RJ45 und so eine will ich auch im Nas rein hausen also RJ45.Dazu sollte es doch langen einfach die Nas und PC miteinander zu verbinden

 

[sch4kal]

Da die 10G Mellis derzeit so teuer sind, hier ein gutes Angebot für eine X520:
Genuine Intel X520-DA1 INTEL 10GB PCIE SFP+ Network Adapter - Yottamark Hologram 727973570223 | eBay

 

[Holt]

Wenn da "Genuine Intel" dabei steht, ist man vor Fakes ja wohl sicher

 

[JohnnyBGoode]

Hatte es im 100 GbE-Thread schon gefragt, aber leider keine Antwort erhalten: Sind denn diese Yotta-Label verlässlich, also wenn die Nummer zur passenden Seite mit gleicher MAC-Adressen-Angabe führt etc.?

 

[sch4kal]

Hatte es im 100 GbE-Thread schon gefragt, aber leider keine Antwort erhalten: Sind denn diese Yotta-Label verlässlich, also wenn die Nummer zur passenden Seite mit gleicher MAC-Adressen-Angabe führt etc.?

Auch MACs lassen sich in ein beliebiges EEPROM flashen ^^ Glaube nicht, das es ein absoluter Garant dafür ist, aber UNIXPlus ist ja schon mal ein US-Vertrieb, glaube kaum das die gefälschte Ware auf den Markt bringen ohne sich einer heftigen Klagewelle konfrontiert zu sehen.

 

[martingo]

Hatte hier nicht vor kurzem jemand geschrieben, dass er extrem günstig Flexible LOMs für HPE Server geschossen hat? Und diese dann nicht verwenden könnte weil er keine HPE Server hat? Finde den Post leider nicht mehr.
Ich könnte zwei Stück (á 2x SFP+) gut gebrauchen. Die QSFP+ werden noch nachgeworfen aber da fehlt mir die Gegenstelle. Oder funktionieren die 1x QSFP+ auf 4x SFP+ DACs auch mit QSFP+ serverseitig?

- - - Updated - - -

Sowas meine ich: MikroTik Routers and Wireless - Products: Q+BC0003-S+
Also QSFP+ am Server und dann ein oder zwei SFP+ am Switch? Das geht nicht oder?

 

[sch4kal]

Hatte hier nicht vor kurzem jemand geschrieben, dass er extrem günstig Flexible LOMs für HPE Server geschossen hat? Und diese dann nicht verwenden könnte weil er keine HPE Server hat? Finde den Post leider nicht mehr.
Ich könnte zwei Stück (á 2x SFP+) gut gebrauchen. Die QSFP+ werden noch nachgeworfen aber da fehlt mir die Gegenstelle. Oder funktionieren die 1x QSFP+ auf 4x SFP+ DACs auch mit QSFP+ serverseitig?

- - - Updated - - -

Sowas meine ich: MikroTik Routers and Wireless - Products: Q+BC0003-S+
Also QSFP+ am Server und dann ein oder zwei SFP+ am Switch? Das geht nicht oder?

Die Mellanox-basierten PHYs können das nicht, mir wären auch keine von Broadcom, Marvell oder Intel bekannt. Die ASICs in manchen Switchen können das aber.
Glaube dazu gab es auch schon einen Thread auf dem STH.

*edit* ah, streich Intel, die XL710 und die X520-QDA1 können das wohl:
Intel® Ethernet QSFP+ Cables Product Brief

 

[besterino]

Doch, dachte schon. In einem meiner QSFP28-Ports steckt ja auch ein SFP+ Modul (mit Adapter). Ich hab das jedenfalls so verstanden, dass man mit den Breakout-Kabeln grds. 4 (auch unterschiedliche) Devices anschließen kann.

Ist nur die Frage, wie die NIC damit umgeht (also z.B. 4 unterschiedliche MACs darüber unterschiedlich adressieren kann). Probier's aus.

 

[sch4kal]

Doch, dachte schon. In einem meiner QSFP28-Ports steckt ja auch ein SFP+ Modul (mit Adapter). Ich hab das jedenfalls so verstanden, dass man mit den Breakout-Kabeln grds. 4 (auch unterschiedliche) Devices anschließen kann.

Ist nur die Frage, wie die NIC damit umgeht (also z.B. 4 unterschiedliche MACs darüber unterschiedlich adressieren kann). Probier's aus.

Ja, ein QSFP+ auf 1x SFP+ Adapter geht fast immer, nur mit den Breakouts werden aus einem Interface ja quasi 4 Interfaces mit unterschiedlichen MACs, das muss definitiv vom PHY unterstützt werden.