[Sammelthread] 10Gbit Homenetzwerk

[DieQuelle]

Hallo Leute,

ich hoffe das ist okay hier Problemchen mit 10Gbit Adaptern zu posten.
Habe mir ein neues NAS zusammengebaut und konnte nun endlich meine vor ca. 6 Monaten gekauften 2 ASUS XG-C100C Adapter verbauen.

Hardware und Setup:

Client 1 ist mein Desktop mit AMD 2700x, 16GB RAM und Asus XG-C100C
NAS Intel Pentium G6400, 16GB RAM und Asus XG-C100C
Client 1 und das NAS sind direkt miteinander verbunden. 10.10.10.1 und 10.10.10.2
Jumbo Frames auf 9014 Bytes auf beiden Adaptern.
Die Daten liegen auf beiden PCs (EDIT PC und NAS) auf einer NVME SSD.
Das NAS hat alle Treiber installiert (Chipset, Management Engine, Rapid Storage)

Als OS kommt Windows 10 und Windows Server 2019 zum Einsatz. Mit UnRaid hatte ich vergleichbare Probleme.

Kopiervorgang von Client 1 zum NAS (26GB Datei)
Das Problem: Der Transfer beginnt mit 1,15Gbit/s (Optimal!) bricht aber nach 3-5 Sekunden ein auf quasi 80Mb/s oder weniger. Danach wieder FullSpeed und immer so weiter.
Der Arbeitsspeicher wird ca. bis 7 GB ausgelastet, wird dann langsam geleert und es geht weiter mit dem Transfer.

Kopiervorgang von NAS zum Client 1 liegt dauerhaft bei 850MB/s.
Damit kann ich leben, wäre natürlich trotzdem schön wenn mehr ginge.

Video vom Kopiervorgang

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Was ist mein Bottleneck?

Grüße und vielen Dank für eure Tipps.

 

[besterino]

Storage im NAS?

 

[DieQuelle]

Storage im NAS?

NVME SSD 256GB

 

[besterino]

Kann halt leider alles mögliche sein, aber ich vermute mal dass die schlapp macht, sobald der SLC-Cache voll ist.

 

[fard dwalling]

Könnte auch Wärmeproblem der NVMe sei. Die drosseln ja teilweise wenn es zu heiß wird, gerade beim Schreibvorgang.

 

[Knut123bert]

...Da von Heizwiderstand zu sprechen, also ich weiss nicht.
Interessant ist ja, das der CSS wohl keinen Kühlkörper hat...

War mehr auf die Aufgabe des Widerstands bezogen, funktioniert aber natürlich auch zuverlässig. An der markierten Spule sind 3,3V zu finden. Der verbaute große Kühlkörper ist gut dimensioniert und nur handwarm. In meinem Modell ist ein kleiner Kühlkörper verbaut und dieser ist zu warm zum anfassen - die ausgelesene Temperatur kommt hin. Ich habe verschiedene längliche Kühlkörper als Ersatz bestellt und werde einen größeren verbauen. Auf die SFP+ Slots könnte man auch einen aufkleben. Das Gehäuse hat ja bereits einige Löcher - mal sehen wie sich das macht.

 

[Weltherrscher]

Was ist mein Bottleneck?

Tippe auch auf SSD-Temp.
Was sagt denn iperf dazu?

 

[DieQuelle]

Was sagt denn iperf dazu?

Volle 10GBit

Spoiler

Ich habe im NAS 2 SSDs verbaut, mit beiden selbes Problem. Eine der SSDs hat einen Kühlkörper direkt drauf mit Wärmeleitpad.
Sicher das sowas so krass bemerkbar ist?

 

[DieQuelle]

Welche SSDs sind es denn? Meine so was bei mir auch schon gesehen zu haben. Und mit den iperf Werten wird es sehr wahrscheinlich am Storage liegen, dass der einfach überfordert ist.

Sorry für die späte Rückmeldung.

Es handelt sich einmal um diese: INTEL SSDPEKKF256G8L und LENSE30256GMSP34MEAT3TA jeweils 256GB.

Konkret also keine "Marken" HW. Ich teste nochmal, leider arbeitet Unraid ja nicht mit einem Raid das ich von höheren Bandbreiten als einer Festplatte profitieren, dementsprechend sind die 1,1Gbit vermutlich sowieso Wunschdenken. (es seiden es wird sofort gecached)

 

[alex.]

Hallo,

ich suche eine Dual Port SFP+ Karte (sehr gerne gebraucht) die unter ESXi 7 (möglichst offiziell supported, ohne gefrickel) vorallem per Passthrough, aber testweise auch unter ESX selbst, arbeiten soll. Dazu eine Single Port Karte unter Windows 10. Lieferzeit ist mir recht egal, das ganze soll möglichst günstig sein. DACs hätte ich. Eingsetzte Switches sind MikroTik CSS326-24G-2S+RM bzw. CSS610-8G-2S+IN.

hat jemand einen Tipp für mich? Die Mellanox ConnectX-3 vielleicht?

Danke!

 

[danielmayer]

Jup.

 

[Weltherrscher]

Du könntest ja mal die gemoddeten CX3 Mezzanine-Module auf PCIe-Adapter ausprobieren:

Mod Mellanox ConnectX - 3 mcx312 wie Dual Port 10 Gigabit Ethernet rmda/ROCE | eBay

Finden Sie Top-Angebote für Mod Mellanox ConnectX - 3 mcx312 wie Dual Port 10 Gigabit Ethernet rmda/ROCE bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

Eventuell wäre das auch was für meinen ESXi, leider hab ich momentan keine SFP+-Ports am Switch mehr übrig. =(

Da haben die Chinesen wohl die normalen Mezzanine-Module genommen, nen SFP+-Käfig samt Hühnerfutter beigelötet und einen Crossflash gemacht.

PS: Von meinem gemoddeten Single-Port-Mezzanine-Modul bin ich vollends überzeugt, das fluppt seit Monaten 24/7 im ESXi.

 

[underclocker2k4]

leider hab ich momentan keine SFP+-Ports am Switch mehr übrig. =(

Sowas lässt sich leicht ändern...

 

[Weltherrscher]

*MRRRH*
Ich guck ja schon...

 

[Dunuin]

Hallo,

Ich hatte auch überlegt mir so einen Aruba Instant On 1930 (JL682A, 175€) und 3x ConnectX-3 (MCX311A-XCAT, je 60€ gebraucht) zu holen. Bin da aber auch etwas verunsichert wegen SFP+ und den ganzen Inkompatibilitäten. Mit 2x Cisco DACs und 2x Cisco Transceivern wäre ich dann ja schon bei rund 425€, damit ich 3 Rechner per 10Gbit verbinden kann. Bin leider immer ziemlich knapp bei Kasse und da ist das dann für mich schon eine Menge Geld und die Aruba DACs/Transceiver sind da echt nicht mehr drin.

Hat da jemand vielleicht ein paar Tipps was ich nehmen könnte?

Ich sehe da jetzt auch nicht wirklich Alternativen zum Aruba Instant On 1930. Stromkosten wären mir wichtig, da ich jetzt schon bei über 50€ Stromkosten im Monat nur für Homeserver und dessen Zubehör bin und da soll der 1930 ja nur wenig Strom verbrauchen (glaube 22W stand im Handbuch). Auch ist der passiv gekühlt was wichtig ist, da ich im selben Raum schlafe. Und dann halt noch 802.1q für VLAN tagging. Dann brauche ich mindestens 3x 10Gbit und 24x Gbit. PoE brauche ich hier eigentlich nicht.
Das nächste, was die Anforderungen erfüllt, wäre der TP-Link T1700G-28TQ für 255€ und danach liegen die alle bei 500€ und mehr.
Was müsste ich denn da bei FS.com nehmen, damit ich eine ConnectX-3 mit dem Aruba verbinden könnte? Die beiden Server und der Switch würden alle gestapelt stehen und 2x 2 Meter DAC sollten da reichen. Win10PC wäre so 8 Meter entfernt und da geht dann ja kein DAC mehr. Da brauchte ich dann wohl 2 Transceiver mit 10-15m Glasfaserkabel.

Wie läuft den das mit den DACs, wenn die auch herstellerkodiert sein müssen und man eine ConnectX-3 mit dem Aruba 1930 verbinden will? The ConnectX will dann ein Mellanox DAC und der Switch ein Aruba-DAC?

Ich habe hier ein Proxmox Server, ein FreeNAS Server und meinen Win10 PC und hätte die gerne per VLAN trunks mit 10Gbit verbunden. 802.1q hätte der Aruba Instant On 1930 ja. Aktuell läuft hier noch alles über 3 unmanaged 1Gbit Switches und 4 Gbit Router ohne VLAN und alles ist physisch über eigene NICs verbunden. Der Proxmox-Server hat aktuell 7x Gbit LAN Ports und eigentlich bräuchte ich noch einen achten...da wäre das schon echt praktisch, wenn ich einfach alles mit VLANs über einen 10Gbit Trunk schicken könnte.

 

[Weltherrscher]

Die Mikrotik CRS305 oder CRS309 sagen dir nicht zu?
125 € und 210 € für 4 oder 8 10G-Ports und beide passiv.
VLAN-Tagging können die auch (bissi umständlicher zu konfigurieren, aber vollwertig).
Dazu stellste halt nochn günstigen CR(!)S326 für die GBit-Ports.
Dann sollte dir auch der CRS305 reichen, der CRS326 hat ja auch schon zwei SFP+.

Die Switche fressen definitv fast alle Transceiver, die dir so unter kommen.
Die Mellis gibts in der Bucht auch definitiv günstiger als 60 €:

Mellanox ConnectX-3 MCX311A-XCAT EN 10G Ethernet SFP+ Network Card LOT 1M 3M | eBay

Entdecken Sie Mellanox ConnectX-3 MCX311A-XCAT EN 10G Ethernet SFP+ Network Card LOT 1M 3M in der groÃen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

 

[underclocker2k4]

Der Aruba nimmt nach den letzten Diskussionen hier wohl auch jeden SFP...

PS: CRS305 + CRS326 = 280EUR, also 100EUR mehr als der Aruba...

 

[sch4kal]

Gibt auch noch genug Alternativen von Dell, HPE, Brocade,...

 

[underclocker2k4]

Welche davon sind passiv?

 

[nasenbram]

Der Aruba Instant On 1930 kann mit den HPE Transceiver und DAC's gut.

Ich hab den Switch und ConnectX-3 auch und es geht.

 

[Weltherrscher]

Der Aruba nimmt nach den letzten Diskussionen hier wohl auch jeden SFP...

PS: CRS305 + CRS326 = 280EUR, also 100EUR mehr als der Aruba...

Ja, aber die drei Mellis bekommt er für insgesamt ca. 70 € damit spart er ja auch 110 € =)
Und DACs nimmt er die günstigsten, die in der Bucht so rum treiben.

Aber wenn der Aruba auch alles schluckt, dann ists doch gut, muss man sich eben nur noch mit der Update-Politik anfreunden. =)

 

[sch4kal]

Welche davon sind passiv?

Wenn man die Lüfter ausbaut, alle

 

[craxity]

...muss man sich eben nur noch mit der Update-Politik anfreunden. =)

Was meinst du?

 

[Weltherrscher]

Updates gibts online nur mit Cloud-Acc.
Offline erst etwas später, wenn ich mich recht entsinne.
Auf Seite 136 / 137 hier im Thread gehts um das Cloud-Gedöns des Switches.

 

[Dunuin]

Updates gibts online nur mit Cloud-Acc.
Offline erst etwas später, wenn ich mich recht entsinne.
Auf Seite 136 / 137 hier im Thread gehts um das Cloud-Gedöns des Switches.

Gut, das würde mich jetzt nicht so stören. Soll ja per WebGUI laufen und zur Not kann man den Cloud Kram ja bestimmt per Firewall blocken und nur kurz zum Updaten öffnen.

Ja, aber die drei Mellis bekommt er für insgesamt ca. 70 € damit spart er ja auch 110 € =)
Und DACs nimmt er die günstigsten, die in der Bucht so rum treiben.

Aber wenn der Aruba auch alles schluckt, dann ists doch gut, muss man sich eben nur noch mit der Update-Politik anfreunden. =)

Aus Deutschland sehe ich die ConnectX-3 immer nur für 60€. Aus China auch mal für 30€. Kann man die denn bedenkenlos aus China kaufen, solange man mit Paypay bezahlt? Bei meiner Intel i350-T4 sollte man das ja z.B. nicht, weil da aus China so gut wie alles Fakes sein sollten.

Der Aruba Instant On 1930 kann mit den HPE Transceiver und DAC's gut.

Ich hab den Switch und ConnectX-3 auch und es geht.

Super, Danke. Welche DACs hast du da genau die gehen?

 

[craxity]

Kann man die denn bedenkenlos aus China kaufen, solange man mit Paypay bezahlt?

Kann man grundsätzlich machen. Die Lieferung dauert halt etwas und man muss auf die Einfuhrumsatzsteuer achten.

 

[Weltherrscher]

Ich hab alle meine Mellis aus China, eine sogar als dieses gemoddete Mezzanine-Board.
Bisher kein Stress, die eine (richtige) CX3 läuft seit mehr als anderthalb Jahren 24/7.
Die andere seitdem ESXi 7 raus kam (hat die nicht mehr supportete CX2 ersetzt, auch 24/7 ohne Stress).
Selbst, wenn die erste mir jetzt kaputt gehen sollte, wen juckts, hab damals glaube nen Fuffi für bezahlt.
Einzig Geduld brauchste halt, vier bis sechs Wochen. =)
Wenn du DACs dazu brauchst, schau dich mal bei den Kombi-Angeboten um, bei mir war immer ein 1 m oder 3 m DAC dabei.
Hab da welche gebrandet auf Cisco, Mellanox und Intel bekommen, fluppen alle einwandfrei.

 

[Dunuin]

Ok. Habe mir jetzt 3x MCX311A-XCAT + 1x 3m DAC aus China für 117,90 EUR bestellt. Wenn dann noch 19% Einfuhrsteuer draufkommen wären das 140€. Dann warte ich erst einmal bis die NICs ankommen und kann dann ja mit dem DAC im Direktlink schon einmal testen, ob die NICs auch funktionieren. Wenn da alles läuft würde ich dann noch 2x Transceiver (zsm 52,40€), 15m LWL (was genau bräuchte ich da?) und ein zweites DAC (würde der HPE H3C JD097C DAC für 15,50€ gehen?) von FS und den Aruba 1930 für 180€ von Mindfactory bestellen.

Oder sieht da noch jemand bessere Angebote auf eBay die zwischen ConnectX-3 und Aruba gehen sollten?
Hätte das hier z.B. noch auf eBay gefunden: https://www.ebay.de/itm/Mellanox-Gl...589864?hash=item3d6763a9e8:g:Ho4AAOSw9NhbEB99
Aber ist dann wieder die Frage ob die Cisco Transceiver problemlos mit beiden Geräten laufen würden.

 

[nasenbram]

Super, Danke. Welche DACs hast du da genau die gehen?

HPE J9283B Kompatibles 10G SFP+

 

[Weltherrscher]

Nehm die Finisar in der Bucht.
Habe damals hier zugeschlagen:

4X Finisar FTLX1471D3BCL 10Gb LR 1310NM 10KM SFP Transceiver 10000BaseLC Single online kaufen | eBay

Entdecken Sie 4X Finisar FTLX1471D3BCL 10Gb LR 1310NM 10KM SFP Transceiver 10000BaseLC Single in der großen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

Leider ausverkauft und war für 15 € ein unschlagbares Angebot für zwei von den Dingern.
Dazu 15 m LC/LC-Single-Mode-Kabel bei fs.com für 6,40 € und gut.
Hab ne Dämpfung von ca. 1 dBm oder so.