[Sammelthread] 10Gbit Homenetzwerk

GuNa schrieb:
Kurze Rückmeldung und falls ein 10GB Anfänger über das selbe Problem stolpert:
Heute kam der Transceiver von FS an und, nach Update der Treiber in OMV, hat es geklappt!! :banana:
Was mich irritiert hat war die Tatsache das am Switch die LED erst angeht wenn eine Verbindung zustande kommt. Ich hatte es aus der Beschreibung so verstanden das die LED angeht wenn der Transceiver eingesetzt ist auch ohne Kabel...:rolleyes2: .
Im Log des Switches habe ich erst durch diese Meldung:
This transceiver of Te1/0/27 is NOT sold by TP-LINK. TP-LINK therefore shall NOT guarantee the normal function of the device or assume the maintenance responsibility thereof.

gecheckt das der Receiver erkannt wurde aber die LED nicht angeht...

Nächster Schritt ist zwei weitere FS-Transceiver zu bestellen und die PVE Server anbinden. Was mich zu der Frage führt welche 10GB Karte hier in Frage kommt?
Ins Auge gefasst habe ich folgende Karten:
- QNAP QXG-10G1T Netzwerkkarte
- Asus XG-C100C 10G

Habt Ihr eine Empfehlung für mich?

Nochmals vielen Dank für Eure Unterstützung! (y)

PS. Eine Verständnisfrage:
Wenn im Switch Jumbo Frames für die 10 GB Verbindung aktiviert wird - müssen alle Clients/Server dann auf Jumbo Frame geschaltet werden. Sprich auch die Systeme die mit 1 GB Verbindung an den Switch gehen?
Zum Vergrößern anklicken....

Lass die Jumbo Frames weg, sehr viele Geräte kommen damit leider nicht klar, wenn die PMTUd nicht korrekt implementiert oder fehlerhaft ist.
Bzgl. NICs würde ich eher zu Intel/Mellanox raten, also Mellanox ConnectX-2/3, Intel X520-DA1/2, usw. die beherrschen auch "advanced" Features, die du in PVE evtl. nutzen könntest, z.B. SR-IOV uvm.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich stoße hier jetzt auch mal dazu...

Ich habe einen IBM X3850 X5 (4x Xeon E7-8870, 1TB RAM) und einen Cisco UCS C460 M4 (4x Xeon E7-4880v2, 1TB RAM), zwei weitere Server sollen noch folgen (Vermutlich ein Dell, auch mit 4x Xeon E7-4880v2 und eine umfunktionierte Kiste mit Threadripper 1950X als GPU Cluster).

Beide werden demnächst in unser Mansardenzimmer (Stockwerk obendrüber, anderes Ende vom Haus) ausgelagert.
Plan ist aktuell folgender:
Die Kisten werden lokal alle per SFP+ oder sogar QSFP (abhängig davon, welche Karten ich so in die Finger bekomme), also 40GBit, verbunden. Der Cisco Server hat insgesamt 4*10GBit (SFP+), 2*10GBit RJ45, 2*1Gbit RJ45 und 1*100M Management. Für den IBM Server muss ich noch Netzwerkkarten kaufen, der hat regulär nur 2*1GBit.
Also, long story short: Zwischen den Kisten sollte am Ende der maximal mögliche Datendurchsatz erreicht werden.
SFP+ Switche sind ja zum Glück (Danke, Mikrotik - oder eben Gebrauchtware) nicht sooo sehr teuer.

Das einzige Problem wird der Uplink zwischen meinem Arbeitsplatz und dem Mansardenzimmer.
Aktueller Plan: 2*CAT7 außen am Haus rum (~30m schätze ich), sind leider zwei Fensterdurchführen.
Bin mal gespannt, was dann noch so an Datenrate übrig bleibt und wie es mit Verbindungsstabilität und Paketverlust aussieht.
Im besten Fall habe ich am Ende 20GBit uplink.
 
30 Meter sind bei Cat 6a für 10Gbit kein Thema. Außenbereich ist eher die UV-Strahlung und Wasser das Problem.
Darf man Fragen, was auf den Kisten berechnet werden muss? Falls deine Anwendung entsprechend skaliert und dafür programmiert wurde, dürfte 100Gbit Infiniband angesagt sein.
Für viele hier ist die Leistungsaufnahme im Leerlauf und unter Last bestimmt auch interessant, falls du das messen könntest.
 
Mir macht weniger die Distanz Sorgen. Die zwei(!) Fensterdurchführungen, da mache ich mir eher Sorgen.
Zum Einen wird zumindest das eine Fenster mindestens zwei mal pro Tag geöffnet -> Haltbarkeit der Fensterdurchführungen.
Zum Anderen sind die Fensterdurchführungen nicht abgeschirmt...
Das ganze wird in UV-beständigem Wellrohr verlegt, das sollte dann einigermaßen problemlos langzeittauglich sein. Für Wasser muss ich mir noch was einfallen lassen. Ich denke IP67 Verteilerdosen sollten ausreichen.

Die Kisten werden hauptsächlich als Compilesklave und Testplatform genutzt werden. Zum Anderen werden da dann auch mein eigener HPC-Simulationsfoo drauf laufen, der allerdings explizit darauf ausgelegt ist, möglichst wenig Netzwerkbandbreite zu brauchen (ohne dabei langsamer zu sein als das, was die Konkurrenz so bastelt).

Die Server brauchen im Leerlauf jeweils so 500-600W, ich schaue, dass ich die Tage ggf. nochmal genauere Zahlen liefere. Die IBM Kiste verbraucht laut Steckdosenzähler in IDLE und unter Volllast (CB) so ziemlich dasselbe.
Klar ist der Stromverbrauch heftig, aber das ist im Moment so ziemlich das höchste der Gefühle im bezahlbaren Rahmen.
Die Kisten werden auch die meiste Zeit vom Netz getrennt sein und nur On Demand hochgefahren. Wird wohl auch Tage geben, an denen sie gar nicht angeschaltet werden.
Im Standby brauchen die Kisten übrigens so ~40W (mit allen Netzteilen angeschlossen).
 
Hier noch eine Rückmeldung von meiner Seite.
Liste der Komponenten die ich jetzt verwende in Verbindung mit dem TP-Link T1700G-28QT:
- Karte für Windows Client: QNAP QXG-10G1T
- Karte für PVE Server (Asrock X470D4U): 10Gtek® 10GbE PCIE Netzwerkkarte für Intel X520-DA1-82599ES Chip
- DAC Kabel: 10Gtek® 10Gb/s SFP+ Kabel 3-Meter, SFP+ Direct Attach Tinax Passiv DAC (PVE <-> Switch)
- Transceiver für Switch: SFP+ Transceiver Modul - Generisch Kompatibel 10GBASE-T SFP+ Kupfer RJ-45 30m von FS
- Das NAS Terramaster F5-422 hat einen Aquantia AQC107 Chip bereits eingebaut. Soweit ich weis gibt es für FreeNAS keinen offiziellen Treiber aber in Linux ist der Treiber vorhanden - daher läuft auf dem NAS Openmediavault.
- Kein Jumbo Frame aktiviert
Performance Tests habe ich noch nicht durchgeführt. Kommt vielleicht noch wenn ich Zeit habe.

Vielen Dank für Eure Unterstützung, Tipps und sehr hilfreichen Hinweise!! (y):d
 
Und da sag mal einer nur ASRock wäre kreativ im HW Bereich.
www.servethehome.com

Netgear MS510TX Review This Is One Funky Switch

The Netgear MS510TX is absolutely one funky switch. In our review, we see what makes this 10-port multi-gig and 10GbE switch easy to appreciate
www.servethehome.com www.servethehome.com
Code: 
    4-port RJ-45 Gigabit Ethernet 10M/100M/1G
    2-port RJ-45 Multi-Gigabit Ethernet IEEE 802.3bz (NBASE-T) 100M/1G/2.5G
    2-port RJ-45 Multi-Gigabit Ethernet IEEE 802.3bz (NBASE-T) 100M/1G/2.5G/5G
    1-port RJ-45 10-Gigabit Ethernet Copper (100M/1G/2.5G/5G/10GBASE-T)
    1-port SFP+ 10-Gigabit Ethernet Fiber (1G/10GBASE-X SFP+)
 
Also mir fehlt noch 10BASE5 (aka Yellow Cable) und 10BASE2 (aka Coax). Um auf Nimmer sicher zu gehen, dass man auch nichts vergessen hat, würde ich zur Sicherheit noch StarLAN mit reinnehmen, wer weiß was kommt.
 
Nur meine persönliche Meinung: in 99,9% der Fälle macht das Ding keinen Sinn. Eher so ein Jack of all trades, master of none.
 
Erinnert ihr euch an meine DaisyChain/Bridging-Dreier-Frage aus dem November?
Nach langem Überlegen und dem Zufall, dass nun ein XS508M im Angebot ist, probiere ich es nun doch mit Switch.
Ich werde berichten, wenn er da ist. Wird mit drei AQC107 zusammen laufen, also alles eher low-budget.
Selbst im Server entschied ich mich nun für so eine, weil sie einfach so klein ist. Andernfalls bekäme ich Probleme den Raid-Controller ordentlich gekühlt zu bekommen, dieser Hitzkopf...
 
Zuletzt bearbeitet:
War da nicht mal was mit Problemen Netgear 10G + Aquantia ? Ich meine , mir war so. Kann mich aber auch täuschen.
Meine einzelne AQC NIC (für Versuche per Transceiver an dem SFP+) mag mein XS708E gar nicht ...läuft nur in Send-Richtung stabil und schnell.

Mit meinen X540/X550 dagegen null Stress.
 
underclocker2k4 schrieb:
Dafür gibt es SFP56.
QSFP+/QSFP28 sind out.
Wenn QSFP dann -DD.
Zum Vergrößern anklicken....
SFP56 ok, aber QSFP-DD wäre bei so einem Switch völlig überdimensioniert. QSFP+ dürfte mittlerweile günstig genug geworden sein, zumindest besser als SFP+ Uplinks.
 
Trambahner schrieb:
War da nicht mal was mit Problemen Netgear 10G + Aquantia ?
Zum Vergrößern anklicken....
Ich hab den Post, den du wohl gelesen/gemeint hast, im 5G Thread gefunden. Google ergab jetzt auf die Schnelle nichtsdazu . 10G ist aber halt auch nicht sonderlich verbreitet.
In meinem NAS ist halt auch eine AQC107 fest verbaut. Daher dachte ich mir, dass ich bei den andern NICs jetzt auch gleich bei günstig bleiben kann....
Zwischen NAS und PC direkt tun sie auch was sie sollen. Dann heißt es wohl abwarten und dann ausprobieren. Vielleicht war es ja nur ein Treiberproblem bei ihm*ihr - hoffe ich mal.
 
Trambahner schrieb:
War da nicht mal was mit Problemen Netgear 10G + Aquantia ? Ich meine , mir war so. Kann mich aber auch täuschen.
Meine einzelne AQC NIC (für Versuche per Transceiver an dem SFP+) mag mein XS708E gar nicht ...läuft nur in Send-Richtung stabil und schnell.

Mit meinen X540/X550 dagegen null Stress.
Zum Vergrößern anklicken....

Wie bereits bei einer früheren Frage geschrieben: AQC107 (Netzwerkzusatzkarte vom MSI X570 Godlike) in Verbindung mit einem XS708T funktioniert hervorragend.
 
Der XS508M ist da und läuft nun mit drei AQC107.
Lautstärke fällt mir im Moment nicht negativ auf, aber er wird schon sehr warm.
Bei der Geschwindigkeit komme ich auf etwa 7Gbit/s bei Kopieren über Samba M.2 SSD -> M.2 SSD. Gut möglich, dass da eine der SSDs limitiert.
 
Hast du bei den Netzwerkkarten alles auf Standard oder was verändert?
 
Bei der einen hatte ich mal irgendwelche Buffereinstellungen verändert. Die andere ist ganz frisch eingebaut und da wurde nichts umgestellt.
Die dritte ist im NAS, da habe ich eh keinen direkten Zugriff auf irgendwelche Einstellungen, die über Jumbo Frames hinausgehen.
 
Ein Update zum Switch: nach nicht mal einer Woche in Betrieb ist der Lüfter merklich lauter geworden. Klingt nach billigem Kugellager. Werde ihn wohl durch einen Noctua ersetzen. Hat jemand die Specs was nötigen Luftdurchsatz etc angeht?
 
Ich warte ja immer noch drauf das die 8-16 Port 10G Switche passiv erscheinen, aber mit den jetzigen Chips ist das wohl nicht möglich,wenn überhaupt!
 
Ich habe folgenden Situation:

Ein Windows PC mit eingebauter Intel X710-DA2, die mit einer Unifi XG6POE verbunden ist. An zwei 10GbE Ports der Switch, ist ein NAS mit zwei 2,5GbE Ports (Realtek RTL8125) angeschlossen.
Laut Datenblatt der Switch und des NAS sollen beide 802.3ad unterstützen.

Wenn ich nun im NAS die beiden LAN-Anschlüsse auf 802.3ad einstelle und in der Switch die beiden Ports auf Aggregation konfiguriere, bekomme ich eine Netzwerkadresse und kann auch drauf zugreifen. Soweit erstmal alles OK.
Aber die Datenrate steigt nicht über 2.5Gbit. Man sieht auch an der Aktivitäts-LED des einen Ports an der Switch, das dieser nur das normale Standby blinken hat, aber nichts übertragen wird.

Hat jemand eine Idee oder Erfahrung mit der Unifi Switch, was dort einzustellen ist oder was ich übersehen habe?
 
@Swp2000 von Mikrotik gibt’s einen passiven 8 Port (SFP+) Switch.
 
@DerMalle standardmäßig arbeitet LACP meiner Erfahrung nach meist für Redundanz. Die zweite bleibt inaktiv solange die erste funktioniert. Du musst im Switch schauen, ob du eine Einstellung zum load balancing findest, da gibt es eine ganze Reihe verschiedener Algorithmen, nach IP oder MAC, Empfänger oder Sender.

meine Erfahrung ist: doppelte Geschwindigkeitbleibt ein Traum. Hat so nie geklappt bei mir.
 
@Badrig

Danke schon mal für die Antwort. Ich werde mal mit den Einstellungen im NAS rumprobieren.
Alternativ bleibt noch die Netgear Prosafe XS508M Switch. Angeblich hat der Hersteller des NAS damit den LAG ans laufen bekommen.
 
Badrig schrieb:
@DerMalle standardmäßig arbeitet LACP meiner Erfahrung nach meist für Redundanz. Die zweite bleibt inaktiv solange die erste funktioniert. Du musst im Switch schauen, ob du eine Einstellung zum load balancing findest, da gibt es eine ganze Reihe verschiedener Algorithmen, nach IP oder MAC, Empfänger oder Sender.

meine Erfahrung ist: doppelte Geschwindigkeitbleibt ein Traum. Hat so nie geklappt bei mir.
Zum Vergrößern anklicken....
Weiß nicht was du wie wo eingestellt hast, aber LACP verteilt im Regelfall Traffic immer auf allen vorhandenen Verbindungen, vorausgesetzt deine Anwendung baut nicht nur eine Verbindung auf.
 
DerMalle schrieb:
@Badrig

Danke schon mal für die Antwort. Ich werde mal mit den Einstellungen im NAS rumprobieren.
Alternativ bleibt noch die Netgear Prosafe XS508M Switch. Angeblich hat der Hersteller des NAS damit den LAG ans laufen bekommen.
Zum Vergrößern anklicken....

Lass das mit dem LAG/LACP, das klappt um den Zugriff von mehreren Clients auf einen Server zu Beschleunigen, aber nicht für eine 1 zu 1 Verbindung. Das Ganze mit RoundRoubin Bonding ist auch eher so eine Basteltellei.
Für was willst du das nutzen? Wenn es nicht Storage für HyperV ist, mach einfach SMB Multichannel. Das müsste auch so rum recht einfach und zuverlässig klappen.
Sonst bleibt dir noch Multipath iSCSI.
Beitrag automatisch zusammengeführt:

sch4kal schrieb:
Weiß nicht was du wie wo eingestellt hast, aber LACP verteilt im Regelfall Traffic immer auf allen vorhandenen Verbindungen, vorausgesetzt deine Anwendung baut nicht nur eine Verbindung auf.
Zum Vergrößern anklicken....
Das kommt ganz auf das hash-Verfahren an, und klappt oft eher so mittel. Auch meine Erfahrung.
Da die meisten Hash auf Mac und IP beruhen bringt es bei einer 1 zu 1 Verbindung nix.
 
@sch4kal
Im NAS kann ich die im Bild eingefügten Einstellungen auswählen.

@Stueckchen
Es geht um Benchmarks, um NAS-Geräte zu testen. Rein nur um die Leistungsfähigkeit beurteilen zu können.
Als Software kommt CrystalDiskMark 6.0.2 / 7.0.0 und LanSpeedTest zum Einsatz

€dit
Nicht an den IP Adressen stören, die wurden bereits geändert.
 

Anhänge

  • 2020-02-23 12_16_17-AS5304T-1267.png
    2020-02-23 12_16_17-AS5304T-1267.png
    29,3 KB · Aufrufe: 156
  • 2020-02-23 12_16_36-AS5304T-1267.png
    2020-02-23 12_16_36-AS5304T-1267.png
    57,6 KB · Aufrufe: 163
@DerMalle Ich habe die beste Erfahrung mit SMB Multichannel gemacht. Wenn es von Server/NAS zu Windows geht.
Das ging bisher immer Problemlos. Du brauchst halt nur an beiden seiten zwei IPs (oder mindestens bei Windows).

Bei RoundRubin über einen Switch habe ich bisher nicht hinbekommen, vll muss man da mit VLANs arbeiten.
 
Anmelden, um zu antworten.

Ähnliche Themen

M
Proxmox - Netzwerk mit Broadcom NIC
Antworten
10
Aufrufe
2K
Nemetron
Nemetron
M
[User-Review] Switch im Lesertest: Testet den QNAP QSW-M2108R-2C!
Antworten
6
Aufrufe
895
mbrhwl
M
xmogelx
[User-Review] Lesertest mit ADATA/XPG und ASUS - XPG Invader X BTF - ASUS TUF Gaming Z790-BTF WiFi
Antworten
0
Aufrufe
219
xmogelx
xmogelx
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh