[Sammelthread] 10Gbit Homenetzwerk

Wie gesagt, der geht, wenn ich Port 1 der X722 auf Port 2 der X722 verbinde. Kein Error, stattdessen sofort ein 10G Link Up. Gleiches mit dem optischen Transceiver. Der Hobel geht also, er will bloß nicht mit anderen spielen..?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Macht die ConnectX den nen Link mit anderen NICs?
 
Hab aktuell keine anderen Karten außer dem CX3-Pärchen mehr da, aber ja, ging schon, auch seinerzeit mit dem DAC und mehreren verschiedenen optischen SFPs. Die Mellanox hab ich eigentlich nicht im Verdacht, da bisher absolut pflegeleicht.
 
Hallo zusammen,

Hab mir auf Ebay Günstig? für 50.- 2 Melanox Connect X3 mit DAC ergattert. Gibt nun direktverbindung von NAS zu PC.

Code: 
C:\Users\Haldi\Downloads\iperf>iperf3.exe -c 192.168.3.2
Connecting to host 192.168.3.2, port 5201
[  4] local 192.168.3.1 port 64253 connected to 192.168.3.2 port 5201
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec   963 MBytes  8.08 Gbits/sec
[  4]   1.00-2.00   sec   951 MBytes  7.97 Gbits/sec
[  4]   2.00-3.00   sec   940 MBytes  7.89 Gbits/sec
[  4]   3.00-4.00   sec   879 MBytes  7.37 Gbits/sec
[  4]   4.00-5.00   sec   936 MBytes  7.86 Gbits/sec
[  4]   5.00-6.00   sec   942 MBytes  7.90 Gbits/sec
[  4]   6.00-7.00   sec   955 MBytes  8.01 Gbits/sec
[  4]   7.00-8.00   sec   949 MBytes  7.96 Gbits/sec
[  4]   8.00-9.00   sec   949 MBytes  7.96 Gbits/sec
[  4]   9.00-10.00  sec   908 MBytes  7.62 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec  9.15 GBytes  7.86 Gbits/sec                  sender
[  4]   0.00-10.00  sec  9.15 GBytes  7.86 Gbits/sec                  receiver

iperf Done.

Das es nur knapp effektive 8.7Gbit/sec sind liegt am Overhead und ist Normal oder?
Server ist ein HP Microserver Gen8 mit Xeon 1265L da sollte genügend Leistung vorhanden sein.

Strommässig geht der PC von 110W Idle zu 117W unter Iperf in einem 30sek Mittelwert.
Idle Ohne Melanox Connect X3 verbaut hab ich leider nicht getestet.
 
Haldi schrieb:
Das es nur knapp effektive 8.7Gbit/sec sind liegt am Overhead und ist Normal oder?
Zum Vergrößern anklicken....
Das liegt am nicht mehr aktualisierten iperf für Windows. Es gibt zwar angepasste Versionen, aber die sind nicht offiziell.
Versuch mal -P 4 anzuhängen.
 
Die CX3 kann kein richtiges ASPM, 3-5W haste da an Grundrauschen mehr.
 
oNyX` schrieb:
Die CX3 kann kein richtiges ASPM, 3-5W haste da an Grundrauschen mehr.
Zum Vergrößern anklicken....
nicht nur das, Sie limitiert auch die C-States .... drum bin ich zurück bei 2,5GBit
hier daheim reichts weit .... nur die Backups dauern leider länger. Aber ich hab eh nicht die Datenmenge daheim wie viele der Film/Blueray Horder

bei mir reichen atm ca 200GB Hot und 2TB Cold für Backups (aka 2TB Hot Backup und 14TB Cold Backupstorage)
:)
 
Zuletzt bearbeitet:
pumuckel schrieb:
nicht nur das, Sie limitiert auch die C-States .... drum bin ich zurück bei 2,5GBit
Zum Vergrößern anklicken....
welche Hardware mit welcher Software?
Also welche Karte und welches OS auf dem NAS/ Server ?

ich würde gerne bei FreeBSD und ZFS bleiben, wenn möglich ...
 
BobbyD schrieb:
Versuch mal -P 4 anzuhängen.
Zum Vergrößern anklicken....
Oh... Joa 4 Streams Parallel laufen einwandfrei.

Code: 
C:\Users\Haldi\Downloads\iperf>iperf3.exe -P 4 -c 192.168.3.2
Connecting to host 192.168.3.2, port 5201
[  4] local 192.168.3.1 port 49341 connected to 192.168.3.2 port 5201
[  6] local 192.168.3.1 port 49342 connected to 192.168.3.2 port 5201
[  8] local 192.168.3.1 port 49343 connected to 192.168.3.2 port 5201
[ 10] local 192.168.3.1 port 49344 connected to 192.168.3.2 port 5201
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec   282 MBytes  2.37 Gbits/sec
[  6]   0.00-1.00   sec   283 MBytes  2.37 Gbits/sec
[  8]   0.00-1.00   sec   285 MBytes  2.39 Gbits/sec
[ 10]   0.00-1.00   sec   279 MBytes  2.34 Gbits/sec
[SUM]   0.00-1.00   sec  1.10 GBytes  9.46 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   1.00-2.00   sec   282 MBytes  2.37 Gbits/sec
[  6]   1.00-2.00   sec   281 MBytes  2.36 Gbits/sec
[  8]   1.00-2.00   sec   286 MBytes  2.40 Gbits/sec
[ 10]   1.00-2.00   sec   279 MBytes  2.34 Gbits/sec
[SUM]   1.00-2.00   sec  1.10 GBytes  9.47 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   2.00-3.00   sec   283 MBytes  2.38 Gbits/sec
[  6]   2.00-3.00   sec   282 MBytes  2.36 Gbits/sec
[  8]   2.00-3.00   sec   286 MBytes  2.40 Gbits/sec
[ 10]   2.00-3.00   sec   278 MBytes  2.33 Gbits/sec
[SUM]   2.00-3.00   sec  1.10 GBytes  9.47 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   3.00-4.00   sec   281 MBytes  2.36 Gbits/sec
[  6]   3.00-4.00   sec   282 MBytes  2.36 Gbits/sec
[  8]   3.00-4.00   sec   285 MBytes  2.39 Gbits/sec
[ 10]   3.00-4.00   sec   279 MBytes  2.34 Gbits/sec
[SUM]   3.00-4.00   sec  1.10 GBytes  9.45 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   4.00-5.00   sec   280 MBytes  2.35 Gbits/sec
[  6]   4.00-5.00   sec   283 MBytes  2.37 Gbits/sec
[  8]   4.00-5.00   sec   286 MBytes  2.40 Gbits/sec
[ 10]   4.00-5.00   sec   280 MBytes  2.35 Gbits/sec
[SUM]   4.00-5.00   sec  1.10 GBytes  9.47 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   5.00-6.00   sec   281 MBytes  2.36 Gbits/sec
[  6]   5.00-6.00   sec   282 MBytes  2.37 Gbits/sec
[  8]   5.00-6.00   sec   285 MBytes  2.39 Gbits/sec
[ 10]   5.00-6.00   sec   279 MBytes  2.34 Gbits/sec
[SUM]   5.00-6.00   sec  1.10 GBytes  9.46 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   6.00-7.00   sec   283 MBytes  2.37 Gbits/sec
[  6]   6.00-7.00   sec   282 MBytes  2.37 Gbits/sec
[  8]   6.00-7.00   sec   284 MBytes  2.38 Gbits/sec
[ 10]   6.00-7.00   sec   277 MBytes  2.33 Gbits/sec
[SUM]   6.00-7.00   sec  1.10 GBytes  9.45 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   7.00-8.00   sec   282 MBytes  2.37 Gbits/sec
[  6]   7.00-8.00   sec   283 MBytes  2.38 Gbits/sec
[  8]   7.00-8.00   sec   284 MBytes  2.38 Gbits/sec
[ 10]   7.00-8.00   sec   277 MBytes  2.32 Gbits/sec
[SUM]   7.00-8.00   sec  1.10 GBytes  9.45 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   8.00-9.00   sec   284 MBytes  2.38 Gbits/sec
[  6]   8.00-9.00   sec   282 MBytes  2.36 Gbits/sec
[  8]   8.00-9.00   sec   285 MBytes  2.39 Gbits/sec
[ 10]   8.00-9.00   sec   278 MBytes  2.33 Gbits/sec
[SUM]   8.00-9.00   sec  1.10 GBytes  9.46 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   9.00-10.00  sec   283 MBytes  2.37 Gbits/sec
[  6]   9.00-10.00  sec   283 MBytes  2.38 Gbits/sec
[  8]   9.00-10.00  sec   285 MBytes  2.39 Gbits/sec
[ 10]   9.00-10.00  sec   277 MBytes  2.33 Gbits/sec
[SUM]   9.00-10.00  sec  1.10 GBytes  9.47 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec  2.76 GBytes  2.37 Gbits/sec                  sender
[  4]   0.00-10.00  sec  2.76 GBytes  2.37 Gbits/sec                  receiver
[  6]   0.00-10.00  sec  2.76 GBytes  2.37 Gbits/sec                  sender
[  6]   0.00-10.00  sec  2.76 GBytes  2.37 Gbits/sec                  receiver
[  8]   0.00-10.00  sec  2.78 GBytes  2.39 Gbits/sec                  sender
[  8]   0.00-10.00  sec  2.78 GBytes  2.39 Gbits/sec                  receiver
[ 10]   0.00-10.00  sec  2.72 GBytes  2.33 Gbits/sec                  sender
[ 10]   0.00-10.00  sec  2.72 GBytes  2.33 Gbits/sec                  receiver
[SUM]   0.00-10.00  sec  11.0 GBytes  9.46 Gbits/sec                  sender
[SUM]   0.00-10.00  sec  11.0 GBytes  9.46 Gbits/sec                  receiver

iperf Done.
 
pumuckel schrieb:
mit BSD hab ich zu wenig Erfahrung bzgl C States
Zum Vergrößern anklicken....
Ich frag ja nur , welche Karte du unter welcher Software einsetzt. Hardwaresupport muss ich selber nachschlagen

Wäre an sich auch eine Lösung, weil alles besser als 1Gbit rum Gehumpel
 
Strikeeagle1977 schrieb:
Ich frag ja nur , welche Karte du unter welcher Software einsetzt. Hardwaresupport muss ich selber nachschlagen

Wäre an sich auch eine Lösung, weil alles besser als 1Gbit rum Gehumpel
Zum Vergrößern anklicken....
ich hatte (und habe) mehrere MCX311A-XCAT
die sind auch noch im Einsatz, jedoch nur in "on demand" Systemen die ich starte wenn ich sie brauche (dafür hab ich mir nun 3 der Gigabyte MC12-LE0 geholt (vorher teils noch S2011-3 und S1151 Systeme)
bei denen war und ist es egal, denn die kamen eh nie unter C3 (und dazu ist in einem der Systeme eine Broadcom 9300-16i die eh nicht sehr sparsam ist)

den S1151 Systemen trauere ich nicht nach, aber dem S2011-3 (X10-SRL-F) ... das bekommt einen Pflegeplatz solange es noch "lebt" :)
 
Zuletzt bearbeitet:
Mit meiner ConnectX-2 bekomme ich aber bis C6 hin. Und apsm kann ich auch forcieren
 
pumuckel schrieb:
ich hatte (und habe) mehrere MCX311A-XCAT
die sind auch noch im Einsatz, jedoch nur in "on demand" Systemen die ich starte wenn ich sie brauche (dafür hab ich mir nun 3 der Gigabyte MC12-LE0 geholt (vorher teils noch S2011-3 und S1151 Systeme)
bei denen war und ist es egal, denn die kamen eh nie unter C3 (und dazu ist in einem der Systeme eine Broadcom 9300-16i die eh nicht sehr sparsam ist)

den S1151 Systemen trauere ich nicht nach, aber dem S2011-3 (X10-SRL-F) ... das bekommt einen Pflegeplatz solange es noch "lebt" :)
Zum Vergrößern anklicken....
Ich glaube, wir haben uns missverstanden ...

Ich wollte auf deine 2,5Gbit Lösung hinaus. Evtl kann ich die im N54L realisieren ...
 
Ich habe mit der MTU ein paar Test gemacht. Die 10GBit Verbindung schafft ca. 5..5 GBit/s, bei einer MTU von 1492, daraufhin habe diese auf 9000 erhöht. Danach konnte ich mit iperf zwei- bis dreimal ~10GBit/s erreicht, danach wieder nur ~5 GBit/s. Das kann ich mir nur mit Überhitzung erklären? Hat jemand andre Ideen?
Ich habe nun von Clients noch mal die Internet MTU ermittelt das Ergebnis war 1424, das ist recht gering.

Gibt es eine Möglichkeit für das LAN Verbindungen eine 9000er und für WAN Verbindungen eine 1424 MTU festzulegen? Weil entweder kann ich im LAN nicht die maximal Performance nutzen oder das WAN läuft nicht richtig rund. 🤔
 
bbott schrieb:
Ich habe mit der MTU ein paar Test gemacht.
Zum Vergrößern anklicken....
Die MTU hat damit nichts zu tun, dein Problem liegt woanders. Überhitzung halte ich so schnell auch für ziemlich ausgeschlossen. Zeig mal ein paar Screens von deinem iperf und beschreibe deine Hardware.
 
kurze Frage in die Runde zu einer 10G Karte.

Ich hab mir eine Solarflare S7120 angelacht, sollte statt einer älteren Chelsio doch wesentlich weniger Strom verbrauchen.
Wird als Gen9 SFN9xxx eingestuft und vom FreeBSD Treiber erkannt und rennt auch soweit.

Steckt im Rechner, alles gut beim Boot, sie initialisierte auch, bot sogar PXE an. Wollte ich natürlich meiden und ausschalten.
Nur dummerweise habe ich die im Microserver, der kein UEFI kann, als Bootoption aus Versehen UEFI statt none eingestellt und nun komme ich nicht mehr mit Strg+B in die Config beim Booten.

Welche Möglichkeiten habe ich? Softwaresuite finde ich nicht für Win, um die mal zu resetten. wIE kann ich jetzt da vorgehen? Hat wer Erfahrung mit den Karten?
 
Zuletzt bearbeitet:
@Haldi

habe hier auch 3 HP Microserver Gen8 mit E3-1265L v2
und 10Gbit Karten dito in den Workstations und 10Gbit switch.

Bitte was hast Du denn im Gen8 für Platten im RAID verbaut, dass Du derartige Transferleistung abrufen kannst?
Zwei der Slots sind ja nur SATA2. Die beiden anderen sind SATA3.
 
Kann ich natürlich nicht ^^
Das Raid5 kommt so auf 250MB/s
Solange es beim schreiben in den RAM gecached wird so kurzfristig 750mb/s über smb.

Das sind die reinen Benchmark Werte wenn nur die Leitung ausgelastet wird.
2.5gbit ist ideal für den Gen8. Alles andere eher weniger.
 
ThomasH schrieb:
@Haldi

habe hier auch 3 HP Microserver Gen8 mit E3-1265L v2
und 10Gbit Karten dito in den Workstations und 10Gbit switch.

Bitte was hast Du denn im Gen8 für Platten im RAID verbaut, dass Du derartige Transferleistung abrufen kannst?
Zwei der Slots sind ja nur SATA2. Die beiden anderen sind SATA3.
Zum Vergrößern anklicken....
Die SATA Schnittstellen sind sicher nicht das Bottleneck. SATA 2 schafft 300MB/s und SATA 3 schafft 600MB/s, die HDDs schaffen maximal 280MB/s. Selbst wenn alles SATA2 wäre käme man auf 4x 300MB/s auf 1,2GB/s. Die HDDs schaffen bei Raid 10 max. 560MB/s, im Raid 0 mit 4 HDDs max. 1,12 GB/s, bei Raid5 würde wenn man die Parity-Berechnung außen vor lässt maximal 840 MB/s möglich sein.

Mit 4x SSDs im Raid 0 wären bis zu 2x 300 MB/s (real ~275) plus 2x 600 MB/s (real ~550) möglich , was 1,8GB/s bzw. real ca. 1,65 GB/s wären.

Der Raidcontroller HP Dynamic Smart Array B120i ist laut Degenblatt mit x4 PCIe 2.0 ausgestattet, je Lane 500MB/s was bis zu 2 GB/s bedeutet. Wie du siehst ist der der Bottleneck die HDD bzw. je nach Raid die Parity Berechnung.
 
Haldi schrieb:
Das sind die reinen Benchmark Werte wenn nur die Leitung ausgelastet wird.
2.5gbit ist ideal für den Gen8. Alles andere eher weniger.
Zum Vergrößern anklicken....
Leider ist es nicht so einfach.
Siehe oben Raid und Parity.

Hinzu kommt dann leider auch noch Treibersupport je nach eingesetzter Hardware.
Seitens FreeBSD basierter Software braucht man sich über 2,5Gbit keine Gedanken zu machen, weil eigentlich noch keine Treiber im aktuellen Kernel.
Auch wenn dann 10Gbit nicht wirklich ausgelastet wird, so sind doch ausgemusterte 10Gb Karten günstig und beliebt und gerne genommen, zumal auch breiter Treibersupport.

Seitens Bandbreite gebe ich dir aber recht. Sehe ich bei meinem Microserver Gen 7 identisch. 2,5Gbit würden an sich reichen.
 
BobbyD schrieb:
Sicher?
Zum Vergrößern anklicken....
ja.

Welches Version von FreeBSD zeigst du gerade auf? V14 soll die Unterstützung drin sein. Realtek dazu wäre natürlich auch schön.

Afaik wird V12 gerade von XigmaNAS in der Stable genutzt, V13.2 ist noch nicht empfohlen. TrueNAs bin ich mir auch nicht sicher ob 12 oder 13 genutzt wird.
 
Strikeeagle1977 schrieb:
Welches Version von FreeBSD zeigst du gerade auf? V14 soll die Unterstützung drin sein.
Zum Vergrößern anklicken....
Ist verlinkt.

Und nutze ich in meiner virtuellen pfSense auch.
Capture.PNG
 
Wollte gerade sagen, in den release Notes von 13 ist noch nix davon zu sehen. Warten wir mal ab, wann XigmaNAS und TrueNAS auf FreeBSD14 aufsetzen ...

Momentan bastel ich an meiner Solarflare weiter rum.

Ist es richtig, dass Solarflare seine Familie SFC9000 nennt, darunter aber auch Karten der Gen 6 und Gen 7, wie meine S7120 fallen?
Hat da wer Berührungspunkte mit dem Hersteller Xillinx bzw AMD und kennt sich aus?

Ich würde gerne auf diese Karte setzen in meinem Microserver Gen7, weil andere 10Gb Karten aufgrund des Stromverbrauchs auf Saunamodus laufen. Mehr Kühlung bekomme ich auch nicht rein.

Eine CX2 wird zu heiß und steigt aus, eine CX3 ebenfalls nach 30min. Eine Chelsio und Broadcom habe ich auch rausgeworfen.
Die SF scheint sparsam unterwegs zu sein habe etwas um die 6W Mehrverbrauch am Messgerät gesehen.

Oder hat wer andere Ideen für die Hardware und FreeBSD?
 
Zuletzt bearbeitet:
Strikeeagle1977 schrieb:
Afaik wird V12 gerade von XigmaNAS in der Stable genutzt, V13.2 ist noch nicht empfohlen. TrueNAs bin ich mir auch nicht sicher ob 12 oder 13 genutzt wird.
Zum Vergrößern anklicken....
Die Beta wie Nightly Ordner sind leer :-)

XigmaNAS - Browse Files at SourceForge.net

XigmaNAS is an open source NAS / OS software appliance
sourceforge.net sourceforge.net

Ich weiß nicht warum die pennen, aber wenn man sich das genau anschaut... die 12er ist seit Ende 2022 EOL. Und bleibt die "stable"?

About – XigmaNAS

xigmanas.com xigmanas.com
Ich glaub das gesunde Misstrauen gegenüber ZFS 2.2 hat da bisschen was im Ablauf durchgewirbelt. Das ist da wohl genauso aktuell wie die Ansage "XigmaNAS 13.1.0.5 series Coming Soon!".
Man ist jetzt bei 13.2.0.5.9884.

Netzwerkspeed.
Es kann sich noch die Frage stellen wieviel Strom das für die Leistung wegfrisst, aber wenn sonst 2,5Gbit reichen und man über 10Gbit auf 3-4 Gbit käme, dann wäre das auch m.M.n. kein Grund sich zu grimmen :sneaky:
Ich find brutto/netto bei 2,5Gbit auch superb und auch für unsere Verhältnisse hier wäre das einfach nur satt (y)
 
BobbyD schrieb:
Die MTU hat damit nichts zu tun, dein Problem liegt woanders. Überhitzung halte ich so schnell auch für ziemlich ausgeschlossen. Zeig mal ein paar Screens von deinem iperf und beschreibe deine Hardware.
Zum Vergrößern anklicken....
Hardware:
NICs:
  • ASUS XG-C100C PCIe 3.0 x4 - Cat 7 Kupferkabel
  • Mellanox ConnectX-3 PCIe mit Cisco 3m SFP+ DAC Kabel 10GB 10 Gigabit Twinax Twinaxial Cable SFP-H10GB-CU3M Refurbished
Switch:
  • MikroTik CRS309-1G-8S+
CPUs:
  • Intel(R) Xeon(R) CPU E31260L
  • Ryzen 5900X
RAM
  • >16GB


1707499304593.png
 
@bbott Also ich würde schon mit Iperf3 probieren, nicht 2. Das Kabel und dessen Länge kann eine Rolle spielen. Oder der Switch...

Capture.PNG
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.

Ähnliche Themen

AliManali
19" Selbstbau Firewall, max 3HE
2 3
Antworten
80
Aufrufe
6K
pwnbert
pwnbert
M
Proxmox - Netzwerk mit Broadcom NIC
Antworten
10
Aufrufe
1K
Nemetron
Nemetron
M
[User-Review] Switch im Lesertest: Testet den QNAP QSW-M2108R-2C!
Antworten
6
Aufrufe
742
mbrhwl
M
Chakka89
[User-Review] Lesertest - Synology DiskStation DS224+
Antworten
1
Aufrufe
3K
Rommel
Rommel
Kabs1982
[User-Review] Lesertest mit Synology - Mein Testbericht zur DS224+
Antworten
5
Aufrufe
8K
Man-in-Black
Man-in-Black
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh