[Sammelthread] 10Gbit Homenetzwerk

Der Thread ist mittlerweile sehr lang und unübersichtlich.

Daher für mich als Neuling für dieses Thema.

Welche 10 GB Karte und 10 GB NAS mit RJ45 kann man empfehlen?
Welches 10 GB Kabel ist zu empfehlen?


Bei der Karte wohl die Intel x550 oder?
Hier auf Dual Port gehen?

Wenn ja, welche Vorteile hätte das?

Oder nur auf 1 Port 10 GB?

NAS muss als Storage für diverse Hyper-Visor herhalten.

Macht es Sinn SSD's als Raid Verbund im NAS zu haben um die 10 GB ausreizen zu können?

Habe ca. 50 virtuelle Maschinen in meiner Testumgebung.

Schwört Ihr eher auf QNAP oder Synology als NAS?
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich bin mal etwas frech:

1. glaube, die meisten hier setzen auf Selbstbau-NAS.

2. SSD-RAID: bei vielen Zugriffen von VMs zählen IOPs bzw. random read/write deutlich mehr als sequenziell. Da sind auch gute NVMEs deutlich langsamer als die werbewirksamen Angaben, so dass eine SSD einen 10Gbit Link kaum auslasten dürfte. Auch bei der Konfiguration der Netzwerk-Verbindung (Jumbos ja/nein usw.) musst du dann mal schauen, was sich da am besten macht für deinen Einsatz. Also ja: mehrere SSDs oder gar auch eine Optane 90x können Sinn machen, wenn du die Performance brauchst und willst.

3. Kabel ist Wurscht, solange Cat6A.

4. Dualport oder Singleport: Dual gibt mehr Flexibilität und mehr Durchsatz. Ich würd primär nach Dual schauen (aber nur sehr persönliche Meinung und natürlich auch vom Budget abhängig).

5. Welche NIC: bin Intel Fan. Also x550 oder auch noch x540. Lüppt in wirklich jedem OS. Nachteil: diverse Fakes im Umlauf bei EBay & Co. daher wäre ich vorsichtig beim Gebrauchtkauf. Gibt aber zum Beispiel Dell oder HP gebrandete, die dürften eher nicht gefaked sein. Wenn um die NAS-Seite geht und ne Syno oder Qnap wird , musst du da eben mal schauen, was kompatibel ist.
 
Was erwartet einen denn eigentlich bei den Fake-X5*0? Sind das Uraltkarten, die überteuert verkauft werden, sind das Gbit-Karten, die gar nicht hochschalten können, oder sind da Chips anderer Hersteller drauf, die ggf. unter Nicht-Windows ein Treiberproblem haben?
 
Bzzz schrieb:
Was erwartet einen denn eigentlich bei den Fake-X5*0? Sind das Uraltkarten, die überteuert verkauft werden, sind das Gbit-Karten, die gar nicht hochschalten können, oder sind da Chips anderer Hersteller drauf, die ggf. unter Nicht-Windows ein Treiberproblem haben?
Zum Vergrößern anklicken....

Soweit ich informiert bin, nicht durch Intel QC gelaufen. Sind die Mellanox Karten zertifiziert für Virtualisierung etc.? Die x550 ist es. Weiß man ob ein Nachfolger der x550 geplant ist?
 
Ph03n!X schrieb:
Soweit ich informiert bin, nicht durch Intel QC gelaufen. Sind die Mellanox Karten zertifiziert für Virtualisierung etc.? Die x550 ist es. Weiß man ob ein Nachfolger der x550 geplant ist?
Zum Vergrößern anklicken....

etwas aufpassen : die X550 eine ist GBase-T und mit Mellanox meinste wohl sowas wie die X2/X3 die sind (bis auf einige Ausnahmen) SFP+

welche Virtualisierungsfunktion brauchste denn ? Gibt einige
 
Zuletzt bearbeitet:
Habe aktuell extrem schlechte Perfomance mit meinen Mellanox ConnectX2 Karten.
Zuvor hatte ich die 40G IPoIB Dinger drin, etwa gleiche Performance, weswegen ich davon ausging, dass es an den Karten liegt.

Nun uebertrage ich extrem grosse Dateien auf meinen NAS, super schleppend, obwohl die Quelle eine NVMe SSD ist, als auch das Ziel.
Also muesste es da eigentlich mit vollen 10GBit/s voran gehen, aber habe nur das hier.

Weis jemand eventuell wie man Fehlersuche bei sowas richtig angeht?
 

Anhänge

  • schlechteperformance.png
    schlechteperformance.png
    5 KB · Aufrufe: 303
auf was für ein Medium/Dateisystem schreibst du?
Wie viel RAM hat dein NAS?
Welchen Switch? Oder direkt verbunden?
 
sieht stark nach vollen 1 Gbit. Sind beide Gegenstellen über 10 Gbit angebunden?
 
Beide sind direkt mit einem 1m Kabel ueber die Mellanox Karten, also 10GBIt angebunden.
Mein NAS hat 8GB RAM, geschrieben wird auf EXT4.
 
Hallo, mal eine Neuling Frage, ich nutze auch eine 10G Karte und das funktioniert auch alles soweit, eine Kleinigkeit stört mich jedoch und ich finde hierzu einfach nichts.

Thema Boot Zeit mit meiner Karte HP CN1000E 2x 10Gbit SFP+, Controller Emulex Corporation OneConnect OCe10100/OCe10102 Series 10 GbE (rev 02)

braucht halt immer ca. 2 Minuten ... muss man damit leben oder kann ich das evtl. skippen, einstellen, ... ? wenn die Initialisierung so lange dauert dann ok, wenn Einstellungssache .. ;)
egal ob mit oder ohne DAC Kabel, dauert immer so lange ... dachte vielleicht kann man da was ändern, jedoch ohne Erfolg.

Für einen Tipp im Voraus vielen Dank.
 
Die NICs haben oft ein eigenes BIOS, das es erlaubt von einer Quelle im Netzwerk zu booten. Das dauert dann etwas, das zu initialisieren. Kann man meistens im BIOS der NIC abschalten. Musst mal schauen, was es bei Deiner da im BIOS der NIC einzustellen gibt.
 
Beim Mellanox gibt es auch ein solches Bios, aber da lässt sich nicht viel verändern.
Ich würde mir mal im PC-Bios die Bootreihenfolge anschauen.
Kommt hier der NIC vor den Festplatten, hast du das Problem schon gefunden.
 
also, Boot Reihenfolge ist klar ;) das ist leider nicht das Thema da hier nur ein Boot Device hinterlegt ist und das ist natürlich nicht die NIC, wundert mich eh das das immer geladen wird
trotz Fast Boot usw ... und ich hab nur den Unraid USB als Boot, egal ob Legacy oder UEFI ...

Im BIOS der Karte war ich bereits mal, eine Boot Funktion hatte ich da nicht gesehen ... ich mach mal ein Screenshot und stelle ein, vielleicht seht Ihr da mehr wie ich.

Schon mal Danke für die Tipps.
 
Trambahner schrieb:
Hab heute ein kleines Experiment gemacht. Laptop ohne TB-Anschluss, Win10. Normalerweise ist bei 1Gbit Ende der Fahnenstange.
Nachdem mein ESXI/ZFS-Filer ja X550'en verbaut hat und auch einen Asus XG U2008 sowie eine USB3 Starwind Doppel-NIC (mit 2*AX88179) für einen NUC, wollt ich mal wissen, ob SMB3 Multichannel geht.

Also einfach mal die USB-Nic ans Laptop, von den 3 NICs dann Lan-Kabel an den U2008 und von dort an den 10Gbit-Hauptswitch (Netgear XS708E) und am Samba-Dienst "server multi channel support = yes" eingestellt. Alle 3 NICs am Laptop auf das höchste gemeinsame Jumbo-Frame (=4k; 8k kann der AX88179 offenbar nicht).
Und was soll ich sagen: "Boom", Windows kopiert sofort mit 340Mb/s auf den Filer. :bigok: . Retour gehts nur mit 165-170Mb/s (der normale i219 erreicht da seine 115 mb/s) und es ist nicht der Virenscanner, der limitiert. Na mal sehn.
Zum Vergrößern anklicken....


Posting ist zwar schon alt und OT, da nicht 1000000 Gbit, aber für mich brennend interessant.

Ich fahre bei mir alle Server mit SMB Multichannel 2 bis 4 NICs (1Gbit) und ein Flaschenhals ist meine mobile Dell M6700 mit Win2016 Datacenter. Hier muss ich oft VMs mit 80GByte Größe per Lifemigartion oder Export verschieben.

Im M6700 ist nur ein physischer 1GBit NIC verbaut und dann habe ich noch einen
Startech AX88179 Dual USB3 dran.

USB\VID_0B95&PID_1790&REV_0100
USB\VID_0B95&PID_1790


Du hast zwar einen Starwind AX88179 Dual USB3 NIC (ich dachte Starwind macht nur in SAN Software ;-)
aber beide haben AX88179


Der Startec hat mit meinen Treibern (ASIX 3.4.18 v1.20.2.0) sowohl unter Win10 1803 als auch Server 2016 keine RSS-Optionen in den Treibereinstellungen.

D.h., da muss stehen: Receive Side Scaling: Enabled

Powershell sagt mir auch, dass die Teile kein RSS haben.

Frage:

Wie um alles in der Welt, hast Du auf dem Win10 Laptop das SMB3 Multichannel ans Rennen gebracht, wenn die USB NICs kein RSS können, was aber Grundvoraussetzung dafür istr
 
Zuletzt bearbeitet:
so, hier mal die Bilder vom BIOS der Karte

4.PNG
1.jpg
2.jpg
3.jpg

Falls jemand eine Idee hat wie ich den Start beschleunigen könnte ... dauert ~ 2 Min.

Im Voraus vielen Dank
 
Knogle schrieb:
Beide sind direkt mit einem 1m Kabel ueber die Mellanox Karten, also 10GBIt angebunden.
Mein NAS hat 8GB RAM, geschrieben wird auf EXT4.
Zum Vergrößern anklicken....

Wenn du genug RAM in beiden Rechnern hast auf beiden Kisten mal eine RAM Disk bauen und von dort kopieren.
Damit kannst du die Datenträger ausschließen...
 
Ich habe wohl gerade "relativ" günstig eine Emulex OCE14102-NX geschossen. Mal schauen, ob die meine Suche nach einer vernünftigen und bezahlbaren Dual SFP+ NIC für ESXi 6.7 beendet...
 
Hat hier jemand die Asus XG-C100C unter Windows 10 im Einsatz ?

Habe mit der an der Workstation ein wenig (Enthusiasten-)Probleme, die schafft nicht die vollen 10 GBit/s, sondern eher so 6-7 GBit/s, was wohl an der enormen CPU-Auslastung liegt (25% bei gesamt 16 Kernen, i7-7820x). Wenn ich dasselbe System unter Linux boote, liegen die 9,48 GBit/s per iperf3 wie genagelt in beide Richtungen an.
Das muss also irgendwo an Windows oder der Netzwerkkonfiguration liegen, habe bislang aber nicht wirklich etwas gefunden.
 
Hast du Jumbo-Frames aktiv? Welches Protokoll nutzt du zum Datenaustausch? Gegenstelle ist Linux oder Windows?
Ich musste unter Windows 10 SMB auf Version 3 zwingen und die älteren Protokolle aus den Features entfernen, dann ging der volle Durchsatz durch.
 
Windows & iperf ist so ne Geschichte, das erreicht so selten die vollen 10Gbit obwohl die bei filecopies usw. dann doch erreicht werden.
 
Gegenstelle Ubuntu Server 18.04, das mir anderen Clienten seine 10Gbit schafft.
ESXI + Solaris 11.4 -> 1,8Gbit bis 2,5Gbit
ESXI + OI Hipster -> 2,5Gbit bis 5Gbit
schwankend innerhalb einer iperf3-Reihe, egal ob ein oder vier Datenströme parallel.
Aber lasst mal, ich gebe das Projekt auf und wechsle wieder auf simple-Ubuntu-Server mit device-encryption via cryptsetup vor dem ZFSoL. Läuft in der Bestandskiste tadellos und ich habe schon viel zu viele Abende/Nächte mit dem ESXI-Zeug verbracht :/
 
Du nimmst in den VMs schon den VMXNET3 als virtuellen Netzwerkadapter bei den VMs? Wenn Du Jumbo-Frames nutzt (dringend empfohlen bei 10G), bei den ESXI-Vswitchen musst Du dann auch MTU auf 9000 setzen; nicht nur bei den VMs. Interrupt-Moderation abschalten, Interrupt-Storm-Grenze und die TCP-Buffer hochdrehen. Bei Windows auch die Queues im Nic-Treiber.
Musste ich auch bei der N4F-Storage-VM (glaub sysctl.conf oder loader.conf) machen.

Ich hab nun kein Problem mehr, 800 MB/s zwischen der Storage VM und Clients zu nutzen. Zwischen N4F-VM und einer Windows-VM (beide mit Vmxnet3) innerhalb meines ESXI laufen sequentiell problemfrei 2GB/s+. Auch mit Win7/2008R2 wohlgemerkt, also SMB2.

Btw, als 10G Nic-Hardware hab ich überall Intel verbaut (X540 oder X550). Das Notebook hat auch ne Intel drin, aber natürlich nur 1Gbit.
Im ESXI selbst ist bis auf die MTU alles default eingestellt.
 
Zuletzt bearbeitet:
Die VMWare-Tools sind bei 6.7 für Solaris nicht mehr dabei, sondern man muss über die Homepage nach dem 10.2.5 suchen - da ist ein Solaris-Paket drin.
Ja, der VMXNet3 war soweit installiert. Ich kann aber beim besten Willen nicht nachvollziehen, warum die o.g. Tuning-Maßnahmen von unter 2Gbit auf 10Gbit helfen sollten. Von Linux zu Linux läuft bei 10G in der Regel mit 9,4Gbit out-of-the-box. Selbst Linux<->Windows bei mit mind. 8Gbit, die Interrupt-Moderation als wesentlichste Bremse unter Windows. Ich hatte noch nie unter Linux außer dem Send/Receive-Buffer irgendeine Option nutzen/verstellen müssen.
Sehr nachteilig ist für mich dann natürlich, dass ich KEINE Ahnung habe, wo/wie/was unter Solaris einzustellen ist - und wie gesagt, bei diesem krassen Unterschied es auch ziemlich deutlich am Treiber selbst liegen dürfte.
Bin nu wieder bei Ubuntu Server, nach der blanken Installation >=9Gbit bei 1500MTU, cryptsetup + ZFSoL lüppt ohne Probleme, Einrichtung <1h bis hin zum großen Copy-Befehl, der jetzt seit ca. 0.00 Uhr läuft und 2,1TB geschafft hat.
 
Falls noch jemand sucht: Hab jetzt eine Broadcom/Emulex OCE14102-NX (PCIe 3.0 8x) in meinem ESXi 6.7er und läuft mit den "generic" Modulen vom Fibrestore (SFP-10GSR-85) für EUR 14...

Nachdem meine beiden Fujistu "D2755-A11 GS 2" irgendwie nicht mit ESXi wollten, bin ich nun endlich happy.

Soll ja angeblich sogar die Intel 710er "outperformen"... interessierte mich aber beim Kauf nicht wirklich... ;)
 
Zuletzt bearbeitet:
Sorry, keinen blassen Schimmer.
 
Anmelden, um zu antworten.

Ähnliche Themen

M
Proxmox - Netzwerk mit Broadcom NIC
Antworten
10
Aufrufe
2K
Nemetron
Nemetron
M
[User-Review] Switch im Lesertest: Testet den QNAP QSW-M2108R-2C!
Antworten
6
Aufrufe
952
mbrhwl
M
D
[User-Review] Lesertest zum QNAP TS-432X und N300 HDDs
Antworten
3
Aufrufe
318
Ceiber3
Ceiber3
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh