broadcom ... wobei es bei 90%+ eher ne sache der FW als der HW ist
Zuletzt bearbeitet:
[Sammelthread] 10Gbit Homenetzwerk
- Ersteller barnacle2k
- Erstellt am
broadcom ... wobei es bei 90%+ eher ne sache der FW als der HW ist
besterino
Legende
Hab für meine Fujitsu D2755 irgendwie keine neue(re) Firmware gefunden.
das ist ne Intel® 82599
PRIMERGY 10Gb Modular LAN Adapter - Fujitsu Deutschland
Intel® 82599 10 Gigabit Ethernet Controller Family: Tech Library
aka ein OPA in HW Zeit
die von mir geposted Meli X3 (haben wohl einige trotz massivem preisanstieg von 15 auf 30€ bestellt - und mit massiv überteuerten VSK)
https://www.mellanox.com/page/products_dyn?product_family=127&ssn=7e7qggktuag4qlc9ukme92p3v2
haben ConnectX® Driver for VMware® ESXi Server
ich bevorzuge jedoch ProxMox oder andere OpenSource sachen , da VMWare gern mal jede GPL verletzt
Zuletzt bearbeitet:
Donald24
Enthusiast
Von den Intel x520-da1 habe ich zum Testen vor zwei Wochen zwei Exemplare für je 99€ bei Ebay erstanden, siehe https://www.ebay.de/itm/Intel-X520-DA1-10-Gigabit-10GBe-SFP-Single-Port-Server-Adapter-Gebraucht-LP/132348856479?ssPageName=STRK%3AMEBIDX%3AIT&_trksid=p2060353.m2749.l2649
Würde mich für nen Stückpreis von 70€ auch von denen trennen, auch einzeln. Sind beide von mir als ok getestet, bei Interesse PN.
Würde mich für nen Stückpreis von 70€ auch von denen trennen, auch einzeln. Sind beide von mir als ok getestet, bei Interesse PN.
Donald24
Enthusiast
jaja, ich weiß, ich bin ein gebrandmarktes Kind, das sich unwissend Quadport-Intel-Fakes aus China bestellt hat, wollte diesmal kein Risiko eingehen.. ich hatte sie nirgendwo günstiger gefunden.
JohnnyBGoode
Enthusiast
- Mitglied seit
- 29.01.2010
- Beiträge
- 1.122
Hatte mittlerweile etwas Gelegenheit, mit Dual Port-40 GbE-Karten zu spielen
Die erste Zeile sind Benchmarks über Netzwerk zu einer RAMDisk (ImDisk), die zweite zu einem SSD-RAID über einen Broadcom HBA 9400 8i8e, Klient (E3-1275v5), Server (E3-1245v6). *Edit* D'oh, das erste Bild in der zweiten Zeile ist falsch, war ein wiederholter RAMDisk-Test.
Die Intel-Treiber sind mal wieder von gewohnter Qualität, unter Server 2016 lassen sich Jumbo Frames nicht nutzen (unter Win 8.1/10 schon), aktiviert man diese auf allen Adaptern, sowohl Klient- als auch Server-seitig, kann man keine Dateien mehr auf der SMB-Freigabe ändern, es kommt eine Fehlermeldung, dass der Ordner nicht erreichbar wäre (Pingen geht weiterhin).
Die Transfers lasten trotz RSS bei einer einfachen Verbindung einen Thread zu über 95 % aus, bei doppelter Verbindung und SMB MC zwei, wobei dann der Turbotakt niedriger ausfällt - die Q32T1-Tests sind wahrscheinlich CPU-limitiert. Habe leider keine Testsysteme, auf denen ich höhere Einkernleistung zur Verfügung hätte.
Die erste Zeile sind Benchmarks über Netzwerk zu einer RAMDisk (ImDisk), die zweite zu einem SSD-RAID über einen Broadcom HBA 9400 8i8e, Klient (E3-1275v5), Server (E3-1245v6). *Edit* D'oh, das erste Bild in der zweiten Zeile ist falsch, war ein wiederholter RAMDisk-Test.
Die Intel-Treiber sind mal wieder von gewohnter Qualität, unter Server 2016 lassen sich Jumbo Frames nicht nutzen (unter Win 8.1/10 schon), aktiviert man diese auf allen Adaptern, sowohl Klient- als auch Server-seitig, kann man keine Dateien mehr auf der SMB-Freigabe ändern, es kommt eine Fehlermeldung, dass der Ordner nicht erreichbar wäre (Pingen geht weiterhin).
Die Transfers lasten trotz RSS bei einer einfachen Verbindung einen Thread zu über 95 % aus, bei doppelter Verbindung und SMB MC zwei, wobei dann der Turbotakt niedriger ausfällt - die Q32T1-Tests sind wahrscheinlich CPU-limitiert. Habe leider keine Testsysteme, auf denen ich höhere Einkernleistung zur Verfügung hätte.
JohnnyBGoode
Enthusiast
- Mitglied seit
- 29.01.2010
- Beiträge
- 1.122
Wie oben geschrieben ist der Controller ein Broadcom HBA 9400 8i8e.
Die SATA-SSDs sind folgende: 2 x Samsung EVO 860 2 TB, 2 x Samsung EVO 850 500 GB, 2 x Samsung SM863a 960 GB, 2 x Crucial M500 480 GB
Noch als Vergleich ein Test des RAID-Volumes lokal, nicht über die 40 GbE-Karten (Test von letzter Woche unter Win 10 1709 nicht Server 2016 1607, hier hat sich aber nichts geändert):
Die Tests sind erst mal dazu da, die neue Hardware kennenzulernen, da ich ESXi/FreeNAS-Anfänger bin, wollte ich zunächst unter der gewohnten Windows-Umgebung testen, bevor ich dann die Teile umziehe (die SSDs sollen natürlich nicht so verschwenderisch verwendet werden).
Die SATA-SSDs sind folgende: 2 x Samsung EVO 860 2 TB, 2 x Samsung EVO 850 500 GB, 2 x Samsung SM863a 960 GB, 2 x Crucial M500 480 GB
Noch als Vergleich ein Test des RAID-Volumes lokal, nicht über die 40 GbE-Karten (Test von letzter Woche unter Win 10 1709 nicht Server 2016 1607, hier hat sich aber nichts geändert):
Die Tests sind erst mal dazu da, die neue Hardware kennenzulernen, da ich ESXi/FreeNAS-Anfänger bin, wollte ich zunächst unter der gewohnten Windows-Umgebung testen, bevor ich dann die Teile umziehe (die SSDs sollen natürlich nicht so verschwenderisch verwendet werden).
Zuletzt bearbeitet:
Donald24
Enthusiast
Cool, sehr gute Werte für SMB über TCP/IP!
Haste direkt verkabelt ohne Switch, oder?
Haste direkt verkabelt ohne Switch, oder?
besterino
Legende
Das sieht sehr nach „blech direkt“ aus, maximal ein virtueller Switch dazwischen. Für 3000MB/s brauchste schon bisserl mehr als 2x10Gbit...
Donald24
Enthusiast
hmmm, mich interessiert einfach brennend sein use-case, oder ob das nur experimental hobby ist. wenn man sich so einliest in die >10gbE-materie braucht man schon einiges an wissen, wenn man switches mit PFC in einer infrastruktur platzieren will. dagegen als storage-node direkt verkabelt mit RDMA over RoCe/iWarp dann hält es sich dann auch eher in grenzen mit der konfig.
ich finds aber geil, das er die möglichkeiten aufzeigt. auch simpelst als workstation/server verbindung nutzbar, WENN man die daten so schnell erzeugen und dann auch schreiben kann, sonst aber genug RAM im server vorhalten!
da er von esxi sprach, könnte er es benutzen, um zwei servern ein hochperformantes vmotion zu verpassen. ich bin neugierig!
ich finds aber geil, das er die möglichkeiten aufzeigt. auch simpelst als workstation/server verbindung nutzbar, WENN man die daten so schnell erzeugen und dann auch schreiben kann, sonst aber genug RAM im server vorhalten!
da er von esxi sprach, könnte er es benutzen, um zwei servern ein hochperformantes vmotion zu verpassen. ich bin neugierig!
Zuletzt bearbeitet:
Donald24
Enthusiast
sonst noch: fehlender support, da x2 -> EOL, zukünftige os könnten ab zeitpunkt x nicht mehr mit neuen treibern versorgt werden. momentan tuts aber noch.
kein offizieller RDMA-support. Kannste aber inoffiziell firmware-patchen. habs gemacht, war begeistert von der performance vor allen dingen hinsichtlich der cpu-effizienz.
kein offizieller RDMA-support. Kannste aber inoffiziell firmware-patchen. habs gemacht, war begeistert von der performance vor allen dingen hinsichtlich der cpu-effizienz.
JohnnyBGoode
Enthusiast
- Mitglied seit
- 29.01.2010
- Beiträge
- 1.122
@Donald24:
Ja, bei den Tests waren es nur Direktverbindungen zwischen zwei Dual Port-40 GbE-Karten. Insgesamt werde ich zu Hause im Laufe der Zeit drei Systeme über die Karten direkt miteinander "im Dreieck" verbinden, jetzt fängt erst die experimentelle Phase an; in der Theorie vorstellen ist ja das Eine, wie es dann in der Praxis funktionieren wird das Andere.
Ich wechsle von Thunderbolt 2 20 GbE-Direktverbindungen, daher wollte ich mich auch "verbessern" und vor allem unabhängiger von den eingesetzten Betriebssystemen werden, außer unter OS X sollten die XL710-Karten ja überall laufen, Thunderbolt-Direktverbindungen fristen dagegen ein ziemliches Nischendasein, gehen nur unter non-Server-Windows-Versionen und OS X.
Was Einsatzzweck/sonstige Hardware angeht, hatte ich einen Thread aufgemacht.
Ja, bei den Tests waren es nur Direktverbindungen zwischen zwei Dual Port-40 GbE-Karten. Insgesamt werde ich zu Hause im Laufe der Zeit drei Systeme über die Karten direkt miteinander "im Dreieck" verbinden, jetzt fängt erst die experimentelle Phase an; in der Theorie vorstellen ist ja das Eine, wie es dann in der Praxis funktionieren wird das Andere.
Ich wechsle von Thunderbolt 2 20 GbE-Direktverbindungen, daher wollte ich mich auch "verbessern" und vor allem unabhängiger von den eingesetzten Betriebssystemen werden, außer unter OS X sollten die XL710-Karten ja überall laufen, Thunderbolt-Direktverbindungen fristen dagegen ein ziemliches Nischendasein, gehen nur unter non-Server-Windows-Versionen und OS X.
Was Einsatzzweck/sonstige Hardware angeht, hatte ich einen Thread aufgemacht.
Knogle
Enthusiast
Hat jemand Tipps für 40G Hardware bis 200€?
Benötigt werden 2 Karten, und ein Kabel, 1-3m lang.
Gibt nämlich so viele Karten in der Bucht. Ist da Mellanox auch die erste Wahl ?
Benötigt werden 2 Karten, und ein Kabel, 1-3m lang.
Gibt nämlich so viele Karten in der Bucht. Ist da Mellanox auch die erste Wahl ?
Wenn du bereit bist ein bischen zu basteln: HP InfiniBand FDR/Ethernet 10/40Gb 2-port 544FLR-QSFP 649282-B21 656090-001 | eBay
mika2004
Enthusiast
- Mitglied seit
- 02.01.2005
- Beiträge
- 1.035
Dieses Angebot (122676295152) wurde entfernt oder ist nicht mehr verfügbar.
Bitte stellen Sie sicher, dass Sie die richtige Artikelnummer eingegeben haben.
Angebote, die vor mehr als 90 Tagen beendet wurden, können nicht mehr aufgerufen werden.
Edit: jetzt geht der Link auch bei mir
Bitte stellen Sie sicher, dass Sie die richtige Artikelnummer eingegeben haben.
Angebote, die vor mehr als 90 Tagen beendet wurden, können nicht mehr aufgerufen werden.
Edit: jetzt geht der Link auch bei mir
Zuletzt bearbeitet:
konfetti
Urgestein
bei mir zeigt der das noch an:
Stückzahl: 1 Mehr als 10 verfügbar
23 verkauft / Bewertung anzeigen
Stückzahl: 1 Mehr als 10 verfügbar
23 verkauft / Bewertung anzeigen
Knogle
Enthusiast
Moin!
Es ist doch eine der 30 Euro Mellanox geworden. Habe naehmlich noch von einem Kollegen fuer 20 Euro eine Mellanox Karte mit QSFP 40Gbit bekommen, und ein 1m Kabel dazu.
50 Euro fuer eine 40GBit Verbindung ist doch schon zufriedenstellend
Es ist doch eine der 30 Euro Mellanox geworden. Habe naehmlich noch von einem Kollegen fuer 20 Euro eine Mellanox Karte mit QSFP 40Gbit bekommen, und ein 1m Kabel dazu.
50 Euro fuer eine 40GBit Verbindung ist doch schon zufriedenstellend
Trambahner
Urgestein
Hab heute ein kleines Experiment gemacht. Laptop ohne TB-Anschluss, Win10. Normalerweise ist bei 1Gbit Ende der Fahnenstange.
Nachdem mein ESXI/ZFS-Filer ja X550'en verbaut hat und auch einen Asus XG U2008 sowie eine USB3 Starwind Doppel-NIC (mit 2*AX88179) für einen NUC, wollt ich mal wissen, ob SMB3 Multichannel geht.
Also einfach mal die USB-Nic ans Laptop, von den 3 NICs dann Lan-Kabel an den U2008 und von dort an den 10Gbit-Hauptswitch (Netgear XS708E) und am Samba-Dienst "server multi channel support = yes" eingestellt. Alle 3 NICs am Laptop auf das höchste gemeinsame Jumbo-Frame (=4k; 8k kann der AX88179 offenbar nicht).
Und was soll ich sagen: "Boom", Windows kopiert sofort mit 340Mb/s auf den Filer.
. Retour gehts nur mit 165-170Mb/s (der normale i219 erreicht da seine 115 mb/s) und es ist nicht der Virenscanner, der limitiert. Na mal sehn.
Nachdem mein ESXI/ZFS-Filer ja X550'en verbaut hat und auch einen Asus XG U2008 sowie eine USB3 Starwind Doppel-NIC (mit 2*AX88179) für einen NUC, wollt ich mal wissen, ob SMB3 Multichannel geht.
Also einfach mal die USB-Nic ans Laptop, von den 3 NICs dann Lan-Kabel an den U2008 und von dort an den 10Gbit-Hauptswitch (Netgear XS708E) und am Samba-Dienst "server multi channel support = yes" eingestellt. Alle 3 NICs am Laptop auf das höchste gemeinsame Jumbo-Frame (=4k; 8k kann der AX88179 offenbar nicht).
Und was soll ich sagen: "Boom", Windows kopiert sofort mit 340Mb/s auf den Filer.
. Retour gehts nur mit 165-170Mb/s (der normale i219 erreicht da seine 115 mb/s) und es ist nicht der Virenscanner, der limitiert. Na mal sehn.
Zuletzt bearbeitet:
Knogle
Enthusiast
Ist Infiniband Ethernet faehig? Weil meine 40G Karten haben angeblich Infiniband.
Der Mellanox ConnectX-3 Pro kann InfiniBand FDR (56Gb/s brutto), er unterstützt zudem je nach Version 10, 40 oder 56GbE.
Mellanox ConnectX®-3 adapter card (VPI) may be equipped with one or two ports that may be configured to run InfiniBand or Ethernet.
Mellanox ConnectX®-3 adapter card (VPI) may be equipped with one or two ports that may be configured to run InfiniBand or Ethernet.
Zuletzt bearbeitet:
danielmayer
Enthusiast
- Mitglied seit
- 30.03.2005
- Beiträge
- 1.010
Das kommt auf die exakte Karte an, X3 ist nicht gleich X3. Guckst du hier ganz unten gescrollt:
http://www.mellanox.com/page/infiniband_cards_overview
http://www.mellanox.com/page/infiniband_cards_overview
Knogle
Enthusiast
Habe 2 Mellanox MHQH19B-XTR da, in der Hoffnung mehr als 10 Gbit rauszubekommen die ich aktuell bei meinen Mellanox Connectx2 habe.
Oder kann ich die Teile getrost wegwerfen und was anderes suchen?
Oder kann ich die Teile getrost wegwerfen und was anderes suchen?
danielmayer
Enthusiast
- Mitglied seit
- 30.03.2005
- Beiträge
- 1.010
Die mhqh ist auch eine connectx2.
Mit den vpi-Modellen kenne ich mich nicht aus. Aus der Beschreibung schließe ich, dass 40G gehen müssten.
Mit den vpi-Modellen kenne ich mich nicht aus. Aus der Beschreibung schließe ich, dass 40G gehen müssten.
Knogle
Enthusiast
Hat jemand eine Idee wie ich meine Karte irgendwie einrichten kann? Ethernet, IPoverIB oder sonst irgendwas?
Unter Windows wird meine Karte als IPoverIB eingerichtet (geht Ethernet nicht?)
Auf meinem Server wird die nur unter lshw gelistet, aber nicht unter ifconfig -a
Handelt sich um 2 MHQH19B-XTR
Unter Windows wird meine Karte als IPoverIB eingerichtet (geht Ethernet nicht?)
Auf meinem Server wird die nur unter lshw gelistet, aber nicht unter ifconfig -a
Handelt sich um 2 MHQH19B-XTR
Die entsprechenden Treiber sind installiert?
http://www.mellanox.com/page/software_overview_eth
http://www.mellanox.com/page/software_overview_eth
Knogle
Enthusiast
Habe probiert die Treiber zu installieren, jedoch ist das eine grosse Schlacht.
Bei der Debian 9.0er Version failt es irgendwie wegen Bad return state vom Kernel, und bei der 9.1er failt es wegen Failed command: apt-get install -y libssl1.0.0 bison tk tcl libnl1 flex libgfortran3 tk8.4 gfortran tcl8.4 pkg-config
Habe bei der 9.1er nun mal manuell die Packages installiert.
Denn die Packages die da in dem apt-get install command enthalten sind, sind veraltet.
Habe daher mal manuell die neuen installiert, ich hoffe so komme ich weiter.
Endet leider auch damit
Error: mlnx-ofed-kernel-dkms installation failed!
Collecting debug info...
See:
/tmp/MLNX_OFED_LINUX.9132.logs/mlnx-ofed-kernel-dkms.debinstall.log
/tmp/MLNX_OFED_LINUX.9132.logs/mlnx-ofed-kernel-dkms.make.log
Removing newly installed packages...
und Error! Bad return status for module build on kernel: 4.16.0-1-amd64 (x86_64)
Scheinbar gibt es keine Treiber fuer den aktuellen Kernel :/
Bei der Debian 9.0er Version failt es irgendwie wegen Bad return state vom Kernel, und bei der 9.1er failt es wegen Failed command: apt-get install -y libssl1.0.0 bison tk tcl libnl1 flex libgfortran3 tk8.4 gfortran tcl8.4 pkg-config
Habe bei der 9.1er nun mal manuell die Packages installiert.
Denn die Packages die da in dem apt-get install command enthalten sind, sind veraltet.
Habe daher mal manuell die neuen installiert, ich hoffe so komme ich weiter.
Endet leider auch damit
Error: mlnx-ofed-kernel-dkms installation failed!
Collecting debug info...
See:
/tmp/MLNX_OFED_LINUX.9132.logs/mlnx-ofed-kernel-dkms.debinstall.log
/tmp/MLNX_OFED_LINUX.9132.logs/mlnx-ofed-kernel-dkms.make.log
Removing newly installed packages...
und Error! Bad return status for module build on kernel: 4.16.0-1-amd64 (x86_64)
Scheinbar gibt es keine Treiber fuer den aktuellen Kernel :/
Zuletzt bearbeitet:
Ähnliche Themen
[User-Review]
Switch im Lesertest: Testet den QNAP QSW-M2108R-2C!
