[Sammelthread] 10Gbit Homenetzwerk

Also ne, da kann ich zumindest nicht mit dienen. Wir setzen die Nexus zwar in der Firma ein, aber zu Hause hat mein IT Budget dann doch gewisse Defizite, die das nicht erlauben :)
Aber jetzt mal so rein aus dem Bauch raus, wenn es für den Switch ein 10G RJ45 SFP Modul gibt, warum sollte das nicht funktionieren?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hier zuhause habe ich das auch nicht ;-)

Das es funktioniert steht für mich außer Frage, mir geht es um die Performance ;-)
 
Auch hier noch kurz der Hinweis: Wer die Voltaire 400Ex mit dem ESXi 4.1u1 nativ laufen lassen will, auf einem SuperMicro X9SCL-F, braucht unbedingt das aktuelle BIOS (Version 2.0b), sonst gibts einfach keinen link und vbstat sagt nur "armed".
 
Guten Abend Allerseits,

da hier scheinbar die geballte deutsche 10Gb Netzwerk Kompetenz vertreten ist
hab ich mich kurzerhand einfach mal angemeldet um meine Fragen Los zu werden. ( Bin eigentlich Hauptsächlich auf CB Unterwegs)



Da bei mir grade ein Homeserver-upgrade ansteht und ich mit der Bisherigen Netzwerk Leistung nicht zufrieden bin
dachte ich mir Leg ich mir halt was schnelleres zu. Schneller eh immer besser ;)


Also soll eine Lösung auf Infiniband Basis sein verbunden werden soll nur der Server mit einem Arbeitsplatz Rechner.

Nach ein Bisschen suchen hab ich folgendes gefunden: HP InfiniBand 4X QDR CX-2 PCI-E G2 2-port LP 592520-B21

1. ) Nun die Frage hat jemand schon Erfahrungen mit der Karte gemacht ?

2. ) Hat Jemand Erfahrung mit IB und FreeBSD (Nas4Free) ?
OFED ist ja in FreeBSD integriert sollte ja dann eigentlich kein Problem mehr Darstellen oder ?

3.) In der Bucht gibt`s viele Angebote zu (Cisco für IBM-Blade 32R1896 InfiniBand HCA Card 10GBps ) hat jemand Infos zu der Karte finde Absolut nicht dazu.

Das sollte es gewesen sein.

Ich danke schon mal im voraus für (Hoffentliche ;)) Antworten.


MFG


ghostbird20
 
Zuletzt bearbeitet von einem Moderator:
Ich komm grad vom Cocktail trinken zurück, daher will ich da jetzt (noch) nicht zu viel dazu schreiben. Aber zu 3.) kann ich dir schonmal sagen, dass das vermutlich nichts für dich ist. Ich würde lügen, wenn ich jetzt sagen würde, dass ich in der Lage wäre das exakt zu verifizieren, aber als Teil der 10G Netzwerk Kompetenz Deutschlands :-)D) würde ich messerscharf vermuten, dass das entweder ein 10G Modul fürs Bladechassis selbst ist oder es ist eine Mezzanine Card für eines der Blades.
In beiden Fällen wäre das keine PCIe Karte, mit der du was anfangen könntest.
 
Hallo ghostbird20,

bei diesen Preisen würde ich noch etwas raufpacken und mir an Deiner Stelle beim User bluesunset ein paar 10GB-Eth NICs holen. Ist bedeutend einfacher unter allen möglichen BS in Betrieb zu nehmen und zukunftssicherer. IMHO lohnt sich das Gebastel mit IP over Infiniband und openSM nur bei größeren Preisunterschieden.
Solltest Du IB Karten für deutlich unter 100€ bekommen, wäre es OK.
 
Vielen Dank schon mal, ich hab mich mal mit bluesunset in Verbindung gesetzt mal gucken was dabei raus kommt.


So Karten sind Bestellt mal gucken ob ich dann auch alles zum laufen kriegen.

Wenn die Karten das sind gibts nochmal ne Meldung.


Bis dahin guten Rutsch und Frohes Neues.
 
Zuletzt bearbeitet von einem Moderator:
Hallo Ihr,

ich habe mir beim User bluesunset 2 Stück 10 GbE Karten und ein SFP+ CU Kabel gekauft.
Die Karten sind Mellanox-Karten vom Typ MNPA19-XTR. Die Karten sind auf der Mellanoxseite gut beschrieben, auch gibt es alle möglichen Treiber, Tools und aktuelle Firmware. Wichtig für mich war eine umfangreiche Treiberunterstützung und die Möglichkeit der Verwendung von SPF+ -Kupferkabel.
Beim Kauf wurde ich darauf hingwiesen, das eventuell zur Verwendung der Cu-Kabel ein FW-Update notwendig wäre (ich greife mal vor, war nicht der Fall).
Wer Wissen möchte, wie die FW-Version ermittelt und ggf. updatet:

- Mellanox MFT-Tools installieren, bei mir unter WIndows: WinMFT_x64_2_7_2.msi.
- mit "mdevices.exe status" herausbekommen, unter welcher Device-ID die Karte im System eingebunden ist,
- mit "flint -d mt26448_pci_cr0 query" Infos zur Karte ausspucken lassen, sprich FW-Version, MAC-Adresse usw.

man sieht in meinem Fall, das die Karte keine reine Mellanox-Karte ist, sondern eine HP-OEM mit einer angepassten FW von HP.
Diese Karte funktioniert ohne Probleme mit den Originaltreiber von Mellanox, trotzdem habe ich gern alles aus einer Hand.
Vorhandene FW der Karte für Notfälle sichern:
- mit flint -d mt26448_pci_cr0 ri backup_68-20.bin

Flashen der aktuellen FW von Mellanox mit den Befehl:
- flint -d mt26448_pci_cr0 -i fw-ConnectX2-rel-2_9_1200-MNPA19_A1-A3-FlexBoot-3.3.400.bin burn

Wie man im Screenshot sehen kann, erhalte ich eine Fehlermeldung, da die PSID der Karte nicht zur FW von Mellanox passt.
Die PSID der Karte lautete HP_0F60000010, die der Firmware MT_0F60110010. Die ersten beiden Buchstaben beschreiben den Ersteller der FW, die 0F6 kennzeichnet die Karte, passt also eigendlich, sollte die richtig passende FW sein. Überschrieben kann die FW trotz unterschiedlicher PSID mit dem Parameter -allow_psid_change
Brennen also jetzt mit
- flint -d mt26448_pci_cr0 -i fw-ConnectX2-rel-2_9_1200-MNPA19_A1-A3-FlexBoot-3.3.400.bin -allow_psid_change burn

siehe Screenshoot
winmft.png

Eingesetzt habe ich eine Karte im ESX laut Signatur in einem x4-PCIe. Treiber für ESXi gibts bei Mellanox, neuer vswitch generiert, die NAS-VM bekam eine neue vmxnet3-NIC.
Die zweite Karte in einem Core2Duo 3GHz im x16-Grafikkartenslot, 4GB Ram, Win7 64bit, nicht die besten Bedingungen.
Beide NICs und der vswitch stehen auf einer MTU von 9000.
Leihweise eine halbvolle SSD Samsung 830 meines Sohnes eingebaut und über SMB kopiert:

smb.png
smb2.png
smb3.png

mehr Plattenperformance habe ich nicht zu bieten, es geht aber bei ca. 500MB los.
Also netio...

netio9000.png

irgendwie durchwachsen, nicht logisch. Daher habe ich den Treiber der Win7-Kiste wieder auf Defaultwerte gestellt, sprich MTU wieder auf 1500 zurück
neuer Test..
 
Zuletzt bearbeitet:
wegen nur 5 Bilder:

netio mit MTU 1500 auf Client:

netio.png

von den Werte nicht viel besser, aber konsistenter. Wird wohl irgendetwas an meinen ESXi-Settings nicht stimmen, ausserdem begrenzt der x4-Slot im ESXi.
Dafür das dies meine ersten Ausflüge in die 10G-Welt sind ohne weitere Optimierungen, finde ich es nicht so schlecht. Ist viel neuland für mich dabei. Es sind wahrscheinlich noch die einen oder anderen Konfigurationsprobleme dabei.

Edit: es ist im Screenshot des Flashvorganges zu sehen, das die Karte hier 2 MAC-Adressen meldet, unter den entsprechenden Betriebssystemen ist es natürlich nur eine Single-NIC. Man sieht daran aber wohl, das dies die selbe Hardware/Software der entsprechenden Dual-NIC ist. Nur der zweite SFP+-Slot und einige Chips fehlen wohl.
 
Zuletzt bearbeitet:
Hab auch gerade zugeschlagen, als info gibt gerade Voltaire HCA 400 EX für 39 Tacken in der Bucht.
 
jasch schrieb:
Hab auch gerade zugeschlagen, als info gibt gerade Voltaire HCA 400 EX für 39 Tacken in der Bucht.
Zum Vergrößern anklicken....

was brauch ich alles damit es läuft? 2x Voltaire HCA 400 EX 1x InfiniBand Kabel 2x Rechner mit Windows 7 + Openfabrics Treiber
Stimmt das so?

Gibt es mittlerweile neuigkeiten bezüglich windows 8/Server 2012 treiber/Kompatibilität?
 
Das stimmt soweit. Natürlich brauchen die Rechner einen entsprechenden PCIe Slot und die Boards müssen mit den Karten kompatibel sind.

@jasch: Du kannst ruhig einen Link dazu posten, denke ich.

Ich habe übrigens jetzt zwei 10 GbE NICs frei, wer Interesse hat kann sich ja melden.
 
Hi, kurze Frage:
Diese Voltaire HCA 400 EX; laufen die auch unter Server 2008R2?
Gibt es da Treiber dazu?
 
Da sollte der OpenFabrics Treiber genau so wie auf den anderen Windows Versionen laufen!
 
Jepp die meinte ich werd dann berichten wenn das zeug da ist, bei 105€ für 2 Karten + 5m Kabel konnte ich nicht wiederstehen.
(muss die Physx Karte aus dem Winrechner erstmal weichen)
 
Zuletzt bearbeitet:
XTaZY schrieb:
Jep der OF-Treiber läuft mit dem Windows Server 2008 R2 und mit Windows Server 2012.
Zum Vergrößern anklicken....

Echt? Hast du es persönlich schon mit server 2012 getestet?
Wenn mir jetzt noch jemand bestätigen kann, dass die karten einwandfrei mit dem treiber funktionieren, werde ich auch zuschlagen.

Gesendet von meinem Galaxy Nexus mit der Hardwareluxx App
 
jumas schrieb:
Also auf Windows 8 lässt er sich nicht installieren.
Zum Vergrößern anklicken....

Bleifrei schrieb:
Echt? Hast du es persönlich schon mit server 2012 getestet?
Wenn mir jetzt noch jemand bestätigen kann, dass die karten einwandfrei mit dem treiber funktionieren, werde ich auch zuschlagen.

Gesendet von meinem Galaxy Nexus mit der Hardwareluxx App
Zum Vergrößern anklicken....

Ja funktioniert.
Die Treiber-Installation gestaltete sich zwar etwas umständlich, aber es funktioniert.

Schaut mal hier: https://www.openfabrics.org/forum/6-installation/179-windows-server-2012.html
 
Seh ich das richtig, dass die Voltaire karte 2 ports hat, also auch 2 10 gbit Verbindungen gleichzeitig nutzen kann?

Gesendet von meinem Galaxy Nexus mit der Hardwareluxx App
 
so, erstes Zwischenergebnis:

Verbindung zwischen Win 7 und Win Server 2012 mit den Voltaire Karten funktioniert.

Unbenannt.PNG

Die Übertragungsgeschwindingkeit beträgt leider max "nur" etwas unter 5GBit/s, mehr als 50% Netzwerkauslastung hab ich noch nicht erreichen können

Weiß jemand woran das liegen könnte? Hat jemand vllt noch ein paar Tuning-Tipps für mich?
 
Zuletzt bearbeitet:
Bei IB-Karten wird die Datenrate des Links angegeben. Ist in etwa so wie es bei SAS/SATA einmal 600MB/sec und 6Gbit/sec gibt. Bei einer 8bit/10bit Codierung bleibt nun einmal etwas auf der Strecke. Ohne eine Leitungscodierung könnte gar keine Übertragungstechnik funktionieren.
Da IB für das Senden von vielen kleinen Paketen zwischen CPUs gedacht war, geht noch etwas für das IPoIB drauf, in dem IP Pakete in den IB-Headern mit geschickt werden. Realistisch reden wir hier also von ~6+Gbit/sec max. Mehr lässt die Technik nicht zu. Durch die besagte Leitungscodierung steht für IB eh nur 8Gbit/sec zur Verfügung.
Wenn du dir aktuelle Karten mit 40 und 56Gbit/sec anschaust, wirst du schnell feststellen, dass die Leitung schneller arbeitet als jemals über den verwendeten PCIe-Anschluss drüber laufen könnte. Hier geht es nur noch rein um die Latenz- wie auch bei zukünftigen 100/160/200 Gbit/sec.
 
Zuletzt bearbeitet:
naja, Datenrate des Links ist schon klar, allerdings stell ich mir darunter dann 100% Netzwerkauslastung und meinetwegen 700MB/s Nettoübertragungsrate vor

aber die Karten scheinen ja bei 50% Auslastung einfach abzuriegeln.
 
Es sind Karten mit Speicher drauf? Dieser wurde bei neueren entfernt, da dieser zu langsam ist. 10Gbit/sec IB ist von 2001 und damit schon über 10 Jahre auf dem Markt. Die Karten werden nicht umsonst nicht mehr unterstützt seitens des Herstellers. Bei den ersten 10Gbit Ethernet Karten war auch bei 6,x Gbit/sec Schluss.
 
Anmelden, um zu antworten.

Ähnliche Themen

M
Proxmox - Netzwerk mit Broadcom NIC
Antworten
10
Aufrufe
2K
Nemetron
Nemetron
M
[User-Review] Switch im Lesertest: Testet den QNAP QSW-M2108R-2C!
Antworten
6
Aufrufe
952
mbrhwl
M
D
[User-Review] Lesertest zum QNAP TS-432X und N300 HDDs
Antworten
3
Aufrufe
318
Ceiber3
Ceiber3
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh