[Sammelthread] 10Gbit Homenetzwerk

[danielmayer]

Mellanox supported für neuere Windows-Systeme nur neuere Karten. Infinihost III ex (Deine) sehe ich auf Anhieb nicht, kenne mich mit Mellanox aber auch nicht gut aus. Schau mal für deine konkrete Karte nach, Mellanox hat die Treiberversion inwischen bei 4.6 für Win2012R2/Win8.1
Mellanox WinOF: Firmware - Driver Compatibility Matrix - Mellanox Technologies

 

[DunklerRabe]

Danke soweit - wäre klasse, wenn es sich noch klärt, wo der Flaschenhals ist.

Ich hatte bereits Jumboframes (9014) aktiviert und unter den Leistungsoptionen die Interruptdrosselung auf "Aus" gestellt, was das Ergebnis unter Netio verbessert hat.

Wie hast du deine RAM Disk denn erstellt? Ich würde das natürlich genau so machen wollen erstmal, damit die Ergebnisse vergleichbar sind.

Im Moment hab ich einen Windows Server 2012 R2, nur mit den lokalen Platten als iSCSI Target, und einen Windows 7 Client als Initiator. Beide nutzen die jeweiligen Windows iSCSI Dienste.

So sehen die Werte eines Raid 1 aus zwei Samsung SSD 840 Evo 500 GB an einem Adaptec 72405 ohne Write Back über 10G (X540-T1 und Netgear XS708E Switch) aus:


Natürlich hab ich grad leider keine lokalen Vergleichstests parat, aber das Ergebnis sieht auf den ersten Blick auch eher ernüchternd aus! Das ist jetzt auch ohne Jumbo Frames übrigens, die auch nicht so viel rausholen dürften.

edit:
Lokaler Test:

 

[leser]

@DunklerRabe,

ich habe die Softperfect Ramdisk genommen. Die hat auch ganz gut funktioniert - ich habe aber heute noch viel getestet - beim hinzufügen des Desktopexpierience von Win2012 R2 gab es einen Treiberfehler mit spvvie.sys (von der Ramdisk). Im Abgesicherten Modus ließ sich das dann durch deinstallieren der Ramdisk beheben. Also auf nem Testsystem kann mans riskieren.

SoftPerfect RAM Disk : high-performance RAM Disk for Windows

Da mir das Windows iscsi Target ja zu langsam war habe ich noch mit Starwind getestet. Es bietet eine Möglichkeit die ISCIS Disk direkt aus dem RAM zu erstellen. Die Werte waren aber ähnlich wie bei denen mit dem Windows Target - eher langsamer.

Als nächstes habe ich mich von Deiner ursprünglichen Idee mit dem FCoE inspieren lassen. Leider scheint es aber kein Windows Target für FCoE zu geben. Bei der Gelegenheit bin ich auf AoE gestossen. Allerdings war alles was ich gefunden habe extrem schlecht dokumentiert. Trotzdem habe ich es probiert nur die Performance von AoE von Wintarget war bei ca. 20MB/s - also viel zu langsam.

AoE Windows Target,AoE SAN and Ethernet Storage Solutions

Dann habe bin ich auf open-e gestossen. Das macht einen ganz guten Eindruck und man kann es vom USB Stick starten. Ausserdem bietet es ein FCoE Target - nur leider scheinbar nicht mit der Intel X540. Es fragt ausdrücklich nach einer FC Karte.

Ich habe daher wieder mit ISCSI getestet. Dazu habe ich zwei M4 500 GB zu einem RAID0 zusammengefasst. Es gibt eine Lokalen Benchmark auf dem Linuxbasierten open-e Target. Dieser hat 928 MB/s gemessen.

Es gibt dort die Möglichkeit das ISCSI Device als Block oder als File Device anzulegen. Bei "Block" ist lesen/schreiben etwa gleich. Übers Netzwerk kam ungefähr die 550 MB/s die auch Windows schafft. Bei File ist zunächst Lesen deutlich schneller und schreiben deutlich langsamer. Man kann dann auf Write Back Mode schalten - dann geht schreiben bis ca. 700/MB.

Auffällig war noch, das man offenbar mit ASS (SSD Test) etwa um 100MB/s bessere Werte bekommt.




Also ein bisschen mehr dürfte es schon sein. Die Windows Sache scheint mir bisher noch die Solideste.

 

[DunklerRabe]

Die Starwind Software hatte ich vorher auch schon getestet, dabei lief aber einiges schief. Zuerst wollte ich da auch mit seinen eigenen Mitteln eine RAM Disk erzeugen, was aber nicht funktioniert hat. Er sagt successful, aber von dem Device ist nichts zu sehen. Anschliessend wollte ich dann auf die Windows Boardmittel für iSCSI umsteigen, der Initiator konnte aber nicht mehr gegen das Target connecten. Anstatt das noch zu troubleshooten hab ich den Server neu aufgesetzt, seit dem funktioniert das schonmal einwandfrei.

Ich dachte ursprünglich, dass die Intel Treiber für die X540 einen Target Modus für FCoE mitbringen. Ich bin noch nicht so weit gekommen das mal zu testen bzw. zu konfigurieren. Bist du sicher, dass man damit kein FCoE Target erstellen kann? Ich hab angefangen die Dokumentation von Intel dazu zu lesen (soviel übrigens zu schlechter Doku, die ist nämlich auch dürftig) und bis zum Punkt der tatsächlichen Konfiguration bin ich noch nicht gekommen.

Open-E sieht interessant aus, erfüllt aber in der Lite Version meine Anforderungen nicht und bei der Vollversion stören mich die Preise

Heut Nacht im Halbschlaf sind mir noch zwei Dinge eingefallen:

1. Meine Netzwerkverbindungen sind jeweils nur 2 Meter lang, aber die Kabel sind richtig billige Cat5 Kabel. Da würde ich zumindest nicht ausschliessen wollen, dass die ein Problem darstellen. Die Karten syncen zwar mit 10G, aber da werde ich trotzdem nochmal Cat6 oder 6a probieren. Im ersten Moment hatte ich da einfach nicht dran gedacht.
2. Sowohl Windows als auch Starwind in der freien Variante reichen keine Devices als Target durch, sondern erstellen virtuelle Disks in ihren lokalen Devices und reichen die dann durch. Das bringt zwar Vorteile mit sich, die ich aber garnicht nutzen will in meinem Use Case und ich bin mir nicht sicher, ob das für die Performance nicht nachteilig ist. Eigentlich killt das doch den Vorteil, Block Storage, dadurch wieder und man hat effektiv File Storage als Unterbau dafür und keine native Hardware.

edit:
Mit einem Cat7 S/FTP Kabel ändert sich nichts an der Übertragungsrate.

edit2:
Mit netio krieg ich auch nicht mehr als 550 MB/s durch die Leitung. Irgendwas ist da doch faul...
Eine simples Netzlaufwerk perfomt übrigens besser als das iSCSI Gedöns!

 

[leser]

Also die Sache mit dem FCoE war für mich ja eine komplett neue Idee. Daher bin ich jetzt nicht sicher, daß bei den Treibern nichts dabei ist. Es heißt aber in der Doku von Intel man soll die Option "Data Center Bridging" des Treibers installieren. Die habe ich mir angesehen - dort scheint es aber nur diverse Finetuningmöglichkeiten zu geben und kein Target.

Das folgende Dokument verweist auf die darauf folgende Website:

http://www.intel.com/content/dam/www/public/us/en/documents/guides/fcoe-user-guide.pdf

tcm_fcoe_target_guide [DokuWiki]

Dort ist wohl erklärt, wie man mit Linux ein Target erstellen kann. Das werde ich aber im Moment nicht weiter verfolgen.

Vom Netzwerkkabel habe ich von Anfang an auf CAT 6a gesetzt - aber auch mal mit einem kurzen CAT 5 Kabel probiert. Das hat bei netio keinen für mich erkennbaren Unterschied gemacht - scheint ja aber bei Dir genauso zu sein.

Bei Deinem Punkt "2." sprichst Du die Nachteile von virtuellen Disks an. Dem würde ich zustimmen - aber für mich ging es jetzt erst mal ums Prinzíp und bei der Ramdisk hätte vom Prinzip her immer noch genug Reserve sein müssen, daß das 10 GB LAN nicht durch die virtuelle Platte ausgebremst wird.

 

[DunklerRabe]

Ja stimmt, das mit dem FCoE Target hat sich erledigt.

Aber ich hab jetzt eh erstmal ganz andere Probleme:

1. Warum ist das Windows Netzlaufwerk erheblich schneller als das iSCSI Target?
2. Warum krieg ich maximal 550 MB/s über die Leitung?

 

[millenniumpilot]

2. Warum krieg ich maximal 550 MB/s über die Leitung?

das ist doch Jammern auf hohem Nivau, ich bekomme nur 350MB/s.
Meine Karten sind in den beiden ESXi und gehen an einen eigenen vswitch, hier hängen dann die Fileserver-VMs drann (OI und OmniOS).
MTU ist auf den vSwitchen und im e1000-Treiber der VMs eingestelllt. An welcher Stelle muss den üblicherweise in einer virtualisierten Umgebung geschraubt werden? Auf dem Host, den VMs oder beiden? Das Ändern der MTU auf dem Host hat signifikant was gebracht, in den VMs dagegen überhaupt nichts.

 

[DunklerRabe]

Ich finde bei einem 10G Netz ist das nicht jammern auf hohem Niveau! Wenn da jetzt 1000 MB/s durchgehen würden statt 1100 MB/s, das wäre dann jammern auf hohem Niveau, wenn ich mich daran stören würde

 

[leser]

@DunklerRabe: Hattest Jumboframes schon getestet? Die Sache mit den Leistungsoptionen bei der die Interruptdrosselung auf "Aus" gestellt werden kann, schien mir auch zu helfen.

Im Startthread gibt es ja folgenden Abschnitt:

Jumbo Frames:
Es ist bei 10 Gbit/s SEHR vorteilhaft mit Jumboframes zu arbeiten.
Grund: 10 Gbit/s bei 1500 Byte pro Paket macht gigantisch viele Pakete in der Sekunde!
Diese verursachen beim Eintreffen Interrupts, die können aber nicht auf mehrere Kerne verteilt werden und daher flooden sie einen Kern bis er "voll" ist. Dann ist die maximale Datenrate für 1500er Frames erreicht.
Bei meinen Benches ist das irgendwann bei 300-400 MByte/s der Fall.
Mit 9000 Byte Jumboframes wird die Interruptrate deutlich reduziert, weil die
Anzahl der Pakete um den Faktor 6 zurückgegangen ist.

Was ich noch probieren will ist, Sende und Empfangspuffer komplett aufzudrehen.

 

[DunklerRabe]

Ich hab mangels Zeit noch garnicht viel getestet was das angeht, werde mich dann aber zwangsweise mal mit den Einstellungen befassen müssen, da ich 550 MB/s ja nicht für normal halte.

 

[millenniumpilot]

@DunklerRabe: war ja auch mehr sarkastisch gemeint. Es gibt User die haben noch unterirdischere Messwerte und wären zufrieden, halbswegs auf Deine Werte zu kommen.

Mir ist bei den 10GB-Treiberspielereien unter OI schon aufgefallen, das MTU erhöhen und Jumboframes wohl zwei unterschiedliche Dinge sind. Ist das so?
Habe bisher nur die MTU gesetzt, nicht expizit Jumboframes aktiviert.
Wobei ich anscheinend wohl sehr naiv war zu glauben, wenn ich eine 10GB-Nic installiere, die Treibereinstellungen auch für 10GB geeignet eingestellt sind. Wahrscheinlich muss ich auf dem ESXi hier auch noch weiter Hand anlegen.

 

[DunklerRabe]

Ich hätte auch erwartet, dass ohne großartige Konfigurationen irgendwie ~1000 MB/s möglich sind. Bei allen 10G Karten davor war das auch so, allerdings waren das auch Direktverbindungen und jetzt hab ich ja einen Switch in der Mitte, auf den ich auch mal genau drauf schauen muss.

 

[millenniumpilot]

Im Augenblick verwende ich noch eine Direktverbindung zw. den beiden Karten. Ich schaue mir dann mal als nächstes den ESXi-treiber genauer an, ob da noch was zu justieren geht.
Arbeitest Du mit einer virtualisierten Umgebung bei Deinen Test oder BareMetal?

 

[DunklerRabe]

Bei mir ist das Physik. Jeweils ein SM X10SLL-F mit Windows 7 und Server 2012 R2 und Intel X540-T1 Karten.

edit:

Zuerst hab ich auf dem Server nochmal den Treiber geupdated. Server 2012 R2 bringt einen mit für die X540, ist aber natürlich nicht ganz frisch. Und natürlich hat das die Performance erstmal verschlechtert!
Dann hab ich die Interrupt Drosselung abgestellt, das erhöht die CPU Last deutlich und bringt einen guten Performancezuwachs. Dann noch die Jumbo Frames aktiviert und die CPU Last ging wieder etwas runter und die Performance noch etwas rauf.
Jetzt siehts ok aus:


Netio ist aber wohl auch nur so mittelmäßig genau. Die beiden Messungen wurden mit identischen Einstellungen durchgeführt. Naja...

edit2:

An der iSCSI Performance hat das erwartungsgemäß nichts oder nicht viel geändert. Mit ATTO kommen allerdings grundsätzlich höhere Werte bei raus und jetzt überleg ich grad, ob eines, oder auch beide, Tools auch ungenau sind. Ich werd mal entsprechend schnellen Storage im Client unterbringen und dann mal schauen, was da bei nem realen Datentransfer über die Leitung geht.

 

[leser]

Was die Performanceoptimierung angeht hat Dell schon sehr gut für uns getestet. Es ist zwar nicht der 540er sondern nur der 520er Intel NIC benuzt worden - aber trotzdem sehr interessant.

http://www.google.de/url?sa=t&rct=j...Bzt36nAQM94tRXw&bvm=bv.60444564,d.Yms&cad=rja

Die Optimale Einstellung für iscsi von Dell (dürfte, wie ich hoffe auch für ähnliche ISCSI Konfigurationen gelten) steht unter Punkt 5.

 

[DunklerRabe]

Das bezieht sich ja auf den Initiator, weil die wollen, dass wir Dell SAN Storage als Target benutzen Die Intel Treiber bringen Profile für die Karte mit, eins davon ist für Storage Server, optimiert für iSCSI. Hab die Beschreibung noch nicht gelesen ob das für Initiator oder auch Target gut sein soll. Die Einstellungen am Target müsste man ja entsprechend mit anpassen.

Als nächstes interessieren mich aber reale Datentransferraten mit den aktuellen Einstellungen ohne Änderungen der Buffer. So kann man danach einfacher feststellen was die Änderungen bringen oder überhaupt nötig sind. Den Benchmarkergebnissen vertraue ich nicht.

edit:
Sieht gut aus. Reale, sequentielle Transferraten liegen auf dem Niveau, welches ich für die jeweiligen Devices erwarten würde und deutlich über dem, was CDM da so misst.

CPU Last bei ca. 500 MB/s Traffic liegt bei beiden Systemen bei ~20-30% (Pentium G3220, Haswell Dualcore, 3 GHz) und mit Sende- und Empfangsbuffer auf 512, ebenfalls bei beiden Systemen, braucht das ca. 1 GB RAM. Ich nehme also mal an, dass dieser Wert eigentlich als MB zu verstehen ist. Wusste ich noch nicht, hatte ich nur vermutet
Das Storage Server Profil auf dem 2012 R2 ändert die Buffer also schonmal nicht. Gegenüber dem W7 Client, der nicht alle Profile freigeschaltet hat und mit dem Standardprofil läuft, scheinen hauptsächlich die RSS-CPUs und RSS-Warteschlangen erhöht worden zu sein. Ob die Buffer erhöhen jetzt noch was bringt kann ich also nicht wirklich testen, weil ich am Limit der Storage Devices bin.

Um also auf deine eigentliche Frage von vor einigen Tagen zurück zu kommen:
Für den Moment würde ich nur davon ausgehen, dass das CDM Ergebnis eher der zweifelhafte Faktor ist. Schau mal was ATTO sagt, das scheint näher an der Realität eines sequentiellen Datentransfers liegt oder versuch es direkt mal mit einem richtigen Transfer. Achte währenddessen auf die CPU Last, falls du noch kleinere CPUs verwendest als ich.
Ansich scheint dein Setup vergleichbar zu meinem zu sein. Die Anpassungen in den Einstellungen der Karten hattest du eh schon vor mir vorgenommen und netio bestätigt dir auch ca. die 10 Gbit/s.

Ich könnte jetzt nochmal probieren was bei einer RAM Disk rumkommen würde, falls deine Realtests trotzdem kein anderes Ergebnis zeigen.

 

[leser]

Ich habe jetzt nochmal mit Atto getestet - da komme ich aber auf ähnliche Werte wie mit Crystal:



Das ist jetzt übrigens Starwind Initiator auf Win 8.1 mit Starwind Target auf 2012R2. Wobei es sich bei dem Device um die RAM disk, die bei Starwind eingebaut ist handelt. Vorher hatte ich immer mit dem MS Initator geteset - auch wenn das Target Starwind war.

(Edit:
Wenn ich statt eingebauter Ramdisk Virtuell Disk auf Ramidsk von Softperfect nehme bin ich wieder langsamer als bei MS)


Wegen dem Realtest sag ich mal auf 500/MBs komm ich ja auch. Die Frage war ja, ob man auf ca. 1000 MB/s kommen kann. Wie genau hast Du den Atto Test gemacht? Mit ISCSI?

Proz 1 ist ein i7 3770 Proz 2 ist ein E8500. Der E8500 geht tatsächlich bis ca.47 Prozent Last. Schon möglich, das das die Sache begrenzt.

Edit2:

Wenn ich Proz zwei von 3,1 auf 3,8 GHz übertakte (ohne Gewähr ich übertakte normal nicht und kenne mich daher nicht gut damit aus) kommt sowas dabei raus:



Edit3:
Interessant: Wenn ich die beiden Rechner tausche - d.h. das ISCSI Target auf den schnelleren Rechner lege sieht das genau umgekehrt aus - und: ich komme endlich auf 1000/MBs. Es scheint also wenn man die volle 10GBit Performace mit ISCSI will ist der beste Prozessor gerade gut genug.

 

[DunklerRabe]

Wenn ich die Zahlen so sehe, dann denke ich schon, dass da mit entsprechendem Tuning 1000 MB/s drin sind. Bei realen 800 MB/s bist du ja jetzt schon, würde ich schätzen auf Grund der Ergebnisse von ATTO. Bei meinem Test hab ich direkt gegen das iSCSI Target getestet.

Du musst übrigens mal darauf achten, dass du die Tests unter ähnlichen Voraussetzungen durchführst. In beiden Benchmarks kannst du die Total Length angeben, also die Menge an Testdaten. Jetzt sinds hier 256 MB und 500 MB, vorher hab ich aber auch schonmal 50 MB gesehen. Ich würde immer möglichst viel nehmen, damit Caching nicht das Ergebnis verfälscht. 1 oder 2 GB bieten sich da an.

 

[Iser]

Jungs und Mädels, ich brauch mal eure Hilfe.

Mein neuer Raid Controller ist da, die Platten kommen leider erst morgen (DHL hats verpeilt).

Morgen will ich vom jetzigen Array auf das neue Array kopieren. Und natürlich wollte ich das über Infiniband lösen. (Zur Not kann ich auch den Raidcontroller in den Server einbauen und direkt von Array zu Array - will aber mal Speedtest durchführen mit Infiniband, schlißelich hab ich den Kram dafür angeschafft)

Nur leider, und ich weiß net warum, sagt mir Windows 7 X64, dass kein Netzwerkkabel an den Karten hängen. Tollerweise leuchtet die LINK LED an beiden Karten. Kabel is auch ganz - da letztens erst benutzt.
Treiber 4.40 von Mellanox, Karten sind MHGH28-XTC (FW 2.9.1). Im Gerätemanager sieht alles top aus.

Irgendeiner eine Idee warum?

Update:
Was ich unter Informationen im Treiber gesehen habe ist, dass meine manuell vergebene IP nicht angezeigt bzw. angewendet wird. Wird immer eine 169.254.86.xx genommen.
Link Speed jeweils auf "-".

Update2:
Sieht so aus, als wäre der OPENSM dienst nicht startbar...hab ihn versucht über command line einzubauen...aber hilft nix.

Update 3
Also ich vermute nach wie vor, dass der OPENSM nicht richtig greift. Ich habe zwar wie beschrieben das teil gestartet, aber ich bekomme einfach keine Verbindung zwischen den Karten (Netzwerkkabel nicht eingesteckt). Wäre cool wenn jemand nochmal die Vorgehensweise bei der Installation der Mellonx Treiber darstellen könnte. Ich muss was übersehen haben. (und dabei ist alles schon mal gelaufen)
Vstat mach ich heute abend mal...

Update 4
ES LÄUFT!
Nach zig Treiber-De und Re-Installationen konnte der OPENSM nun seine Arbeit aufnehmen. Irgendwas war wohl zerschossen und der Dienst, obwohl gestartet, hat nichts gemacht. Jetzt erstmal optimieren und des RAID initiallisieren lassen.

 

[daBerny]

Hey Hallo.
Hab da ein kleines Problem.
Ich habe eine x540-t2 und eine XR977 ist wohl eine Dell gelabelte e10g41at2.

Mir gelinkt es einfach nicht eine 10Gbit Cossoververbingung herzustellen.
Beide Karten stecken auf Supermicro Boards und sind m.M.n mit dem richtigen Treiber installiert.
Habe Feste IP's und Maske vergeben und es mit 3..4.. (cat5,cat5e,cat6 und nem cat5-crosslink) verschiedene Kabel versucht.
Aber das Ganze mag erst eine Verbindung eingehen, wenn ich Die XR997 auf 1Gbit Voll duplex drossel....

Hat jemand eine Idee??

 

[DunklerRabe]

Was genau passiert denn, wenn du die XR997 nicht fest auf 1 Gbit/s einstellst? "Gelinkt nicht" (sehr schöner Rechtsschreibfehler in dem Kontext übrigens! ) und "geht sonst keine Verbindung ein" sind keine sehr aussagekräftigen Fehlerbeschreibungen!

Ich vermute jetzt mal, dass du meinst, dass die dann nicht mal einen Link kriegen, d.h. Windows würde melden "Netzwerkkabel entfernt"?
Was für Hardware ist sonst so verbaut? Welche Betriebssysteme? Sicher, dass du die richtigen und aktuellen Treiber hast? Hast du mal nach Firmwareupdates geschaut, gerade die XR997 ist ja etwas älter?

 

[daBerny]

Hey DunklerRabe, Danke erstmal für Deine schnelle Antwort.

"Gelinkt nicht" jap.. wirklich feines Wortspiel.

Also das mit: "geht sonst keine Verbindung ein" meinte ich das wirklich so.
Die beiden Karten wollen weder eine Physische, noch eine Logische Verbindung eingehen.
Es leutchtet weder eine der LinkAktivitäts LED, noch wird unter "Systemsteuerung\Netzwerk und Internet\Netzwerkverbindungen" (Windows) bei den entsprechenden Karten, was anderes Angezeigt als "Netzwerkkabel wurde entfernt".

Es ist gleich welches Kabel ich verwende, noch welche NW-Adapter/Rechner-Kombi ausprobiert wird.

Was mich verwundert.. Bei der x540 kann ich unter "Verbinungsgeschwindigkeit" des Inteltreibers schon zwischen:
Automatisch/10Gbit/1GBit/u.s.w. auswählen. Bei der xr997 nicht! Dort ist nur Auto&1Gbit Vollduplex auswählbar...

Meine erste NW-Adapter/Mainboard-Kombi war:

X7SPE-HF-D525 (WIN2008r2) & der T540 (Treiber)

gegen

X7DBE (WIN2008r2) & der XR997 (Treiber).


Und die letzte Kombi:

X7SPE-HF-D525 (WIN2008r2) & der XR997 (Treiber)

gegen

M2N68AM PLUS (WIN7) & der T540 (Treiber).

Es lies sich wirklich nichts mit 10Gbit verbinden....



Mir kamm heute nacht noch eine eingebung.. dachte ich jedenfalls..

Ich kamm darauf das ich die XR997 immer nur in einem mit 4 Lanes angebunden PCI-e Slot hatte.

das X7SPE-HF-D525er hat ja nur ein 16er mit 4 Lanes und beim X7DBE hat der genutzte dritte Slot auch nur 4 Lanes...

na den mal eben umgebaut..aber auch nur ernüchterung.. keine Änderung.. kein Erfolg..

hm und nu?? da bleibt ja nur noch die Firmware.
Aber von Firmwareupdates bei Netzwerkkarten hab ich noch nichts gehört

NACHTRAG:

Achja... Wenn ich bei der T540 (Dual-Port) A & B direkt brücke, wird sofort eine 10Gbit Verbinung aufgebaut und gehalten!
Ein der beiden Ports habe ich in eine VM gecincht..
Ich denke das mit der T540 alles im Grünen ist!

 

[DunklerRabe]

Das mit der Firmware war nur mal so ein Gedanke, ich weiß auch nicht ob es da überhaupt welche gibt. Gibts bestimmt, aber kann ja z.B. sein, dass der Treiber die mitbringt.

Fürs erste würde mir auch kein Grund für so ein Fehlerbild einfallen. Zumindest mal einen Link müssten die Karten doch hinkriegen. Man könnte die Karte jetzt natürlich mal in einer anderen 10G Umgebung testen um das Verhalten zu verifizieren (oder eben auch nicht).

 

[daBerny]

Trotzdem danke!

Ein Cat.6A kabel wird es wohl auch nicht bringen? Hab erst überlegt mir eines anzuschaffen ... den Gedanken hab ich aber schnell wieder verworfen.
Bin eher der Meinung, dass die XR997 ein weg hat und ich es wohl doch mit einer weitern Karte, wie du auch meinst, zuversuchen.

Wenn trotzdem jemand noch eine Idee hat

 

[leser]

@daBerny

Hier scheint jemand das gleiche Problem zu haben, daß sich die Kartenkombi, die Du wohl auch hast nur mit 1Gbit verbindet:

Intel EXPX9501AT (XR977) experiences - Page 3

Post #38 z.B.

Leider gibt es keine Lösung.

Einer der Forumsteilnehemer vermutet einen Physikalischen Defekt.

Ein anderer bestätigt aber zumindest, daß die Kombination wohl generell bei Ihm funktioniert (#50).

Was mir noch einfällt: Ich denke Du solltest beide auf Automatisch stellen. Nicht eine auf 10Gbit und die andere auf Automatisch.

 

[DunklerRabe]

Seit 1 GbE ist Auto Neg auch Standard. Fest eingestellte Ports sollte es eigentlich nicht mehr geben, viele Hersteller implementieren das dennoch.

Ein besseres Kabel wird keine Abhilfe schaffen, das sorgt bestenfalls für bessere Übertragungsraten. Einen physikalischen Link sollte man aber auch über ein noch so ranziges Kabel hinkriegen.

 

[daBerny]

Hey Danke leser, für den den Link.
Ich bin mir nicht mehr Sicher.. was nun das Problem seien könnte.
An einen Defekt glaube ich nicht mehr wirklich...

Ich habe beide Karten auf Auto gelassen, was auch nach der Treiber installation der Standart-Fall war.

Erst als ich bei der XR997 auf 1Gbit-Volld. geschaltet habe, lies sich das ganze, auf eine sauberlaufenden Verbindung überreden.
Änderung der Verbindungsgeschwindigkeiten der t540 ergab nichts. Nur bei der XR997

Ich hab eben mal NETIO laufen lassen, bei 1Gbit und nem 5Meter-Cat.5 kabel und ich finde die Werte nicht schlecht...

 

[DunklerRabe]

~110 MB/s ist normal für 1 GbE

 

[win5hit]

Nabend
Ich bin mir nicht sicher obs hierher passt... Ich suche für 4 dualport infiniband Karten, Mellanox MHGH29-XTC, große PCI Blenden, ich habe leider nur Low-Profile.
Hat vielleicht zufällig jemand welche rumfahren?
Gruß

 

[DunklerRabe]

Frag doch mal beim Mellanox Support an! Der Support des Herstellers ist bei sowas öfters mal recht entgegenkommend. Emulex hat mir mal Blenden für FC HBAs zugeschickt, kostenlos per Fedex Express aus den USA Keine Ahnung ob Mellanox da auch so gut ist, aber einen Versuch ist es wert.