[Sammelthread] 10Gbit Homenetzwerk

[AliManali]

Ah, cool, thx.

 

[ojumle]

Das schöne ist seit Gigabit gibt es auch keine Unterscheidung mehr zwischen Patch und Crossover-Kabeln. Man kann theoretisch beide verwenden. Die Neogation schaltet dynamisch die richtigen Pins.

Umso ärgerlicher dass viele Endgeräte (AV-Receiver, NAS, Settop-Boxen, Drucker uvm) teilwerise immernoch mit FastEthernet rumkrepeln. Und das im dritten Jahrtausend und das bei Neugeräten.

Also 350€ klingen wirklich nach einem Schnäppchen - leider geb ich mein Geld gerade für was anderes aus. Aber man kann davon ausgehen, dass der Switch kaum teuerer wird. Die1910 ist die kleinste Managebare-Gruppe von Zyxel. Die sind für gewöhnlich auch für Privat bezahlbar. In meinen Augen kann man mit dem Teil nichts verkehrt machen. Und mehr als 2x10Gbe-Endgeräte dürfte man in den nächsten 5-10 Jahren im privaten Umfeld wohl kaum haben. Insofern sind das wirklich zukunftssichere 350€

 

[AliManali]

Hi

Also, wenn ich mir das Teil dann wirklich leisten kann (?), werde ich erst mal mit 1 GBit fahren. Und wenn es dann tatsächlich mal 10 GBit geben sollte, dann ohne Switch direkt zum Server.

Auch das NAS finde ich echt ein Schnäppchen: Das ist neu und bis anhin kostete das "alte" 8 Bay QNAP mit 10 GBit Option etwa das doppelte.

 

[DunklerRabe]

Wäre es nicht eher sinnvoll erst dann Investitionen in 10G zu tätigen, wenn du das wirklich nutzen willst?

 

[AliManali]

Klar. Nutzen möchte ich es am liebsten jetzt schon.

 

[The_Erasor]

Hi Leute,

ich wollte mich nur mal kurz bei euch melden, da ich durch euren tollen Fred endlich ne bezahlbare Lösung gefunden hab das GBit Limit zu durchbrechen .
Bin bei den 3x DDR 2-Port CX: MHGH28-XTC Karten aus ojumles Post gelandet, dazu noch 3x 10 m Kabel (gabs grad günstig bei ebay) und hab damit effektiv etwas über 230 Euro bezahlt um bis zu 3 Rechner (mehr hab ich hier in nächster Zeit eh nicht in Planung, da ein Filer + Workstation und eine Testsystem erstmal ausreichen) zu verkabeln.

Ergebnis:
Mit der aktuellen 2.9.1000 FW und den aktuellen Mellanox 5.40 Treibern gehen die Karten noch mal ein gutes Stück besser ab, als mit der orginalen 2.6er FW und den alten 2.3er Treibern.
JPerf zeigt mit mit 16 Streams 1200 MB/s von der Win7 Workstation zum Server, dabei lief der 2500k mit 4,8 ghz auch gut auf vollen 100% Last . Vorher war da bei 750 MB Schluss, Windows hatte mit den alten Treibern auch "nur" 10 GBit als Verbindung angezeigt, mit den Neuen sinds 16 GBit.
Von der 840pro in der Workstation kann ich den kann ich zu den beiden raids volumes auf dem Filer jeweils mit 450 mb/s schreiben/lesen, die Raids würden auch noch ein Quentchen (so 550 mb/s) mehr schaffen, aber die 840 pro ist halt am Ende .
Endlich kann ich mal auch über samba von der Workstation auf dem Filer arbeiten, als wären es lokale Platten.
Das Mini Testraid0 aus alten Platten in der Workstation ist jetzt jedenfalls deutlich langsamer als der Zugriff auf den Filer (nur ca. 250 mb/s)

Anyway, bin soweit sehr zufrieden mit der Lösung!
Erst Recht, da meine zuvorigen Tests mit der Bündelung von bis zu 3 gbit Ports mit 802.11ad oder RR bonding etc. und pipapo alle nicht so das Wahre waren, da dies nicht wirklich mit nur 2 Hosts funktionierte, erst recht nicht über verschieden Betriebssystemgrenzen (Linux <--> Win) hinweg.
Dagegen ist das IB bzw IPoIB regelrecht easy, mal sehen ob ich das noch etwas tunen kann mittels RDMA , aber eigentlich reichts auch schon so.
Preislich also für mich vollkommen akzeptabel, auch wenn 10GE T wohl die Zukunft gehört, allerdings wäre mir das dann doch langsam etwas zu teuer geworden, man hat ja noch andere kostspielige Hobbies

Also nochmal: vielen Dank für eure Anregungen!
Für meinen 2. Standort, wo allerdings lediglich 2 schwächere Storages (Primär <-> Backup) verkabelt werden müssen ist das jetzt auch noch in der Planung.
Würde dort zwar auch mit Gbit gehen und ausreichen, da die Storages dort max nur ca. 300-350 MB/s schaffen, aber wenn man schon die Option hat
So liegts dann halt an den Storages und wenn die mal noch aufgestockt werden bringts ja auch Vorteile.
Ich denk ich werds dort auch einfach mit IB umsetzten, die Rechner stehen dann ja eh nebeneinander, so spar ichs mir immerhin die 2. Gbit Karte anzuschafen.

 

[xymos]

Hallo,


Wie siehts denn mit Apple Usern hier aus ?
10 Gbit auf Kupferbasis sind ja auch für den Mac mit 350 Euronen relativ heftig, wenn man das nur für den Heimgebrauch nutzt.
https://www.openfabrics.org hat leider nicht passendes für den Apple.

Allerdings bin ich jetzt wiederholt durch googlen auf Small Tree - High Performance Networking and Shared Storage Solutions for Media Professionals gestoßen, die auch FCoE für den Mac anbieten.
Hat das mal jemand testen können ?

Small Tree - Shared storage for multimedia professionals

Ich hab leider keine passenden Controller hier, sonst würde ich das sofort mal testen

Cheers,

_xymos.

 

[DunklerRabe]

Ich kenn mich jetzt speziell mit deren Produkt nicht aus, aber müsste das nicht prinzipiell auch mit gängigen 1 GbE NICs funktionieren?

 

[mlampe]

Hallo,

@The_Erasor: Ich überlege schon seit längerem mein Storage-System (demnächst 2 Storage-Systeme) mit einer schnelleren Anbindung zu versehen, hab es aber immer wieder verworfen.

Mir stellen sich bei deiner Konfig ein paar Fragen:

1) Wie kann ich mir die Verkabelung deiner 3 Systeme vorstellen? Ich verstehe das zumindest so, dass Du 1x Filer, 1x Workstation und 1x Testsystem hast.
2) Falls Du keine 3 Systeme hast, wie kann ich mit den von Dir verwendeten Karten + Kabel ohe IB-Switch 3 Systeme miteinander verbinden?
3) Welche Kabel genau hast Du genommen? Ich hatte bei meinen Recherchen keine "annehmbar günstigen Kabel" gefunden.

Vielen Dank im voraus!

Gruß
mlampe

 

[DunklerRabe]

Um drei Systeme untereinander zu verbinden brauchst du halt mindestens in einem System (in der "Mitte") einen IB HCA mit zwei Ports. Im Prinzip baust du dir deinen eigenen Switch und die Rechner am Ende können miteinander nur mit 10G reden, wenn das System in der Mitte läuft, sofern das gefragt ist.
Oder du hast dual Port HCA in allen Rechnern, dann kannst du im Dreieck "jeden mit jedem" verkabeln.

Die Kabel sind oft die teuerste Komponente in einem IB Setup und richtig günstige Angebote gibts nicht so oft. Im Moment gibts gebrauchte 10 Meter Kabel für 25 Euro pro Stück, das ist sehr günstig. Ebenso seh ich gerade 4 Meter Kabel für 35 Euro, was auch noch günstig ist. Hin und wieder findet man günstigere Angebote im Ausland. Einfach mal bei eBay nach Infiniband Kabel oder SFF 8470 suchen, du musst nur drauf achten, ob das Kabel per Lasche oder Schrauibe gesichert wird.

 

[Iser]

Guten Morgen.

Ich habe einige Mellanox MHGH28-XTC alias HP 448397-B21 erstanden und mit der letzten verfügbaren HP Firmware 2.8 geflasht.

Karten laufen zwar, nur habe ich das Problem, dass die Openfabrics Treiber in der letzten Version 3.2 bei Windows 7 x64 beim Shutdown-Prozess einen Bluescreen erzeugen.
Aber nur auf dem unten stehendem System.

System:
I5 3570K @ stock
ASUS P8Z77 WS (Bios 3505)
Windows 7 x64 mit neusten Treibern und Updates
Generell sind alle Treiber und FW/Bios auf dem letzten Stand

Andere Openfabrics Versionen habe ich noch nicht probiert.

Fragen:
1. Hat noch jemand das Problem?
2. Ist es möglich die Karte mit der Original FW von Mellanox zu überschreiben? Denke schon, wenn man den Vendor-Check einfach ignoriert bzw. FW Flash forced, oder?
3. Was ist mit den Originalen Mellanox Treibern? Laufen die nicht unter Win7?

Iser

 

[The_Erasor]

Hi Iser,

zu deinen Frage:
1) Ja, hatte ich auch.
2) Ja ist möglich, funktioniert zumindest bei mir. (gibt dazu sogar Anleitungen im Netz, die ich aber grad nicht finde)
3) läuft 1a unter Win7 x64 bei mir.

Die HP 2.800er Firmware hatte ich auch mal kurz drauf, damit aber keine Bluescreens. Ich glaube da hatte ich aber noch die alten Openfabrics 2.3 Treiber installiert und noch nicht die neuen 3.2er.
Dann hatte ich per Force die Orginal FW drauf gespielt und mit den Openfabrics Treibern genau wie du beim beenden den Bluescreen.
Seit dem ich die Mellanox Treiber (4.40) verwende läuft alles 1a und ich hatte keine Bluescreens mehr mit der 2.9er Firmware.

@mlampe
sorry das ich so spät erst antworte.
Ich hab 3 Dualkarten. Aktuell hat das Borad im Testrechner aber die Grätsche gemacht, weswegen ich die 3fach Vernetzung noch nicht testen konnte.
Aber im Prinzip ists so angedacht wie DunklerRabe beschrieben hat. Ich verbinde alle Rechner zu einem "Ring", mit 3 Dualkarten + 3 Kabeln ist das dann auch möglich.

 

[Iser]

@The_Erasor

Späte Antwort? Ich bitte dich =)
Super Timing!

Welche Mellanox Karten hast du genau? Selbe wie ich?

Also, brauche ich folgendes:
FW: fw-25408-2_9_1000-MHGH28-XTC_*****.bin.zip -> ***** für die jeweilige Revision: Firmware for ConnectX® - Mellanox Technologies
Driver: Mellanox Products: Mellanox OFED for Windows (WinOF) -> Ich nehme an die Win2008/R2 Version in X64 V4.40

Mellanox Treiber haben nehme ich mal an auch das IBoverIP Protokoll dabei?


Danke für die Antwort! =)

 

[mlampe]

Hallo zusammen,

@DunklerRabe: Sorry dass ich jetzt erst antworte, aber ich habe seit dem und momentan immer noch
zu viel um die Ohren und konnte mich daher (Leider) nicht näher damit befassen.

@The_Erasor: Das macht nichts. Aus dem Grund wie hier oben geschrieben ist das nicht weiter tragisch.
Dass du das als "Ring" verkabelt hast habe ich schon vermutet.

Das was Du, Iser, beschreibst wäre bei mir wahrscheinlich die gleiche Situation. Daher ist das für mich auch ein Super Timing um etwas dazu zu lernen.
Wenn ich demnächst wieder mehr Zeit habe werde ich dieses Thema in Angriff nehmen.

Bis dahin.

Gruß
Andreas

 

[The_Erasor]

@Iser Ja, sind die selben wie du.
Ich glaub auch in Revision A1, müsst ich heut abend nochmal nachschauen.
Aber die Firmwarepackages (A1, A2 und A3) unterscheiden sich glaub ich nicht weiter.
Deine Links zur Mellanox Seite sind ok, die hab ich auch genommen (W2k8R2 Treiber x64).

Soweit ich mich entsinne hat der Mellanox Treiber IPoverIB mit drinn, erkennt man daran das nach der Installation die 2 Netzwerkkarten wieder unter der Netzwerksteuerung angezeigt werden.
Man kann auch zuerst die Openfabrics Treiber installieren und dann nachträglich nur die reinen Mellanoxtreiber über die Systemsteuerung aktualisieren.
Das hatte ich testweise einmal gemacht, ging glaube ich auch.
Soweit ich mich entsinne braucht man die OF Treiber aber nicht zwingend und nur der Mellanoxtreiber reicht aus, bin mir da aber nicht zu 100% sicher.

Ich muss sagen, da war mein gentoo Server aber etwas unproblematischer von der Installation
Dem Kerneltreiber war es wurscht welche Firmware auf der Karte lief, wurde immer korrekt erkannt - ganz im Gegensatz zu Windows, was da schon etwas wählerisch ist.

Der Mellanoxtreiber versucht glaube ich auch bei der Installation noch mal die Firmware zu aktualisieren, da passiert aber nix weiter / das schlägt fehl und die FW 2.9.1000 bleibt drauf.

 

[Iser]

Sauber!

Ich versuche erstmal die Mellanox 4.40 mit der HP Firmware...sollte ja eigentlich kein Problem sein.
Ansonsten muss ich nochmal flashen.

Update:
Saubere Sache. Mellanox Treiber 4.40 laufen astrein, kein Bluescreen mehr =)
Jetzt muss nur noch mein neues MB kommen, und dann sind Server und Workstation endlich "vereint"

 

[Tampopo]

Habe Solarflare SFN5122F Karten im Test

Ich hatte mir schon vor der Anschaffung der Karten diesen Thread durchgelesen. Meine Anforderungen waren:

- nicht zu hoher Stromverbrauch, d.h. <10W pro Karte
- SFP+ wegen Flexibilität
- PCIe, weil ich die Karten noch im nächsten Rechner verwenden will
- möglichst zwei Ports pro Karte, um bei 3 Rechnern ohne Switch auskommen zu können.
- TCP Offload Engine wenn möglich
- Unterstützung von Linux (im Kernel!) , Windows 7 und FreeNAS (FreeBSD).

Speziel bei FreeNAS ist die Auswahl an vernünftigen Karten recht eingeschränkt. Seit FreeNAS 9.1.1 ist der Support für die Solarflare Karten drin.
Hier das Datenblatt:
http://www.solarflare.com/content/userfiles/documents/solarflare_sfn5122f_10gbe_adapter_brief.pdf

Ich kam per Ebay günstig an ein 9er Pack aus den USA. Resultat: Bisher 1 tote Karte und 7 Karten erfolgreich getestet. Die letzte kommt noch gleich ).
Von Win7 (H55 MoBo mit i680 CPU, 16Gbyte RAM) auf Linux (Knoppix) HP N54L mit 2GB. Raten zwischen 3.5-4GByte/s mit iperf/jperf und normalen 1500er Frames.
Sytemlast ist dabei ca 22% bei meinem i680 System (HT an) und ca. 66% auf einem Core im N54L System.
Unter Knoppix 7.2 laufen die Karten sofort. Bei Windows muss der gut 60MB grosse Treiber gezogen werden. Verbunden ist das Ganze per 5m DAC Kabel (SFP Cu).
Erste Eindrücke:
- Die Karte braucht 4 Interrupts. Musste erst mal mein übervolles System entrümpeln. Also Hauppauge HVR4000 ausgebaut, damit es läuft.
- Karte läuft problemlos im N54L System und zieht auch nicht zu viel Saft.
- Der Kühlkörper auf den SFN5122F ist nur unwesentlich grösser, als der von Intel Gbit Dual oder Quadkarten. Wird auch nur leicht warm, wenn ein Kanal genutzt wird

So jetzt teste ich erst mal die letzte Karte und versuche mal ob FreeNAS läuft.

Gruß
Tampopo

 

[Tampopo]

Leider war die neunte Karte auch tot. Also nur 7 lauffähige Karten.
Freenas 9.2.0rc1 habe ich mal angetestet. Sieht gut aus. Bei iscsi volle Plattenspeed unter Windows 7 und am Anfang des Transfers sogar gut 200 MB/s
Auf Dauer soll in den N54L mehr als eine Platte rein und aud das RAM soll auf 16GB hochgesrüstet werden. Dann geht es sicher noch schneller.

Gruß
Tampopo

 

[bigghost]

@Tampopo hast du Zoll,Einführsteuer etc bezahlt wie die hier angekommen sind ?

 

[Tampopo]

Kam über das ebay Global Shipping Programm. Die kassieren da schon beim Kauf ab. Sogar weit mehr als nötig. Aus 350USD wurden so 360EUR.
Ich gehe davon aus, das der Zoll entrichtet wurde.
Mir persönlich ist es ohne GSP lieber, da das Tracking nicht durchgängig funktioniert. Direkt beim Zoll vorbeischauen ist günstiger, da bis 150EUR nur 19% MwSt erhoben wird.
Der USPS Service Karton war mit "Ebay Global Shipping Programm" Klebeband zugemacht. Es lag eine Karte von ebay (bzw. PBI) drin, das Paket wäre zu Prüfzwecken geöffnet worden.
Hermes Sticker und Lieferschein (3fach) vom Absender waren außen drauf. Den Lieferschein hatte keiner geöffnet und es fehlte auch eine Stempelung vom deutschen Zoll.
Laut deutschen ebay GSP AGBs ist PBI für die Abwicklung des Zolls zuständig (siehe 1.3)
eBay Deutschland

Gruß
Tampopo

 

[DunklerRabe]

Was war das denn für ein Angebot wo jemand direkt neun Karten verkauft? Einmalige Sache oder Händler mit größerem Bestand?

 

[Tampopo]

Offensichtlich handelt der Ebay Verkäufer in den USA mit Netzwerktechnik, die bei Umrüstungen in Rechenzentren abfällt. Die Ware war als "defekt" deklariert, doch da stand:
"UNIT ARE NOT TESTED SOLD AS IS CAME FROM WORKING ENVIRONMENT".
Der Kauf war ein Gezocke. Von den neun karten laufen immerhin sieben. Also gerade mal gut 50EUR pro Karte (die neu in D 700EUR kostet). Die Karten sind wohl für Finanzdienstleister optimiert (Mikroekundengeschäfte an der Börse) und haben eine ganz geringe Latenz. Es gibt auch eine Spezialversion für Timeserver bzw Präzisionszeitmessung.
Diese Karten sind kein Schrott, sondern sehr ordentlich .
OK einen Nachteil hat es doch: Es war immer nur ein Slotblech pro Karte dabei, also fünfmal half height und viermal full height.
Ich werde 5 behalten und zwei bei ebay verkaufen. In D kosten die gebraucht mindestens 200EUR pro Stück.

Gruß
Tampopo

 

[Cookie1990]

Haben Apple Leute denn nicht alle Thunderbolt?
Die kannste doch mit IP over Thunderbolt und chaning befeuern und dann pro Port 20Gs erreichen.

 

[pumuckel]

Haben Apple Leute denn nicht alle Thunderbolt?
Die kannste doch mit IP over Thunderbolt und chaning befeuern und dann pro Port 20Gs erreichen.

Thunderbolt 1 unterstützt (maybe i am wrong) keine channel aggregation (soll wohl bei 2 nun drin sein) ... größeres Problem sind die Preise und Längen der Kabel

 

[Cookie1990]

Joa, die Länger ist ja gerade der Witz, in der Mitte sind das LWL Kabel.
Wenn es einen Thunderbolt auf LWL Adapter geben würde wäre das BOMBE, man könnte alte Verkabelung nutzen und hätte n echten Speed Vorteil
In jeden rechner so ne 2 Port Karte rein, BAM 40 GBs für 150€^^

 

[Daunti]

Eine Frage, braucht ihr diese Datenraten Privat oder Beruflich?
Mir würde Privat nichts einfallen wofür ich das bräuchte, selbst bei 50GB ISOs streamen.

 

[Cookie1990]

Öhm, wieso 1Gbit wenn auch 10 gehen? Bei den Prozessoren oder dem Speicher bleibt man doch auch nicht stehen?

 

[DunklerRabe]

Privat. Ich bin da privat deutlich weiter als beruflich, denn in der Firma bräuchten wir diese Bandbreiten dringend und unsere Infrastrukturen kranken im Moment daran, dass sie eben nicht vorhanden ist.

Im Grunde ist es aber noch nichts besonderes.
Abgesehen von spezifischen Consumer Technologien halten neue Technologien immer erst im Enterprise Segment Einzug. Da ist 10G, technologisch gesehen, ja schon ein alter Hut. Danach kommt es dann in den Consumer Bereich und wird sich dort verbreiten, sofern es nicht wiederum zu spezifische Enterprise Technologien sind. So läuft es immer.

10G wird für den Heimanwender kommen, daran gibts gar keine Zweifel. Netgear hat vor einem Jahr ca. angefangen den Preis für Switche zu drücken und Supermicro hat neulich angefangen 10G onboard anzubieten, was den Preis der Adapter drückt. Der Schritt in den Massenmarkt rückt näher, das ist deutlich zu beobachten. Der Wechsel zwischen 100M und 1G lief vergleichbar. Natürlich passiert das nicht morgen und auch nicht nächstes Jahr, aber es wird passieren.
Ein Grund dafür, warum sich das so hinzieht, ist klar. Genau so wie aktuell bei CPUs und früher bei Grafikkarten hält der Bedarf nicht Schritt mit dem technischen Fortschritt. Für den Großteil der Consumer ist 10G daher wirklich noch kein Thema, weil sie dafür keine Verwendung haben. Viele haben ja sogar nicht mal eine Vorstellung davon, wie eine Verwendung aussehen könnte.

Aber hier im Thread sind halt die Early Adopter. Die Zeit ist reif für Enthusiasten, denn die Preise sind soweit gefallen, dass sich immer mehr Leute es leisten können und wollen, den Schritt auf 10G zu machen.

Ich persönlich will mich aktuell mal mit FCoE über 10G befassen. Das ist erstens eine schöne Lösung für meinen Use Case (Storageanbindung) und zweitens ist es interessant.

 

[Daunti]

Ich denke erstmal braucht man Endhardware die das auch ausnutzt, wenn z.B. die SSDs die HDDs komplett abgelöst haben, oder was denkt ihr?

 

[DunklerRabe]

Das ist korrekt, allerdings hat das mit SSDs nur sehr bedingt was zu tun. Aktuell kann man zwischen zwei einzelnen, schnellen HDDs ja schon über 1G nicht mehr sequentiell kopieren, ohne das die Netzverbindung der Flaschenhals ist.
Wenn man also so eine HDD hat, dann fängt 10G dort schon an sich zu lohnen. Natürlich ist das ein sehr überschaubarer Fall und es lohnt sich gerade mal so eben, sodass man hier die Investionen eher nicht tätigen würde.

Es zeigt aber, dass ein HDD Array aus mehreren Platten an beiden Enden einer 10G Strippe genau das richtige ist. In meinem aktuellen Setup gehen über 800 MB/s zwischen zwei Arrays mit je sieben Platten hin und her. Und das skaliert noch weiter. Bei zehn Platten etwa wäre man schon wieder an der Grenze von 10G.