LAN Teaming etc.

[jcool]

Hey Leute,

ich müsste mal dringend meinen Netzwerkspeed erhöhen. Primär zwischen dem Hauptrechner und dem "Fileserver" sollte mehr gehn als die ollen 90MB/s über single link Gigabit.

An HW steht auf der einen Seite mein SR-2 System mit Dual Marvell 88E8057, auf der anderen Seite ein Tyan S7002 mit Dual Intel 82574L. Alle NICs sind AFAIK per PCIe angebunden. Speicherseitig verfügt das SR-2 über HDD/SSD Raid-Arrays mit >500MB/s Durchsatz, der Server hat ein HW Raid 6 mit ~400/600 MB/s schreiben/lesen.

Das Problem ist wohl der Switch dazwischen, irgend ein relativ günstiger Cisco (SG100D oder so). Ich hab schon LAN Teams auf beiden Kisten erstellt, der Link sagt auch jeweils 2Gbit, über die 90 MB/s komm ich aber trotzdem nicht. Wenn ich die Sache richtig verstanden hab, brauch ich nen managed Switch der Link Aggregation kann? Kabel hab ich schon neue Cat6a gekauft.

Würde es also Sinn machen, sich son Teil anzuschaffen: TP-Link TL-SG2109WEB, 9-port smart managed | Geizhals.at Deutschland
Mit TP-Link habe ich, wider Erwarten, bisher nur gute Erfahrungen gemacht.

Neuer Switch sollte also zumindest meine effektiven Übertragungsraten verdoppeln, oder? Natürlich wäre mehr noch besser, aber alles, was über 2Gbit rausgeht, wird dann doch eher teuer...

Bin für Vorschläge dankbar!

 

[Killer Chris]

Bedenke das du mit Teaming auch bei einem Transfer nicht schneller wirst, es bringt erst etwas wenn du mehrere Transfersessions parallel hast.

 

[Morpheus2200]

Welche Distanz hast du denn zu überbrücken zwischen den beiden Kisten?
Und welches Protokoll fährst du für den Datenaustausch bei 90MB/s?

 

[underclocker2k4]

Wie gesagt, du brauchst link aggeration und du kannst nur folgendes machen:
2x gbit
1x 90MB/s
2x 90MB/s
2x 45MB/s + 90MB/s
4x 45MB/s

Sprich, du kannst einen Transfer nicht über 2 Leitungen verteilen, sondern eben nur einen Lastausgleich fahren und das bedeutet, dass du immer nur einzelne Transfers auf eine Leitung schicken kannst, (oder halt 2 oder 3....)

 

[jcool]

Hmpf.. also wird die Direktverbindung zwischen den 2 Kisten so oder so nicht schneller?
Dann kann ich's eigentlich gleich lassen.. dass da mehrere Clients was ziehen ist eher selten.
Obwohl, ich könnt natürlich die zu kopierenden Files aufteilen und 2 Transfers gleichzeitig an die selbe Maschine laufen lassen, oder?

Distanz ist momentan ~2m, wird aber noch bissl mehr wenn ich umziehe (5-10m).

Protokoll - normaler Windows Filetransfer (mit Explorer rumkopieren), was auch immer das ist
Die 90MB/s sind auch nur grober Durchschnitt, manchmal sinds mehr (bis zu 110 hab ich manchmal). Jumbo Frames sind auf 9K, manuelle IPv4 IPs, ansonsten hab ich nix geändert bei den LAN Settings.

Edit: Achso, das momentan eingerichtete Team schafft definitiv nicht mehr als die 90-100MB/s, auch nicht bei multiplen Transfers.
Eingestellt hab ich ALB beim Intel Team und den "Basic" Mode bei den Marvells...
Das ist jetzt quasi nur Failover, oder?

 

[underclocker2k4]

Wie gesagt, teaming wirkt sich nur auf multiple Transfers aus. (das dadurch ein einziger schnell wird, ist ein weitverbreiteter Irrglaube) (leider.... ;( )

Protokoll -> SMB (ist aber relativ uninteressant, weil das auch so seine 110MB schaffen kann.
Distanz ist also mehr als unkritisch, denke seine Frage zielte auch max Länge ab.

Naja, Failover ist das auch net. Im Moment arbeitet immer nur eine NIC, ich weiß grad net, was passiert, wenn du einen NIC trennst. (kannste ja mal testen und berichten, hab das in der Form noch nie getestet, warum auch )

Fakt ist, du brauchst ein Switch um Teaming ordentlich nutzen zu können.

EDIT: ordentliches Switch -> http://preisvergleich.hardwareluxx.de/a450194.html

 

[jcool]

Jo, sieht wohl so aus. Von nem Bekannten kam noch ne Empfehlung zu dem hier: Linksys SLM2008, 8-Port, smart managed | Geizhals.at Deutschland
Den hat er wohl seit 1,5 Jahren im Dauereinsatz, kann auch LAG/LACP. Das kann der von mir oben verlinkte TP-Link wohl nicht, obwohl der auch Link Aggregation unterstützt.

 

[Gr3yh0und]

Würde lieber zum HP greifen, hab den 8 Port auch hier stehen. Kollege hat den Cisco bzw. ex-Linksys und ist nicht so wirklich zufrieden damit. Das sind so halbe Geschichten von Cisco mit dem SMB-Bereich (ex-Linksys) die in der Firmware wohl nich der Knaller sind.
Hab aktuell eine ähnliche Config zuhause und Spaßeshalber auch Link Aggregation, allerdings fehlt meinem Server aktuell noch ne zweite NIC

 

[jcool]

Ok, reicht mir. HP ist bestellt, morgen wissen wir mehr

 

[jcool]

Hmpf. 3 Stunden rumgespielt, bisheriges Fazit: Marvell NICs sind Müll.
Ich hab im HP zwei Trunks erstellt, einen über Port 1 + 2 für das SR-2, einen über Ports 3+4 für den Server. LACP an.
Ich stelle also die beiden Teams um, und es scheint zunächst zu klappen. Nach ca. 5 Minuten aber der erste Verbindungsabbruch bei meiner Kiste, zunächst ist Inet- und Netzwerkzugriff weg, dann zeigt der Netzwerkcenter gar "getrennt" an. Einzig ein Systemreboot verhilft dem Team wieder zu funktionieren - allerdings nur für weitere 5 Minuten.

Erstmal dachte ich, es wärn vllt die Jumbo-Frames - also ausgemacht, aber auch nix. Wieder weg nach 5 Minuten. Im HP Switch Flow Control an, auch nix.
Im Endeffekt hab ich jetzt das Marvell-Team auf "statisch" gesetzt und im HP entsprechend LACP ausgemacht, das scheint zu klappen - ist allerdings abgrundtief lahm bei 2 simultanen Netzwerktransfers.

Irgend jemand ne Idee, was ich vergessen haben könnte? Bei der Intel Kiste geht alles (anscheinend) einwandfrei...

Edit: Jo, auf "static" bricht das Marvell Team nimmer ab. Aber das kann's ja auch nicht sein... Intel Trunk läuft weiter sauber auf dynamic.

 

[Gr3yh0und]

Hab am 1366er Classified 2x Realteks so nem ominösen Treiber der da auch eher son halbschaariges Teaming hinbastelt. Musste nach einigem rumprobieren den Trunk auch auf statisch stellen - das hat soweit jetzt aber stabil hingehauen. Laut den Paketen die über beide übertragen werden, werden auch beide benutzt.

Performancemäßig kann ich leider nix sagen, da mein Server keine 2te Karte hat noch. - Allerdings die normalen GBit Speed erreiche ich mit ~105MB/s (Intel Karte im Server).

 

[jcool]

Jo, bei einem Transfer hab ich mit dem HP jetzt auch konstant 110MB/s. Nur brichts bei 2 oder mehr gleich ein...
Hab grade irgendwie das Raid 6 im Verdacht. Evtl. stimmt da irgend ein Setting vom Raidcon nicht, die Platten fangen jedenfalls ziemlich an zu rattern.

Edit: Hab da was gefunden im Switch Menü... "Pause Frames"?!
Könnte die Speedprobleme erklären. Port 1+2 sind die Marvells, 3+4 die Intels, wie gesagt.

 

[Morpheus2200]

Wenn die Kisten so dicht beieinander stehen, wäre es da nicht auch eine option mal zu gucken, ob man nicht günstig an 10GBe oder Infiniband Karten kommt und die dann über ein Kabel direkt verbindet?

Wäre natürlich zuvor zu prüfen, dass es auch passende treiber gibt.

Ist zwar etwas teurer, aber ein deutlich größerer Leistungszuwachs. Und du wirst es die nächsten Jahre vermutlich nicht mehr austauschen ;-)

An Bandbreite fehlts bei den Verbindungen dann wirklich nicht mehr. Da wirds dann langsam schwierig passende Storage-Systeme zu finden, die von der Bandbreite noch profitieren.
Ich habe letzens @work ein Storage + login-Knoten auf 10GBe umgerüstet und das ist schon traumhaft. Das ganze hängt an einem 48Port GBe Switch von HP der mit eben den 2 10GBe modulen nachgerüstet ist.
Von dem 48Port verteilen wir dann immer mit 2 GBit links an die Switche, an denen dann auch die Rechner hängen, die das Storage vollschreiben. Der Durchsatz im Netzwerk ist top, jetzt muss nur noch das Storage etwas aufgebohrt werden. Zwischen den 10GBe rechnern erreiche ich bei kleinen Paketen (64k) real so um die 600MB/s. Mit großen Paketen sollte nochmal deutlich mehr drin sein.

Über IB geht natürlich nochmal deutlich mehr, aber das kann ja eh kein Storage liefern, es sei denn ich kopiere zwischen software-ramdisks, aber das passiert ja doch eher selten.

Was ist das für ein RAID 6? 400/600MB/s klingen ja ganz verlockend. Das sind sequenzielle Raten mit großen Files oder?

 

[gea]

Ich kann mich dem nur anschliessen. Mehrere Leitungen zu bündeln ist nur eine Krücke, macht oft mehr Probleme als dass es nützt.

Zwei 10 GBe Karten gibt es ab je 350Euro dazu ein Verbindungskabel für 70 Euro und gut. Meine HP Switche haben alle 10 GBe CX4 Ports. (HP 2910). Damit geht es auch im Netz im Serverbereich richtig gut und es ist noch halbwegs bezahlbar.

 

[jcool]

@Freddy:

Jo, 10Gbit lockt mich schon sehr. Nur bin ich (noch) nicht bereit vierstellig dafür hinzublättern - grade die Switche sind eben noch prohibitiv teuer.

Mein Storage Raid besteht momentan aus 8x Samsung F2 Eco's an nem Adaptec 5405 über HP SAS Expander - hab also noch 16 weitere Ports zur Verfügung. Was der Adaptec maximal kann weis ich gar nicht, der HP Expander macht bei ca. ~800MB/s dicht. Also noch gut ausbaufähig, wobei ich wohl (anstatt das bestehende Raid zu erweitern) in Zukunft eher ein 2. mit 3TB Platten aufbauen werde, sobald die das Preisniveau der aktuellen 2TB Platten erreicht haben.

Ich denke, ich werde einfach die 2 Leitungen zwischen Switch und Server gebündelt lassen, und alles andere einzeln laufen lassen. Dann können immerhin 2 Clients gleichzeitig mit vollem Gbit Speed auf den Server schreiben, das ist schon was.

Edit: Sorry, die 400/600 MB/s waren mit der Config im Raid 5 was ich zuerst hatte, Raid 6 ist etwas lahmer mit 350/420. Detaillierte Benches gibt's im unteren Teil hier: http://www.hardwareluxx.de/community/f15/adaptec-5405-5805-und-2405-a-479880.html

 

[Morpheus2200]

Wie viele Clients hast du denn zu versorgen.

Klang ein bisschen so als müsste der Datentransfer nur zwischen 2 Kisten flott sein und da braucht man ja nicht zwingend einen Switch.

Ich frage mich wo DDR IB-Adapter entsorgt werden, bei Ebay gabs kaum welche und es gibt definitiv einige Chipsätze die aufgrund für IB schwache latenzen bestimmt bei updates ausgemustert werden.
Mit etwas glück müsste mann da doch preiswerte Quellen finden können. War zumindest mein Gedanke als ich die Option mal erwähnt habe.

Ich hab @work 2 IB Controller liegen die überflüssig geworden sind, die lächeln mich auch immer an und sagen spiel mit uns wenn ich dran vorbeilaufe, aber sind halt leider nicht meine.

Wundert mich ein bisschen dass man so wenig gebrauchte Karten bekommt. Würde für den Heimgebrauch ja eigentlich reichen. Und wesentlich schneller als GBe ists auf jeden Fall.

Hab letztens mal ein bisschen mit QDR-IB rumgespielt und die Latenzen und der Durchsatz lässt auch 10GBe nochmal alt aussehen. Bei Supermicro sinds für die Onboard controller wirklich humane Aufpreise, aber als PCI-E Karten sind die leider auch teuer.

 

[jcool]

Stimmt schon, eine dicke Verbindung wäre mir am Liebsten - scheint aber ja leider nicht so ganz einfach zu sein
Wirklich "versorgen" muss ich nicht viele Clients. Es laufen höchstens 2 oder 3 simultane FullHD Videostreams, aber das ist eigentlich selbst für single Gigabit kein Problem.
Es ist eher so, dass WENN mal neue Daten (größtenteils Filme) draufkommen, die begrenze Datenrate übers LAN nervt. Aber dafür gibt's ja Hotswap-Bays im Server (die ich endlich mal einbauen muss...)

Von Infiniband hab ich ehrlich gesagt keine Ahnung. Ich wollte mir schon seit Längerem mal nen kleinen Rechencluster aufbauen (4 Nodes fürn Anfang), und da ist IB ja wohl auch 10x besser als Ethernet wegen latenz usw. Leider fehlt mir aktuell sowohl die Zeit als auch die Software-Kenntnis für das Projekt - naja, irgendwann mal.

An dieser Stelle erstmal Danke für die Ideen/Empfehlungen an alle - immerhin hab ich jetzt was über Link Aggregation, Port Trunking und die Probleme damit gelernt. Dass Intel NICs am Besten sind, hat sich auch mal wieder bestätigt.

 

[barnacle2k]

Also 10G Karten gibts billig bei Ebay.
Übliche Preise für einen Modernen Dualport CNA der wenig Strom verbraucht etwa ~160eur.
Manchmal sind auch gleich die SFPs mit dabei.
Und wenn nicht gibts die SR SFPs für 50eur.

Nur die Switche sind immernoch übelst teuer.

Hatte keine lust auf kompromisse deswegen habe ich eine 10G Glasfaserverbingung von der Workstation zum Filer.
Performance 300-400Mbps per CIFS gehen dadurch.
Aber es ist auch noch nicht Optimiert.