Home Datenserver zu langsam

[Gohst_oc]

Hi.

Ich möchte meine bestehenden Daten-Server etwas aufmöbeln.
Und zwar im Netzwerk-Bereich.

Denn leider erreiche ich nie mehr als ca. 70 MB/s. Obwohl die 4 HDDs intern auf max. 280 MB/s kommen (soweit mir noch im Kopf war).
Wer ist Schuld daran?

Komponenten:

C2D E6400
Elitegroup P965T-A
2 GB RAM
Geforce 6200LE
3Ware 9690SA-4I (512 MB Cache ist aktiviert)
4x WD Green 1.5TB (RAID 5)
1x 80 GB Segate IDE HDD (OS)
Enermax Liberty 400 Watt
Windows Server 2008 x64 Enterprise

Ich vermute das Übel bei der Netzwerkkarte.
Ich werde nächstens CAT7 Kabel verlegen (momentan Cat5). Aber noch mit den RJ45 Steckern.

Der Gigabit Switch kanns auch nicht sein (8 Port Level One).

Nun, für ne anständige NIC fehlt auf meinem Maiboard der Platz.
Die 2 Ports (PCIe x16 und PCIe x4) sind besetzt, und sonst ist nur noch 1 PCIe x1 Port frei.

Daher müsste ich dann ja quasi ein neues Mainboard haben.
Nur welches?
Lohnt sich ein Wechsel zu AMD? Hätte noch ein Foxconn A7DA-S rumliegen. Zudem ist der Aktuelle Stromverbrauch wegen des Chipsatzes auch nicht gerade klein.
Da wäre Graka onboard. Aber ne Dual-Port NIC müsste wohl noch her.

Ich habe auch vor einen Managed Switch zu kaufen und dann beide Ports der Netzwerkkarte zu nutzen. Mein PC hat auch Dual Lan.
Das gäbe dann ein Port-Trunk (LCAP oder wie dass auch immer hiess).

Bringt das was?

 

[blackfogtg]

Hi.
Wer ist Schuld daran?

Der HCA

Ich vermute das Übel bei der Netzwerkkarte.

ja

Ich werde nächstens CAT7 Kabel verlegen (momentan Cat5). Aber noch mit den RJ45 Steckern.

Und das bringt was? Cat7 verwendet nicht die R45 Stecker wie Cat5 und ist auch sonst anders aufgebaut.

Der Gigabit Switch kanns auch nicht sein (8 Port Level One).

managed switch kaufen, wie du bereits erkannt hast und trunken.

Ich habe auch vor einen Managed Switch zu kaufen und dann beide Ports der Netzwerkkarte zu nutzen. Mein PC hat auch Dual Lan.
Das gäbe dann ein Port-Trunk (LCAP oder wie dass auch immer hiess).

Bringt das was?

Das bringt mehr als fake-"Cat7" Kabel bei ebay zu kaufen, wo wir doch alle Wissen, dass solche Kabel Bauernfängerei und Geldschneiderei sind.


Edit: Mainboard gäbe es da zum Bleistift das ASUS P5Q Premium mit 4x gbit lan. Mit gesonderten Treibern ists dann auch auch möglich die Marvells zu trunken.

 

[underclocker2k4]

Wie schon gesagt, CAT7 ist total egal für gbit. CAT5 reicht da völlig aus.
Hinzu kommt, dass du keinen richtigen CAT7 link hinbekommen wird, da RJ45 das garnicht packt. -> völlig anderer Stecker->völlig andere HW.

Ich würde hier auch auf die NIC tippen.

Zum Trunken ist zu sagen, mehr Speed ja, aber nicht für einen Transfer, sondern 2x Transfer mit je 1x gbit.

Würde erstmal zusehen, dass du da ne ordentliche NIC reinbekommst.

 

[Gohst_oc]

Nun, die Kabel sind S/FTP AWG23. Das müsste für 10 GBit/s reichen.
Zudem nehem ich die ja nur weil ich nicht lust habe alle Tage neu zu verkabeln.

Ich will mein Haus sauber verkabeln. Im Moment sind da einfach Kabel die durch ein Loch in dern Wand oder Boden gehen.

Geplant sind Doppeldosen. Und wenn schon auch CAT7 Kabel. Das reicht dann für die Zukunft. Bei Neubauten, die Verkabelt werden, setzt der Elektroinstallateur auch CAT7 oder 6e ein.
Dass die normalen Stecker das nicht packen ist mir bekannt.

Aber bei >300€ für ne 10Gbit NIC habe ich da keine Lust auf deren spezielle Stecker zu setzen. Aber in 4 Jahre hat man vielleicht 10Gbit/s als standard?

 

[Monarch]

Also 10 GBe ist jetzt ja mal der komplette Overkill für Homeuser. Allein was ein Switch kostet

Ich glaube sehr viel mehr als die 70 MB/s wirst du nicht rausholen. 1 GBit/s ergibt 125 MB/s, davon geht einiges drauf für die Protokolle. Ich komme mit meinem Server (siehe Signatur, Einstiegsserver-Board) auf ca. 85 MB/s über den Windows-Explorer.

Ach ja: als Switch verwende ich zwischen Main-PC und Server im Moment einen HP Procurve 1800-8G, meine anderen Switches tun nix zur Sache

 

[underclocker2k4]

Man kommt schon auf deutlich >100MB/s.

 

[H_M_Murdock]

2 Tips:
1. Jumbo Frames einschalten, hat meinen Fileserver erst auf 70 MB/s gebracht (von ca. 55 MB/s).

2. Ne ordentliche NIC verwenden. Ich empfehle Intel. PCIe x1 reicht!

CAT 7 statt CAT 5 bringt dir nur dann was wenns tatsächlich Fehler bei der Übertragung gibt.
Obs die gibt sieht man am besten bei nem managed Switch im Protokoll.

 

[Monarch]

Hi Murdock,

zu Jumbo Frames:
Ich habe dies auf den Netzwerkkarten und auf dem Switch aktiviert. Wenn ich das Prinzip richtig verstanden habe, muss aber auch TCP/IP etwas davon wissen. Wie stellt man das ein? Bisher hat sich noch nichts verschnellert

 

[Gohst_oc]

Das Problem bei den Jumbo-Frames ist doch, dass jede NIC eines anderen Herstellers wieder etwas anders läuft.
Somit müssten soweit ich noch informiert bin, alle NICs vom gleichen Hersteller sein. Eigentlich finde ich das sche****.

Nun mein Server muss sowohl Full-HD Streamen als auch (und zwar simultan) schnell Daten zur Verfügung stellen können.

Ich werden nächstens Server 2008 R2 einsetzen, und wohl gleich zu nem Dual-NIC Board wechseln.
Die Dual-Leitung wird auch in den nächsten Tagen verlegt, und der Switch getauscht. Dann müsste ich aber auch deutlich mehr erreichen.

 

[Monarch]

Ja ich werde meine System-Partition auch demnächst plätten und auf R2 umstellen...

 

[underclocker2k4]

Du wirst mit einer Verbindung dennoch nur 1gbit erzeugen. Lediglich bei 2 Transfers kommst du dann in der Summe auf 2gbit (2x 1gbit).

(802.3ad wird irgendwie immer falsch verstanden)

 

[Cappo]

Hi.

Ich möchte meine bestehenden Daten-Server etwas aufmöbeln.
Und zwar im Netzwerk-Bereich.

Denn leider erreiche ich nie mehr als ca. 70 MB/s. Obwohl die 4 HDDs intern auf max. 280 MB/s kommen (soweit mir noch im Kopf war).
Wer ist Schuld daran?

-Was hast du für ein OS? (auf dem Client ab Vista und Win7 wir SMB2 unterstützt)
-Wie schnell ist deine HDD?

SMB2 nutzt einen viel besseren Übertragungsmodus, mit dem ich meine NICs zu 99% Auslasten kann.
Bitte auch mal die HDDs am Client checken, ob die überhaupt 70MB/s schaffen, evtl. mehrere Festplatten nutzen.

Zum Schluss kann es noch bei den Puffern zu Problemen kommen, welche evtl. Unterschiedlich groß sind und deshalb nich harmonieren.


Ich hab ähnliche Probleme mit meinem Fileserver beim kopieren.
Lokal schafft er über 120MB/s, aber übers LAN nur 75MB/s schreibend.
Gleichzeitig schreibend und lesend schaffe ich dann 90-100MB/s.

mfg

Josch

 

[Monarch]

Bitte auch mal die HDDs am Client checken, ob die überhaupt 70MB/s schaffen

Oh ja, darüber hab ich noch gar nicht nachgedacht. Wahrscheinlich liegts bei mir auch daran, dass ich nicht über 85 MB/s komme *g*

 

[H_M_Murdock]

Also ich hab bei mir die Jumbo Frames neulich eingeschaltet, da kann man idr. die Größe wählen.
Ich hab 4 KB eingestellt auf den beiden wichtigen Clients und dem Server.

Hätt bei manchen NICs auch noch größere JumboFrames gegeben aber wie du schon richtig sagtest macht das jeder ein wenig anders und nachdem noch größere Jumbo Frames als 4 KB nichts weiter gebracht haben bin ich bei 4 KB geblieben.

Mit den anderen Clients die gar keine Jumbo Frames können und nur mit 100 MBit/s Karten bestückt sind gibts keine Probleme.

Am TCP/IP hab ich auch nichts verstellt.

 

[Gohst_oc]

Nun, mein Client läuft auf Win 7 Ultimate x64.
Der Server schafft lokal so an die max. 280 MB/s (was wohl beim teuren Controller und den 4 HDDs zu verdanken sein dürfte).

Aber das die HDD vom Client das Problem sein könnte, habe ich so noch garnicht richtig bedenkt *peinlich*

Nun gut, aber selbst ne WD Black (500 GB) sollte an die >90 MB/s seq. schaffen.
Oder etwa nicht?

Kann ja mal auf ne Ramdisk schreiben...
Oder sind die Softwaremässig auch langsam?
Ich spreche hier von ner Ramdisk mit hilfe dieser Gratis-Tools dies ja gibt.

 

[underclocker2k4]

NetIO kannste auch zum Benchen der NIC nehmen.

 

[fdsonne]

Erstmal zum Thema Hardware...
Was würde dagegen sprechen dir anstatt der 6200er Geforce irgend ne PCI Graka einzubauen?
Somit könnte der 16er Slot für den Raidcontroller genutzt werden und der Slot wo der Controller aktuell drin steckt für ne NIC (auch DualPort)


Was besagen deine 280MB/sec die du mehrfach erwähnt hast aus? Lesend oder Schreibend auf das Raid, sequenziel oder random?

Um welche Datenmengen die Transferiert werden sollen geht es? Vorwiegend kleine Files, oder eher große Files, gleichzeitig von mehreren Clients auf den Server und umgekehrt oder immer nur ein Transfer zur selben Zeit?

Zur Fehleranalyse wäre vllt auch mal ganz nett zu wissen was Wireshark oder ähnliche Tools ausspucken. Also ob irgendwelche Probleme mit der Verbindung da sind.

Ansonsten kann ich immer noch empfehlen die NICs hart auf GBit einzustellen, mit der automatischen Erkennung muss das nicht immer 100% sauber gehen und man hat teils unschöne Dreckeffekte.

 

[Gohst_oc]

Nun, ich beziehe mich auf den Standard-Benchmark von HD Tune (Free).

Da sind min. 133 MB/s und max. 274 MB/s.
Also da liegt der Fehler mMn nicht.

DIe Server HDDs:



Die HDD meines PCs:



Wireshark teste ich gleich mal.

@edit:
Nun, laut Wireshark sind da schon einige Pakete korrupt...

Windows File-Copy Tests:

PC -> Server
1x 512 MB 7z Part-File: 9s -avg. 56.89 MB/s
3x 512 MB 7z Part-File: 25s - avg. 61.44 MB/s

Server -> PC
1x 512 MB 7z Part-File: 9s - avg. 56.89 MB/s
3x 512 MB 7z Part-File: 26s - avg. 59.08 MB/s

@edit 2:

NetIO (Daten-Server = NetIO Server)

UDP connection established.
Packet size 1k bytes: 22335 KByte/s (6%) Tx, 49954 KByte/s (18%) Rx.
Packet size 2k bytes: 7284 KByte/s (0%) Tx, 32256 KByte/s (6%) Rx.
Packet size 4k bytes: 9397 KByte/s (0%) Tx, 43462 KByte/s (6%) Rx.
Packet size 8k bytes: 15659 KByte/s (0%) Tx, 44206 KByte/s (16%) Rx.
Packet size 16k bytes: 22685 KByte/s (0%) Tx, 51409 KByte/s (12%) Rx.
Packet size 32k bytes: 7206 KByte/s (78%) Tx, 55364 KByte/s (9%) Rx.

Ist die Zahl in den Klammern der Verlust in %?
Oder das was heil angekommen ist?

TCP connection established.
Packet size 1k bytes: 10482 KByte/s Tx, 23027 KByte/s Rx.
Packet size 2k bytes: 11697 KByte/s Tx, 24746 KByte/s Rx.
Packet size 4k bytes: 11070 KByte/s Tx, 25140 KByte/s Rx.
Packet size 8k bytes: 17345 KByte/s Tx, 28592 KByte/s Rx.
Packet size 16k bytes: 23732 KByte/s Tx, 33264 KByte/s Rx.
Packet size 32k bytes: 25081 KByte/s Tx, 33128 KByte/s Rx.

Die UDP Werte liegen auch nur bei > 54 MB/s...

 

[Hummerman]

Die Festplatte in deinem Rechner sieht irgendwie nicht gesund aus.

Teste mal die Verbindung mit NetIO.

 

[X909]

Über 70 MB/s Sekunde würde ich mich nicht ärgern.

Ich komme auf 110 MB/s aus dem Server-Cache in die RAMDisk meines Rechners. Kommen die Daten direkt von den Platten (die auch knapp 200 MB/s bringen) hab ich nur noch etwa 80 MB/s.

Von den Truecrypt verschlüsselten Drives (Theoretisch 280 MB/s lesen, Truecrypt könnte 160 MB/s) kann ich nur mit etwa 60 MB/s ziehen.

Damit muss man vermutlich leben wenn man nicht in teuere Hardware-Controller investieren will.

Den reinen Netzwerkdurchsatz kannst Du prima testen, indem Du eine große Datei zwei mal hinter einander kopierst. Beim zweiten mal ist sie im Cache des Servers und müsste mit über 100 MB/s kommen wenn der Client das schafft (eine 120 MB/s Platte reicht da aber nicht! Da muss wieder eine Reserve vorhanden sein um ans Limit zu kommen).

 

[Anarchist]

Kann mich da X909 anschließen.

Kopiere ich (über ftp) vom NAS zur Workstation, also vom Raid5 zum Raid0 mit den Raptoren -> 80-85mb/s

Wiederhole ich das ganze (da kommt der Cache ins Spiel) -> 110mb/s

NetIO Benchmark geht zwischen den beiden Rechner bis ca. 115mb/s

 

[fdsonne]

Die Client PC HDD sieht wirklich nicht gesund aus

Und wie ich es mir dachte, das sind doch alles nur lesewerte...
Schreibend kannst du da gut nochmal 30% abziehen

Also lass mal die Client Kiste auf um die 60MB/sec, vllt auch bisschen mehr sequenziel schreibend kommen und das Array im Server vllt auf 200MB/sec.
Alles sequenziell. Krallt sich da nur ein anderer Prozess paar Ressourcen dazwischen verringert sich die Schreibrate nochmals drastisch...
Je nach fragmentierung der Daten kann das Ergebniss nochmals stark schwanken...
Diese HD Testtools testen ja nur lesend von bestimmten Bereichen egal/unabhängig vom Inhalt.

Im Extremfall ist Block 1 des Files ganz am Anfang der Platte, Bock 2 ganz am Ende, Block 3 wieder am Anfang usw.
Dann würdest du je nach eingestellter Blockgröße nie zu größeren lese/schreib Sequenzen am Stück kommen, was die Datenrate nochmals extrem sinken lässt.

 

[gdfan]

Die Festplatte sieht doch nicht ungesund aus. Die Einbrüche sind bei einer System HDD völlig normal!

 

[fdsonne]

aber nicht so drastisch...
Also bisschen paar Einbrüche schon, aber so derart drastisch habe ich das in meiner ganzen PC Laufbahn nicht gesehn.

 

[gdfan]

Da muss nur der Antivirus Hintergrundscan anspringen oder etwas anderes im HG passieren.
Ich finde diese Einbrüche noch normal, wenn der PC recht "vollgeklatscht" ist

 

[Gohst_oc]

Hmm, meine WD Black ist neu...

Und das System wurde vor ca. 2 Wochen neu aufgesetzt (Win 7 Ultimate x64).
Da sollte auch die HDD Indizierung fertig sein.
Verschlüsselt ist auch garnix.

Die Einbrüche gefallen mir auch nicht. Da waren meine alten 250 GB Samsung Platten nicht mal schlechter.
Und das waren dann nicht mal F1er, sondern noch ältere.

Ich denke aber, NetIO zeigt, dass die Leistung nicht grade super ist.
Die Ramdisk werde ich also heute mal probieren.

Der Controller in meinem Server war übrigens teuer...
Von dem her erwarte ich auch ne tolle Leistung, was mir HDTune eigentlich bewiesen hat.

Und da ich sehr viele und grosse Dateîen auf und vom Server nehme, muss das schon schnell gehen. Denn meine Daten sollten nur noch dort drauf sein.
Denn da gibts auch Backups (auf Ultrium 1 Streamer sowie ext. eSata HDDs) und dank RAID jedenfalls eine etwas höhere Datensicherheit als auf meinem PC.

edit:

Ich denke nicht, dass die Einbrüche in HDTune am Virenscanner liegen.
Verwenden tu ich den Micro$oft Security Essentials (bitte nicht hauen... der ist nicht mal schlecht xD).
Dieser sollte performant sein. Scann lief keiner.

 

[H_M_Murdock]

Deine NetIO Werte sehen für mich aber auch alles andere als gesund aus.
Hab schon lang selber keinen NetIO mehr laufen lassen aber IMHO sollten da viel höhere Werte raus kommen.