Raid 5 Performanceprobelme mit ICH9R und 3*HD501LHJ

[Cepe]

Hi,

ich hab seit neustem 3 mal die Samsung HD501LJ (500 GB / 16 MB Cache) im Raid 5 laufen über den onboard ICH9R Controller (Gigabyte P35-DS3R Mainboard).
Momentan sieht die Festplattenkonfiguration so aus:
C: - 250 GB Western Digital SATA II Systemfestplatte
D: - 1 TB Raid 5 mit den 3 HD501LJ's
E: - alte 250 GB Maxtor SATA II Festplatte

jetzt habe ich mal zum Test einfach 200 GB Daten von E: nach D: kopiert, also auf das leere Raid-System. Dafür hat der PC ganze 3 Stunden gebraucht, was einem Datendurchsatz von etwa 20 MB/s entspricht!
Die 200 GB von E: nach C: kopieren dauerte 1 1/4 Stunden, was etwa 45~50 MB/s bedeutet und ja auch o.k. wäre.
Nun wunder mich, wieso mein Raid so langsam ist? Beim lesen ist es das gleiche - von einer 250 GB Festplatte auf die andere geht es schnell, von Raid auf 250 GB geht es langsam.

Ich habe mal HD Tech installiert und nen Test laufen lassen, sieht eigentlich ganz gut aus:


Dagegen die Performance auf der WD Systemplatte:


Demnach erreicht der Raid bessere Ergebnisse, nur in der Realität stimmt das nicht.

Hat jemand die gleichen Erfahrungen / Probleme wie ich?
Hinzugefügter Post:
Nachtrag:
Ich hab mal auf dem PC den Windows FTP Server laufen lassen und dann von einem zweiten PC aus per FTP drauf connected und versucht ne 300 MB pst (Outlook-) Datei zu kopieren.
Das erschreckende Ergebnis: 8,5 MB / s bei der Raidplatte, 9,5 MB / s bei der Systemfestplatte, bei Gigabit Ethernet (ja, beide PCs + Switch is Gigabit Ethernet).

:O

 

[jni]

...
Ich habe mal HD Tech installiert und nen Test laufen lassen, sieht eigentlich ganz gut aus:
...

Das sieht überhaupt nicht gut aus. Am Anfang sollten schon so über 120 MByte/s möglich sein (zumindest beim Lesen), die dann in einer Kurve langsam runtergehen - wie bei der Systemplatte. Schreiben ist natürlich langsamer, da Software-RAID.

Irgendwas läuft da nicht besonders gut. Aktuelle Chipsatz- und RAID-Treiber drauf ? Vielleicht mal SATA-Kabel tauschen !

 

[Dimitrij]

Für RAID5 sollte man einen wirklich guten Controller haben der auch die ganzen Berechnungen unabhängig von der CPU durchführt das scheint selbst beim ICH9R so zu sein das die ganze "Arbeit" die CPU machen muss. Ob du da viel machen kannst, am besten wäre es du kaufst dir einen richtig guten PCIE Raid Controller mit mindestens 4 Sata Ports, aber da ist man schnell im 3 stelligen Bereich.

 

[pajaa]

Aktivier mal den Rückschreibcache im Storage Manager von Intel. Das bewirkt Wunder beim Schreiben, mein RAID5 am Vorgänger ICH8R macht 125MB/s sequenzielles Lesen in HD Tach.

Bench dann nochmal.

 

[Cepe]

Hi,
danke für eure Antworten. Habe mal Rückschreibcache aktiviert und es wurde tatsächlich sehr viel schneller, wie schnell genau weiß ich nicht. Werde demnächst noch nen Benchmark starten.
Als ich heute die Kabel überprüfen wollte (natürlich im laufenden Betrieb), hab ich versehentlich nen Stromkabel gezogen und nun is das Raid degraded und muss neu aufgebaut werden. Dauert 'ne Weile.
Bis dahin,
Cepe.

 

[Cepe]

Hi nochmal,

entweder lags am ausgeschaltetem Rückschreibecache oder vielleicht an dem Stromkabel, das nicht richtig fest war. Auf jeden Fall sieht der Benchmark nun besser aus:

Aber das Performance-Problem habe ich immernoch. Ich habe 'nen FTP Server installiert und dann von 'nem andren PC aus eine Datei heruntergeladen - jetzt komme ich auf 12 MB/s.
Gigabit Ethernet würde 125 MB/s entsprechen, wenn man das bissel overhead vom FTP protok abzieht müssten aber trotzdem weitaus mehr übrig bleiben.

 

[James_br0wn]

liegt ggf an der netzwerkkarte - oder deinen ftp tools - real wirst du wohl nicht mehr als max 40 mb/s rüberbekommen und das auch nur mit guten komponenten

probier doch mal bitte eine grosse datei (>500mb) auf und von dem raid mit total commander zu lesen/schreiben - würde mich mal interessieren wie deine speeds so sind

 

[itanium2k7]

richtig, das liegt einmal daran das dein Raid5 beim schreiben ohne Hardwarecontroller (eigene xor engine) nie die performance erreichen kann!

das gleiche gilt auch beim LAN, ihr glaubt doch nicht im ernst das ihr mit einfacher Desktophardware nur annähernd an die 100MB/s im LAN rankommt, nicht umsonst sind richtige Switches sehr teuer

 

[HisN]

Öhm... zwischen meinen beiden Lame-Desktop-Servern schiebe ich mit 50-60MB/sec hin und her als Dauertransfer, Peak geht locker über 100MB/sec. Etwas mehr als 12MB sollten schon drinne sein

@Fredersteller
Du könntest ruhig genauer sein. Wir können nicht einfach so in die richtige Richtung Mutmaßen.
Welches OS
Welches FTP
Welcher FTP-Server
Welche Netzerkkarte
Welche Treiberversion
Wie ans Netzwerk angebunden
Was für Kabel
Was für nen Switch

 

[itanium2k7]

@HisN

ich weiss das du eine Ramdisk nutzt, das hab ich bei dir schon ein paar mal in deinen postings gelesen ... Werte wie 50/60MB sind realistisch und trift wohl auf die meisten Nic + Switches zu ! 100MB selbst von Ramdisk to Ramdisk, glaub ich nicht bei normalen switches ^^

Wie hast du gemessen? also Hardwaremässig, switch, lan nic usw?

weil normalerweise schaft das keine normale desktop Hardware, kurze peak Werte sind immer verdächtig komisch.

Ich selbst nutz den Backbone Switch 3com 4060 und diverse Fibre Cards ala Intel 1000SX MF Dual und kann somit den Flaschenhals LAN ausschliesen *hehe*

 

[Keaster]

Für ordentliche Messungen der Performance würde ich IOmeter empfehlen.

HDtach Ergebnisse sind wie du bereits gemerkt hast nur sehr bedingt aussagekräftig.

Nicht umsonst zählen Hersteller wie AMCC alias 3ware und weitere namenhafte Hersteller auf dieses Tool.

Ich hoffe du kommst deinem Problem auf die Schliche. Ich muss grade meinen 3ware Controller troubleshooten und bin daher in der gleichen Lage wie du.

Gruß und viel Glück! (in der Hoffnung das du es nicht brauchen wirst)

 

[HisN]

@HisN

ich weiss das du eine Ramdisk nutzt, das hab ich bei dir schon ein paar mal in deinen postings gelesen ... Werte wie 50/60MB sind realistisch und trift wohl auf die meisten Nic + Switches zu ! 100MB selbst von Ramdisk to Ramdisk, glaub ich nicht bei normalen switches ^^

Wie hast du gemessen? also Hardwaremässig, switch, lan nic usw?

Hihi, ich hab mir einen neuen Server gebaut, das ist ohne Ramdisk von einem 8-Platten Raid5 zu einem 8 Platten Raid5. Beide Boards Asus A8N über die Onboard-Chipsatz-Nics, CAT5-Kabel und einem Netgear GS105.
Als Anzeige benutze ich Netmeter auf beiden Rechnern. Kann gerne noch mal nen Screen machen.

Screen1: Nur mal schnell eine 9GB-Datei vom Server auf den Backupserver geschoben, bitte auf den Maximal-Ausschlag im Netmeter achten
Screen2: Ein Ausschnitt von meinem Desktop für die Leute denen meine Auflösung zu groß ist


Die Frage dabei ist, welche Anzeige ist genauer, was wird wie gerundet oder in welchen Abständen angezeigt. Daher auch die lustige Diskrepanz vom TC und Netmeter. Von Syntethischen Sachen wie NetIO halte ich eigentlich nix. Toll das ich weiß das mein Netz nach NetIO 100MB/sec schafft, aber in der Realität nur 12MB/sec übertragen werden.

 

[itanium2k7]

Hihi, ich hab mir einen neuen Server gebaut, das ist ohne Ramdisk von einem 8-Platten Raid5 zu einem 8 Platten Raid5. Beide Boards Asus A8N über die Onboard-Chipsatz-Nics, CAT5-Kabel und einem Netgear GS105.
Als Anzeige benutze ich Netmeter auf beiden Rechnern. Kann gerne noch mal nen Screen machen.

Screen1: Nur mal schnell eine 9GB-Datei vom Server auf den Backupserver geschoben, bitte auf den Maximal-Ausschlag im Netmeter achten
Screen2: Ein Ausschnitt von meinem Desktop für die Leute denen meine Auflösung zu groß ist


Die Frage dabei ist, welche Anzeige ist genauer, was wird wie gerundet oder in welchen Abständen angezeigt. Daher auch die lustige Diskrepanz vom TC und Netmeter. Von Syntethischen Sachen wie NetIO halte ich eigentlich nix. Toll das ich weiß das mein Netz nach NetIO 100MB/sec schafft, aber in der Realität nur 12MB/sec übertragen werden.

interessant, danke für die Mühe !

komisch sind eigentlich nur, die Einbrüche, die beiden Raid5 dürften ja den Speed, sofern nicht alles extrem fragmentiert ist konstant halten können (bei einer großen file).

Könntest du mal HD Tach screens posten (von beiden 8x Raid5 sys ?), mich würde mal deine lese und Schreibleistung interessieren, da ich nämlich ein ähnliches System besitze

8x 320GB Seagate ES Raid5 am 3Ware 9550 8LP


auch wenn das jetzt etwas vom Thread abweicht, welches desktop remote tool nutzt du?

 

[drdope]

schreib dir doch mal nen kleines script,
das Datum/Uhrzeit ausgibt, nen Kopiervorgang durchführt und danach wieder Datum/Uhrzeit ausgibt --> das ihmo genauer, als die Durchsatzanzeige des TCs...

 

[Cepe]

Hi Leute,

vielen Dank für all eure Antworten, hat mir echt weiter geholfen.
Das Problem lag hier mal wieder, wie so oft auch, nicht an dem PC sondern vo dem PC. Gemessen habe ich ja wie gesagt mit 'nem FTP Client und dem Microsoft ISS als FTP Server. Hab es jetzt mal mit Total Commander und NetMeter getestet, da komme ich auf 30-40 MB/s. Und das jeweils mit 'ner Onboard Lan Karte (Abit AB9 inna Workstation, Gigabyte P35-DS3R im Server, NetGear GS105 als Switch). Werde mir demnächst mal zwei NETGEAR GA311GR-Karten holen und hoffe, dass ich dann noch etwas mehr erreichen kann (Denn Gigabit bedeutet ja theoretisch max. 125 MB/s, auch wenn man den Overhead der Protokolle anzieht und großzügig rechnet, müsste man doch auf 60-70 MB/s kommen, oder nicht?

 

[hostile]

@HisN
Was für ne Zugriffszeit hast du mit dem Raid?

@Cepe
Deine Zugriffszeit ist für'n Arsch ^^

gruß
hostile

 

[itanium2k7]

Hi Leute,

vielen Dank für all eure Antworten, hat mir echt weiter geholfen.
Das Problem lag hier mal wieder, wie so oft auch, nicht an dem PC sondern vo dem PC. Gemessen habe ich ja wie gesagt mit 'nem FTP Client und dem Microsoft ISS als FTP Server. Hab es jetzt mal mit Total Commander und NetMeter getestet, da komme ich auf 30-40 MB/s. Und das jeweils mit 'ner Onboard Lan Karte (Abit AB9 inna Workstation, Gigabyte P35-DS3R im Server, NetGear GS105 als Switch). Werde mir demnächst mal zwei NETGEAR GA311GR-Karten holen und hoffe, dass ich dann noch etwas mehr erreichen kann (Denn Gigabit bedeutet ja theoretisch max. 125 MB/s, auch wenn man den Overhead der Protokolle anzieht und großzügig rechnet, müsste man doch auf 60-70 MB/s kommen, oder nicht?

das ist jetzt aber nicht dein ernst oder? was zum Teufel willst du mit den "ollen" Netgear Karten ???

das ist echt billige 32Bit Karte, du wirst niemals vernünftige Werte erreichen, denn das Interface ( PCI-Bus ) limitiert und zum andern sind die Karten noch viel schlechter als deine Onboardlösungen !

Ich kenne deine Boards nicht so genau und weiss daher auch nicht wie die Nics angebunden sind, das müsstest du selbst rausfinden, aber verschwende kein Geld für unnötige Sachen...

und nochmal OHNE Hardware Raidcontroller der eine eigene XOR engine besitzt, kommst du nicht auf vernünftige Schreibwerte, nicht zum Spaß holen wir uns die teuren Controller.

mal zum Vergleich das sind RAID5 (read/write) benchies die ich damals mit meinem 3ware 9550 8LP und 3x Seagate 320GB der Enterprise Serie erstellt habe.



mit 3 HDDs kann man keine Wunder im RAID5 erwarten !

 

[Cepe]

Hm na gut dann lass ich das mit der Netzwerkkarte und gebe mich mit den 30-40 MB/s zufrieden.
Wobei du siehst doch selber, ich komm auf ~120 MB/s average read mit dem onboard controller - wieso sollte ich nicht mehr als 40 MB/s übers LAN dann schaffen? War ja auch Read was ich getestet habe.

@hostile: Ist mir jetzt erst aufgefallen, das mit den Zugriffszeiten. Ist das normal für Onboard Raid Controller?

 

[HisN]

Könntest du mal HD Tach screens posten (von beiden 8x Raid5 sys ?), mich würde mal deine lese und Schreibleistung interessieren, da ich nämlich ein ähnliches System besitze

8x 320GB Seagate ES Raid5 am 3Ware 9550 8LP


auch wenn das jetzt etwas vom Thread abweicht, welches desktop remote tool nutzt du?

Ich hab nur alte gefunden.
Das war 8x320WD

Im PCIe-4 Slot

Im 1. Graka-Slot (da wo der Controller jetzt immer noch sitzt)

Schreibleistung bei der Trial-Version?

Und ich benutze Ultra-VNC

 

[itanium2k7]

ja gab mal eine RW trail Version, die aber zeitlich begrenzt ist !

Bei dir bremst eindeutig was aus! das erkennt man am linearen Verlauf, da geht noch einiges

Da war doch mal was, das der Promise extrem mies ist, trotz Baugleichheit zum Areca, deine Werte sind jedenfalls nicht normal.

Bei mir steckt der Controller im PCI-X 133MHz Slot, demnächst kommt aber wahrscheinlich die x4 oder x8 PCI-E Variante, lecker Multilane *jamjam*
Hinzugefügter Post:
so könnte es aussehn Die 12 Port Version ist aber auch ein wenig kräftiger ...

Areca ARC-1230 with v1.36 Firmware
8x 250GB Hitachi 7K250 SATA

 

[HisN]

Krass.
Naja.. da ja meine beiden Server ausschließlich über das Gigabit-Netzwerk beschicke/benutze isses für mich nicht weiter relevant. Das Netzwerk ist der Flaschenhals nicht der Controller. Also Wayne

BZW das nächste mal nicht mehr den Promise-Rotz.

 

[Cepe]

Nach sehr, sehr, sehr langer Fehlersuche und Analyse habe ich endlich gefunden, warum mein Raid so beschissen läuft: Eine der 3 Festplatten ist defekt.
Habe sie ausgetauscht, und schon ging meine Random Access Time von 27 auf 21ms runter. Im nicht-raid hatte die Festplatte nämlich auch etwa 27ms Zugriffszeit!
Schade, dass ich sowas nicht davor bei allen 3 Festplatten gemessen habe. Ich vermute nämlich, dass eine zweite Festplatte ebenfalls defekt ist und mit 21ms Zugriffszeit das System ausbremst. Hab 'ne neue HD501LJ eingebaut, die kam auf 14,2ms Random Access Time.

 

[James_br0wn]

also den defekt einer hdd an der access time festzumachen ist abenteuerlich - wenn nicht falsch

was sagen denn nun deine mb/s ? total commander am besten mal verwenden!

 

[Cepe]

Es war die andere Festplatte. Echt merkwürdig.
3 Festplatten (von Norsk-IT gekauft) davon waren zwei kaputt.

Die zweite Defekte Festplatte war nach Auflösung aus dem Raid super langsam (Sowohl Zugriffszeit, aber auch Datentransferraten von 8-10 MB/s).

Hab jetzt 3 neue Festplatten, jetzt läuft der Raid (bisher) stabil. Habe extra alle 3 Festplatten vorher seperat getestet. Average Read von 130 MB/s.

Das einzige was mich stört, ist eine Zugriffszeit von 22 ms. Ist das bei dem Intel ICH9R normal? Denn als ich die drei Festplatten einzeln getestet habe, lag die Zugriffszeit bei 13,8 bis 14,2 ms.