Storage zickt rum

[Steggi]

Nabend,

seit etwas über zwei Wochen hab ich testweise die 4 kleinen SAS Platten in meinem Storage (siehe Signatur) durch 4 größere SATA Platten getauscht, da ich für ein kleines Projekt zum einen etwas mehr Platz als auch eine gute I/O Leistung brauche und das andere Array I/O mäßig schon recht stark belastet ist.

Also ein RAID 10 aufgebaut, initialisierung angestoßen und das Array über Nacht initialisieren lassen.

Das ganze lief so ein paar Tage, bis ich einige VMs auf die Platten geschoben hatte. Das Rüberschieben dauerte ne gefühlte Ewigkeit und auf dem Storage konnte man erkennen, dass das ganze System immer mal wieder kurz freezed. Ein Blick in die Ereignissanzeige brachte mir folgende Meldung (mehrfach)

Das Gerät \Device\Ide\iaStor0 hat innerhalb der Fehlerwartezeit nicht geantwortet.

Onboard hängt lediglich die Systemplatte, die laut Smart OK war. Auch ein Sektorscan zeigte keine Fehler.

Ein Blick in den Dell Storage Manager zeigte mir mehrfach folgende Fehlermeldungen, die nur wenige Stunden nach dem Start der Initialisierung der vier Platten geworfen wurde

Controller-ID: 0 Unerwartete Feststellung Physische Festplatte = 0:7, CDB = 0x28 0x00 0x0e 0xa0 0xd6 0x7d 0x00 0x00 0x03 0x00 , Feststellen = 0xf0 0x00 0x03 0x0e 0xa0 0xd6 0x7d 0x0a 0x00 0x00 0x00 0x00 0x11 0x00 0x00 0x00 0x00 0x00

Controller-ID: 0 Hintergrundinitialisierung korrigierte Datenträgerfehler ( Virtuelle Festplatte 1 Standort 0xea0d678, Physische Festplatte 0:7 Standort 0xea0d678)

An der betroffenen Schnittstelle hing eine der vier neuen Platten. Da der PERC keine Smart Werte weiterleitet, hab ich erst mal ein Patrol Read drüber laufen lassen, und als das fehlerfrei durch lief, die betroffene Platte offline genommen und die Smart Werte via USB Adapter und Crystaldiskinfo ausgelesen. Die Werte waren eigentlich noch recht normal. Platte wieder rein und das Raid rebuilded. Nachdem der Server wegen des Low Level Scans der Systemplatte einmal neu gestartet wurde, war auch wieder für ein paar Tage ruhe.

Ein paar Tage später, als ich auf dem betroffenen Array mal wieder viel Last erzeugte, meldete sich der megasas im Eventlog mit folgender Meldung zwei mal

Ein Zurücksetzen auf Gerät "\Device\RaidPort0" wurde ausgegeben.

Leider wurde dieses Mal im Storage Manager nichts geloggt, aber aufgrund des Verdachts, dass da wieder eine der Platten Probleme macht, hab ich jetzt erst mal das ganze Array aufgelost, und die Smartwerte via USB Adapter gescannt.
Die Werte und im Vergleich dazu die Platte Nummer 4, die ich vor ein paar Tagen schonmal geprüft hab.



Was mich etwas Wundert sind die Werte der Fehlerlesewiederholungsrate, die sich doch sehr verändert hat, und die Laufzeit der vierten Platte.

Hat sonst noch wer ne Idee, wo der Fehler sein könnte, oder mögen die Platten einfach nur kein RAID? Ich würd ja gerne größere SAS Platten nutzen, nur dafür fehlt im Moment mal wieder das nötige Kleingeld...

 

[Inzersdorfer]

Die Laufzeit bei 4 ist 6E4 = 1764 Stunden, warum im Screenshot oben fälschlich 29 steht kann ich nicht sagen.

Die Anzahl der Lesewiederholungen (FA) ist bei No.4 wegen der 8 unkorrigierbaren Fehler (BB, Anzahl der Fehler die nicht durch die Hardware-Fehlerkorrektur korrigiert werden konnten) so angestiegen, da aber bei Lesefehlerrate (01) kein Fehler angezeigt wird (erste 16 Bit/4 Stellen sind die Anzahl der Fehler, letzte 32 Bit/8 Stellen die Anzahl der Lesevorgänge, gilt Sinngemäß auch für 07 und C3) müßen die Lesevorgänge letzendlich nach einem Command Timeout (BC) deswegen, doch noch erfolgreich gewesen sein.

 

[Steggi]

Woher da die 29 kommt weiß ich auch nicht. Aber da die Platten 1 & 2 ja keine Probleme mit Timeouts und Lesefehlern gemacht haben, hab ich aus denen jetzt erst mal ein RAID 1 gebastelt und bench da grade mal etwas vor mich hin. Trotz Initialisierung und aktivem Cache ist die Schreibleistung aber doch recht moderat mit knappen 50-55 MB beim Kopieren großer ISOs und ATTO bringt mir teilweise noch schlechtere Werte. Das die Platten locker an die 100MB kommen weiß ich nur zu gut, da ich die selbe Platte als Datenplatte in meinem Notebook hab.
I/O Mäßig liegt das Array etwa gleichauf mit meiner einzelnen Platte im Laptop.

Gelesen werden konnten die Daten bis jetzt problemlos, aber vielleicht hat Platte 4 und/oder 3 auch ne Macke, da bei beiden die Werte ja erhöht sind. Muss mal schauen, wie viele der Platten ich hier noch hab. Kanns evtl auch an der Firmware liegen, denn die 1 & 2 haben die 0005DEM1 und die Platten 3 & 4 die 0003DEM1?

 

[Inzersdorfer]

Firmware: eine gute Frage, leider nur theoretisch, da ich nicht glaube, das Seagate dir die 5DEM1 zukommen lassen wird, du kannst ja den Support versuchsweise anschreiben.
Ich nehme an das das Alingment korrekt ist?

 

[Steggi]

An die Firmware komme ich über Dell, die beiten sie auf ihrer Seite an.

Mit dem Alignment bin ich jetzt überfragt, vor allem weil der PERC ja noch dazwischen hängt. Aber ich schätze mal, dass das passen sollte, da die großen WD RE4 Platten auch ohne Probleme rennen und Windows Server 2008 R2 die Partitionen eigentlich richtig anlegt.

Ich werd mir jetzt mal gleich die Platten 3 & 4 schnappen, und mal schauen, ob ich da die neue Firmware aufbügeln kann.

 

[Digi-Quick]

Oje, sind AF / 4K Platten, damit kann der Perc nix anfangen!
ST320LT007 Momentus® Thin 7200-RPM, 3Gb/s, 320GB Hard Drive

 

[Steggi]

Ja, die hat 4K emuliert aber 512er Sektoren.

Das der PERC mit den AF Platten nichts anfangen kann, ist mir bis jetzt noch nicht bekannt gewesen.... Vielleicht sollte dann da auch irgendwan was flotteres und ein AF unterstützender Controller ins Storage.... *grübel*

Ich hab zwischenzeitlich die Platte 4 nochmal durch ne neue baugleiche ersetzt und inzwischen noch mal durch ne 320er WD Black (WD3200BEKT) getauscht, die noch keine 4K Sektoren hat --> Specifications for the WD 2.5 inch Scorpio Black SATA hard drives.

In beiden Fällen hab ich übrigens die Partitionen vorher auch nochmal auf nem anderen Rechner angelegt, und im PERC nicht neu initialisiert, so dass das alignment hier auf jeden Fall stimmt.

Damit ist die Performance zwar schon etwas besser, aber immer noch nicht so wie ich es gerne hätte und vor allesm alles andere als konstant.



Hier mal als Vergleich das andere Array aus drei WD RE4 (WD2003FYYS) im RAID 5



Normal ist die Leistung hier sogar noch etwas besser, aber das Array wird darf sich im Moment mit der I/O Last von über 25 laufenfen VMs alleine rum schlagen

 

[Digi-Quick]

HÄ?
Du meinst, du hast die Platten Partitioniert und dann ein Raid 1 ohne Init erstellt und dann darauf wiederum deine Partition(en) angelegt?? Wie soll denn der Controller die Daten vernünftig verwalten können, wenn er die Datenstruktur nicht kennt, weil er diese nicht selbst angelegt hat? - Über kurz oder lang würd ich sagen "gute Nacht Daten".

 

[Steggi]

Du meinst, du hast die Platten Partitioniert und dann ein Raid 1 ohne Init erstellt und dann darauf wiederum deine Partition(en) angelegt??

Äh nicht ganz. Die Platten 1 & 2 laufen als RAID 1 (initialisiert) und die Platten 3 & 4 laufen im Moment ohne RAID als Single. Die Performance ist hierbei übrigens unabhängig davon, ob schon ne Partition auf der Platte ist oder diese erst vom Controller initialisiert wird, schlecht. Steht ja eigentlich auch im Bild, dass es sich jeweils um ne Single handelt.

Über kurz oder lang würd ich sagen "gute Nacht Daten".

Solange der Spaß nicht ordentlich läuft ist auf den Platten nix drauf, was nicht auch verloren gehn darf und notfalls gibts immernoch ein tägliches Backup

 

[Digi-Quick]

OK, als Single Drive wird die Platte ja im Prinzip durchgereicht.
fakt ist, der Perc kann nicht mit 4K/AF Platten umgehen. Das geht von schlechter Performance über das bei dir aufgetrtetene Zurücksetzen des Devices inkl. System Freeze für ca. 30 Sekunden bis hin zu Datenkorruption (hatte ich auf einem frisch eingerichtetem Raid 5 noch während ich das System eingerichtet habe).
Die Controller von Areca bspw. kamen soweit ich das mitbekommen habe von Anfang an mit diesen HDDs klar.
Leider dokumentiert kein Hersteller, wie die Platten intern vom Controller verwaltet werden - z. mit welchen Bounderies die Raidsets auf den Platten angelegt werden (klassisch nach CHS Adressierung mit Sektor 63 beginnend und an den Zylindergrenzen ausgerichtet oder von vornherein an einer 4K Boundery).
Dieser Artikel beschreibt das Thema recht gut: Partition Alignment
ciao
Lothar

 

[Steggi]

Das der PERC damit probleme hat ist ja schön und gut, aber ich frage mich trotzdem noch, warum die WD Platte dort von der Performance auch so schlecht rennt, und dass obwohl diese kein AF hat, sondern noch die guten alten 512er Sektoren.

Ich muss mal schauen, wie viele WD's ich noch rumliegen hab, und tausch die Seagates mal aus.

 

[Digi-Quick]

Welche WD?
ich sehe was von einem Raid 5 aus 3 RE4 Platten, und die Performance ist OK, wie du ja schon selber geschrieben hast laufen zeitgleich zum Benchmark 25 VMs da drauf.
Dann tauchen im Text irgendwo 2,5 " Scorpios auf und schlussendlich ein Benchmark, der mit single WD Black bezeichnet ist.
Irgendwie kann ich langsam nicht mehr nachvollziehen, wie der Aufbau ist (welche Platte an welchem Controller in welcher Raidconfiguration, Initialisiert oder nicht initialisiert) und wo das Problem sein soll.

Die WD Black hat in der Tat als Single Drive sehr Schlechte Werte bei grossen Dateien, hier sollten normalerweise die höchsten Transferraten liegen (und nicht wie im Screenshot bei 32 K)

 

[Steggi]

Irgendwie kann ich langsam nicht mehr nachvollziehen, wie der Aufbau ist (welche Platte an welchem Controller in welcher Raidconfiguration, Initialisiert oder nicht initialisiert) und wo das Problem sein soll.

Joa, ich selber bald auch nicht mehr^^
Also die drei RE4 laufen im RAID 5 am PERC (nen anderen Controller gibts nicht) und bleiben auch so wie sie sind.
In einem der vier 2,5" Schächten steckt im Moment eine einzelne WD Scorpio Black mit 320GB als Single am PERC. Die anderen drei 2,5" Schächte sind im Moment leer.

Die WD Black hat in der Tat als Single Drive sehr Schlechte Werte bei grossen Dateien, hier sollten normalerweise die höchsten Transferraten liegen (und nicht wie im Screenshot bei 32 K)

Seh ich auch so. In Notebooks oder PC's erreicht die Platte auch konstant ihre 100MB/s lesend und schreibend, nur am PERC nicht.
Übrigens auch wenn ich 20GB an ISO's auf die Platte schiebe, dann schreibt die nur etwa 40-50MB/s

So langsam gehen mir echt die Ideen aus, denn da die großen Platten ohne Mucken rennen, kann der PERC an sich ja nicht defekt sein und die Platten laufen in anderen Systemen ja auch einwandfrei und sind in diesem Fall auch keine 4K Platten *kopfkratz*