Raid5 auf einem 3ware 9650SE - was ist zu beachten?

[TechnoFeather]

Hi Leute,

ich habe mir gestern einen 3ware Escalade 9650SE-8LPML Raidcontroller bestellt und würde gerne noch folgendes wissen:

1) Ich möchte mir ein Raid5 aus drei WD 500GB RE2 Platten zusammensetzen. Wie sicher ist das spätere erweitern des Raids? Mit 1TB bin ich nämlich relativ nah an der Grenze und würde später noch eine Platte dazu kaufen. Ist das erweitern denn risikolos oder kann es schonmal schief gehen? Und wie lange dauert das erweitern ca.?

2) Ich habe hier gelesen, dass es schonmal zu fehlern im Raid kommen kann wenn man sein system resetet [Forumlink]. Hilft eine BBU dagegen oder hilft sie wirklich nur bei Stromausfällen?


Viele Grüße,
TF

PS: Irgendwo habe ich gelesen, dass man die Platten vorher 48h laufen lassen sollte bevor man ein Raid mit ihnen erstellt. Ist da was wahres dran?

 

[Kamuro]

Hallo TechnoFather,

einen schönen Controller hast du dir da ausgesucht. Herzlichen Glückwunsch dazu.
Als allererstes musst du dringen kontrollieren, mit welchem Codeset (Treiber, Firmware und Managementutility auf CD) dein Controller ausgeliefert wurde. 3Ware hat vor kurzem die Codesets 9.4.1.0 und 9.4.1.1 zurückgezogen, da sie Fehler verursacht haben. Siehe auch:
http://3ware.com/support/UserDocs/RAID6-data-integrity-customer-notification_061907-FINAL.pdf

Zu deinen Fragen:
1) eine Migration kann immer zu Fehlern führen, auch wenn es nicht vorkommen muss. Alle mir bekannten Contoller Hersteller empfehlen eine Datensicherung anzulegen, bevor eine Migration vorgenommen wird. Ich habe an meinem (ist auch ein 8LPML) ein wenig herumgetestet, Rebuilds und Migration und es sind keine Fehler aufgetreten. Sie sind aber definitiv nicht auszuschließen. Das erweitern dauert durchaus einige Stunden Ich habe an meinem Controller ein Raid 6 aus 6 x 500 GB Festplatten. Ein Rebuild bei einer "Fehlerhaften" Platte hat summelig 3 Stunden benötigt. Das anschließende Verifizieren nochmals 2,5 Stunden. Schönerweise kann man während dieser Zeit recht normal weiterarbeiten.

2)Der Fehler aus deinem Link stammt meines Erachtens aus dem Fehlerhaften Codeset von 3Ware, da hier genau der beschriebene Fehler nach einem Rebuild auftaucht, nämlich das die Paritys nicht mehr stimmen. Im Regelfall (und mit dem neuen Codeset funktioniert es auch so) lässt man das degradedte RAID Array rebuilden und verifizieren (verify) und alles ist schick. Die BBU kann da aber wenig dran ändern, sie dient ja nur dazu, die Daten aus dem Cache des Controllers für ca. 72 Stunden zu erhalten, um sie nach einem Stromausfall doch noch auf dem Array schreiben zu können.

Das mit den 48 Stunden wird auch in der Knowledgebase von 3Ware empfohlen, um die eingestezten Platten einem ersten Grundlegenden Test zu unterziehen. Ich habe das nicht gemacht und habe keine Probleme.

Gruß
KAmuro

 

[TechnoFeather]

Danke.

Das Codeset lässt sich aber eben mit der neuen Treibern auf der 3Ware Homepage aktualisieren, oder? Aber komisch, dass sie nicht direkt die Codesets zum Download anbieten - das ewige rumklicken um nur eine Datei zu bekommen hat schon genervt.

1) Das ist schonmal gut zu hören. Werde es bei mir dann auch mal austesten und eine Platte später mal abklemen und wieder dran stecken.

2)

Die BBU kann da aber wenig dran ändern, sie dient ja nur dazu, die Daten aus dem Cache des Controllers für ca. 72 Stunden zu erhalten, um sie nach einem Stromausfall doch noch auf dem Array schreiben zu können.

Aber was macht der Controller wenn man die Resettaste drückt? So wie ich es verstanden habe setzt er sich (bzw. sein RAM halt) dann auch zurück und es kam zum o.g. Fehler. Ich dachte dann, dass der Fehler evtl. mit einer BBU behoben werden könnte (Daten werden noch vom Cache kurz verarbeitet bevor es dort auch zum reset kommt).

 

[hostile]

Kleine Frage: Hast du dir die Bulk- oder Retail-Version gekauft?

gruß
hostile
Hinzugefügter Post:
@TechnoFeather

Grundsätzlich kann ich dir empfehlen Fehlerfälle durchzutesten, bevor Daten auf dem Array sind. Nachher bist du nicht sicher auf welchen Knopf du klicken sollst (oder auf welchen du besser nicht klickst) und verlierst Zeit bei nem nicht redundanten set.

gruß
hostile

 

[TechnoFeather]

Retail

Also ich habe jetzt nochmal eine WD 500GB RE2 bei K&M per Nachnahme bestellt. Somit habe ich gleich keine probleme und werde ein paar Notfallsituationen mit den Platten durchspielen. Als erstes werde ich dann ein 3er Raid aufstellen und dann die vierte Platte hinzupacken - bin gespannt was dabei dann raus kommt.

 

[drdope]

Ich hab derzeit nen 9550SX-12;
ist mein 4. 3Ware Controller (nach nem 7500S-12 und 2x 9500S-8)...
Liefen bisher allesamt Problemlos.

Von der Online Capacity Expansion würd ich die Finger lassen, wenn du kein Backup zur Verfügungs hast.

Während des OCEs (was je nach größe mehrer Stunden dauern kann) hast du bei nem RAID5 keinerlei Redundanz mehr --> geht ne Platte dabei Hops, wars das mit den Daten.
Selbst wenn die OCE Problemlos klappt, mußt du danach noch das Dateisystem resizen --> weiterer potentieller Risikofaktor...

Ich tendiere (trotz vorhandenen Backup auf LTO3) eher zu mehren kleinen Arrays je 4 HDDs, das ist Upgradetechnisch wesentlich flexibler zu Handhaben.

 

[Kamuro]

Moin,

ich kann drdope nur Recht geben. Selbst wenn die Erweiterung des Arrays noch tadellos funktioniert, stehst du vor einem meiner Meinung nach größeren Problem, nämlich den zusätzlichen Platz auch verfügabr zu machen. Ich persönlich ändere sehr ungern bestehende Dateisysteme und Partitionen, trotz aller schicken Tools die es dafür gibt. Bei mir hat es zwar Testweise funktioniert, im laufenden Betrieb würde ich es mir sicher ersparen wollen.

Zum Update des Codesets von der 3Ware Homepage. Wenn du nur Windows benutzt, benötigst du nur die Treiber (hier ist die Firmware mit dabei und ein Tool zum Update der Firmware und des Treibers) und das Management Utility (hier ist auch das CLI dabei).

Und noch zu dem Reset / BBU Thema. Du hast Recht, im Regelfall "merkt" sich der Controller, ob alle Daten aus dem Cache schon geschrieben wurden und kann sie später, wenn sie dank der BBU noch vorhanden sind, korrekt schreiben, allerdings nur, wenn die paritys stimmen. Und hier kommt der Fehler der Firmware zum tragen aus den "schlechten" Codesets. Die Daten werden wohl geschrieben, aber durch die defekte Firmware kommt es zu den benannten "parity mismatches" oder anders ausgedrückt, die Daten wurden nicht dahin geschrieben, wo sie hingehören. Und dann hast du ein Echtes Problem.

Kamuro

 

[TechnoFeather]

Und noch zu dem Reset / BBU Thema. Du hast Recht, im Regelfall "merkt" sich der Controller, ob alle Daten aus dem Cache schon geschrieben wurden und kann sie später, wenn sie dank der BBU noch vorhanden sind, korrekt schreiben, allerdings nur, wenn die paritys stimmen. Und hier kommt der Fehler der Firmware zum tragen aus den "schlechten" Codesets. Die Daten werden wohl geschrieben, aber durch die defekte Firmware kommt es zu den benannten "parity mismatches" oder anders ausgedrückt, die Daten wurden nicht dahin geschrieben, wo sie hingehören. Und dann hast du ein Echtes Problem.

D.h., dass wenn man mal auf die Resettaste drücken muss, kann es sein, dass das Array im Anus ist? Also langsam scheint mir Raid5 noch heikler zu sein als die Platten ohne Sicherung laufen zu lassen...

Und ne BBU jetzt nochmal extra dazubestellen habe ich keine Lust mehr. Finde die nämlich ein bisschen arg teuer.

 

[Kamuro]

Nein, das heisst es nicht unbedingt. Ich gehe immer noch davon aus, dass der Fehler aus dem Thread an der defekten Firmware des Controllers lag und deswegen die Daten nicht sauber geschrieben wurden nach dem Reset. Anschließend können dann die Daten nicht mehr zueinander passen und es kommt bei der Überprüfung des Arrays von dem Controller (Stichwort Verify) zu Fehlern, diesen "parity Mismatches". Dies hat meiner Ansicht wenig mit dem Reset zu tun als vielmehr mit der Firmware des Contollers.

Wenn du keine BBU verwendest, solltest du dir einmal anschauen, in welchem Modus (StorSave Profile) du deine Unit laufen lässt (Protection, Balanced oder Performance). Hier geht Sicherheit zu lasten der Performance. Schau dir das einfach mal im User Guide (3Ware9650SE-Usr Guide) zu dem Controller an (3Ware-Service und Support-User Documentation) und dort den Bereich Configuring Units - Setting Unit Policies.

 

[TechnoFeather]

Dann wohl eher Protection.

Und Danke an alle für die zahlreichen Tipps!

 

[ulukay]

Also langsam scheint mir Raid5 noch heikler zu sein als die Platten ohne Sicherung laufen zu lassen...

so ganz kapiere ich diesen satz nicht.

eine Sicherung musst du in jedem fall machen, egal ob einzelne platten oder raid5.

 

[DoubleJ]

Ich empfehle dir, den Controller aktiv zu kühlen, sonst passiert dir früher oder später das Gleiche wie mir (dein Link im ersten Post). Wie sich rausgestellt hat, kamen die Fehler durch einen Controller-Schaden -> musste ausgetauscht werden.

 

[TechnoFeather]

Ja, werde einen irgendwie versuchen einen 120mm Lüfter an der Seite zu befestigen. Wird auch noch lustig...

@ulukay
Ich meinte die Sicherung vor einem Festplattenausfall. Mit Raid5 scheint sie mir langsam größer zu sein als ohne.

 

[pajaa]

@ulukay
Ich meinte die Sicherung vor einem Festplattenausfall. Mit Raid5 scheint sie mir langsam größer zu sein als ohne.

Mit einer einzelnen Platte kann es auch zu Datenfehlern kommen, wenn du resetest. Mein ICH8R-Raid5 hat schon diverse Resets überlebt, einmal wurde es neuaufgebaut, aber die Daten sind heil. Und es kann dir eine Platte ausfallen, dann sind die Daten immernoch da, bei einer einzelnen Platte sind sie weg und es kostet oft Unsummen, wie wieder zu bekommen.

 

[ulukay]

Ja, werde einen irgendwie versuchen einen 120mm Lüfter an der Seite zu befestigen. Wird auch noch lustig...

@ulukay
Ich meinte die Sicherung vor einem Festplattenausfall. Mit Raid5 scheint sie mir langsam größer zu sein als ohne.

achso, na da spricht man eigentlich nicht von sicherheit sondern nur von erhöhter verfügbarkeit. die ist mit raid5 sicherlich höher. (zumindest bei so kleinen arrays)

 

[HisN]

Darf ich mich kurz einklinken.
Wie ist das mit den Dateisystemen auf dem Raid nach einer Migration. Ich hab in meinem Backupserver im Moment 6x500GB, werde mir aber nächsten Monat noch mal zwei 500er leisten. Dazuhängen und Migrieren ist ja nicht das Problem. Aber was mach ich mit dem Filesystem? Das wird ja wohl nicht vom Raidcontroller aufgepustet. Bedeutet das für mich das ich zwar mehr Speicherplatz zur Verfügung habe, aber
a) eine neue Partition auf dem frischen Platz erstellen muss
b) die Partition mit Hilfe einschlägiger Tools hochpusten muss

Und wenn b) welches Tool kann mit GPT-Partitionen umgehen? (Windoof, für Gentoo bin ich immer noch zu blöd^^)

 

[ulukay]

Darf ich mich kurz einklinken.
Wie ist das mit den Dateisystemen auf dem Raid nach einer Migration. Ich hab in meinem Backupserver im Moment 6x500GB, werde mir aber nächsten Monat noch mal zwei 500er leisten. Dazuhängen und Migrieren ist ja nicht das Problem. Aber was mach ich mit dem Filesystem? Das wird ja wohl nicht vom Raidcontroller aufgepustet. Bedeutet das für mich das ich zwar mehr Speicherplatz zur Verfügung habe, aber
a) eine neue Partition auf dem frischen Platz erstellen muss
b) die Partition mit Hilfe einschlägiger Tools hochpusten muss

Und wenn b) welches Tool kann mit GPT-Partitionen umgehen? (Windoof, für Gentoo bin ich immer noch zu blöd^^)

wenn du jetzt noch geschrieben hättest welches filesystem du hast wärs einfacher *g*
a) genau
b) genau

ich verwend am fileserver z.b. XFS unter linux. das is für große dateien gedacht und für hohe verfügbarkeiten. da genügt ein xfs_growfs und das wars (im gemounteten zustand!!! offline gehts garned *g*)
bei ntfs gehts imho auch - der datenträger muss aber ein dynamischer sein wenn mich ned alles täuscht

 

[HisN]

Ist NTFS
Vielleicht setze ich mich nochmal ans Gentoo ran, aber erst wenn der Backupserver sein "finales" Board hat. Im Moment plagen mich da noch diverse Zipperlein^^.
Dangge für die Antwort.

 

[KRambo]

Ich glaub bei der Frage kann ich helfen. Ich hab nen 3ware 9650SE mit 4 Ports und hatte erst 3 Platten dran und dann noch ne vierte dazu migriert. Der Vorgang dauerte aber recht lange. Am Schluss hatte ich auf den ersten Blick nicht mehr Speicherplatz, sondern im Festplattenmanager vom Win wurde der Speicherplatz als nicht formatiert angezeigt. Dann einfach so konfiguieren, dass er an eine vorhandene Partition angehängt wird. Funzte problemlos, auch wenn sich bereits Daten im Array befinden