RAID 5 vs. RAID 6

[freeman303]

Hallo,

Ich plane einen Server auf Basis von Win Server 2008 x64.

Seine Aufgaben: Fileserver, Datenbank, Applikationsserver-VM Ware Workstation.

Nun bin ich nicht sicher, welches Raid ich für das Datengrab nehmen soll.

Für das System soll ein RAID5 aus 3x Cheetah 15K.6 herhalten.

Das Datengrab soll aus 6x 7200 Upm Platten + 1x Hotspare herhalten.

Der Controller ist ein Areca ARC-1680ix-16 mit 2 oder 4 GB Cache

Angenommen ich verwende 1 TB-Platten,

so habe ich bei RAID 5 eine Kapazität von 5 TB. Fällt eine HDD aus, springt die HotSpare Disk ein und es wird ein Rebuild angefertigt. Fällt während des Rebuilds eine weitere Disk aus, sind die Daten verloren.

bei Raid 6 habe ich eine Kapazität von 4 TB. Fällt eine HDD aus, springt die HotSpare Disk ein und es wird ein Rebuild ausgelöst. Fällt während des Rebuilds eine weitere Disk aus, passiert noch nichts, solange keine weitere HDD während des Rebuld ausfällt.

Nur die Hauptfrage ist: Wie oft kommt es vor, dass das Szenario eintrifft, dass ein weiterer HDD-Ausfall während des Rebuilds passiert?

Des Weiteren ist die Lese- und Schreibleistung bei RAID 6 im Vergleich zu RAID 5 verringert. Auch wenn dies vielleicht am leistungsfähigen Areca nicht unbedingt auffällt.

Zu welchem RAID würdet ihr mir raten? Was sind weitere Vor- und Nachteile. Habe schon einige Dokus und HowTos zum RAID gelesen. Aber ich kann auf keine Erfahrungswerte diesbezüglich zurückgreifen.

Habe seit 2 Jahren ein RAID-5 aus 4 Seagate HDDs laufen. Bisher kein Ausfall. Aber ob das so bleibt, weiß niemand und kann auch niemand vorhersagen.

Daher hier die Frage nach Eurem Rat.

Gruss
Freeman

 

[pSyKoOlo]

Nur die Hauptfrage ist: Wie oft kommt es vor, dass das Szenario eintrifft, dass ein weiterer HDD-Ausfall während des Rebuilds passiert?

Des Weiteren ist die Lese- und Schreibleistung bei RAID 6 im Vergleich zu RAID 5 verringert. Auch wenn dies vielleicht am leistungsfähigen Areca nicht unbedingt auffällt.

Zu welchem RAID würdet ihr mir raten? Was sind weitere Vor- und Nachteile. Habe schon einige Dokus und HowTos zum RAID gelesen. Aber ich kann auf keine Erfahrungswerte diesbezüglich zurückgreifen.

Erstmal - nette Konstellation! Ich mein, hätteste die neue Cheetah 15k.7genommen, wärs zwar noch nicer, aber so ists schon nett

Also zu der Frage - bei Desktop Platten (nur 6 Stück) ist das theoretisch schon möglich, dass da eine Zweite ausfällt, jedoch schon relativ unwahrscheinlich. Wenne dann noch gescheite Platten nimmst, könnteste vom Prinzip her auch schon ziemlich safe mit nem Raid 5 fahren.

Zu der HotSpare: Ich war auch erst am überlegen Eine zu usen, doch macht die relativ wenig Sinn. Ich mein, wenne ein Raid 5 benutzen willst + HotSpare, ist es dann doch sicherer und auch wesentlich effektiver lieber einfach ein Raid 6 OHNE HS zu nehmen. Denn da verkrafteste dann 2 HDD-Fails und kannst dann, wenne es siehst ne Neue dranklemmen, die dann rebuilded. Ich mein auf 5 h mehr oder weniger kommt es nicht wirklich an - der Rebuild wird dann schon länger dauern.

HS ist schon eher für Server gedacht mit Raid6, die selbstständig non stop laufen sollen. Sprich, wenn am WE ne HDD failed, soll der das automatisch reparieren. Im Home-Bereich ist man jedoch jeden Tag einmal kurz irgendwie am bzw. auf dem Server und würde nen Fail doch sofort feststellen. Ansonsten bauste noch eben nen Mail-server, der dir ne Mail bei Fail schickt.

Lass dir das mal durch den Kopf gehen ^^

Abschließend muss ich ganz ehrlich sagen, dass du bei "NUR" 6 Platten schon überlegen kannst erstmal sogar nur ein Raid 5 ohne HS zu fahren und das dann bei Belieben um 2 Platten auf nem 8 Platten Raid 6 aufzurüsten. Von der Performance her werden die Unterschiede nur marginal (insbesondere bei dem Areca) sein.

Meine persönliche Meinung - unter 7 Platten kannste noch mit Raid 5 fahren - evtl. sind 6 grade grenzwertig - darüber abba auf jeden Fall Raid 6. Und HS erst ab Raid 6 - 10Platten ++, wenn überhaupt.

GreEtz pSy

 

[ThomasK]

Hotspare bringt eigentlich nur eines: Die Reorganisation beim Plattendefekt wird sofort nach dem Ausfall einer Platte begonnen. Das betrifft Rechnersysteme, die nicht 24h betreut werden. Die Defekte treten in der Regel an zufälligen Zeitpunkten auf, und das bedeutet oft, dass ca. 50% der Tageszeit niemand vor Ort ist. Dann stellt man am Morgen eben fest, dass in der Nacht eine Reorganisation auf die Hotspare stattgefunden hat und man steckt dann eine neue Platte als Ersatz für die Defekte in den Server.
Hätte man keine Hotspare, dann könnte eine lange Betriebszeit ohne Redundanz die Folge sein. Wenn die Platte am Freitag abend um 20:00 Uhr ausfällt, und man keine Alarmierung hat, so stellt man den Fehler am Montag 8:00 fest. Hat man ein Komplett-Backup über das Wochenende laufen (da ist oft das Zeitfenster gross genug), so werden die Platten dann noch extrem belastet. Das erhöht die Wahrscheinlichkeit, dass es die zweite Platte erwischt, und dann ist es vorbei.
In den letzten 15 Jahren meiner Berufspraxis ist es mir nie passiert, dass während der Reorganisation eines RAID 5 eine weitere Platte ausfiel. Allerdings habe ich immer Server in einer Rechenzentrums-Umgebung betreut, d.h. weniger Staub in der Luft und eine Kühlung, die die Platten nie wirklich heiss werden lässt. Hitze ist der Todfeind der Platten, besteht diese Gefahr ist es weitgehend egal ob RAID 0, 5, 6, 10 oder was sonst. Dann wird jede Viertelstunde eine Platte sterben, und die Hotspare ist vielleicht schon tot, bevor sie gebraucht wird.
Mein Fazit: Ein wirklich gutes Backup, das funktioniert, bringt mehr als jedes RAID. RAID 6 bringt nur dann etwas, wenn man den Ausfallzustand lange nicht beheben kann, weil niemand vor Ort ist.

 

[OwenBurnett]

Naja, bei privaten Datengräbern ist die frage nach der rentierberkeit eines backus denke ich schon zu erwägen.
Sprich wen in meinem Datengrab 4 TB an z.B. TV Serien vor sich hin faulen naja, as wären mind 300€ für backup dieser datenmänge.

Es kann hier duraus sinvoller sein ein raid 6 anzulegen und einfach darauf zu hoffen das nie 3 HDD's ausfallen resp der kontroller das array nciht zerschießt.

Im falle eines Ausfalls kann man die daten mit dem BT client der wahl mehr oder weniger "wiederherstellen" (neu laden aus den weiten des web)

hotspare finde ich hier komplett sinnlos.

 

[ulukay]

Nur die Hauptfrage ist: Wie oft kommt es vor, dass das Szenario eintrifft, dass ein weiterer HDD-Ausfall während des Rebuilds passiert?

garnichtmal so abwegig da:
1. alle platten wohl gleich alt sind und gleich viel auf dem buckel haben
2. waehrend des rebuilds von allen platten alles einmal gelesen werden muss und das die platten natuerlich auch beansprucht.

Des Weiteren ist die Lese- und Schreibleistung bei RAID 6 im Vergleich zu RAID 5 verringert. Auch wenn dies vielleicht am leistungsfähigen Areca nicht unbedingt auffällt.

leseleistung -> nein
warum steht einen satz weiter

Zu welchem RAID würdet ihr mir raten? Was sind weitere Vor- und Nachteile. Habe schon einige Dokus und HowTos zum RAID gelesen. Aber ich kann auf keine Erfahrungswerte diesbezüglich zurückgreifen.

mach das raid6 ueber alle platten (also ohne hotspare).
dann hast bei 7 platten 5tb speicher und diesselbe leseleistung wie beim raid5 ueber 6platten + HS.
zusaetzlich legst dir eine coldspare in den schrank

 

[erblade]

Raid 5 bei SCSI-Platten mit einer Grösse von 146 - 300GB ist OK. Bei Sataplatten mit einer grösse von 1TB und mehr dauert ein Rebulid dann schon mal 20 Stunden.

Bei Sata/Consumer- Platten kommt noch der faktor defekte Sektoren dazu. Angenommen 5 Platten im Raid 5, auf Platte 2 gibt es einen Sektorfehler und Platte 4 fällt aus. Dann wird das Rebuild nicht richtig funktionieren und defekte Daten erzeugen.

Man muss solche Sachen immer von der Kostenseite betrachten ( auch privat ) .
Eine zusätzliche 1TB Platte kostet ca. 80€, ist es das wert die Daten zu verlieren ?
Nö, also Raid 6 bauen und freuen.

Fazit: SCSI/SAS geht Raid5 noch, bei Sata Raid 6

 

[freeman303]

Hallo,

und erst mal vielen Dank für die zahlreichen Antworten. Ich muss mir die Informationen zuerst nochmals genau durchlesen und meine Planung deshalb ändern. Denke, dass es wegen den Desktop-HDDs ein RAID 6 wird ohne Hot-Spare.

Auf Kühlung werde ich auch genau achten.

Wollte fürs Datengrab die Seagate 7200.12 mit 1 TB einsetzen. Wegen den zwei Plattern bei dieser Kapazität.

Welche andere gleich große Platte mit ähnlicher Performance wäre da noch empfehlenswerter bei gleichem Preis?

Gruss
Freeman

 

[orpheus88]

Also ich weiß nicht wie das bei Arecas ist aber ein Rebuild eines RAID-5 mit 8 Platten dauert auf meinem 3ware nur so 6-8h und keine 20.

 

[Schlingel_INV]

Bei Sata/Consumer- Platten kommt noch der faktor defekte Sektoren dazu. Angenommen 5 Platten im Raid 5, auf Platte 2 gibt es einen Sektorfehler und Platte 4 fällt aus. Dann wird das Rebuild nicht richtig funktionieren und defekte Daten erzeugen.

das ist der entscheidende punkt! ob jetzt ein oder zwei platten ausfallen dürfen beim privaten einsatz ist sowas von da ganze lässt sich auch per hot-spare erledigen. ABER: die hot spare bietet halt nciht den vorteil, dass beim plattenausfall immer noch redudanz vorhanden ist und somit auch lesefehler erkannt (!!) werden können.

das ganze thema hatten wir letztens auch schon im perc-thread.

im TB-zeitalter ists nunmal so, dass die statistische wahrscheinlichkeit für einen lesefehler bei einem raid aus 2TB-hdd nahezu bei 1 liegt. sprich bei einem Raid5 und einem ausfall einer der platten mit anschließendem rebuild wird mit hoher wahrscheinlichkeit ein sektor falsch ausgelesen. dank nicht mehr vorhandener redudanz wird dieser auch nciht erkannt und somit auf die neue hdd geschrieben. die folge: im hamlosen fall z.b. ein fehlerhafter frame in nem film - im extremfall nen defektes .rar oder truecrypt-volumen.

manchen ist das egal - anderen wiederrum nicht. es hängt immer vom datenbestand ab ob sowas kritisch ist.

die hersteller haben reagiert und bei den neuen großen platten die angabe nun von einem lesefehler pro 10^5 auf 10^6 erhöht. ob das aber einfach nur ne "anpassung" im datenblatt ist, sei noch dahingestellt.

wer also seine daten liebt und auch noch in späteren zeiten eine hohe qualität dieser haben möchte sollte auf R6 setzen (oder auf solche dinge wie ZFS - hier gibbet aber wieder andere nachteile stichwort erweiterung etc).

8hhd mit über 1TB würd ich als grade noch so akzeptierbar ansehen (je nach daten).

 

[underclocker2k4]

Schlingel wir sind bei aktuellen HDDs bei 1Fehler pro 10^14 oder 10^15 Versuche.

Mach bei 2TB und ~4*10^9 Sektoren ein 10^5 bis 10^6 faches Lesen der kompletten HDD.

 

[Schlingel_INV]

1bit je 10^14bits sinds aktuell laut WD sprich 12,5TB bzw. ~11,36TB je nach Rechnung. Geht man von 2TB-Disks aus und 7 HDDs liegst du beim Rebuild nur ganz knapp drunter (bzw je nach Rechnung auch drüber) sprich die wahrscheinlichkeit beim R5 + Rebuild auf nen Lesefehler zu stoßen liegt sehr sehr hoch nahe 1. geht man von 8xHDD aus ist sie 1

Ich meine letztens bei Seagate nachgeschaut zu haben. Dort hatte man schon 10^15 angegeben (oder wars doch WD nur nen anders neueres datenblatt )

so genau steck ich da nimmer drinne. ist schon was her seit der diskussion...

 

[underclocker2k4]

Seagate hat 10^14 und WD 10^15

Wenn man das oben weiterrechnet, kommt man auf:
Seagate, bei jedem 4. Lesen eines Bits ist ein Fehler dabei.
WD, bei jedem 40. Lesen eines Bits ist ein Fehler dabei.

Wenn man das auf R5 hochrechnet, dann hast du bei Seagate und 5HDDs im Array (also 4 beim recovern) bei jedem Bit einen Treffer.
Wenn man das auf R5 hochrechnet, dann hast du bei WD und 5HDDs im Array (also 4 beim recovern) bei jedem 10 Bit einen Treffer.

Statistisch betrachtet.
Unterm Strich sind wir aktuell bei einem Punkt angekommen, dass man sich über ein solches Verhalten Gedanken machen muß. Ergo, mußt du eine Redundanz für den Ausfall der Redundanz einbauen. Also R6 oder eben irgendwelche andere Softredundanzen oder gar nen RAID7 oder sowas erfinden.

 

[Schlingel_INV]

WD Black 10^14: http://www.wdc.com/wdproducts/library/SpecSheet/ENG/2879-701276.pdf
WD Green 10^15: http://www.wdc.com/wdproducts/library/SpecSheet/ENG/2879-701229.pdf

und ich erinnere mich dass ich bei zeiten nachgeguggt hatte und alle WD Blacks mit mehr als 750GB auch 10^15 hatten. hatte mich noch aufgeregt, weil ich nur die kleinn hab ^^

ist ja auch wurscht wichtig ist das hier:

Ergo, mußt du eine Redundanz für den Ausfall der Redundanz einbauen. Also R6 oder eben irgendwelche andere Softredundanzen oder gar nen RAID7 oder sowas erfinden.

 

[underclocker2k4]

Ja gut, wenn die Sektoren natürlich schneller vorbeihuschen (7,2k) dann haste mehr Lesenfehler. Hab halt nur die Daten der Green im Kopp.

Aber, der Trend geht ja eh zu weniger Storage. Also SSDs. ^^

 

[Schlingel_INV]

Najo deren Langzeittauglichkeit ist ja noch nedd bewiesen. Ich hab keine Lust auf so nen Verhalten wie es bei DVDs zu beobachten ist. Bei ner HDD kann ich mir fast sicher sein, dass die Daten immer noch da sind wenn ich se nach 10 Jahren oder mehr einschalte

 

[Snipa]

Also ich weiß nicht wie das bei Arecas ist aber ein Rebuild eines RAID-5 mit 8 Platten dauert auf meinem 3ware nur so 6-8h und keine 20.

bei meinem 3ware 9650SE dauerte das Rebuild eines ca. 80% vollen Raid5 aus 5x1,5TB Barracuda 7200.11 um 5h. auch keine Ahnung, wie erblade auf 20h kam.

ich würde sogar sagen, dass es einfach solange dauert, wie man braucht, um die HD mit "average speed" komplett zu füllen, oder?

wenn ich also ein Raid rebuilden müsste mit der HD im Anhang ... dann würde das Rebuild nur 5min dauern

 

[Zidane]

Schreibperformance ist bei Raid-6 langsamer, als bei Raid-5 - erkauft durch die 2 Platte für die Sicherheit.

---------- Beitrag hinzugefügt um 23:21 ---------- Vorheriger Beitrag war um 23:14 ----------

WD Black 10^14: http://www.wdc.com/wdproducts/library/SpecSheet/ENG/2879-701276.pdf
WD Green 10^15: http://www.wdc.com/wdproducts/library/SpecSheet/ENG/2879-701229.pdf

und ich erinnere mich dass ich bei zeiten nachgeguggt hatte und alle WD Blacks mit mehr als 750GB auch 10^15 hatten. hatte mich noch aufgeregt, weil ich nur die kleinn hab ^^

ist ja auch wurscht wichtig ist das hier:

Dabei sollte erwähnt werden, ab welcher Array Größe das kritisch wird.
Aber trotzdem komisch, das die WD Green da toleranter ist. Mit der Drehzahl hat das sicher nix zu tun, dann sollten dort SAS-Platten sehr schlecht abschneiden, aber die Glänzen hier mit 10´16.
Die bgl. WD-RE3 zur Black hat auch 10´15.

 

[Schlingel_INV]

für den normalen user gilt wahrscheinlich:

und alle anderen ignorieren die angabe eh. wie will man die auc nachprüfen. von daher könten se auch einfach ne 15 draus machen ohne wirklich was zu ändern

 

[Zidane]

Bei der Green ist der "Idle" Timer das Problem, der die Platte sehr häufig in den Sparmodus versetzt, und damit die 300.000 Cyclen die sie hat sehr schnell verbraucht werden können, wenn man das nicht abstellt. Das Disqualifiziert die Platte für den Serverbetrieb, kann man aber abstellen. TLER soll laut einem anderen Thread dank einer Firmwaresperre nicht mehr aktivierbar sein, mal sehen ob WD selbst auf Anfrage dies verifizieren kann. Verständlich wäre es, dann kann sich auch die RE4 oder ne andere Disk kaufen.

 

[erblade]

bei meinem 3ware 9650SE dauerte das Rebuild eines ca. 80% vollen Raid5 aus 5x1,5TB Barracuda 7200.11 um 5h. auch keine Ahnung, wie erblade auf 20h kam.
...

5 Platten sind ja auch noch keine Zahl

14x 1,5TB da fängt der Spass an

 

[Snipa]

ja und? ich kenne mich zwar nicht so gut mit Raids aus, aber auch wenn man an nem 24port-Controller ein Raid5 aus 24 Platten macht, sollte ein Rebuild nach meiner Logik und meinem begrenzten Verständnis zu diesem Thema nicht viel länger dauern als eine Platte komplett zu füllen, oder? d.h. je nachdem wie grün und gross die Platte ist, 5-8h. schliesslich braucht die neue Platte nur zu schreiben und alle anderen Units nur zu lesen. egal wieviele im Raid5 sind.


wenn du dich schon im Off-Topic befindest, kannst du gerne für nen Penisvergleich Pics und Screenshots in folgenden Thread posten: http://www.hardwareluxx.de/community/showthread.php?t=84535

 

[erblade]

Ich habe nur Erfahrungen aus meiner beruflichen Praxis wiedergegeben, das hat nix mit Off-Topic zu tun.

 

[Schlingel_INV]

die nötige zeit für nen rebuild hängt nur von der größe einer der hdds ab. sprich ob 3x1,5TB oder 24x1,5TB ist wurscht

 

[erblade]

ein ganz guter Artikel zum Thema Klickmich

 

[DoubleJ]

geht man von 8xHDD aus ist sie 1

Die Wahrscheinlichkeit ist nicht 1, denn das würde heißen, dass auf jeden Fall ein Lesefehler auftritt. Außerdem steht vor den 1:10^14 noch ein nicht ganz unwichtiges "weniger als".

Bei den WD Black sind es übrigens 10^14 und bei den WD Green 10^15.
Die geringere Umdrehungszahl ermöglicht wohl ein sichereres Lesen

 

[Zidane]

Wenn es an der Umdrehungszahl liegt, müßten die Werte bei 10K und 15K Platten automatisch schlechter sein, ist es aber nicht das das trotz einer deutlich höheren Datendichte bei den letzteren verfügbaren Modellen. Der Grund wird wohl ein anderer sein. Außerdem hat die RE3 Reihe ebenfalls 10´15 und ist quasi bgl. mit der Black.

Scheinbar macht WD "Widersprüchliche" Angaben bezogen auf die WD Blue Reihe, i.d.r sind bei jedem Hersteller die Toleranzen gleich gesehen über die jeweilige Modell-Palette. Hier scheinbar nicht.

 

[DoubleJ]

Wenn es an der Umdrehungszahl liegt, müßten die Werte bei 10K und 15K Platten automatisch schlechter sein, ist es aber nicht das das trotz einer deutlich höheren Datendichte bei den letzteren verfügbaren Modellen. Der Grund wird wohl ein anderer sein.

Naja, die Black und Green sind beides Consumer-Produkte. Wenn hier jeweils mit der gleichen Qualität gefertigt wird, sorgen weniger U/min natürlich für geringere Fehleranfälligkeit.

10/15K SAS Platten sind Enterprise-Produkte, die einen entpsrechenden Mehrpreis kosten und bei denen man natürlich auch etwas mehr (Leistung/Qualität/...) erwarten darf.

Thema WD Blue: Wenn man vom Gewicht auf die Platterzahl schließen kann, haben die zwei-Platter 10^14 und die ein-Platter 10^15. (Ja, die 3200AAKS gab es auch mal mit zwei Schreiben, aber gehen wir mal davon aus, es ist die jeweils aktuellste Fertigung gemeint)

 

[Zidane]

Die WD-VR/Raptor hat auch nur 10´15 trotz gleicher Bausweise einer 2,5e/3,5er SAS-Festplatte. Aber gut WD baut auch keine SAS/SCSI vgl. Platten, also kein Spezialist wie Hitachi, Fujitsu, Seagate.

 

[DoubleJ]

Die WD-VR/Raptor hat auch nur 10´15 trotz gleicher Bausweise einer 2,5e/3,5er SAS-Festplatte.

Wieso "nur"? Es ging doch um 10^14 oder 10^15...

 

[Zidane]

Die gängigen SAS 10K/15K Platten haben aber 10´16 und das hätte auch bei den beiden Platten der Fall sein können. Bei konventionellen sollten immerhin 10´15 drin sein, mit Ausnahme von Hitachi die haben alle 10´14. Aber es geht ja vielmehr darum ob es relevant ist, traut man einem bestimmten Blog darüber - dem man im Netz findet könnten große Arrays mit 10´14 nicht mehr ausreichend sein. Inwieweit das hier ein Problem darstellt, wenn man z.b 4 solcher Festplatten bei 2TB Größe im Raid-5 benutzt oder 8/12/16 kann ich nicht beantworten, mal vom Sinn abgesehen.