Festplattenerneuerung im Server mit Raid6

[soulreaver]

noch eine kleine Anmerkung meinerseits... RAID5/6 ansich funktioniert ja super mit einem Hardware RAID Controller, als die Festplatten noch etwas kleiner waren, war das prinzipiell auch kein Problem.

Ein Problem kriegst du jetzt aber, wenn wirklich mal eine Platte ausfällt und du einen Rebuild machen musst... je nach Geschwindigkeit des RAID Controllers und der RAID Größe kann das bis zu mehreren TAGEN (!) dauern in denen nichts schief laufen darf (beim RAID6 dauert der Rebuild in der Regel noch etwas länger als bei einem RAID5) -> seit ich von meinen 3TB Platten gewechselt bin setze ich hier konsequent auf ein RAID10 (mit Backup natürlich) um hier die Rebuildzeiten irgendwie erträglich zu halten -> bei einer 12TB Exos dauert der RAID10 Rebuild hier ca 10-12 Stunden - und der macht quasi nur eine 1zu1 Kopie der defekten Platte ohne Redundanzinformationen etc. mit zu berechnen.

Für die Plattengrößen könnte ich nicht mehr ruhigen gewissens ein RAID5/6 empfehlen - mit den ZFS etc Geschichten (Software RAID mit ein paar sehr nützlichen Filesystemfunktionen) kenne ich mich leider zu wenig aus (kein Linux System im Haus) um hier Rebuildzeiten anzugeben.

 

[FNBalu]

Raid 10 würde ja dann 6 Platten benötigen

 

[soulreaver]

richtig, Nachteil ist halt leider die halbierte Kapazität - wie gesagt, solang alles läuft alles gut, aber denkt an die Rebuildzeiten im Notfall .

 

[FNBalu]

Wenn ich mir das so überlege und es richtig schief läuft beim Raid 10 und jeweils Platte 2 abraucht ist auch alles weg.
Privat hat man ja meist auch keine Festplatte im Cold Standbye. Notfalls ist der Server halt paar Tage ausgeschaltet.

Wie lange ein 9265er LSI für den Rebuild braucht weiß ich aber auch nicht.

 

[Holt]

Super verpackt und alle haben Tag heute 5 Jahre Garantie.

Ja, genau so verschicken die Hersteller ihre Bulk HDDs und wenn man genug davon kauft, dann hat man eben manchmal das Glück und bekommt sie in genau dieser Verpackung.

 

[soulreaver]

naja, bei RAID 10 darf jede 2. Platte ausfallen -> bei 6 Platten mit "glück" dann halt deren 3... für einen Komplettausfall sollte man halt trotzdem nochmal mit einem Backup vorsorgen (und sei es auf dem zu sicherndem System die Daten irgendwie vorhalten) - ist mir trotzdem lieber als bei einem RAID6 ewig und 3 Tage auf den Rebuild zu warten.

 

[Holt]

bei RAID 10 darf jede 2. Platte ausfallen

Aber wenn nur zwei ausfallen kann es schon reichen und mal ehrlich, bei 6 HDDs würde ich dann lieber RAID 6 wählen, da können zwei beliebige Platten ausfallen und ich habe obendrein noch mehr Nutzkapazität, nämlich die Kapazität von 4 Platten und nicht wie bei RAID 10 die von 3. Bei der Schreibperformance hat man dafür natürlich Nachteile.

ist mir trotzdem lieber als bei einem RAID6 ewig und 3 Tage auf den Rebuild zu warten.

Wieso? Man kann doch während des Rebuilds das RAID weiterhin nutzen, nur mit weniger Performance, aber auch hier gibt es Parameter um dies zu tun, denn die Rebuilds eines RAIDs werden mit Absicht gebremst eben um die Performance der anderen Zugriffe nicht zu sehr auszubremsen und dies kann man meisten einstellen.

 

[MisterFloppy]

@FNBalu: Hast du die 5x 16TB Exos inzwischen am Laufen?

Mich würde ja interessieren, was dein subjektiver Eindruck bzgl. Lautstärke ist. Die 3TB WD Reds gelten ja als eine der leiseren Platten. Was ist wohl leiser? 10x 3TB WD Red oder 5x 16TB Exos? Falls du einen Eindruck 1vs1 hast, wäre es sicher auch interessant. Eine sehr leise Luft-Festplatte versus eine moderne, eher laute Helium-Platte...

 

[Firebl]

Hier stellt sich wieder die Frage von welchen WD30EFRX du sprichst Ich hatte 2x WD30EFRX, 1x 2013 mit NASWARE2.0 Aufkleber und 1x von 2014 mit NASWARE3.0 Aufkleber, erster Serie. Beide waren doch sehr laut.
Da WD aber unter derselben Nummer immer wieder die Platter reduziert hat, kann deine Erfahrung mit jüngeren Festplatten natürlich abweichen.

Interessant wäe auch nochmal der Vergleich zwischen ST16000NM000G und ST16000NM000J. Zumindest die 18-TB-Variante der 000J hat sich meiner Meinung nach in der Lautstärke verbessert gegenüber dem 000G-Modell.

 

[Holt]

10 mal 3TB ergibt 30TB Brutto, in einem RAID 6 wäre es dann 24TB Netto, 5 mal 16TB ergibt 80TB Brutto und selbst im RAID 6 wäre es noch 48TB und damit doppelt so viel Kapazität. Die Red 3TB WD30EFAX (lt. GH mit SMR) kostet ab 80€, die WD30EFRX (CMR) ab 90€, während eine Seagate Exos X X16 16TB, 512e/4Kn, SATA 6Gb/s (ST16000NM001G) mindestens 305€ kostet, wird reden also von 800/900€ oder ab 1525€.

Da haben ich echt Probleme wie man das eine als Alternative zum anderen sehen kann.

 

[passat3233]

Das mit dem Rebuild bei Raid 5/6 ist kein Problem, wenn du einfach eine Hot-Spare mit ins System nimmst.
Fällt eine Platte aus, greift sich der Raidcontroller automatisch die Hot-Spare und macht darauf ein Rebuild.
Wenn man nicht regelmäßig in die Logs schaut, bekommt man davon i.d.R. gar nichts mit.
Deshalb sollte man auch bei einer Hot-Spare regelmäßig in die Logs schauen.
Ich hatte das schon mal bei einem Kundensystem, das der Controller sich bei nach einem Ausfall einer Platte die Hot-Spare gegriffen hatte.
Nur der hatte nie in die Logs geschaut und das nicht mitbekommen. Und dann ist 1 Jahr später eine zweite Platte ausgefallen.
Das Raid 5 lief also nur noch im Notbetrieb mit 2 Platten und das monatelang!
Der GAU war nahe.
Also 2 Platten neu gemacht.

 

[Digi-Quick]

Hmm, eigentlich bieten alle "besseren" Raidcontroller die Benachrichtigung via e-mail.

Problematisch sind dann z.B. Controller von HP (z.B. HP Smartarray e200) die dieses (und andere) Features nur in Verbindung mit HP-Servern und der HP-Verwaltungssoftware bieten

 

[MisterFloppy]

Hier stellt sich wieder die Frage von welchen WD30EFRX du sprichst Ich hatte 2x WD30EFRX, 1x 2013 mit NASWARE2.0 Aufkleber und 1x von 2014 mit NASWARE3.0 Aufkleber, erster Serie. Beide waren doch sehr laut.
Da WD aber unter derselben Nummer immer wieder die Platter reduziert hat, kann deine Erfahrung mit jüngeren Festplatten natürlich abweichen.

Hachja, die Hersteller machen es einem echt nicht leicht

Da haben ich echt Probleme wie man das eine als Alternative zum anderen sehen kann.

Es soll ja auch keine Alternative sein, sondern das eine soll das andere durch ein Upgrade ersetzen. Es geht darum bekannte Referanzen zu haben. Die Exos sind ja Server- und nicht NAS-Platten, wie die WD Red. Wenn 5x Exos trotz Helium lauter sind als 10x Red, dann brauche ich nicht mehr drüber nachdenken die Exos in die engere Wahl zu nehmen. Dass NAS-Platten leiser als Server-Platten sind, versteht sich von selbst, aber es ist ja nunmal auch am Ende eine Preisfrage.

 

[Uhrzeit]

Für die Plattengrößen könnte ich nicht mehr ruhigen gewissens ein RAID5/6 empfehlen - mit den ZFS etc Geschichten (Software RAID mit ein paar sehr nützlichen Filesystemfunktionen) kenne ich mich leider zu wenig aus (kein Linux System im Haus) um hier Rebuildzeiten anzugeben.

Ich denke für ZFS nimmt man noch eher und lieber entweder einen der quasi forks von Solaris oder eben die NAS-Soft die auf FreeBSD aufsetzt. Und nicht Linux. Sonst eher den XFS Mod namens Unraid.
Linux funzt auf 1000 Sachen super, FreeBSD auf hunderten 😶 Den Drang sich auf dem Terrain jeweils des anderen zu duellieren hab ich noch nicht verstanden.

Hier was zu Rebuilds und Resilvern. Spuckte Google mal eben aus.

How does the rebuild time of ZFS's raidz compare to RAID5/6? | Hacker News

news.ycombinator.com

p.s.:
Dell zu Raid5

Choosing a RAID Policy

 

[Holt]

Das mit dem Rebuild bei Raid 5/6 ist kein Problem, wenn du einfach eine Hot-Spare mit ins System nimmst.
Fällt eine Platte aus, greift sich der Raidcontroller automatisch die Hot-Spare und macht darauf ein Rebuild.

Die Hot Spare löst doch nicht alle möglichen Probleme eines Rebuilds, dies kann auch mit Hot-Spare schief gehen, wenn z.B. beim Rebuild eines RAID 5 dann ein unkorrigierbarer Lesefehler auftritt. Die Hot-Spare adressiert nur das Problem das Problem wie bei dem Kunden, nämlich das der Ausfall einer Platte nicht bemerkt wird und dann die nächste ausfällt, bis eine zu viel ausgefallen ist und nichts mehr geht, wobei sie dies Problem nicht löst, sondern auch nur verschiebt indem eben neben der (RAID 5) bzw. den (RAID 6) beiden Platten der Redundanz auch noch die Hot-Spare dazu kommt, also eine mehr unbemerkt ausfallen kann bevor es zu spät ist.

Macht der Kunden eigentlich kein Backup? Wenn nicht und er dente mit einem RAID wäre alleine alles gut, dann sollte er seine Daten besser nur in der Cloud speichern, da arbeiten Leute die etwas von sicherer Datenspeicherung verstehen.

 

[Michig20]

5x Exos X16 sind sicher leiser 10 Reds mit 3TB. Alle Seagates mit Helium nehmen sich in Sachen Lautstärke nicht viel und die WD Whites mit Helium sind keinesfalls leiser.

 

[passat3233]

Macht der Kunden eigentlich kein Backup?

Doch, sogar täglich auf LTO-Bändern.
Aber beim Crash dauert die Wiederherstellung vom Band nun einmal.

 

[Uhrzeit]

1. Der Kunde weiß aber eigentlich garnicht was er da genau sichert oder? Er weiß nur, daß das Dateisystem sich selbst nicht für kaput hält. Über die Daten weiß er nichts (?) bis er mit der Soft die sie bearbeitet drauf zugreift.

2. Die Box kann kein "Meldesystem" bei rausgeflogenen Laufwerken? Nichtmal fröhlich vor sich her piepsen?

 

[Digi-Quick]

Das mit dem Rebuild bei Raid 5/6 ist kein Problem, wenn du einfach eine Hot-Spare mit ins System nimmst.

Die Hot Spare läuft dann jahrelang ohne Belastung mit und stirbt dann wenn Sie eigentlich gebraucht wird.....
Diese "Sicherheit" ist eine trügerische, auch wenn das gerne gemacht wird.
Vor Allem gerne auch dort, wo der Storage nicht regelmäßig alle 5 Jahre erneuert wird - sondern läuft bis was passiert....

Bei der Cold Spare im Schrank sieht das auch nicht viel besser aus, die kann sich ggf. kaputt gelegen haben, was zumindest laut den Datenblättern der Hersteller in Bezug auf die Lagerdauer wohl durchaus einzuplanen ist

 

[Ceiber3]

Können kann alles.

 

[Uhrzeit]

Und Murphy ist eine... 😉