Sparsame NAS HDDs mit 1:10^15 Fehler pro gelesene Bits und ab 4TB

[kawakawa]

Hallo,

ich suche für ein RAID 6, das erst Mal aus 4 Festplatten bestehen soll und somit min. 8 GB Kapazität bieten soll, dafür geeignete Festplatten.

Die HDDs sollten Dauerbetriebgeeignet sein, sowie eine Bit-Fehlerrate von min. 1:10^15 haben, also nicht die 1:10^14, welche meist Desktopfestplatten haben.

Ob SATA oder SAS ist egal. Festplatten mit 4, 6 oder 8 TB wären ok. Hersteller ist egal.

Könnt mir eine oder mehrere Modellreihen empfehlen oder auch von welchen abraten.

Die HDDs sollten im Idle möglichst wenig Strom verbrauchen, das wäre noch wichtig.

Danke für Eure Hilfe.

Grüße
kawakawa

 

[TCS]

SAS mit 4TB oder mehr wird Preislich ne ganz andere Hausnummer, da kann man gleich auf Profi-Equipment setzen.

bei "nur" 4 Platten wäre Raid10 noch eine Variante, spart den ganzen XOR Teil (Schneller) der Controller muss nicht groß was können und der Stromverbrauch im Idle wird einem sicher auch Danken. Die Rebuilt time ist auch nur ein Bruchteil.

Wird dauernd auf das Gerät zugegriffen, oder sprechen wir hier von einer privaten Nutzung, macht es vielleicht sogar Sinn die Platten schlafen zu legen?

Backup ist aber schon dennoch geplant?

Die WD SE hat meinem Wissen nach eine URE von 10^15 -> Preis...
muss es 10^15 sein? der Unterschied bei den höheren Raid Levels von 10^14 auf 10^15 ist eher klein, gerade bei den 4 Platten

 

[Snipa]

WD Se haben doch afaik "<10 in 10^15" und nicht "1 in 10^15"? Das ist nicht ganz dasselbe, bzw auch so ne Marketingente wie IntelliPower?

 

[TCS]

stimmt, mein Fehler
also wird 1:10^15 wohl nur mehr im echten Enterprise Segment zu finden sein
-> ob sich das preislich lohnt?

 

[Holt]

für ein RAID 6, das erst Mal aus 4 Festplatten bestehen soll und somit min. 8 GB Kapazität bieten soll, dafür geeignete Festplatten.

1.) Für ein RAID 6 auf 4x8TB brauchst Du keine UBER von 1:10^15, das wäre bei einem RAID5 sinnvoll, aber bei einem RAID 6 liegt die kritische Grenze weit über den 12TB.

2.) Es gibt im Grunde nur 2 HDDs mit 8TB, die Seagate Archive v2, aber die hat nur eine UBER von 1:10^14 und die HGST Ultrastar He8 8TB, die ist wegen der He Füllung auch sehr sparsam und hat eine UBER von 1:10^15, erfüllt also Deine Anforderungen perfekt, nur kostet die etwas mehr.

Beide sind fürd en Dauerbetrieb geeignet, die Archvie v2 hat ein aber ein Workload Rating von 180TB im Jahr, ob das reicht muss Du wissen, die HGST dürfte mehr vertragen.

Festplatten mit 4, 6 oder 8 TB wären ok. Hersteller ist egal.
...
Die HDDs sollten im Idle möglichst wenig Strom verbrauchen, das wäre noch wichtig.

Was jetzt, 4TB oder 8TB sind schon ein Unterschied und bei 4 Platten im RAID 6 macht das mal eben die doppelte Nutzkapazität aus! In 4TB oder 6TB wäre die Auswahl auch eine andere. In 6TB wäre die HGST Ultrastar sehr sparsam und mit 1:10^15, aber das ist wie gesagt beim RAID 6 eigentlich nicht nötig.

Überhaupt ist ein RAID 6 aus 4 Platten eigentlich recht unsinnig, da ist ein RAID 10 i.d.R. die bessere Wahl.

 

[kawakawa]

Hallo,

war vielleicht etwas missverständlich:

Für ein RAID-6 reichen mir momentan Platten mit 4TB, um meine Datenmenge zu speichern. Später sollen sie ggf. gegen 6TB oder 8TB ausgetauscht werden. Ich möchte das Raid mit möglichst wenig HDDs betreiben, um Strom zu sparen (ihr wisst ja, die Energiewende mit ihren Kosten...). Da ist es manchmal sinnvoller die 4TB Platten zu verkaufen und neue 6 TB oder 8 TB HDDs zu holen, als eine weitere 4TB dazu zu hängen, was aber für eine gewisse Zeitdauer auch eine gangbare Lösung wäre. Nur soll es eben nicht so enden, dass das RAID-6 irgendwann zu einem Plattenverbund aus 16x 4TB HDDs anwächst. Das will ich vermeiden.

Zum Thema: RAID 10 vs. RAID 6:

So wie ich es momentan im Kopf habe (nur auf die schnelle, ich kann mich auch irren), können bei RAID-6 mir gleichzeitig 2 HDDs sterben, ohne dass Datenverlust passiert. Es ist dabei egal welche 2 HDDs im RAID-6 ausfallen.

Beim RAID 10 kann es passieren, dass wenn die falschen zwei HDDs gleichzeitig ausfallen, es Datenverlust gibt. Sehe ich doch richtig.

RAID 10 ist doch ein Verbund von zwei RAID-0 Verbünden, die zu einem RAID-1 zusammengeschlossen werden. D.h. wenn mir aus beiden RAID-0 Verbünden jeweils eine HDD stirbt, ist Datenverlust die Folge.

Backup wird natürlich gemacht. Auf eine Seagate Archive HDD. Aber die Archive HDDs möchte ich keinesfalls im RAID einsetzen. Da wird bei mir zu viel geschrieben. Die HDDs gehen nur nachts in Sleep Mode.

Um es daher noch zu präzisieren: Wenn ihr mir welche Platten mit 4 TB und 1:10^15 nennen könntet, wäre das vollkommen in Ordnung. 6 TB und 8 TB Modelle benötige ich momentan noch nicht unbedingt.

Gruss
kawakawa

 

[Conyx]

Die Auswahl an 1:10^15 Platten ist recht überschaubar, beobachte das selbst schon seit ner Weile...

Ich werf mal zwei Typen in den Raum.

Bei WD gibts die "WD Red Pro" Serie mit 1:10^15 im Bereich von 2-4TB:
http://www.wdc.com/wdproducts/library/SpecSheet/ENG/2879-800022.pdf

Und von Seagate die "Enterprise NAS HDD" mit 1:10^15 im Breich von 2-6TB:
http://www.seagate.com/www-content/...us/docs/enterprisenas-hdd-ds1841-1-1410us.pdf

 

[Holt]

kawakawa, ja das mit dem Plattenausfall ist richtig, bei RAID 10 dürfen 2 aber nicht 2 beliebige Platten ausfallen, beim RAID 6 schon. Aber beim RAID 6 in der Größe brauchst Du keine Platten mit 1:10^15, da tun es auch Platten mit 1:10^14, die deutlich günstiger sind und statt nur auf die Stromkosten zu schauen solltest Du besser die TCO im Auge behalten, denn die 10^15 sind Enterprise Platten und entsprechend teuer.

 

[kawakawa]

Ab wann benötigt man 1:10^15 Platten und bis wohin reichen 1:10^14 Platten?

Wie kann man das definieren, bzw. festlegen wenn es um Einsatz in den unterschiedlichen RAID-Modi geht?

 

[Holt]

Lies mal dies hier und hier.

 

[kawakawa]

Danke, diese beiden Artikel sagen mir eigentlich nur, dass ich unbedingt 10^15 HDDs nutzen sollte...

 

[TCS]

1. Datensicherheit gibt dir das Raid nie Raid gibt Datenverfügbarkeit

Ich fand den Link immer ganz hilfreich.
RAID Reliability Calculator - Simple MTTDL Model - ServeTheHomeServeTheHome – Server and Workstation Reviews
die MTBF würd ich vorsichtig einstellen.
Da siehst du auch wie "groß" der unterschied zwischen Raid6 und Raid10 ist.

Stromverbrauch -> weniger Platten immer gut, ja, wenn die Platten oft schlafengelegt werden brauchts keine 24/7
ein Raidcontroller braucht gerne seine 15-20 Watt - ja im Idle...
Hast du dich mit ZFS beschäftigt, wenn Datenintegrität wichtig ist, kann das durchaus eine Überlegung wert sein

€: mit 4 HDDs ist R6 minimal zuverlässiger, mit 6 oder gar 8 HDDs ist R10 zuverlässiger

 

[Holt]

Danke, diese beiden Artikel sagen mir eigentlich nur, dass ich unbedingt 10^15 HDDs nutzen sollte...

Wenn man mehr als 12TB lesen muss, ist bei Platten mit einer UBER von 1:10^14 mit einem Fehler und damit einem Problem beim Rebuild des RAIDs zu rechnen.

1. Datensicherheit gibt dir das Raid nie Raid gibt Datenverfügbarkeit

so ist es!

die MTBF würd ich vorsichtig einstellen.

Die MTBF kann man nicht einstellen, nur die MTTDL (Mean Time To Data Loss)!

Die MTBF wird zwar in Stunden angegeben, ist aber eine Ausfallwahrscheinlichkeit und kann keineswegs in Betriebsstunden umgerechnet werden. Die bezieht sich ja auch nur auf einen bestimmten Zeitraum und der umfasst nur die mittlere Zeit der Badwannenfunktion der Ausfallrate technischer Geräte. Diese neigen dazu am Anfang besonders häufig auszufallen. Dann fällt die Ausfallrate aber steil ab und bleibt für eine Zeit, die der geplanten Betriebsdauer entspricht, auf einem geringen Niveau stabil und genau für diese Zeit gilt auch nur die MTBF. Gegen Lebensende (Wear-Out Phase) steigt sie dann wieder deutlich an. Schon diese Definition auf einen beschränkten Zeitraum verbietet jede Umrechnung in eine Betriebszeit.

Obendrein ist es theoretisch errechneter Wert der auch nur unter ganz genau definierten Bedingungen (Temperatur, Nutzung, etc.) gültig ist und praktisch keine Bedeutung hat, erst recht wenn diese Bedingungen nicht genannt sind und nicht eingehalten werden können.

Plextor gibt sogar an, wie man die eigene Angabe ermittelt hat:



400 SSDs werden 500 Stunden lange getestet und mit einem wunderbaren Faktor 12 der vom Statistikerhimmel fällt, kommt man dann satt auf 200.000 eben auf 2.400.000 Stunden.

Zu Intels 520er Reihe gibt es bei legitreviews aber immerhin diese Information bzgl. MTBF und Nutzung:

Intel estimates a 1.2M hours of MTBF if writing 20GB worth of data a day and 2.5M hours MTBF for those writing 10GB/day.

Bei halber Menge an geschriebenen Daten pro Tag gibt es dann also die doppelte MTBF. Frag doch mal den Hersteller Deiner SSD, welche Vorraussetzungen er für die Berechnungen unterstellt hat.
Hier wird es auch erklärt.

Hast du dich mit ZFS beschäftigt, wenn Datenintegrität wichtig ist, kann das durchaus eine Überlegung wert sein

Wobei dann ECC RAM vorhanden sein sollte!

 

[TCS]

MTBF einstellen war auf meinem Link bezogen -> da gibts so ein paar nette Auswahl Möglichkeiten, von Manufacture Spec bis Custom set
Am Ende wird eine kleine Tabelle mit einer "Ausfallwahrscheinlichkeit" über die nächsten 10 Jahre ausgegeben. -> sicher nicht 100% präzise, aber ein Anhaltspunkt.

Bei allen anderen Punkten bin ich voll bei dir

 

[Holt]

Auch Du meinst in diesem komischen Rechner? Der ist doch Mist und geht am eigentlichen Problem der UBER auch vorbei, denn bei der UBER geht es ja vor allem um die Chancen ein Rebuild eines defekten RAID mit Erfolg zu erledigen. Bei einer UBER von 1:10^14 muss man eben nach etwa 12TB mit einem Lesefehler rechnen und damit dem Abbruch des Rebuilds. Ich habe bei mit 5 WD Red 3TB im RAID 5, bin damit statistisch also schon fast bei 100% Fehlerwahrscheinlichkeit für ein Rebuild und muss auf das < bei <= in den Angeben hoffen, sollte mir eine Platte ausfallen, ich sie ersetzen und ein Rebuild machen müssen.

Ein RAID 6 statt eines RAID 5 verschiebt aber diese statistische 12TB Grenze für ein erfolgreiches Rebuild gewaltig nach oben, solange nur eine Platte ausgefalle ist und das RAID 6 damit wie ein RAID 5 agiert, während ein RAID 5 mit einer defekten Platte wie ein RAID 0 ist und keine Fehler toleriert. Ein RAID 6 mit Platte die 1:10^15 spezifiziert sind, stellen also ein sehr hohen Sicherheitsniveau darf, welches aber auch teuer erkauft werden muss, weshalb ich auf eine der beiden Anforderungen verzichten würde, zumal auch ein RAID 6 keine Backups ersetzen kann. So hängen noch immer alle Platten am gleichen Netzteil und am gleichen Controller und der gleichen CPU, wenn da ein NT-Defekte alle auf einmal killt (z.B. bei einem Blitzschlag), der Controller verreckt oder man sich einen Verschlüsselungvirus einfängt (die gab es auch schon für NAS), dann ist man sehr wahrscheinlich trotz RAID alle Daten los.

 

[TheSane]

Mh, ich empfinde es ein wenig als Panik mache.
Hatte gerade erst einen Rebuild von einem Raid 5 mit 8 Platten á 3TB (WD Reds). Keine Problem aufgetreten. Warum soll er auch eine URE haben, die Platten werden ja regelmäßig geprüft vom Controller und defekte Sektoren markiert.

 

[Digi-Quick]

Ich macht euch das zu einfach!
Die URE ist die Angabe für eine Platte.
Man kann nicht einfach hingehen und sagen, bei einem Verbund aus x Platten wird die URE der einzelnen Platte auf den ganzen Verbund 1:1 übertragen, das ist mathematischer Unsinn!
Das würde nämlich bedeuten, daß sich bei einem Raid 5 welches aus 5 (4+1) 4TB Platten besteht und zu 80 % gefüllt ist nicht mehr fehlerfrei lesbar ist da 12,8 TB (0,8x4x4TB=12,8 TB) mehr als 12TB sind.

Die URE des Plattenverbundes wird sich auf jeden Fall höher sein, als die der einzelnen Platte. Es ist mit Sicherheit keine einfach Addition, da hier Faktoren der Wahrscheinlichkeits- und Gleichzeitigkeitsrechnung angewand werden.

 

[Holt]

Die sehr geringe Wahrscheinlichkeit von gleichzeitig für den gleichen Stripe auftretenden Fehlern ist es ja, die ein Rebuild bei einem RAID 6 so viel sicherer macht, denn beim Rebuild eines RAID 5 hat man eben keine Redundanz, die wird ja mit dem Rebuild erst wieder erzeugt und dabei darf eben kein einzige Fehler bei keiner Platte passieren.

Die UBER ist ja kein fester Wert, da ist kein Zähler drin der nach 12TB bei einer Platte mal fest einen Lesefehler produziert und deshalb konnte TheSane sein RAID erfolgreich rebuilden, nur war das auch Glücksache, weil die reale Fehlerrate eben unter der lag, die der Hersteller der Platten angibt. Aber kann und will man sich darauf verlassen, dass HW besser funktioniert als es vom Hersteller spezifiziert wurde? Und wie lange schafft sie das, mit dem Alter werden die Platten nicht besser und die Fehlerraten steigen an, in einem oder zwei Jahre könnte die gleiche Aktion dann auch schief gehen, obwohl die Platten noch immer die Herstellerspezifikationen einhalten.

 

[TCS]

Das ganze ist klar Statistik und Wahrscheinlichkeit, ein rebuild eines 20TB Volumes kann 5x gut gehen, wie auch beim 1. mal nicht
Desshalb sollte man Aufgrund der Wahrscheinlichkeit abwägen, ob man das Risiko (welches immer irgenwie besteht) eingehen will oder nicht.

1 Platte gibt statistisch alle ~12 gelesenen TB einen Fehler -> sprich wenn man eine 4TB Platte 3x komplett liest erhält man im Schnitt 1x einen Lesefehler
bei 3 Platten wird die Chance nätürlich größer (ca. 71% - [1-(0,66*0,66*0,66)]), 1 URE zu bekommen. und bei einem rebuild müssen die Platten komplett gelesen werden.

ist ja soweit alles ganz schön, ich habe aber oft das Gefühl dass wir uns gerne aus dem für Heimanwender sinnvollen Bereich hinausbewegen.

Wie schlimm ist es wenn wirklich ein R5 (Z1) beim rebuild einknickt?
wie lange braucht man um sein Backup wieder online zu bekommen?
ist diese Zeit ein Problem?
Braucht man wirklich ein aufwändiges Raid im Heimgebrauch?

kostengünstiger ist es, bei der Verfügbarkeit zu sparen, und das Backup heranziehen, wenns mal zu Problemen kommt.
Stromverbrauch + Anschaffung des Controllers + 2. Parity Platte

Das hängt von den Fragen ab, wie lange man braucht die wichtigen (und später weniger wichtigen Daten) wieder online zu bekommen und wie wichtig ist es, dass diese Daten wieder verfügbar sind? Wie lang sind die Backupfenster, und wie stark ändern sich die Daten?

Ob das Bilderarchiv jetzt in 2h oder 12h wieder online ist, ist im Heimbereich doch relativ egal.

<- wesshalb ich ehrlich gesagt nicht zum Rebuild tendieren würde, an dieser Stelle würde ich versuchen, vom Degraded Z1 einen Snapshot auf den replizierten Server zu ziehen, und die Daten komplett aus dem Backup wiederherzustellen. Oder außerhalb der ZFS welt versuchen die Daten seit dem letzten Backup vom degraded zu kopieren und dann neuherzustellen

 

[Joogie1]

Eine weitere Frage, wer benötigt im "Heim" Bereich ein Zfs System, ein Raid 5, ein Raid 6?
Alle jammern über den Stromverbrauch, für mich und meine kleine kiste ist z.b. Snapraid wesentlich Flexibler, stromsparender, und zu guter letzt günstiger.

Nr.1 wie oft ändern sich Daten auf einem Homeserver, müssen tatsächlich immer alle Platten laufen, echtzeitparity?
Nr.2 wenn ich einen Film schneide, evt 2 oder 3 mal im monat, bringt mich der händische Snapshot mit Snapraid nicht um.
Nr.3 schaue ich einen Film, brauche ich Daten, läuft genau nur diese eine Festplatte mit diesen Daten, damit spare ich Strom
Nr.4 Das Snapraid ist Flexibel erweiterbar, wenn die größte, oder gleichgroße Platte als Parity verwendet wird, die ja zu 90% eh im spindown pennt, kann ich den Pool jederzeit erweitern, ohne warezeit, sofort verfügbar innerhalb von 2min

 

[Snipa]

Ich hab in meinem Game-PC 14 Platten in 2 RAID6, sowie weitere 11-12 HDDs (und 1 SSD) einzeln dran und meine Kiste säuft Strom wie ein Loch, weil ich keiner Platte den Spindown erlaube

Der Threadtitel ist für mich eigentlich ein Paradoxon. Zuverlässigkeit von Enterprise-Platten und "Stromsparen" sind jetzt keine Eigenschaften, die ich im gleichen Satz erwähnen würde.

 

[herrhannes]

400 SSDs werden 500 Stunden lange getestet und mit einem wunderbaren Faktor 12 der vom Statistikerhimmel fällt, kommt man dann satt auf 200.000 eben auf 2.400.000 Stunden.

Du bist dir aber schon sicher, dass du die Berechnung verstanden hast? Wieso sollten es denn 200000h sein? Vermutlich ist keine SSD ausgefallen bei diesem Minitest.
Auch wenn die Rechnung tatsächlich etwas seltsam ist.

 

[Holt]

Die Rechnung 400*500=200.000 sollte nicht so schwer sein, damit sind also die ganzen SSDs im Test zusammen 200.000 Stunden gelaufen. Aufgrund des Testaufbaus unterstellt man dann, dass der um den Faktor 12 mehr Ausfallrisiko als der normalen Desktop Betrieb beinhaltet und multipliziert diese 200.000 dann eben einfach mit 12. Wie korrekt diese Annahme ist, hängt zumindest mal vor allem von der konkreten Nutzund des SSD ab, wie auch die Angabe zur Intel 520 zeigt.

Die MTBF ist eine der Angaben die ich mit überhaupt nicht ansehen, wenn ich eine HW auswähle, weil ihr praktische Bedeutung und Seriösität einfach zu gering ist. Wäre sie seriös ermittelt, so könnte z.B. eine SSD mit mehr NANDs nicht die gleiche MTBF haben wie das Modell der gleichen Familie mit weniger Kapazität und daher weniger NANDs, denn das unterstellt das die NANDs keinerlei Ausfallrisiko beinhalten, weder sie selbst noch durch z.B. kalte Lötstellen, was wenig realistisch ist. Bei HDDs ist es nicht anders, so haben alle WD Red eine MTBF von 1Millionen Stunden, egal ob 2.5" oder 3.5" und egal ob 1 Plattern (1TB 3.5") oder 6 Plattern (6TB), was bedeuten würde, dass ein Plattern und seine Kopfgruppe keinerlei Ausfallrisiko bedeuten. Mir fällt es schwer das zu glauben.

 

[herrhannes]

Und wo ist das "failure" aus MTBF? Dazu brauche ich ja eine gewisse Ausfallrate....

 

[Holt]

Und wo ist das "failure" aus MTBF?

???

Dazu brauche ich ja eine gewisse Ausfallrate....

Die hat man ja immer, es gibt ja keine absolut ausfallfreie HW.

 

[herrhannes]

Die Rechnung oben ist einfach vollkommener Unfug. Deine 200k sind genauso wenig sinnvoll wie die 2,4M. Darauf will ich hinaus. Was MTBF heißt, weißt du ja. Dass man sie nicht wirklich daraus berechnen kann, dass in der getesteten Zeit absolut gar nichts passiert, sollte dir auch einleuchten.

 

[kawakawa]

Ich hab in meinem Game-PC 14 Platten in 2 RAID6, sowie weitere 11-12 HDDs (und 1 SSD) einzeln dran und meine Kiste säuft Strom wie ein Loch, weil ich keiner Platte den Spindown erlaube

Der Threadtitel ist für mich eigentlich ein Paradoxon. Zuverlässigkeit von Enterprise-Platten und "Stromsparen" sind jetzt keine Eigenschaften, die ich im gleichen Satz erwähnen würde.

Habe ich das obige geschrieben? Ich habe kein Raid 60 aus 12 bis 14 Platten. Ich will ein RAID 6 aus 4 Platten für's erste.

Dann wollte ich eigentlich nur eine Empfehlung für die derzeit sparsamsten 10^15 HDDs, mit 4 TB, 6 TB oder 8 TB (falls es 8 TB in dem Bereich bereits bezahlbares und verfügbares gibt).

Zuverlässigkeit, Enterprise-Platten und Stromsparen sind ein Thema bei Betreibern von Rechenzentren. Und dieses Thema wird immer mehr zum Thema werden, wenn in Deutschland der Michel immer mehr nach Öko schreien wird und AKWs immer böser geredet werden, als sie es ohnehin vor 50 Jahren waren. Der Betreiber des Rechenzentrums wird aber irgendwann an der Stelle angekommen sein, wo er entweder an zu hohen Preisen gegen die Wettbewerber aus dem Ausland verliert oder selbst sein Rechenzentrum auf Grund steigender Strompreise in DE ins Ausland verlegt.

Und @Snipa:
Ja, wenn der Strom heute noch so viel kosten würde, wie in den 90er Jahren, würde ich ein Raid 60 aus 48 Platten haben in einer Kiste mit uralten stromfressenden 16 Opterons.

Doch heute überlegt man sich bereits 2,5" SATA HDDs für ein RAID 6 zu verwenden, damit nicht der 24/7 Server der Hauptposten auf der Jahresstromrechnung wird.

Ausserdem sehe ich das auch so, dass die 10^15 pro HDD statistisch gelten und nicht auf ein ganzes RAID hochgerechnet werden können, indem man einfach die Kapazitäten der HDDs addiert.