Rebuild-Chancen bei Raid-Z1/Z2/Z3 mit HDDs (URE 1x10^15)

[eehm]

Ich habe in meinem Haupt-Server aktuell ein Raid-Z2 aus 6 x 8TB. Das ich bisher auf externen Festplatten als Backup gesichert habe.
So langsam macht mir das aber wirklich keinen Spaß mehr. Deshalb möchte ich einen Backup-Server dafür aufbauen.

Um den ZFS-Backup-Pool möglichst lange nutzen zu können würde ich gerne direkt größere Festplatten verbauen.
Ich denke hier an 6 x 16TB im Raid-Z2.
Allerdings stellt sich mir die Frage, ob dass mit Festplatten mit einer URE = 1x10^15 überhaupt noch sinnvoll ist oder ob ich eher auf 7 Festplatten im Raid-Z3 setzten müsste?

Bei einem Raid-Z1 aus 6 x 16TB und einer URE von 1x10^15 wäre es mir klar, dass ich in der Theorie etwa 0,5 unlesbare Bits hätte und der Rebuild zu fast 50% scheitern wird.
Wenn ich mir das jetzt mit einem Raid-Z2 überlege, dann sieht das nicht so viel besser aus, außer wenn der URE auf 2 Festplatten in den selben Sektoren auftreten müsste, dass es zum scheitern des Rebuild kommt.
Sollte das allerdings der Fall sein, dann wäre ein Raid-Z3 bezüglich der Wahrscheinlichkeit eines erfolgreichen Rebuilds nicht wirklich besser, weil die Wahrscheinlichkeit, dass der URE in zwei geleichen Sektoren auf 2 Festplatten auftritt fast unmöglich sein sollte.
Kann mir hier vielleicht ein ZFS-Experte kurz helfen, ob meine Theorie richtig ist, oder ob ich komplett im Wald unterwegs bin?

 

[p4n0]

Es gibt bei ZFS keinen 'Rebuild'.
Es gibt dort 'resilver'.

Und wenn dann stirbt nicht der ganze Pool, sondern es wird dir genau angezeigt welche Datei korrupt ist (Sofern ZFS mit dem Lesefehler nicht umgehen kann).

Du kannst mit ZFS also locker nen Z2 Pool fahren, ist deutlich robuster als das klassische Raid6 Pendant.

 

[Gen8 Runner]

Ich trage mal nix zum eigentlichen Thema bei, aber bringe hier den klassischen Satz ein: RAID ist kein Backup.

Musste auch ich schmerzlich erfahren, als durch Überspannung alle 7 Platten auf einen Schlag (kurzzeitig) tot waren und ich Schweißperlen, so groß wie Mangos auf der Stirn hatte.
Wenn du nen separates, gepflegtes Backup hast, hätte ich keine Bauchschmerzen nen RaidZ2 mit 16 oder gar 18TB Platten aufzuziehen. Aber Verlasse dich nicht darauf, dass die Wahrscheinlichkeit nur so und so viel Promille beträgt, dass es zu einem Totalverlust kommt. Das nur dazu.

 

[eehm]

Wenn du nen separates, gepflegtes Backup hast, hätte ich keine Bauchschmerzen nen RaidZ2 mit 16 oder gar 18TB Platten aufzuziehen. Aber Verlasse dich nicht darauf, dass die Wahrscheinlichkeit nur so und so viel Promille beträgt, dass es zu einem Totalverlust kommt. Das nur dazu.

Das habe ich, aber das Backup mache ich aktuell nur jeden Monat und das würde ich mit dem 2.ten Server auch so machen.
Nur so, kann ich sicher sein, dass nicht an meinen produktiven Daten was versehentlich verändert wurde und es mir nach ein paar Tagen noch nicht aufgefallen ist.
Dennoch ist mir das Backup fast noch wichtiger als das produktive, weil das meine letzte Rückfallebene ist. Deshalb habe ich die Frage gestellt.
Den mir sind Wahrscheinlichkeiten doch irgendwie wichtig und ich verstehe das mit Raid-Z1 und Raid-Z2 noch nicht so ganz.

Und wenn dann stirbt nicht der ganze Pool, sondern es wird dir genau angezeigt welche Datei korrupt ist (Sofern ZFS mit dem Lesefehler nicht umgehen kann).

Danke für den Hinweis.
Das heißt es würde alles bis auf die betroffene Datei in der das URE-Bit enthalten ist wiederhergestellt?
Nur bei einem verschlüsseltem Pool wäre in diesem Fall wahrscheinlich alles weg oder? Frage ich jetzt nur als Interesse, weil Verschlüsselung für mich kein Thema ist!

 

[maxblank]

Ich denke nicht, dass die Verschlüsselung am erfolgreichen resilvern etwas ändern würde. Das wäre ja fatal für ZFS.

 

[eehm]

Das wäre ja fatal für ZFS.

Aber wenn ein Bit in einem riesen Datenpool nicht korrekt ist, dann kann zwar nur maximal eine Datei von z.B. einer Million Dateien betroffen sein.
Der Hashwert über den gesamten Pool für die Verschlüsselung wird aber nicht mehr passen und dann sollte hier bei ZFS eigentlich doch auch Ende sein!?
Aber das war eigentlich nicht die Frage, weil für mich Verschlüsselung kein Thema ist. - Dennoch ein interessantes Thema!

 

[maxblank]

Es hat doch jede einzelne Datei ihren Hashwert und nicht der gesamte Pool.

 

[gea]

Es hat doch jede einzelne Datei ihren Hashwert und nicht der gesamte Pool.

Noch besser. Verschlüssellung, Compress oder Prüfsummen arbeiten auf Ebene von ZFS Blöcken (recsize) also per default 128k (32k-1M). Ein URE betrifft zunächst einen derartigen Block. Bei einem Z2 ist dieser Block dreimal vorhanden, die zugehörigen Metadaten sogar 6x.

Die Wahrscheinlichkeit eines Datenverlusts wegen URE ist bei 6 Platten nahe 0. Über Z3 würde ich erst bei vdevs >> 10 Platten nachdenken.