Nutzung von 4 Festplatten in ZFS

[biwecka]

Hallo,

ich würde mir gerne ein NAS für den privaten Gebrauch zulegen. Als Hardware soll (wahrscheinlich) ein HPE ProLiant MicroServer Gen10 Plus zum Einsatz kommen mit FreeNAS/TrueNAS Core als Betriebssystem.
Da der MicroServer nur 4 HDDs beherbergen kann, stelle ich mir nun die Frage wie ich diese am besten nutze. Ich hab mir natürlich schon ein paar Gedanken gemacht:

1. Gedanke: RAIDZ2
Mit einem RAIDZ2 über alle 4 Festplatten wäre die Redundanz super aber nur knapp die Hälfte der Kapazität nutzbar. Dabei würde ich ZFS Snapshots als eine Art Backup ansehen.

2. Gedanke: Warum Redundanz?
Ich habe es eigentlich nie in Frage gestellt ein RAIDZx zu benutzen, weil ZFS und RAIDZx immer in Verbindung gebracht werden. Soweit ich das verstehe bringt ein ein RAID "nur" Redundanz, also eine höhere Verfügbarkeit. Mir ist es jedoch wichtig keine Daten zu verlieren. Deshalb habe ich gedacht zwei Pools mit jeweils zwei Festplatten im Stripe zu erstellen und dann regelmäßig den ersten auf den zweiten Pool zu sichern. Nach meinen Berechnungen verringert sich hiermit jedoch die Ausfallsicherheit gegenüber des in 1. genannten RAIDZ2. Die Kapazität wäre ähnlich der in 1.

3. Gedanke: Aufteilung nach Nutzung
Als letztes habe ich noch einen relativ "wilden" Gedanken, nämlich insgesamt 3 Pools zu erstellen.

• der erste enthält eine Festplatte und wird nur als Backup Ziel für meine PCs verwendet. Dabei habe ich mir gedacht, dass diese Backups nicht unbedingt nochmal gesichert werden müssen, weil sie keine Daten beinhalten sondern mir nur die Arbeit einer Neuinstallation ersparen um schnell wieder einsatzbereit zu sein.
• der zweite enthält zwei Festplatten im Stripe und dient als Netzwerk Ordner für Daten
• der dritte enthält eine Festplatte, die so groß ist wie der zweite Pool und dient als Backup Pool für den zweiten Pool

Diese Lösung hat soweit ich es ausgerechnet habe eine bessere Ausfallsicherheit als Variante 2 (wenn man den ersten Pool außer Acht lässt) aber erscheint mir zu kompliziert.


Wie würdet ihr diese Varianten einschätzen? Welche ist eurer Meinung in meinem Fall die sinnvollste? Stimmen meine Überlegungen zu den verschiedenen Varianten?
Hat jemand von euch vielleicht auch ein ZFS Setup mit 4 Festplatten und kann dieses vorstellen oder seine Erfahrung teilen?

Vielen Dank schon mal

 

[you]

Ein Backup im Gerät ist für mich kein Backup. Ein Backup sollte extern erfolgen (bzw. extern "gelagert" sein). Also auf ein physisches oder cloud'isches Laufwerk, welches vom NAS unabhängig ist. Wenns doof läuft (Blitz, Wasser, Feuer) sind alle Platten im Server gleich mit verbraten, dann wären die Daten weg.

Ich würde Zx nach Verfügbarkeit auslegen und das Backup separat betrachten.

 

[asche77]

Bei vier Platten würde ich immer 2xmirror machen. Gleiche Kapazität wie RAIDZ2, aber leichter veränderbar, schneller und nicht soo viel unsicherer.

Die Idee die Platten separat zu nutzen ist eher ... schlecht, würde ich sagen.

 

[biwecka]

@you Ok, das stimmt. Dann werde ich mir mal Backblaze anschauen. Davon habe ich nämlich gehört, dass es relativ günstig sein sollte. Wichtig wäre mir aber nicht alle Daten in der Cloud zu sichern, sondern nur das wichtigste. Aber das werde ich dann ja sehen, ob das geht.

@asche77 Dann lasse ich das mit den drei Pool sein ^^.
Zum 2x Mirror: Die einfachere Erweiterbarkeit würde mir ja im Falle des MicroServers nichts bringen, da ich sowieso nicht mehr als 4 Platten einbauen kann. Das heißt ich muss abwägen zwischen
"garantiert zwei HDD Ausfälle wegstecken aber lagem Resilvering (bei dem auch was schief gehen kann)" und "zu 66% den zweiten Ausfall wegstecken aber dafür super schnelles Resilvering", richtig?
Ist der Performance Unterschied zu RAIDZ2 so groß?

 

[asche77]

RAIDZ2 = ca. 150 IOPS
2xmirror = ca. 300 IOPS
also mehr "Schwuppdizität". Durchsatz dürfte egal sein da > Gibabit Ethernet

2xmirror leichter erweiterbar da Du einfach zwei Platten gegen größere austauschen kannst (mit einem resilver zwischendrin natürlich). RAIDZ2 = alle Platten tauschen und mehrere resilver nötig = Stress für die Platten.

 

[p4n0]

Habe nen Z1 mit 4 Platten. Fuer meinen Anwendungsfall perfekt.

 

[gea]

RAIDZ2 = ca. 150 IOPS
2xmirror = ca. 300 IOPS
also mehr "Schwuppdizität". Durchsatz dürfte egal sein da > Gibabit Ethernet

2xmirror leichter erweiterbar da Du einfach zwei Platten gegen größere austauschen kannst (mit einem resilver zwischendrin natürlich). RAIDZ2 = alle Platten tauschen und mehrere resilver nötig = Stress für die Platten.

Beim Lesen mit mehreren parallelen Prozessen sind es sogar 600 iops da ZFS dann von beiden Mirrorhälften gleichzeitig liest. Wenn man allerdings auf iops Wert legt, sollte man generell keine mechanischen Platten nehmen sondern Sata SSDs (bis ca 30k iops, 600MB/s), SAS SSDs bis 200k iops/ 2000MB/s oder NVMe (bis 500k iops, 3000MB/s)

 

[Weltherrscher]

Wie groß sollen denn die Platten sein?
Bei Größen bis 4 TB / Platte würde ich keinen RZ2 aufsetzen, da reicht auch ein RZ1, da das resilvern sehr fix von statten geht.
Ab ca. 8 TB / Platte würde ich unter RZ2 nicht mehr anfangen. Allerdings würde ich RZ2 auch nicht für <6 Platten empfehlen.
Da dann doch lieber 2x Mirror.

Aber das ist alles Statistik und bisher (toi toi toi) laufen auch meine uralten 3TB-WD-Reds noch einwandfrei mit ca. 30k Betriebsstunden.

 

[biwecka]

@p4n0 Alle Artikel, Vorträge usw. die ich mir bisher angeschaut habe raten dringend von einem RAIDZ1 ab (ab einer gewissen Plattengröße; ich glaub da war immer von so um die 1-2TB die Rede). Deshalb würde ich in meinem Fall auch davon absehen.

@Weltherrscher Aktuell plane ich mit 4x 4TB. Deshalb tendiere ich wie du schon sagst zu 2x Mirror, da die flexible Erweiterbarkeit und der schnelle Resilver Prozess (wie von @asche77 geschrieben) mir ein guter Kompromiss zum RAIDZ2 zu sein scheint.

 

[p4n0]

@biwecka Kommt stark auf die Plattengroeße und die Lesefehlerrate an.
Bei mir sinds 7,68TB Drives bei ner UBER von 1 Sektor < 1^17
Mache mir da keine Gedanken.

 

[asche77]

Wobei Deine 7,84TB SSDs sind (?) mit einer um zwei Größenordnungen besseren UBER als HDD.

 

[p4n0]

Wollte nur die Aussage entkraeften, dass man zwingend von Z1 absehen sollte bei >4 Datentraegern.
Es kommt - wie immer - ganz darauf an

Es ist bisher ja kein Wort darueber gefallen, welche Datentraeger am Ende in die Kiste wandern.

 

[Weltherrscher]

Aktuell plane ich mit 4x 4TB. Deshalb tendiere ich wie du schon sagst zu 2x Mirror, da die flexible Erweiterbarkeit und der schnelle Resilver Prozess (wie von @asche77 geschrieben) mir ein guter Kompromiss zum RAIDZ2 zu sein scheint.

Also, ich hab noch keinen seriösen Artikel gesehen, der vom RAID5 / Z1 bei Platten <4 TB abrät.
Beim Mirror hast du halt die Gefahr, dass dir nur zwei bestimmte Platten abrauchen dürfen, wenn eine falsche abraucht, sind die Daten weg, deshalb ist der RZ2 sicherer, weil dir hier wahlfrei zwei Platten abrauchen dürfen.
Aber das ist auch wieder nur ein Spiel mit der Statistik.

//Edith:
Natürlich hängt man in ein RAID keine Standard-Consumer-Platten rein und vor allem(!!!) keine SMR-Platten!
Wenn, dann explizite NAS-Platten, bitte.

 

[Skream]

Beim Mirror hast du halt die Gefahr, dass dir nur zwei bestimmte Platten abrauchen dürfen, wenn eine falsche abraucht, sind die Daten weg, deshalb ist der RZ2 sicherer, weil dir hier wahlfrei zwei Platten abrauchen dürfen.

In der Theorie gebe ich dir vollkommen recht, aber die Wahrscheinlichkeit, dass beide Platten eines Mirrors innerhalb kürzester Zeit sterben ist meiner Meinung nach vernachlässigbar, sofern man seine Mirrors regelmäßig überprüft / ein Monitoring mit Notifications laufen lässt und regelmäßig Backups fährt (= Sicherung der Daten in einem externen Gerät). Daher habe ich mich für meinen Server und für meinen dedizierten Backup-Server für jeweils 2x 12TB Mirror entschieden.

 

[Weltherrscher]

Kann TruNAS ja, ich hab jeden Monat einen Scrub über die Pools laufen.
Wie gesagt, alles ein Spiel mit Wahrscheinlichkeiten. =)

 

[ctcn]

Als letztes habe ich noch einen relativ "wilden" Gedanken, nämlich insgesamt 3 Pools zu erstellen.

• der erste enthält eine Festplatte und wird nur als Backup Ziel für meine PCs verwendet. Dabei habe ich mir gedacht, dass diese Backups nicht unbedingt nochmal gesichert werden müssen, weil sie keine Daten beinhalten sondern mir nur die Arbeit einer Neuinstallation ersparen um schnell wieder einsatzbereit zu sein.
• der zweite enthält zwei Festplatten im Stripe und dient als Netzwerk Ordner für Daten
• der dritte enthält eine Festplatte, die so groß ist wie der zweite Pool und dient als Backup Pool für den zweiten Pool

Daten und dessen Backup auf einem Pool zu haben ist ne blöde Idee. Wenn dir ein VDEV verloren geht, ist alles weg..

Ein Backup sollte..

• regelmäßig automatisiert laufen
• überwacht sein und sich bei Fehlern melden
• granular wiederherstellbar sein
• in zweifacher Ausführung vorhanden sein

In dem Moment, wo dir der ZPool wegen einem Stromausfall verloren geht, wirst du froh sein, dass du noch ein offsite Backup hast. Ebenfalls, wenn du versehentlich den Ordner mit deinen Lieblingsfotos löschst, wirst du froh sein, dass dein Backup nach dem Ordner durchsuch- und wiederherstellbar ist und man nicht mit gigantischen Images hantieren muss.

Zu dem U(B)RE-Thema gibt es Meinungen dafür und dagegen. Man kann auch dutzende Blog-Artikel verlinken und sich die Finger fusslig diskutieren ohne am Ende schlauer zu sein. Letztendlich ist das abhängig davon..

• womit Du gut schlafen kannst
• wie verfügbar die Daten sein sollen
• wie viel Geld du ausgeben willst

Bei 4 TB Platten würde ich persönlich wohl ein RAIDZ1 draus basteln, weil ich in meinem Anwendungsfall den größeren Speicherplatz über die Verfügbarkeit stelle. Gedanken an zukünftige Erweiterungen sind hier eigentlich eher unrelevant, da wenn der Platz in Zukunft zu neige geht, man einfach ein neuen Pool mit viel größeren (und dann auch günstigeren Platten baut).

Dann werde ich mir mal Backblaze anschauen. Davon habe ich nämlich gehört, dass es relativ günstig sein sollte. Wichtig wäre mir aber nicht alle Daten in der Cloud zu sichern, sondern nur das wichtigste. Aber das werde ich dann ja sehen, ob das geht.

Backblaze B2 kann ich empfehlen. Dort habe ich auch mein Offsite Backup dort. 1 TB Speicher kosten dich dort laut Rechner 60 USD pro Jahr. Meiner Ansicht nach viel billiger als sich ein zweites NAS bei der Familie hinzustellen, das man auch noch pflegen muss und irgendjemand dran rumspielt.

 

[biwecka]

@p4n0 Ich hab an diese Platten gedacht: Western Digital WD Red Plus 4TB (WD40EFZX) - das sind CMR HDDs.

@ctcn Das mit der Kapazität kann ich verstehen und kommt eben auf den Anwendungsfall an. Ich sollte mit den gut 7,5TB eines 2x Mirrors aktuell dicke genug haben. Das mit dem zweiten NAS als Backup sehe ich auch so ^^. Dann lieber verschlüsselt in der Cloud, wo hoffentlich niemand mal übers Kabel stolpert

Bezüglich der Kapazität hab ich noch eine Frage: Sollte man bei nem ZFS 2x Mirror trotzdem ca. 15-20% des Speichers frei lassen oder gilt das nur für RAIDZx?

 

[maxblank]

Das sollte bei ZFS generell berücksichtigt werden.

 

[zos]

In dem Moment, wo dir der ZPool wegen einem Stromausfall verloren geht

Gebe Dir Recht, wenn dabei so viele Platten des zpools abrauchen, dass der FAULTED ist. Andernfalls ist es ja der große Vorteil von ZFS, dass ein Pool nach einem Stromausfall (ohne solche Schäden an den Platten) immer noch konsistent ist. Schlimmstenfalls gehen Dir zum Zeitpunkt des Ausfalls noch nicht geschriebene Daten über den Jordan. Ein offsite-Backup ist aber selbstverständlich dennoch immer angeraten.

 

[gea]

Copy on Write ist neben den Prüfsummen die entscheidene Verbesserung von ZFS gegenüber älteren Dateisytemen wie ext4 oder ntfs. Ein atomarer Schreibvorgang wie Daten schreiben + Metadaten aktualisieren wird entweder komplett ausgeführt oder verworfen. Der Grund warum ZFS immer konsistent ist und das Dateisystem durch einen Absturz beim Schreiben keinen Schaden nimmt.

Selbst wenn mehr Platten ausfallen als es die Redundanz erlaubt so geht der Pool zwar auf offline, ist aber sofort wieder betriebsbereit (online oder degraded) wenn eine der Platten zurückkommt. Das ist vor allem bei einem Wackelkontakt entscheidend. Platte weg, wieder da, weg und wieder da ist der Tod eines normalen Raid Arrays. ZFS steckt das problemlos weg wenn nicht ein Hardware-Defekt dazukommt.

 

[migieger]

Wie groß sollen denn die Platten sein?
Bei Größen bis 4 TB / Platte würde ich keinen RZ2 aufsetzen, da reicht auch ein RZ1, da das resilvern sehr fix von statten geht.
Ab ca. 8 TB / Platte würde ich unter RZ2 nicht mehr anfangen. Allerdings würde ich RZ2 auch nicht für <6 Platten empfehlen.
Da dann doch lieber 2x Mirror.

Aber das ist alles Statistik und bisher (toi toi toi) laufen auch meine uralten 3TB-WD-Reds noch einwandfrei mit ca. 30k Betriebsstunden.

Ich fuehre den Faden mal weiter, weil ich vor aehnlichen Entscheidungen stehe...

4x 18TB (Exos X X18). Leider nur 1 GBit/s Ethernet.

Ich favorisiere generell ebenfalls RZ2 ggue. striped mirrors...
Selbst bei 4 Platten koennen bei RZ2 beliebige 2 Platten abrauchen, waehrend bei striped mirrors nie die beiden Platten eines mirrors ausfallen duerfen. Also erhoehte Sicherheit ggue. geringerer Leseleistung (die bei 1 GBit/s sowieso nicht zum tragen kommt). Bei 2.5 GBit/s oder mehr, wuerde ich bei 4 Platten wahrsch. eher striped mirrors einsetzen.

Aber wieso empfiehlst Du pauschal (?) bei <6 Platten RZ2 nicht?
Neugierig...

P.S. Fuer den TE: ich habe seit zwei Jahren ein 4x 4TB (WD DC HC310) als Z1 laufen mit einem scrubbing/Monat und exakt 0 Fehlern. Wuerde ich bei 4x 4TB exakt wieder so konfigurieren.

 

[Weltherrscher]

Weil man bei RZ2 und unter 5 Platten bei geringen Kapazitäten zu viel Speicherplatz verliert.

Rein theoretisch rauchen dir beim Resilver mindestens 2 von den 18er Platten ab, solange sich an der mittleren Bitfehlerrate nichts geändert hat.
Man könnte als Privatperson jetzt versuchen, die Stochastik zu vergewaltigen.
(Hint: alle 10^14 bits kommt eines und sagt: nö, ich lass mich ned lesen)

Nehmen wir als Beispiel mal die WD Red Plus Serie:

Egal wie groß sie sind, die statistische Bitfehlerrate liegt IMMER bei einem aus 10^14 bit.
D.h., statistisch ist eines von 11 TiB gelesenen Bits kaputt.

Wenn du jetzt also Platten >11 TiB hast, rauchen dir statistisch alle beim Resilver ab.
(Ok, zum Glück versilbert ZFS nicht die komplette Platte, wie bei klassischem RAID, aber dennoch eine Sache, die es zu bedenken gilt, wenn einem die Daten wichtig sind.)

//Edith:
Rechnung vergessen:

 

[migieger]

Danke fuer die Erlaeuterung. Dann ist's bei 4 Platten aber egal, ob RZ2 oder striped mirrors. In beiden Faellen stehen 2 Platten nicht zur Verfuegung.

Die Bitfehlerrate von 10^15 war uebrigens einer der Gruende fuer meine Wahl der Exos X18. Damit gibt's statistisch nur alle 114 TB einen Bitlesefehler... (Platten > 10 TB mit einer Bitfehlerrate von 10^14 zu vertickern, grenzt mMn an Frechheit. Andererseits Platten von Herstellern zu kaufen, die keine Handbuecher fuer ihre Platten bereitstellen, grenzt mMn an Dummheit

Das scrubbing meines zu 75% vollen RZ1 aus 4x 4TB dauert etwa 5:15 h. Angenommen, resilvering wuerde aehnlich lang brauchen, dann wuerde ein ebenfalls zu 75% volles RZ1 aus 4x 18TB knapp 24 h resilvern.
(Gute) Frage: ist das akzeptabel oder sollte man RZ2 nutzen? Im Moment tendiere ich zu RZ2...
Meinungen?

 

[Weltherrscher]

Ah, ok, hatte schon überlegt, das Beispiel mit deinen Platten zu machen.
Gut zu wissen, dass es inzwischen bessere gibt. =)
Danke dir.
Mein 32 TB netto (6x 8TB RZ2) brauchen knapp 24 h zum scrubben.
{
//Edith:
Das mit dem resilvern kann man nicht pauschal sagen, da die Übertragungsrate einer Festplatte nach innen ja abnimmt.
Auf den inneren Spuren kommst dann auf maximal die Hälfte der Übertragungsrate.
Je voller, desto länger dauert es dann und wenn die Daten ungünstig liegen (was bei CoW nunmal passieren kann), dauerts noch länger.
}
Und ja, bei nur vier Platten würde ich a) sowieso nicht die größten nehmen und b) dann zugunsten der Kapazität auf Redundanz verzichten.
Ich hatte mir damals nen Excel gemacht, in dem ich Preise, Kapazitäten und Netto-Kapazitäten gegenüber gestellt hab, da kamen dann bei den gewünschten 32 TB die 6x8 TB als break-even heraus.

//Edith2:
RZ2 ist nie verkehrt, wenns nicht auf Geschwindigkeit ankommt.
Ein Mirror könnte mit 4x Speed lesen, der RZ2 halt nur mit 2x.
Wobei es bei nem 1 GBit Netzwerk eh auf 0,8 begrenzt wird. =)
Denke auch daran, dass du ein RAIDZ nicht einfach so um einzelne Platten erweitern kannst!
Und zusätzliche VDEVs verringern dir später die Redundanz weiter.