Optimaler Bitrot-Schutz Raidz2

[snak3x]

Um mich vor Bitrot zu schützen plane ich ein neues Nas. Da das Backup auf Cold Storage vor regelmäßigen Backups so ebenfalls bitrot frei ist!?

Die Frage die sich mir noch stellt ist, ob 4 oder 5 Platten zum Einsatz kommen sollten?
- oder ob 4 erstmal ausreichen und bei Bedarf eine ergänzt werden kann?

Meine OS Wahl wird TrueNas Scale mit ZFS sein, Raid6 bzw. Raidz2.

Meine Hardware:
- Gigabyte MJ11-EC1, AMD EPYC
- 64GB ECC Ram 4x16GB
- Platten je nachdem ab 10-18TB
- 2.5GBit Lan
- Gehäuse JonsboN2
- 450W BQ SFX

zzt fahre ich noch einen Mirror mit 2x18TB wo der Platz bald knapp wird bzw./oder ich aufräumen muss.

Cold Backups hab ich 2fach (das wichtigste auf 1x16 und 1x 4 und 1x 6TB)

wichtig ist mir Datenschutz, aber auch in gewisser Weise Performance (Limit 2.5Gbit), die Verfügbarkeit spielt keine so große Rolle

​

 

[Techlogi]

Ich würde auf 5 Platten gehen, da dir bei Raidz2 n-2 Platten als Speicher zur Verfügung stellen. Überschlagsmäßg einfach gerechnet:
4x 10TB = 20TB nutzbar
5x 10TB = 30TB nutzbar, sprich 50% mehr.

Davon gehen dann natürlich noch Umrechnungsfaktor, ZFS Overhead und 80% Limit ab, sodass du bei 5x10TB dann bei ~20,5TiB raus kommst. Du kannst ja mal bisschen mit diesem Calculator spielen:

ZFS Capacity Calculator - WintelGuy.com

ZFS / RAIDZ Capacity Calculator - evaluets performance of different RAIDZ types and configurations

wintelguy.com

 

[pwnbert]

Mit diesem Mini-Epyc, 64gb und 4-5 halbwegs modernen (also so Ultrastar, Cloudscale etc. Krams, halt CMR 24/7 Platten für den Zweck) Harddisks wird die Performance schon gut ans (bzw. übers) 2.5 Gbit LAN kommen...

Wenige große Platten nehmen, SATA Slots sind rar, die Gehäuseplätze sind auch so ne Sache, außerdem machen sie Lärm und brauchen Strom.

Bei €/TB Gleichstand imho immer die größere Variante kaufen (sofern man den Platz auch braucht).

PS: 2.5 Gbit kann man auch über einen RTL8126B USB-Adapter testen, wenn man die PCIe Lanes sparen will. Hat bei mir am MC12 gar nicht so schlecht funktioniert.

 

[snak3x]

@Techlogi
Danke dir!
Das ist mir bereits bewusst. Mir ging es erstmal um die reine Funktion des Arrays ob 4 oder 5 Laufwerke.

Würde wenn 5 nötig sind ggfs 5x10 oder 12 holen. Wenn 4 reichen 16 oder 18TB und hätte dann Luft zum upgraden.

Hitze und Lautstärke, Strom dürfte mit 4 auch besser sein.

Ich las mal das ein nachträgliches Upgraden ggfs nicht möglich sei, eine 5te ggfs nachzuschieben bei Bedarf. kA ob das immer noch so ist.

 

[Techlogi]

Mit diesem Mini-Epyc, 64gb und 4-5 halbwegs modernen (also so Ultrastar, Cloudscale etc. Krams, halt CMR 24/7 Platten für den Zweck) Harddisks wird die Performance schon gut ans (bzw. übers) 2.5 Gbit LAN kommen...

Das schaffen schon meine 4x 3TB WD Red im Microserver Gen8:

Eine von denen hat jetzt 10 Jahre power on voll.

 

[snak3x]

PS: 2.5 Gbit kann man auch über einen RTL8126B USB-Adapter testen, wenn man die PCIe Lanes sparen will. Hat bei mir am MC12 gar nicht so schlecht funktioniert.

Das ist auch mein Plan
2.5Gbit Qnap Switches hab ich im Lan.
10gbit ist noch zu aufwändig.

Also sagst du auch erstmal 4 größere Platten und ggfs. später upgraden?

Wollte evtl. noch eine ocz Intrepid 3800 ssd als cache verbauen die hier noch liegt. Die hat mit knapp 6000TBW fast das doppelte der HDDs .

 

[pwnbert]

2.5 Gbit ist relativ vernünftig.

280 mb/s sind ungefähr so flott wie ein internes SATA Device (sehr gute HDDs, mittelmäßige SSDs), Latenzen sind jetzt gar nicht soo schlimm. Ich finde, man kann recht bequem damit arbeiten. 10 Gbit juckt mich zwar in den Fingern, aber der Mehraufwand (und auch die Mehrkosten, einmalig wie laufend) wäre doch massiv (müsste auch neue Leitungen legen, leider recht kompliziert hier im Haus).

Hab ein Z1 aus 4 20er Ultrastars, je nach Wind machen die so 300-500 mb/s (wenn ich intern auf ne SSD kopiere), insofern sind 2.5 Gbit eine Bandbreite, die ganz gut zu dem passt, was mit "sinnvoll leistbarer" Hardware zu erreichen ist.

Also sagst du auch erstmal 4 größere Platten und ggfs. später upgraden?

Imho kann Z1/2 jetzt upgraden, konnte es lange Zeit nicht (musstest die Daten runterholen und das Pool auflösen und neu erstellen).
Hängt halt von deinem Bedarf ab, ZFS hat gern etwas "Freiraum" (weil COW Filesystem und dessen Eigenheiten).

Auf jeden Fall große Platten, meine ich.

OT:

Das schaffen schon meine 4x 3TB WD Red im Microserver Gen8:

Gar nicht so mies für diese alten Gurken, sowas hab ich mit dem 3570k gekauft, wenn ich mich recht erinnere. Wobei die 4tb MegaScale die besten HDDs ever waren, meine ich...
Läuft das im Z1? Raid 5? Raid 0? Erstaunt mich eigentlich, ist schneller, als erwartet.

 

[Techlogi]

@pwnbert Laufen als Raid-z1, hätte ich noch dazu schreiben sollen.
Der Wechsel auf 3x8TB WD Red, dito z1, steht aber an. Mehr Platz brauche ich nicht mal, aber so langsam können die mal getauscht werden (bzw. eine habe ich auch schon mal getauscht). Wie geagt, die älteste hat nun die 10 Jahre überschritten.

 

[pwnbert]

Nice.
Imho hatten die 8tb Red und Red Pro auch nur so 130-180 mb/s je nach Wind unter NTFS als Single-Drive (wie ich große Dateien aufs frische NAS verschoben hab).
Deine 300-350 mb/s fürn Z1 aus 3 Platten ist imho schon sehr gut... wobei ich ehrlich gesagt nicht testen kann, was wirklich rauskommt, mangels 10 Gbit.

Egal.
tl,dr:
2.5 Gbit ist schon okay.

 

[gea]

Deine 300-350 mb/s fürn Z1 aus 3 Platten ist imho schon sehr gut... wobei ich ehrlich gesagt nicht testen kann, was wirklich rauskommt, mangels 10 Gbit.

Performance die man erreichen kann wird durch drei Faktoren begrenzt, die man unabhängig überprüfen kann

1. Pool Performance
testet man via benchmarktool, dd oder time bei großer Datei

2. Netzwerkperformance
testet man mit iperf

3. SMB Performance
KernelSMB ist schneller (Illumos/Solaris oder ksmbd bei Linux) als SAMBA
SMB Direct/RDMA ist erheblich schneller als SMB über ip bei geringster Latenz und CPU Last (mit nic >10G entscheidender Unterschied)

 

[Weltherrscher]

@Techlogi
...snip...
Ich las mal das ein nachträgliches Upgraden ggfs nicht möglich sei, eine 5te ggfs nachzuschieben bei Bedarf. kA ob das immer noch so ist.

Mit einem kürzlichen Update scheint man jetzt ohne Probleme vDevs zu nem RAID-Z hinzufügen zu können.
Vorher ging Erweiterung immer nur durch Platten wechseln und resilvern mit anschließender Erweiterung des Pools.
Einfach ne Platte dazu stecken ging nicht, wegen Datensicherheit.

Scheint ab openZFS 2.3 zu gehen:

raidz expansion feature by don-brady · Pull Request #15022 · openzfs/zfs

Motivation and Context This feature allows disks to be added one at a time to a RAID-Z group, expanding its capacity incrementally. This feature is especially useful for small pools (typically with...

github.com

Allerdings habe ich das noch nicht probiert, da stecke ich zu wenig in den Untiefen von ZFS drin.
Wobei beim groben überfliegen wieder was von Geschwindigkeitseinbußen beim lesen alter Blöcke steht (die werden wohl nicht aufs neue Disk-Layout migriert, erst, wenn ein Block neu geschrieben wird, kommt das neue Layout zum tragen.

 

[gea]

Mit einem kürzlichen Update scheint man jetzt ohne Probleme vDevs zu nem RAID-Z hinzufügen zu können.
Vorher ging Erweiterung immer nur durch Platten wechseln und resilvern mit anschließender Erweiterung des Pools.
Einfach ne Platte dazu stecken ging nicht, wegen Datensicherheit.

Allerdings habe ich das noch nicht probiert, da stecke ich zu wenig in den Untiefen von ZFS drin.
Wobei beim groben überfliegen wieder was von Geschwindigkeitseinbußen beim lesen alter Blöcke steht (die werden wohl nicht aufs neue Disk-Layout migriert, erst, wenn ein Block neu geschrieben wird, kommt das neue Layout zum tragen.

Eher so:
Die Performance beim Lesen alter Blöcke bleibt gleich da die Daten bleiben wo sie sind. Neue oder geänderte Daten nutzen die zusätzliche Platte und die damit verbundene Performanceverbesserung.

ps
Man fügt keine vdevs zu einem Raid-Z hinzu, sondern einzelne Platten zu einem vorhandenen Raid-Z vdev.

 

[Weltherrscher]

Da hast du natürlich Recht. =)

Früher(tm) konnte man RAID-Zs nur durch hinzufügen passender vdevs erweitern.