QNAP ZFS: Kann man ECC Ram nachrüsten, wenn NAS mit non-ECC aufgesetzt wurde?

[BudSpencer]

Hallo zusammen,

ich kann ja bei ZFS nicht einfach ein RAID erweitern. Ist das auch bei der ECC Funktion so?
Kann ich bei einem bestehenden und konfigurierten System (QNAP TS-673a, ZFS Raid 5 mit 4x 18 TB) von non-ECC auf ECC Ram aufrüsten?

QNAP QuTS hero Turbo Station TS-673A-8G ab € 1004,54 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für QNAP QuTS hero Turbo Station TS-673A-8G ✔ Produktinfo ⇒ Festplatte: N/A • Intern: 6x 2.5"/3.5", SATA 6Gb/s, Hot-Swap • Extern: 2x 2.5GBase-T • Zusätzliche Anschl… ✔ NAS-Systeme ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Verbaut ist konkret: 2x Crucial RAM CT16G4SFRA266 16GB DDR4 2666MHz CL19 https://geizhals.de/crucial-so-dimm-kit-16gb-ct2k8g4sfra266-a2330395.html

soll ersetzt werden durch:
2x Micron SO-DIMM 32GB, DDR4-3200, CL22-22-22, ECC https://geizhals.de/micron-so-dimm-32gb-mta18asf4g72hz-3g2r-a2824898.html?hloc=at&hloc=de
-oder-
2x Kingston Server Premier SO-DIMM 32GB, DDR4-3200, CL22-22-22, ECC https://geizhals.de/kingston-server...-ksm32sed8-32hc-a2679002.html?hloc=at&hloc=de

Welchen empfehlt Ihr von den o.g. - wahrscheinlich kein Unterschied?

Danke

 

[spyfly]

Ist das auch bei der ECC Funktion so?

Ich verstehe nicht ganz wie du hier einen Zusammenhang herstellst, aber dem Dateisystem selbst ist es ziemlich egal ob du ECC oder nicht nutzt, ohne ECC fallen Speicherfehler aber halt nicht auf und können auch nicht korrigiert werden.

Welchen empfehlt Ihr von den o.g. - wahrscheinlich kein Unterschied?

Den der inkl. Versand am günstigsten ist.

 

[BudSpencer]

Ich verstehe nicht ganz wie du hier einen Zusammenhang herstellst, aber dem Dateisystem selbst ist es ziemlich egal ob du ECC oder nicht nutzt, ohne ECC fallen Speicherfehler aber halt nicht auf und können auch nicht korrigiert werden.


Den der inkl. Versand am günstigsten ist.

Kurz: Weil ich kein Plan habe.

Bringen 64GB etwas als Storage und PLEX-Medienserver?

Beitrag automatisch zusammengeführt: 29.05.2023

Mich hat einfach irritiert, dass QNAP für optimale Leistung mit In-Line Deduplizierung "mindestens" 32 GB für optimale Performance empfiehlt.

 

[Ceiber3]

Kein Problem non ECC Ram gegen ECC Ram zu tauschen.

 

[Rarity]

Laut Hardware-Spezifikation auf der Hersteller-Webseite, sowie Bediener-Handbuch ("TS-x73A User Guide"), wird das TS-673A standardmäßig mit 8GB non-ECC Ram ausgeliefert, unterstützt aber ECC-RAM. ("2 x SODIMM DDR4" , "supports ECC memory modules", "Maximum memory: 2x32 GB")

Ja, die die beiden ECC-RAM's sollten passen ...
Micron und Kingston sind beides RAM-Markenhersteller bzw. -Verkäufer. Deine beiden Ersatz-RAM's haben denselben Typ (DDR4 SO-DIMM 260-Pin, ECC) und identisches JEDEC-Rating (DDR4-3200Mhz, CL 22-22-22) ..... ergo kein Unterschied.
Laut AMD's CPU-Spezifikation vom "Ryzen V1500B" SoC wird der RAM aber nur @2400Mhz angesprochen.
Mehr RAM ist prinzipiell immer gut als Schreib- und Lese-Cache, es spricht nichts gegen 32 oder 64GB RAM beim NAS (ausgenommen Kosten)

Bist du Dir wirklich ganz sicher, das Du das "Feature" De-Duplizierung benötigst ??

Video-Dateien und viele anderen Dateitypen (u.a. auch MS-Office Dateien) kommen als vorkomprimierte Daten daher ... von daher sollte sich die Anzahl identischer Blöcke in engen Grenzen halten (Dupletten ausgenommen).

P.S: Die techn. Angaben im QNAP-Handbuch sind stellenweise sehr minimalistisch (gefühlt gewollt lückenhaft).

 

[p4n0]

Wuerde mir auch ganz genau ueberlegen ob ich mir dedup im Homebereich auf humaner Hardware antun wollen wuerde.
Besser finger weg, das zwingt systeme sehr schnell in die Knie.

 

[ludwinator]

würde mal mit zdb -S poolname abschätzen, ob sich das überhaupt lohnt.
cu

 

[BudSpencer]

Wuerde mir auch ganz genau ueberlegen ob ich mir dedup im Homebereich auf humaner Hardware antun wollen wuerde.
Besser finger weg, das zwingt systeme sehr schnell in die Knie.

Ich weiß nicht so genau was es ist, aber das Gerät wird ja explizit damit beworben. Scheint mit den 32GB zu laufen.
Habe heute Nacht nochmal Memtest laufen lassen um eine Indikation zu haben ob der RAM beim NAS bisher in Ordnung war - lief top durch.


Habe mir jetzt dennoch die 64GB ECC Ram gekauft. PLEX hat es mir angetan.

 

[Trambahner]

Dedup bringt Dir im Heimbereich irgendwas zwischen "nichts" und "riesen Nachteilen".

Das ist i.W. für Datacenter, wo Du viele VMs oder Datenbank-Tablespaces mit vielen gleichen Datenblöcken hast und die Storage die Daten dann nur 1x (zzgl. Redundanz) ablegst .
Und die Betonung liegt da auf "Datenblöcken", nicht "Dateien".
Dedup daheim frisst Dir nur unnötig Ram auf, der viel besser als Cache genutzt wäre und verballert Performance. Probiers gar nicht, es zu aktivieren (ich weiss nicht wie es jetzt ist, aber vor wenigen Jahen galt: einmal aktiviert blieben auch Nachteile wenn man es deaktiviert hat; nur ein destroyen und Neuaufbau des Pools half).

=> hands off daheim. Stell auf Deinen Dateisystemen und Z-Volumes LZ4 (oder ggf. ZSTD-Komprimierung) an und Du bist "good to go". Auf Dateisystemen wo nur komprimierte Videodateien liegen, kannst auch überlegen ganz ohne Kompression, LZ4 merkt aber schnell "geht nicht zu komprimieren, abbrechen und unkomprimiert speichern".

 

[BudSpencer]

Was ist LZ4? Was macht Deduplizierung genau?
So sieht es bei mir aus:

Brauche jetzt mal ein Pro-Tipp
ich habe viele zu 95% Filme, der Rest sind Dokumente (PDF, Word etc) und Fotos.


Detailansicht:

Dedup sicher ausschalten?
Komprimierung an/aus?

DANKE

Edit: habe jetzt Komprimierung und Dedpluzierung überall ausgemacht. auch auf der Nvme SSD als Single Disk System?

 

[HisN]

Bringen 64GB etwas als Storage und PLEX-Medienserver?

Was im RAM liegt, muss nicht von den Platten geholt werden.

 

[gea]

Was im RAM liegt, muss nicht von den Platten geholt werden.

Ja und nein
Der ZFS Lesecache (ca 70% RAM) optimiert nach dem Motto read last + read most. Er speichert keine kompletten Dateien (wäre sonst bei Mediadaten sofort voll) sondern vor allem Metadaten und letzte IO also kleine Random Datenblöcke. Daneben wird der RAM (10%, max 4GB) als Schreibcache genutzt. RAM ab ca 32GB bringt vor allem dann etwas wenn man viele User, viele Dateien und viele unterschiedliche Leseoperationen hat. Ein Mailserver einer Uni wäre ideal auch mit 256GB RAM. Für einen Mediaserver mit ein paar Nutzern wird der Sprung von 32GB auf 64GB keinen großen Unterschied machen sofern nicht andere Anwendungen RAM benötigen.

ZFS Dedup ist Echtzeit Dedup. Ansich sehr effektiv, braucht aber enorm viel RAM (bis zu mehreren GB per TB Dedup Daten) für die Dedup Tabellen. Einmal aktiviert müssen diese Dedup Tabellen gespeicherter Daten immer vorgehalten werden, auch wenn man Dedup deaktiviert. Reicht der RAM nicht aus um die Dedup Tabellen zu halten wird auf Platte ausgelagert mit katastrophalen Performanceeinbrüchen. In fast allen Fällen ist Dedup daher kontraproduktiv da man RAM eher für Cache=Performance möchte als für Dedup Tabellen. Braucht man Dedup, sollte man sehr viel RAM haben (ausreichend für Cache + Dedup), dann sind 64GB schnell Minimum. Besser wäre oft ein Special Vdev Mirror für Dedup. Bei Dedup werden identische Datenblöcke nur einmal gespeichert und bei weiterem Vorkommen des exakt gleichen Datenblocks wird darauf verwiesen.

Was man immer anlassen kann ist LZ4 Compress. Hat auch bei Mediadaten kaum Performanceverluste. Compress schaut ob es Muster gibt. Hat man ein weißes Blatt so speichert man ein weißes Bit mit der Angabe dass dieses Bit 1000 mal folgt.

 

[BudSpencer]

@Trambahner, @gea, @HisN: Danke für Euren Input.
Ist LZ4 Compress die normale Komprimierung unter ZFS?

Ich werde jetzt folgendes machen:

• Die 64 GB ECC RAM einbauen und Memtest durchlaufen lassen
• Die Daten auf dem NAS auf einer externen Platte sichern - die wichtigen Daten (Fotos, Dokumente) doppelt sichern.
• Alle Speicherpools entfernen löschen und 3,5" Datenplatten ausbauen
• 1x 1TB Nvme durch 2x1TB Samsung 970 EVO als System RAID 1 ersetzen (günstig bei Amazon.fr für 90 Euro zusammen bekommen)
• Beim neuen Aufsetzen: Speicherpool 4 x 18TB als RAID Z1 (ZFS Raid 5). Dedup aus, Komprimierung an.
• Wieviel Prozent empfehlt Ihr als "Garantierten Snapshot Speicherplatz mit intelligenter Versionierung" und "Overprovisioning"? - Ich habe derzeit beides auf 10%.
  Das sind aber je 5TB, die mir verloren gehen. Brauche ich soviel Snapshot oder reichen auch 5%?
• Alle System-Apps (Plex etc.) manuell neu installieren und aufsetzen - ich denke das ist besser als einfach nur die Systemeinstellungen (Benutzerkonten, Servername, NEtzwerkonfig etc) zu sichern und dann wiederherstellen.

Passt das so?

Danke Euch sehr.

 

[gea]

@Trambahner, @gea, @HisN: Danke für Euren Input.
Ist LZ4 Compress die normale Komprimierung unter ZFS?

LZ4 nutzt man am häufigsten. Ist sehr gut und sehr ausgereift.

Ich werde jetzt folgendes machen:

• Die 64 GB ECC RAM einbauen und Memtest durchlaufen lassen
• Die Daten auf dem NAS auf einer externen Platte sichern - die wichtigen Daten (Fotos, Dokumente) doppelt sichern.

Mit ZFS arbeitet man normalerweise anders
- Möglichst gute Redundanz z.B. Z2
- Möglichst viele readonly Snapshots um Daten wiederherzustellen

Damit ist das Risiko eines Datenverlusts sehr niedrig:
Brennt der Server ab oder wird geklaut braucht man zusätzlich ein Disasterbackup (eines reicht, idealerweise offline und tagesaktueller sync per zfs replication)

meine Tipps dazu (gilt allgemein für ZFS, zum Überstzen Google Browser nehmen):

napp-it ZFS server on OmniOS/Solaris: news, tips and tricks

How to duplicate a ZFS pool with ongoing replications? New pool should be exact identical to old pool but for ex. larger or with a different vdev structure You must care of the following: 1. Transfer ZFS filesystems with a "recursive" job setting This includes all datasets in the transfer...

forums.servethehome.com

• Alle Speicherpools entfernen löschen und 3,5" Datenplatten ausbauen
• 1x 1TB Nvme durch 2x1TB Samsung 970 EVO als System RAID 1 ersetzen (günstig bei Amazon.fr für 90 Euro zusammen bekommen)

meine Philosophie dazu:
- Systempool klein halten und nichts spezielles installieren oder als Datenablege nutzen. Dann brauchts weder Mirror noch Disasterbackup.
Bei Problemen SYstem neu aufsetzen und Pool importieren. Je mehr da drauf ist, desto mehr brauchts tagesaktuelles Disasterbackup (OS Wiederherstellung)

Falls man keinen ZFS Mirror hat (single SSD) unbedingt bei SSD auf Powerloss Protection achten (Desktop SSD wie Evo haben das nicht)

• Beim neuen Aufsetzen: Speicherpool 4 x 18TB als RAID Z1 (ZFS Raid 5). Dedup aus, Komprimierung an.

Sun hat das Ding Raid-Z1 und nicht Raid-5 genannt um klarzustellen dass es die Raid-5 Probleme nicht hat:
Bei einem Raid-5 werden Daten, Metadaten und Raid Stripes an das Raid-5 Subsystem übergeben und nacheinander ohne Daten Prüfsummen auf die einzelnen Platten geschrieben. Stürzt der Rechner dabei ab, kann ein defektes Dateisystem oder Raid die Folge sein. Im degraded Raid-5 führt ein weiterer Lesefehler häufig zum Totalverlust des Raid-5.

Raid-Z hat keines dieser Problöeme, man /Qnap sollte es daher niemals Raid-5 nennen vor allem weil man auch ZFS idiotischerweise auf einem Raid-5 anlegen könnte
Ansonst ok. Ich würde aber bei 18TB Platten niemals ein Z1 sondern immer ein Z2 aus 5-6 Platten nutzen.

• Wieviel Prozent empfehlt Ihr als "Garantierten Snapshot Speicherplatz mit intelligenter Versionierung" und "Overprovisioning"? - Ich habe derzeit beides auf 10%.

Was will mir Qnap hier sagen?
ZFS kann Quotas und Reservierungen.

Mit einer Reservierung wird garantiert dass ein einzelnes ZFS Dateisystem einen bestimmten Platz hat. Bei allen anderen Dateisystemen (Pool ist auch ein Dateisystem) wird ein entsprechend geringerer freier Platz angezeigt

Mit einem Quota wird festgelegt wieviel Platz ein Dateisystem maximal nutzen kann.
Wäre vom Verständnis erheblich eionfacher wenn man Qnap etablierten Begriffe nutzt statt unverständlich einzudeutschen.

Es geht also kein Platz verloren sondern die Nutzung wird nutzungsabhängig organisiert.

• 
  Das sind aber je 5TB, die mir verloren gehen. Brauche ich soviel Snapshot oder reichen auch 5%?

Snapshots sind die beste Möglichkeit Datenverlust zu vermeiden. ZFS Snapshots verbrauchen auch keinen Platz sondern schützen vorhandene Daten vor Überschreiben. Bei vielen Snaps und sehr volatilen Daten können Snaps erheblich mehr Platz blockieren (Summe der geänderten Datenblöcke seit letztem Snap). Man kannper Reservierung eine Mindestmenge Platz reservieren.

 

[BudSpencer]

Bei mir wird komischerweise RAID 5 angezeigt. Ich verwende QUTS Hero im QNAP TS-673a sowie ZFS Dateisystem.

Ich denke QnAP spricht dennoch weiterhin oft von Raid 5; z.b. hier:

QNAP Enterprise ZFS NAS

Mit Intel Xeon E5-Prozessoren, zwei aktiven Controllern und ZFS bietet QNAP Enterprise ZFS NAS höchst zuverlässige und nahezu unterbrechungsfreie Dienste.

enterprise-nas.qnap.com

Es wird über Raid-Z gesprochen; aber man kann RAID-Z nicht auswählen sondern nur z.B. Raid 5

 

[gea]

Da hat der Entwickler/Übersetzer der Web-GUI wohl einfach die Begriffe der Nicht-ZFS Version übernommen, ohne viel Ahnung von der Materie.
Sun hat bei der Entwicklung von ZFS das bewußt Raid-Z1/2/3 benannt um klarzumachen dass es eben kein Raid-5/6/? ist mit all den genannten Problemen die ZFS nicht hat.

ZFS ist obwohl extrem leistungsfähig, doch recht einfach zu verstehen - das aber nur wenn nicht jeder Dinge ungenau, anders oder gar falsch benennt. Jedes Ding hat seinen Namen. Beim Auto spricht man ja auch überall von ABS und ESP und nicht von "einzelradgesteuerter Verzögerungsautomatik" oder man bennennt etwas Hund (Dateisystem) oder Katze (Snap) statt Lebewesen (Dataset). Eine Raid-Gruppe - was ist das denn? Ein vdev oder ein Array oder ein Pool?

Ich beschäftige mich jetzt seit 15 Jahren intensiv mit Original ZFS auf Solaris und Open-ZFS, habe meinen eigenen ZFS Server mit Web-UI für Solaris, Illumos und Linux entwickelt. Bei der Begriffsungenauigkeit habe selbst ich Probleme, Sachverhalte ohne Nachfrage oder längeres Überlegen zu verstehen.

 

[BudSpencer]

OK.

Selbst bei Tutorial Videos wird immer von Raid 5 unter ZFS gesprochen. Siehe:
von QNAP

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

und anderen

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Screenshot:

 

[Trambahner]

OK.

Selbst bei Tutorial Videos wird immer von Raid 5 unter ZFS gesprochen. Siehe:

Was es aber nicht richtig macht. Ich denke, manche sprechen von "Raid 5", weil das vielen einfach "traditioneller" bekannt ist und meinen so, es Leuten einfacher zu machen. Dummerweise geht so aber die Präzision verloren und manche meinen dann "ehhh ,das ist ja Software Raid5, dann nehm ich besser nen echten Hardware-Controller". Leider ein Trugschluss.

 

[BudSpencer]

Würdet Ihr mit 64GB ECC Ram, ZFS Dateisystem lieber Raid 10 oder Raid Z1 machen?

PLEX Medienserver und Datengrab.

 

[Rarity]

Für ein mini-raid mit nur 5 Festplatten:
Raid-Z1 fürs Datengrab, weil höhere Kapazität als Raid-10, die IOPS sowie Schreib-/Lesegeschwindigkeit des HDD-Raids ist im Allgemeinen für geringe Benutzeranzahl ausreichend. Wenn viel mehr IOPS (Input/output operations per second) benötigt werden, sollte man für dieses (eingegrenzte) Daten-Set eine SSD nehmen!
Mache in regelmäßigen Abständen Sicherungskopien Deiner (wichtigen) Daten auf einem externen(!) Medium, überprüfe vorab probeweise auch die korrekte Funktion der Daten-Wiederherstellung. Verwendung Raid-5 bzw. Raid-Z1 im privaten Bereich ist vollkommen ok (kommerzielles Umfeld würde besseren Schutz gegen Ausfall/Verlust benötigen)
~ Ende von der Kurzfassung ~


Vergiss bitte Raid10 bei 5 Platten !!
Raid 10 im Vergleich mit Z1: (etwas ungenau ausgedrückt): hohe Komplexität bei Wiederherstellung, nur gerade HDD-Anzahl vernünftig möglich, nur 50% der Speicherplatzkapazität, IOPS müssten beim Lesen- unterhalb von Z1 liegen, beim Schreiben etwas höher als Z1 liegen.
Ein simples Raid1 (mirroring) als Alternative zu Raid10 fände ich dagegen sehr in Ordnung, weil unkompliziert.

Die IOPS-Anzahl mittels Raid-0 im HDD-Verbund zu verdoppeln/vervielfachen ist praktisch komplett irrelevant, sobald SSD's als Speicherplatz-Alternative im System vorhanden sind.
Man müsste (random access) ca. 1000+ HDD's parallel verwenden um ungefähr äquivalent der IOPS-Leistung einer SSD zu sein (die Geschwindigkeit der SSD hängt von Anbindung und Controller ab).

Große Kapazität bei niedrigen Preis pro TB Speicherkapazität sind DER Grund für HDD's, hohe I/O-Leistung DER Grund für SSD's.
Kosten, Geschwindigkeit und Speicherkapazität bilden die Eckpunkte eines Dreiecks, die Anforderungen des Benutzers sind als ein Punkt in dieser Fläche darstellbar. Man kann nicht alle Eigenschaften auf Maximum haben, nur Kompromisse.

Änderungen: inhaltliche Ergänzungen, teilweise gekürzt. Korrekturen von @ludwinator eingearbeitet.

 

[ludwinator]

Ich vermute, das mit RAID-10 hier eigentlich ZFS Raid1+0 gemeint ist, also ein Spiegel über mehrer Stripes. Insofern ist das weder komplex zur Wiederherstellung noch langsamer als RaidZ1, dafür aber erweiterbar.
Und natürlich gehen da nur (auch nicht unvernünftig) geradzahlige vdevs.

 

[Trambahner]

Bei ZFS würde ich "0+1" verwenden, also Stripe über Mirror-Pärchen, nicht Mirror über Stripes.

Warum? Weil der Ausfall eines einzigen Devices den betroffenen ganzen Stripe erstmal unbrauchbar macht und dann der ganze Stripe-Ast recovered werden muss.
Hat man ein Mirror über nen Stripe mit je 3 Devices, fallen damit quasi 3 von 6 Devices aus; der Ast liefert dann keine Daten mehr.

Bei der Variante 0+1 , also ein 3er Stripe über je ein Mirrorpärchen fällt als Datenlieferant für das Stripe obendrüber nichts aus im Degraded-Zustand (nur das betroffene einzelne Device).

Ausserdem kann man flexibler Pärchen durch Disks/SSDs höherer Kapazität austauschen oder anfügen und hat sofort die Kapazitäts und Iops-erhöhung; man braucht also weniger Geräte gleichzeitig ersetzen.
Man hantiert dann mit kleineren Vdevs.
Desto mehr Pärchen man hat, desto stärker wird der Effekt. Man muss dann auch nur das einzelne ausgefallene Device rebuilden.

Jetzt kann man natürlich Wahrscheinlichkeiten eines Ausfalls von mehreren Geräten gleichzeitig rechnen, was wo in welcher Konstellation ausfallen darf, ohne dass Daten gefährdet sind.
Denn die sind unterschiedlich in den zwei Varianten.
Ist die für Mirrorpärchen zu schlecht, für kritische Daten, dann kann man ja Dreifach-Mirrors anlegen.

 

[gea]

Bei ZFS würde ich "0+1" verwenden, also Stripe über Mirror-Pärchen, nicht Mirror über Stripes.

ZFS macht immer einen Stripe über vdevs. Ein ZFS Multi-Mirror bedeutet dass man zwei oder mehr Mirror vdevs hat die alle quasi wie ein Raid-0 gestriped werden
Einen Mirror über ein Stripe kann man nicht erzeugen. Bei einem oder vor allem mehreren 2fach Mirrors kann es Sinn machen, eine weitere Platte als hotspare zu nehmen damit eine ausgefallene Platte umgehend ersetzt wird.

Die Schreibperformance (sequentiell und iops) ist n x Anzahl Mirrors, Die Leseperformance ist doppelt so hoch da ZFS von beiden Mirrorhälften gleichzeitig liest.

 

[BudSpencer]

Für ein mini-raid mit nur 5 Festplatten:
Raid-Z1 fürs Datengrab, weil höhere Kapazität als Raid-10, die IOPS sowie Schreib-/Lesegeschwindigkeit des HDD-Raids ist im Allgemeinen für geringe Benutzeranzahl ausreichend. Wenn viel mehr IOPS (Input/output operations per second) benötigt werden, sollte man für dieses (eingegrenzte) Daten-Set eine SSD nehmen!
Mache in regelmäßigen Abständen Sicherungskopien Deiner (wichtigen) Daten auf einem externen(!) Medium, überprüfe vorab probeweise auch die korrekte Funktion der Daten-Wiederherstellung. Verwendung Raid-5 bzw. Raid-Z1 im privaten Bereich ist vollkommen ok (kommerzielles Umfeld würde besseren Schutz gegen Ausfall/Verlust benötigen)
~ Ende von der Kurzfassung ~


Vergiss bitte Raid10 bei 5 Platten !!
Raid 10 im Vergleich mit Z1: (etwas ungenau ausgedrückt): hohe Komplexität bei Wiederherstellung, nur gerade HDD-Anzahl vernünftig möglich, nur 50% der Speicherplatzkapazität, IOPS müssten beim Lesen- unterhalb von Z1 liegen, beim Schreiben etwas höher als Z1 liegen.
Ein simples Raid1 (mirroring) als Alternative zu Raid10 fände ich dagegen sehr in Ordnung, weil unkompliziert.

Die IOPS-Anzahl mittels Raid-0 im HDD-Verbund zu verdoppeln/vervielfachen ist praktisch komplett irrelevant, sobald SSD's als Speicherplatz-Alternative im System vorhanden sind.
Man müsste (random access) ca. 1000+ HDD's parallel verwenden um ungefähr äquivalent der IOPS-Leistung einer SSD zu sein (die Geschwindigkeit der SSD hängt von Anbindung und Controller ab).

Große Kapazität bei niedrigen Preis pro TB Speicherkapazität sind DER Grund für HDD's, hohe I/O-Leistung DER Grund für SSD's.
Kosten, Geschwindigkeit und Speicherkapazität bilden die Eckpunkte eines Dreiecks, die Anforderungen des Benutzers sind als ein Punkt in dieser Fläche darstellbar. Man kann nicht alle Eigenschaften auf Maximum haben, nur Kompromisse.

Änderungen: inhaltliche Ergänzungen, teilweise gekürzt.

Toll geschrieben. So ein Beitrag gehört eigentlich in den Kommentar-Bereich einer Hardware-Zeitschrift oder online-Publikation.

Beitrag automatisch zusammengeführt: 05.06.2023

Ich mache ein 4x18TB ZFS RaidZ1, bei Qnap wird das dann als Raid 5 beschrieben. Haben sie on nem YouTube Video erklärt. Bei Verwendung von QutsHero, also ZFS, ist Raid 5 = Z1; Raid 6 = Z2.

Wieviel % empfehlt Ihr als Pool-Oberprovisioning für 4x18TB Raid Z1?

Ich denke der nächste Schritt sind dann SSDs. Mittlerweile ist die 8TB Samsung SSD bei Amazon für 369 im Angebot. Ich habe für meine 18 TB Platten auch 309 Euro pro Stück gezahlt.

Andererseits ist mein 2,5 Ethernet schon jetzt der limitierende Faktor.

 

[Trambahner]

Die Samsung QVO? Vergiss die für einen Zpool z.B. sofort, wenn ständig Schreibzugriffe stattfinden. Die kannst Du nur nehmen, wenn das Speicherplatz sein soll wo sehr wenig beschrieben und quasi nur gelesen wird (Lager für Mediendateien z.B.).

Bevor Du für SSDs zum "Bestellen"-Button klickst, musst Du genau wissen, für welchen Zweck (Art und Umfang der Zugriffe) sie benutzt werden sollen. Weil Du sonst immer draufzahlst: entweder zuviel ausgibst oder aber die Performance oder Haltbarkeit beim Teufel ist.
Nur auf das Preisschild zu achten, ist da ein völlig falscher Ansatz.



@gea ch dachte nur, Rarity will bzw. schlägt vor ein Stripe-Vdev machen mit mehreren Disks (also ohne Redundanz) und dann in einem zweiten Schritt ein zweites Stripe-Vdev (wiederum ohne Redundanz) anlegen und dieses dann als Mirror des ersten Stripes attachen. Oder ein Mirror von zwei Raidz-vdevs.
Ich denke, manuell müsste das möglich sein (habs aber nie probiert, würde ich so auch nie einsetzen).

 

[ludwinator]

Toll geschrieben. So ein Beitrag gehört eigentlich in den Kommentar-Bereich einer Hardware-Zeitschrift oder online-Publikation.

Beitrag automatisch zusammengeführt: 05.06.2023

Blöd ist halt wenns nicht stimmt, einige Teile sind schlichtweg falsch und sollten auch nicht weiter verbreitet werden.

 

[BudSpencer]

Blöd ist halt wenns nicht stimmt, einige Teile sind schlichtweg falsch und sollten auch nicht weiter verbreitet werden.

Oh 😞

 

[Rarity]

Ja, da habe ich einen Gedankenfehler gemacht.
Bei raid-Z1 mit n=5 HDD müssten (n-1)=4 HDD für Daten schreiben gleichzeitig zur Verfügung stehen, bei Raid 1+0 mit n=4 HDD bleiben effektiv beim Schreiben nur (n/2)=2 HDD übrig (da Daten gespiegelt werden) ... --> Z1 hat hier den Vorteil

Lesen von (Raid10, n=4) könnte gleich schnell wie (Z1 mit n=5) sein, da 4 HDD glz. lesen sollten ... d.h. Gleichstand bei Lese-Geschwindigkeit.

Danke an @gea und @ludwinator !

Bin untröstlich

P.S:
Ich habe mir später auf der QNAP Homepage den Abschnitt über QuTS angesehen, ein Linux mit offensichtlich auf einfache Bedienbarkeit gestylten GUI für NAS, dadurch streiche ich in meinem vorherigen Posting auch Komplexität bei Raid10 weg (war vorab der Annahme, mit Raid10 wäre techn. ein herkömmliches (non ZFS) nested raid gemeint)

 

[BudSpencer]

Da gab es doch diesen einen Artikel, der Raid Z1 mit Raid 10 verglichen hat. Mit 4 Platten.
Raid Z1 war so gut wie immer deutlich schneller, bis auf einmal.

 

[Trambahner]

Sequenzielle Transfers, also große Dateien mit wenig Random-Zugriff: Raidz nehmen

Random-Zugriff, also z.B. Datenbanken und System-virtual disks für VMs : Mirrors und Mirror-Pärchen bevorzugen, da es hier mehr auf IOPS kleiner Blöcke ankommt und nicht große lange Zugriffe.
Und hier auch (für die anfallende Last geeignete) SSDs und keine HDDs mehr.