NAS/Homeserver und RAID - Anfängerfragen

[Digi-Quick]

Sogar GH hat bei den EFAX jetzt SMR stehen
z.B. https://www.heise.de/preisvergleich/western-digital-wd-red-10tb-wd100efax-a1626403.html

heise online

News und Foren zu Computer, IT, Wissenschaft, Medien und Politik. Preisvergleich von Hardware und Software sowie Downloads bei Heise Medien.

www.heise.de

Da darf man ja schon fast gespannt sein auf die ersten Hilferufe, wenn ein Raid-Rebuild / ZFS-Resilver in die Hose geht, denn das ist das Problem was laut den Diskussionen bei Reddit auftritt.

Mein damaliger Resilver-Test mit den 9x 8TB Archive von Seagate war ohne Probleme gelaufen, das Raidz3 aus 19x8TB läuft seit.

[News] - Seagate 8 TB Festplatte für unter 250 € nagelneu , wo ist der Haken ?

Warte noch immer auf meine HDDs. Habe pro Stück 210 Euro gezahlt (Conrad). Für den Preis nimmt man die miese Schreibperformance gerne in Kauf. Wird ja nur zum Archivieren benutzt. Wie sieht es mit der Leseperformance aus?

www.hardwareluxx.de

Wobei eine grossen Unterschied gibt es, die Seagate 8TB Archive sind SMR-HA und nicht SMR-DM wie die EFAX Reds - möglicherweise klappte deswegen auch der Resilver.....

Neue Festplatten.. 8TB 10TB 20TB ... !

Ich lese andauernd nur "neue Festplatten kommen... sind unterwegs.. also eigentlich schon da..." Meldungen. Im 1. Quartal 2015 sollten schon 10TB Platten da sein. Also was gibt es denn jetzt, heute am 13.04.2015 ? Zwei 8TB Platten, eine als Archive die in einer NAS (mit Raid und...

www.hardwareluxx.de

Die entsprechende Aussage ist in der "aktuellen (*hust*) Fassung der Readme von Dez 2015 nicht mehr vorhanden - da hat sich demnach seit 5 Jahren nichts mehr getan. Bei GH stht im übrigen auch SMR-DM bei der Seagate 8TB Archive.

Noch löppt mein Raidz3 Fehlerfrei, ich habe aber die Regierung schon instruiert, daß da demnächst wieder viel Geld ausgegeben werden muß - spätestens wenn eine Disk anfängt Probleme zu machen (z:B. gewisse SMART Werte ändern sich plötzlich). Einen Resilver will ich den mitlerweile 5 Jahre alten Platten nicht mehr zumuten


P.S. was ist denn nun eigentlich mit HAMR?
Auch seit gefühlt 10 Jahren angekündigt....

 

[tolga9009]

Wenn man sich unsicher ist, kann man bspw. unter Linux mit hdparm (oder unter Windows über CrystalDiskInfo) nachgucken, ob die HDD Trim Support anzeigt. Falls ja, handelt es sich um eine SMR-Festplatte. Wenn man die Wahl zwischen PMR und SMR hat, dann stets zur PMR-Festplatte greifen.

Ein ZFS Stripe-VDEV aus den 2x 2TB erstellen und das VDEV dann mit der 4TB mirroren.

Man muss es schon im Kontext betrachten. Es geht um die überlegene Flexibilität von BTRFS. Nehmen wir doch mal ein praktisches Beispiel aus meinem Alltag: mein Dell T20 hat 3x 8TB im BTRFS RAID1 (12TB nutzbar). Das T20 hat 4x SATA Ports und 3 davon sind aktuell belegt. Wenn mir in 2 - 3 Jahren der Speicher ausgeht, kaufe ich mir die Festplatte mit dem besten P/L-Verhältnis, z.B. könnten das 14TB sein. Ich kann es dann einfach hinzufügen, balance durchführen und ich habe statt 12TB nun 19TB verfügbaren Speicher. Kein Rumschieben von Daten, kein Zwischenspeichern, kein Downtime. Stets mit garantierter Ausfallsicherheit für 1 Festplatte. Bei ZFS wäre dieses Szenario so nicht möglich. Ich habe nur noch einen nicht belegten SATA Port (T20 hat ohnehin OOB nur Platz für 4x 3,5" HDDs), muss bei ZFS jedoch 2 Festplatten auf einmal hinzufügen, wenn ich weiterhin die Ausfallsicherheit behalten möchte.

Oder eine der 8TB Festplatten wird außerhalb der Garantie defekt und ich ersetze sie durch eine 12TB Festplatte. Nach dem Austausch stehen mir bei BTRFS direkt der zusätzliche Speicher zur Verfügung - mit RAID1 über den gesamten Speicherbereich. Also hätte ich dann statt 12TB nun 14TB nutzbaren Speicher. Bei ZFS würde mir in diesem Szenario erst zusätzlicher Speicher zur Verfügung stehen, wenn alle Festplatten im VDEV 12TB groß wären.

ZFS ist vermutlich das beste Dateisystem. Aber auch das hat eben seine Nachteile. Für Unternehmen sind die Nachteile irrelevant, da Kosten i.d.R. kein Problem darstellen. Auch für gut betuchte Privatpersonen mag es kein Problem darstellen, statt 1 Festplatte einfach 2 zu kaufen und ein entsprechend dimensioniertes Host-System zu haben. Für mich persönlich ist es jedoch nicht unwichtig, ob die Speichererweiterung 130€ kostet oder 260€ + 50€ HBA-Karte. BTRFS hat auch seine Nachteile. Aber es kann halt auch Sachen, die ZFS nicht kann.

Sehe keinen Vorteil für BTRFS, zumal jetzt langsam ZFS endlich mal "offiziell" für Linux kommt.

Wie meinst du "offiziell"? Linus Torvalds hat noch im Januar 2020 geschrieben "Don't use ZFS. It's that simple." [1]. Auch Greg-Kroah Hartmann hatte sich bzgl. ZFS nicht gerade hoffnungsvoll geäußert: "My tolerance for ZFS is pretty non-existant." [2]. Sofern dieser Fall nicht eines Tages rechtlich geklärt wird oder Oracle die Lizenz ändert, wird sich bzgl. ZFS unter Linux in naher Zukunft nichts positiv verändern.

QNAP wird demnächst auch auf ZFS schwenken (QTS hero).

Hört sich spannend an. Dann muss man aber auch erwähnen, dass BTRFS in diesem Bereich seit Jahren Präsenz zeigt. Bei Synology ist BTRFS seit 2017 stabil verfügbar und bei Netgear seit über 4 - 5 Jahren. Da nehmen sich beide nichts.

 

[Digi-Quick]

Nehmen wir doch mal ein praktisches Beispiel aus meinem Alltag: mein Dell T20 hat 3x 8TB im BTRFS RAID1 (12TB nutzbar).

Du meinst du hast sozusagen 6 virtuelle Partitionen a' 4 TB, die jeweils über 2 Partitionen gespiegelt sind?
(Um sich das bildlich vorzustellen, tatsächlich übernimmt BTRFS das auf Blockebene)
B=Daten-Block, D= Disk, >> Spiegelt

B1D1 >> B1D2
B2D2 >> B1D3
B2D3 >> B2D1

Als Raid5 hättest du im übrigen 16 TB Kapazität, hast also 4 TB verschenkt, und ob das Raid1 über multiple Disks wirklich performanter als ein Raid 5 ist dürfte auch zu bezweifeln sein, du hast zwar keine Parity-berechnung, aber dafür die organisatorische Aufgabe der Verteilung der Datenblöcke auf 3 (oder mehr) Disks, so daß jeder Datenblock auf 2 der 3 HDDs vorhanden ist.
Die Fragmentierung dürfte bei normale Schreib-/Leseanforderung ähnlich sein wie bei Raid 5, wenn nicht sogar höher.

Achja, ich vergaß - Raid5/6 sollte man bei BTRFS ja immer noch nicht verwenden

Status - btrfs Wiki

btrfs.wiki.kernel.org

RAID56 - btrfs Wiki

btrfs.wiki.kernel.org

Golem.de: IT-News für Profis

Da kann man auch gleich Fake-Raid nehmen.

 

[Weltherrscher]

@tolga9009:
Ok, bzgl. Flexibilität ist BTRFS eine Nummer voraus, mir wäre jedoch das automatische Gewurstel des Dateisystems zu heikel.
Ich habe gern den Durchblick, *was* der Rechner da gerade macht und wenn ich erweitere, dann tatsächlich mit größeren Platten.
Hab voriges Jahr mehrere Monate warten müssen, bis ich genug 8 TB-Platten zusammen hatte, um um endlich auf den "Extend"-Button zu klicken... =)

@alle bzgl. SMR-WD REDs:

Ach. Du. Heiliger. Kot.

//edith:
Wie bekommt man den TRIM-Support in FreeNAS mit?
Ah, habs: "camcontrol identify /dev/blah"
*puuuh* Schwein gehabt, hab noch die alten EFAXen mit PMR. =)
4x WD80EFAX-68knbn0
2x WD80EFAX-68lhpn0

 

[MaxthonFan]

Also war es wohl richtig, die alte EFRX zu nehmen.

Ist zwar jetzt ein ziemlicher Themenwechsel, aber letztendlich ist es ja immer noch mein Anfängerfragen-Thread: Ich habe alles eingerichtet, wie angedacht mit ZFS RAIDZ1 und soweit funktioniert auch alles. Den ganzen Spaß habe ich in Windows als Netzlaufwerk verbunden. Ich will aber nicht, dass die Platten den ganzen Tag rödeln. Per systemd-Service wird beim Booten mit hdparm automatischer Standby nach fünf Minuten eingestellt, was auch soweit funktioniert. Nur werden die Platten jedes Mal aufgeweckt, wenn ich bei meinem Windows-PC den Explorer öffne. Kann man das irgendwie abstellen, sodass die Platten nur noch starten, wenn ich wirklich auf das Datengrab zugreife?

 

[tolga9009]

Du meinst du hast sozusagen 6 virtuelle Partitionen a' 4 TB, die jeweils über 2 Partitionen gespiegelt sind?

BTRFS organisiert die Daten in Chunks. I.d.R. sind diese 1GB groß. RAID1 bei BTRFS bedeutet: jedes neu angelegte Chunk wird gespiegelt auf 2 Devices abgespeichert. Auf welchen 2 Devices diese Chunks angelegt werden, wird jedes mal neu und on-the-fly entschieden. Bei "traditionellem" RAID findet die Spiegelung hingegen auf Device-Ebene statt (daher weniger flexibel). Wenn man sich das ganze als Partitionen vorstellen möchte: bei ~5TB Daten wären das sozusagen ~5000 1GB "Partitionen", die jeweils gespiegelt vorliegen. Das ist auch der Grund, warum BTRFS so flexibel ist.

Als Raid5 hättest du im übrigen 16 TB Kapazität, hast also 4 TB verschenkt, und ob das Raid1 über multiple Disks wirklich performanter als ein Raid 5 ist dürfte auch zu bezweifeln sein, du hast [...] die organisatorische Aufgabe der Verteilung der Datenblöcke auf 3 (oder mehr) Disks [...]

Das ist richtig und der große Nachteil bei BTRFS. Aber auch hier: bei einem 3x 8TB RAIDZ1 wäre in meinem Beispiel keine (einfache) Erweiterung möglich. Performance ist zweitrangig, da Gigabit Ethernet der Flaschenhals ist. Es stimmt, dass die Chunk Allocation einen Overhead darstellt, allerdings ist dies bei 1GB großen Chunks vernachlässigbar und führt zu keinen messbaren Performance-Einbußen. Die Write-Speed entspricht 1x, wie auch bei anderen RAID1.

Achja, ich vergaß - Raid5/6 sollte man bei BTRFS ja immer noch nicht verwenden

Außer dem Write-Hole, gibt es bei aktuellen Kernel nichts zu meckern. Möglich sind bspw. die Kombinationen RAID5 Data + RAID1 Metadata und ab Kernel 5.5 RAID6 Data + RAID1C3 Metadata, wodurch man bei den Metadaten eben kein Write-Hole mehr hat. Resultat: bei einem plötzlichen Stromausfall kommt es nicht mehr zum totalen Datenverlust. Das steht nicht im Wiki, wird aber in den BTRFS Mailing-Listen und Communities so empfohlen.

Bei meinem System werde ich werde so lange RAID1 fahren, bis mir der Speicher knapp wird. Wenn es soweit ist, werde ich je nach Geldsituation entscheiden, entweder nach RAID5 zu konvertieren (Metadaten bleiben RAID1), oder eine weitere Festplatte kaufen. Das ist halt das tolle bei BTRFS: maximale Flexibilität.

 

[Digi-Quick]

Das ZFS kein OCE (Online Capacity Expansion) und RLM (Raidlevel Migration) kann ist eigentlich nur im Consumer Bereich relevant, da im Professionellem Bereich i.d.R. nicht angewendet - bei SoHo eventuell noch.
(Wobei es zumindest für RLM von Mirror nach Raidzx einen inoffiziellen und riskanten Weg gibt, da die Redundanz währenddessen aufgehoben wird)

P.S. Ich stehe auch mit der Erweiterung eines Pools durch hinzufügen weiterer VDEVs auf "Kriegsfuß" da der gesamte Pool stirbt, wenn ein VDEV komplett ausfällt (Der Pool entspricht dann ja einem Raid10, 50 oder 60 - für Raidz3 gibt es ja kein Pendant mehr, wäre dann vermutlich 70).

 

[Trambahner]

Naja, ein Raidz2/3 Stripe sollte schon recht robust sein, wenn vernünftige und dem Einsatzzweck entsprechende Platten verwendet werden.

Ein Stripe aus Mirror-Pärchen, z.B. für Datenbanken und VMs, haben ja letztlich fast das gleiche Problem: stirbt Dir eins der Mirror-Vdevs weg, wirds duster. Und dort hast ja oft nur einfache Redundanz (sofern man nicht auf 3fach Mirror geht). Einzig, dass die anderen Devices beim Resilvern nicht durchgehend ackern müssen, entlastet die Hardware dieser Poolteile.

Und beim Online-Erweitern kann man ja problemlos mit ZPOOL REPLACE eine HDD/SSD ersetzen, ohne den Pool zu degraden. Sofern man noch nen passenden Port/Slot für das neue Device zuer Verfügung hat.

 

[Digi-Quick]

Recht hast du natürlich, schlieslich wird Raid10 / 50 / 60 auch schon seit gefühlten Ewigkeiten eingesetzt. Totzdem ist mir das irgendwie unsymphatisch - ich gehöre normalerweise nicht zu den paranoiden Aluhutträgern

 

[gea]

Ein ZFS Z2 und erst recht Z3 hat eine mean time to dataloss innerhalb von 10 Jahren von sehr nahe 0%. Ein Stripe von 2 oder mehr derartiger Raid Arrays bleibt immer noch nahe 0%. Bei Raid 5/6 und dann 50/60 sieht das etwas schlechter aus, insbesondere da da immer das komplette Array und nicht nur eine Datei gefährdet ist (bei Lesefehler im degraded state)

RAID Reliability Calculator | Simple MTTDL Model | ServeTheHome

ServeTheHome's RAID reliability calculator based on a simple MTTDL model based on a Poisson distribution and various user inputs about their environment

www.servethehome.com

The RAID Reliability Anthology - Part 1 - The Primer

Explains the RAID Reliability of RAID levels 0, 1, 10, 5, 6, 50, 60, and RAID-Z3 in terms of MTTDL and gives a primer on advantages and disadvantages

www.servethehome.com

 

[VirtuGuy]

Ein Stripe aus Mirror-Pärchen, z.B. für Datenbanken und VMs, haben ja letztlich fast das gleiche Problem: stirbt Dir eins der Mirror-Vdevs weg, wirds duster. Und dort hast ja oft nur einfache Redundanz (sofern man nicht auf 3fach Mirror geht).

Ein Mirror kann aber auch einfacher auf 2 (oder mehr) Gehäuse/Controller verteilt werden.

 

[gea]

Ein Mirror kann aber auch einfacher auf 2 (oder mehr) Gehäuse/Controller verteilt werden.

Dann bleibt der Pool verfügbar wenn ein HBA oder Jbod stirbt. Auch wird der Pool mit mehreren HBAs und Multipath schneller. Fällt ein Mirror/vdev aus ist der Pool dennoch verloren.

 

[Weltherrscher]

Also war es wohl richtig, die alte EFRX zu nehmen.

Ist zwar jetzt ein ziemlicher Themenwechsel, aber letztendlich ist es ja immer noch mein Anfängerfragen-Thread: Ich habe alles eingerichtet, wie angedacht mit ZFS RAIDZ1 und soweit funktioniert auch alles. Den ganzen Spaß habe ich in Windows als Netzlaufwerk verbunden. Ich will aber nicht, dass die Platten den ganzen Tag rödeln. Per systemd-Service wird beim Booten mit hdparm automatischer Standby nach fünf Minuten eingestellt, was auch soweit funktioniert. Nur werden die Platten jedes Mal aufgeweckt, wenn ich bei meinem Windows-PC den Explorer öffne. Kann man das irgendwie abstellen, sodass die Platten nur noch starten, wenn ich wirklich auf das Datengrab zugreife?

Was passiert, wenn du den (ein Fenster) Explorer offen lässt?
Fährt er jedes mal die Platten an, wenn das Fenster in den Vordergrund rückt, oder erst, wenn du aufs Laufwerk zugriefst?
In der Tat fällt mir auf die Schnelle kein Rezept für Windoof ein, mit dem man das abstellen könnte, sorry.

 

[PeterRocco]

ich würde statt dem Netzlaufwerk mal die Verbindung als Netzwerkadresse versuchen, oder wenn es noch seltener benötigt wird einfach nur eine Verknüpfung erstellen.

 

[MaxthonFan]

Was passiert, wenn du den (ein Fenster) Explorer offen lässt?
Fährt er jedes mal die Platten an, wenn das Fenster in den Vordergrund rückt, oder erst, wenn du aufs Laufwerk zugriefst?
In der Tat fällt mir auf die Schnelle kein Rezept für Windoof ein, mit dem man das abstellen könnte, sorry.

War ein blöder Fehler, hab's schon gelöst. Da ich ein bisschen rumprobiert hatte, waren Dateien vom Datengrab unter "häufig verwendete Dateien" im Schnellzugriff eingebunden. Hab das entsprechende Häkchen in den Ordneroptionen rausgenommen und jetzt gehen die Platten erst an, wenn ich das Laufwerk öffne.