Tipps zum Fileserver aufbau

[LuxxRookie]

Moin liebe Luxxer,

ich bau mir gerade nen mini Fileserver zusammen, allerdings bin ich mir unsicher bei Dateisystem und der gleichen.

Folgende Hardware musste herhalten, da nix anderes da war und auch nix neues gekauft werden kann:

2x WD Red 2 TB
mini itx board mit Intel Celeron N3050
4 GB RAM

Aufbauen möchte ich das ganze gerne auf Linux, da ich es neben Fileserver auch als Test-Umgebung für einige Software Projekte nutzen will.

Mein erster Gedanke war ZFS, aber ohne mehr RAM macht das wohl eher weniger Sinn oder? Wäre btrfs eine alternative hier?

Würde natürlich gerne die beiden Platten spiegeln, um ne gewisse Ausfallsicherheit zu haben. Backup wird natürlich gemacht.

LG

 

[sweetchuck]

Was spricht für dich gegen ext4?

 

[MisterY]

Mein Tipp: OMV 3 (Beta, Debian 8) mit mergerfs. Wenn du eine weitere 2TB holst, dann diese als Snapraid-Parität.
und ne SSD für das OS wäre gut.

 

[LuxxRookie]

Was spricht für dich gegen ext4?

Grundlegend nichts, allerdings fände ich Snapshots sehr geil, welche ZFS und btrfs ja bieten.

Mein Tipp: OMV 3 (Beta, Debian 8) mit mergerfs. Wenn du eine weitere 2TB holst, dann diese als Snapraid-Parität.
und ne SSD für das OS wäre gut.

Ist leider nicht drin ^^' OS muss erst mal über USB Stick laufen bis ich iwann Geld hab für ne SSD, aber na ja, Geschwindigkeit ist eher Nebensache.
Ist leider ne ultra budget Lösung die ich hier fahren muss.

 

[Digi-Quick]

ZFS läuft ab 2 GB Ram, mehr RAM = mehr Filecache
Nur bei Deduplikation ist pro TB Festplattenspeicher mind. 1 GB RAM gefordert.
ZFS ohne ECC Speicher ist kritisch

Zum Thema BTRFS:
ich warte da nochmal mind. 4-5 Jahre ab.

 

[MisterY]

Ein Linux auf USB? Der schreibt sich schnell zu Tode.

 

[konfetti]

Naja, je nachdem was gebootet wird, läuft das danach eh im RAM.
Probier doch einfach mal z.B. NAS4free - das kann auch ZFS, sollte locker reichen, und der Stick fürs OS is Prima.

 

[Wanderer101]

Hey ho!

Hab auch n4f im Einsatz, sogar einmal ohne ECC. Bei zfs ist dies nicht weniger oder mehr kritisch als bei den meisten anderen Dateisystemen. Muss jeder für sich entscheiden. Bei einer Testumgebung würde ich mir da gar keinen Kopf machen.

Gesendet von meinem HUAWEI GRA-L09 mit Tapatalk

 

[LuxxRookie]

Hm ok, werde mal NAS4free ausprobieren! danke schon mal so weit

 

[Digi-Quick]

Hey ho!

Hab auch n4f im Einsatz, sogar einmal ohne ECC. Bei zfs ist dies nicht weniger oder mehr kritisch als bei den meisten anderen Dateisystemen. Muss jeder für sich entscheiden. Bei einer Testumgebung würde ich mir da gar keinen Kopf machen.

Gesendet von meinem HUAWEI GRA-L09 mit Tapatalk

Und das sind genau die Tipps auf die sich den berufen wird, wenn was schief geht!
"Aber es wird doch überall, gesagt es geht auch ohne..."
im ggs. zu anderen Dateisystemen kann die Folge eines ECC Fehers bei ZFS weitaus verheerender sein.

 

[LuxxRookie]

Und das sind genau die Tipps auf die sich den berufen wird, wenn was schief geht!
"Aber es wird doch überall, gesagt es geht auch ohne..."
im ggs. zu anderen Dateisystemen kann die Folge eines ECC Fehers bei ZFS weitaus verheerender sein.

Könntest du mir das einmal erläutern? Bin leider gar nicht mehr aktuell mehr in dem Bereich....

 

[Digi-Quick]

Du machst einen Scrub auf dem Dateisystem und wärhenddessen treten ECC Fehler im RAM auf. Die gerade überprüften Daten werden kaputtkorrigiert. Am Ende des Scrubs steht dann lapidar 23 Datenfehler korrigiert. Du denkst, "huch da wird doch wohl nicht bald eine oder mehrer Platten ausfallen, schnell mal das Backup aktualisieren".

Muss ich noch weiter ausführen?

Datenfehler werden auch ohne Scrub sofort repariert, wenn sie erkannt werden! Ein Scrub überprügft gezielt alle Daten.

 

[gea]

Du machst einen Scrub auf dem Dateisystem und wärhenddessen treten ECC Fehler im RAM auf. Die gerade überprüften Daten werden kaputtkorrigiert. Am Ende des Scrubs steht dann lapidar 23 Datenfehler korrigiert. Du denkst, "huch da wird doch wohl nicht bald eine oder mehrer Platten ausfallen, schnell mal das Backup aktualisieren".

Ich sehe das nicht so als besonderes ZFS Problem.

Natürlich ist es so, dass RAM Fehler ohne ECC Datenfehler verursachen können und dass das im extremen Fall zu einem defekten Dateisystem/ Pool führen kann. Da ZFS RAM intensiv nutzt kann da in ganz seltenen Fällen was passieren. Dieser "Scrub to Death" Mythos speziell aus der Richtung FreeNAS Forum ist allerdings nirgends belegt, selbst unter den ZFS Entwicklern wird keine höhere Anfälligkeit gegen RAM Fehler erwartet als bei Dateisystemen ohne Prüfsummen und CopyOnWrite. Ganz im Gegenteil. Bei älteren Dateisystemen ohne ECC sind eher häufiger Probleme zu erwarten als bei neueren mit aktuellen Sicherheitsfeatures wenn man die auch ohne ECC RAM nutzt.

Meist wird dieser Mythos daher bemüht um die alten Dateisysteme positiver erscheinen zu lassen als sie sind. Ich sehe das auch so wie http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/

Wer sich etwas mit der Materie befasst wird ohnehin ECC genauso wollen wie Raid, Daten-Prüfsummen, CopyOnWrite, Snapshots und Backup. Jede dieser Optionen sorgt für mehr Datensicherheit, jede wirkt gegen andere Datenisiken.

 

[Digi-Quick]

Moin Gea,
du bist da sicher fitter wie ich!
Nach den Ausführungen kann man also dieses "Schreckensgespenst" auf die gleiche Stufe stellen wie "ZFS benötigt viel RAM"?
"what some guy on the internet thinks might be able to happen on a scrub."

So wie Jim Salter schreibt scheint es praktisch unmöglich zu sein, daß Daten in einem ZFS Filesystem mit Redundanz (Mirror, Raidzx) durch einen ECC Fehler im Speicher korrumpiert werden können.

Die Frage der Fragen ist halt, können Daten in einem ZFS Dateisystem durch ECC Speicherfehler so korrumpiert werden - also Das eintreten, was die Prüfsummen eigentlich verhindern sollen. Ich glaube das Hauptproblem ist die Tatsache, daß man ECC Fehler nicht nachweisen kann ohne ECC Speicher und man sich daher in spekulativen Bereichen bewegt.

Matthew Ahrens:
"There's nothing special about ZFS that requires/encourages the use of ECC RAM more so than any other filesystem."
Aber im gleichen Post
"I would simply say: if you love your data, use ECC RAM. Additionally, use a filesystem that checksums your data, such as ZFS."

@Wanderer101
Nur zur Info, Auch ich habe ein NAS ohne ECC-RAM mit unwichtigen Daten laufen, wenn wech dann wech!

 

[gea]

Beim Lesen werden die Daten anhand der Prüfsummen validiert. Tritt da ein RAM Fehler auf obwohl die Daten korrekt sind, wird der gelesene Datenblock aus der Redundanz repariert. Es muss da einen zweiten RAM Fehler geben damit Daten durch den Scrub verfälscht werden. Dies betrifft auch nur eine Datei.

Für Strukturfehler müssen Metadaten beschädigt werden. Die sind doppelt vorhanden. Man braucht also noch mehr RAM Fehler damit da was passiert. Wenn aber so viel RAM Fehler auftreten, ist der Rechner vermutlich längst abgestürzt.

Das eigentliche Problem sehe ich eher nach dem Prüfsummen Check. Wenn also Daten gelesen werden, als korrekt geprüft oder repariert wurden und dann zur Weiterverarbeitung im RAM liegen. Jeder Fehler der hier auftritt führt zu Datenkorruption.

Auch zum Schreiben liegen die Daten ja zunächst im RAM. Ein RAM Fehler kann die verändern. Anschliessend wird die Prüfsumme auf den veränderten Daten erzeugt und auf Platte geschrieben. Trotz korrekter Prüfsumme sind die Daten korrupt.

Das sind aber Probleme die auch ohne ZFS und Prüfsummen auftreten. Auch die intensive RAM Nutzung die ebenso wie große Mengen an Speicher die Fehlerhäufigkeit vergrößern sind nicht auf ZFS beschränkt sondern bei jedem neueren Server üblich (bis auf Low Cost NASen z.B. von Synology und anderen die so wenig RAM haben dass der Hersteller meint, das Risiko ist tragbar. Vermutlich haben aber deren Kunden auch einfach kein Problembewusstsein dazu und es ist halt billiger)

 

[Wanderer101]

Moin! Danke für die Erklärung warum auch ohne ECC nicht die Welt unter geht. Was man auch bedenken muss imho ist das zfs eigentlich für Enterprise Umgebungen gedacht ist. Somit Zielen viele Tipps wie das mit dem RAM und ECC auf diesen Einsatz ab. Der kleine home User mit seinen drei Platten im Raid 5 mit nur max 2 gleichzeitigen Zugriffen ist da meistens gar nicht im Fokus.

Gesendet von meinem HUAWEI GRA-L09 mit Tapatalk

 

[gea]

Ich weiss nicht ob falsche Buchhaltungsdaten in der Firma schlimmer sind als verlorene Fotos der eigene Kinder.
Im letzteren Fall hätte ich schlimmere Konsequenzen zu befürchten.

Letztendlich ist es wie beim Auto wo teurere Sicherheitsmerkmale wie ABS oder ESP im Falle eines Falles enorm helfen kännen. Wie wichtig die sind merkt man aber meist erst wenn man nicht mehr die Wahl hat. Gottseidank ist das da meist serienmässig dabei und die Zahl der Verletzten entsprechend kleiner.

Bewusst auf ECC bei Neukauf zu verzichten um ein paar Euro zu sparen ??
Kann man machen, sollte man sich aber überlegen. Selbst ein einfaches Heim-NAS hat heute viel mehr RAM und Platten als ein Sun Enterprise Storage von vor 10 bis 15 Jahren für das ZFS ja entwickelt wurde.

 

[LuxxRookie]

Danke an für die schöne Ausführung gea.
Ich denke mal das ich dann ZFS austesten werden, im schlimmsten Fall muss ich halt ein Backup wieder einspielen. Ist jetzt auch nicht die Welt!
Ich bedanke mich für eure Hilfe!