[Kaufberatung] Welches NAS Betriebssystem passt am besten

[shockwave10k]

Ein neuer Homeserver entsteht und löst meinen bisherigen ab. Einerseits möchte ich kein Linux Mint mehr, andererseits möchte ich die HDDs und die in die Jahre gekommende Hardware ersetzen bevor es zu Ausfällen kommt.

Im neuen Homeserver werkelt ein Xeon e-1220v5 mit 16GB ECC Speicher

Dazu kommen dann 3x 14TB HDD´s im RAID5
und eine 2 TB NVMe SSD als Cache
Für das System steht eine 64 GB SSD zur Verfügung (sofern benötigt).
Später folgt noch eine 10Gb Ethernetkarte wenn das restliche Netzwerk nachzieht
Das ganze steckt in einem Bequiet Pure Base 600 und hat eine USV davor.

Anwendungsfall ist:
heimisches NAS für 2 (bald 3) Personen,
Datengrab,
Mediaserver,
Teamspeak Server
Cloud Server, damit ich Mobil an bestimmte Daten kommt
Idealerweise kann ich ein automtisiertes Backup an einen Filehoster oder meine iCloud schicken.

Die genutzen Dateien sind einige hundert MB bis 1-2 Gigabyte groß, dafür recht viele (STLs und Projektdateien für 3D Druck), sowie Filme in 4k Qualität. Daher auch die rund 28 TB Speicherplatz die benötigt werden.
Es werden nicht alle 28 TB gebackupt. Ein totalverlust von 90% der Daten ist zwar eine kleine Katastrophe, lohnt aber noch keine Backup Lösung. Das automatische Backup betrifft also nur einen Teil der Daten.

Beim Dateisystem bin ich offen. Snapshots waren bisher nicht notwendig und ich glaube das wird auch so bleiben
Aktuell bin ich unsicher welches Betriebssystem ich verwenden soll. Unraid wird oft empfohlen, aber kommt das mit einem Raid 5 (oder ähnlich) klar?

 

[bimini]

Hallo,

grundsätzlich bin ich mittlerweile ein Fan von TrueNas Scale. Das ist die neue, Linux basierte Variante von TrueNas.
Deine Anforderungen seh ich damit auf den ersten Blick erfüllt. Dateisystem wäre in dem Fall ZFS und es gibt direkt in der Weboberfläche die Möglichkeit Ordner/Dateien/Datasets zu versenden. (Siehe https://www.truenas.com/docs/scale/scaleuireference/dataprotection/cloudsynctasksscreensscale/ und https://www.truenas.com/docs/scale/scaleuireference/dataprotection/rsynctasksscreensscale/)

RAID 5 kann man mittlerweile leider nicht mehr empfehlen. Die kurzversion der Erklärung ist, dass Festplatten mit einer gewissen Wahrscheinlichkeit Lesefehler haben (unrecoverable read error) und das die Wahrscheinlichkeit für diese Lesefehler nicht im selben Maß gesunken ist wie die Kapazität gestiegen ist. Aktuell werden Festplatten typischerweise mit "1 per 10E15" angegeben. Eine ausführliche Erklärung gibt es hier https://www.zdnet.com/article/why-raid-5-stops-working-in-2009/ bzw. das Update dazu https://www.zdnet.com/article/has-raid5-stopped-working/.

Rechner deinen Speicherbedarf nochmal durch. Falls dir 20 TB reichen bzw. aktuell reichen könntest du ein Mirror aus zwei 20TB Platten nehmen. Dadurch wäre der Stromverbrauch auch etwas geringer und wenn der Speicherplatz dann ausgeht sind die Preise vielleicht schon wieder gesunken. Wenn das nicht ausreicht dann würde ich dir zu einem RAID10 (Mirror + Stripe) empfehlen. Das hat auch noch den Nebeneffekt das sowohl Lese, als auch Schreibzugriffe beschleunigt werden. Dann brauchst du allerdings eine vierte Platte.

Falls es eine ZFS basierte Lösung wird wäre es sinnvoller zwei SSDs in einem Mirror zu verwenden da dann auch Schreibvorgänge gecached werden.

 

[Potz]

Falls es eine ZFS basierte Lösung wird wäre es sinnvoller zwei SSDs in einem Mirror zu verwenden da dann auch Schreibvorgänge gecached werden.

Falls du dich hier auf ein SLOG beziehst, bin ich anderer Meinung. Für den Heimbedarf reicht eine einzelne SSD als SLOG vollkommen aus. Allerdings ist eine 2TB SSD dafür vollkommen ungeeignet. Nebenbei ist sie auch für einen L2ARC vollkommen ungeeignet. Passend wäre sie als Metadata Special Device. Hier bräuchte man allerdings unbedingt eine zweite für einen Mirror! Die Notwendigkeit des Mirror hat hier aber nichts damit zu tun, dass nur dann Schreibvorgänge gecached würden.

 

[shockwave10k]

Warum ist eine 2TB SSD völlig ungeeignet? Ist dasfür EINE SSD ungeeignet und es sollten zwei sein oder sind 2TB SDDs dafür ungeeignet?

Ein RAID 1 mit späterem RAID 10 habe ich noch nicht bedacht. Theoretisch reichen auch erstmal 14 TB (im Raid 1) locker aus als Kapazität, aktuell sind es 7 TB im Raid 5 aus 3x4TB.

 

[Potz]

Warum ist eine 2TB SSD völlig ungeeignet? Ist dasfür EINE SSD ungeeignet und es sollten zwei sein oder sind 2TB SDDs dafür ungeeignet?

Lies dich ein bisschen ein, die Thematik ist komplex. Was du alles wissen solltest, kann ich nicht mal eben hier hin schreiben, aber ich mache einen Anfang. Ein SLOG brauchst du vmtl. gar nicht und wenn doch, ist Geschwindigkeit bei synchronen Schreibzugriffen und Schreibfestigkeit wichtig. Die Kapazität dürfte auch nur 16GB sein. Die kleinen 16GB Optanes haben hier sogar eine gewisse Berechtigung im Low-End. Bei einem L2ARC muss das Verhältnis zum RAM passen, sonst ist der Speicher nicht für den Zweck adressierbar. Der Faktor sollte, glaube ich, maximal 5 betragen und alles was dein System an RAM für sonstige Zwecke wie VMs braucht, musst du vorher abziehen. Das Metadata Special Device könnte genau dein Ding sein und die Größe von 2TB kann man hier vielleicht auch halbwegs nutzen, nur benötigst du hier halt zwei SSDs, weil der Ausfall den Verlust des gesamten Pools, also auch von allem was auf den HDDs ist bedeuten würde.

 

[shockwave10k]

So, hab mich mal kurz schlau gemacht. SLOG klingt eher nach einer Verbesserung wenn ich mehrere Festplatten im stripping habe.
Als L2ARC wird eine normale SSD nicht taugen, da würde eher mehr RAM helfen.
Metadata Special Device klingt sehr spannend und nützlich, gut da sind 2TB Overkill, aber die SSD kann ja noch in meinen Hauptrechner und ich tausche die durch eine 500GB aus und stelle der noch eine zweite zu Seite. Das macht den Kohl wirklich nicht mehr Fett.

Die Tendenz geht hier anscheinend zu TrueNAS mit ZFS. Was würde für oder gegen Unraid sprechen? Unraid soll den besseren Support haben (ohne damit jetzt einem auf die Füße treten zu wollen!)

 

[Potz]

So, hab mich mal kurz schlau gemacht. SLOG klingt eher nach einer Verbesserung wenn ich mehrere Festplatten im stripping habe.

Hmm... Hier haben wir eine Bestätigung für meine Theorie, dass man sich da nicht "mal kurz schlau machen" kann. Es dauert, bis man in der Lage ist halbwegs zu entscheiden, wofür man was braucht. Und nein, SLOG hat nix mit striping zu tun. Das Schlüsselwort in meinem letzten Post war "synchron", wobei es wirklich schwierig ist zu entscheiden, ob man ein Dataset wirklich auf sync=always zwingen muss und wie viel Performance man braucht (gilt auch für sync=standard).

Habe Unraid nie ausprobiert und weiß nicht mehr, warum ich es ausgeschlossen habe.

 

[Ceiber3]

UnRaid nutzt XFS und ist damit kein richtiges Raid, du hast immer nur den lese Speed von einer Festplatte, bei einer 14 TB je nach Hersteller sollten es 100 bis 280 MB's sein.
Im schreiben hast du dann aber nur ein bruchteil, da die Parity extrem bremst. Das ganze kann man mit einer Cache SSD entgegen wirken. Wenn dann geschrieben wird, wird immer erst auf den Cache geschrieben und nach einer bestimmten Zeit automatisch auf den Festplatten Pool verschoben. Die Zeit usw kann man einstellen. Ansonsten gibt es auch ein ZFS Plugin, das wird aber nicht nativ unterstützt und würde ich deswegen schon nicht verwenden. Ansonsten ist UnRaid halt auch Perfekt für Virtuelle Maschinen und Container, beides ist sehr performant in UnRaid.
UnRaid hat durch XFS auch den Vorteil das du Festplatten unterschiedlicher größen mischen kannst ohne Platzverlust, nur die Parity muss min so groß sein wie die größte Platte im Pool.
Auch ein Vorteil von XFS ist, sollte das Raid doch crashen, kommst du noch an alle Daten bis auf die, wo die Festplatte kaputt ist. XFS kann man mit bestimmten Tools auch unter Windows auslesen und so Daten im extremen Notfall sichern. Nachteil von XFS ist, das es keine Bitrot Erkennung hat. Dafür gibt es wohl aber ein Plugin zum nachrüsten.
Was es aber nicht kann, ist die Defekten Daten automatisch zu reparieren wie beim BTRFS oder ZFS Dateisystem.

 

[pumuckel]

Ein neuer Homeserver entsteht und löst meinen bisherigen ab. Einerseits möchte ich kein Linux Mint mehr, andererseits möchte ich die HDDs und die in die Jahre gekommende Hardware ersetzen bevor es zu Ausfällen kommt.

Im neuen Homeserver werkelt ein Xeon e-1220v5 mit 16GB ECC Speicher

Dazu kommen dann 3x 14TB HDD´s im RAID5
und eine 2 TB NVMe SSD als Cache

Tiered (cached) Storage können nicht viele Systeme

 

[Potz]

Tiered (cached) Storage können nicht viele Systeme

Verdammt! Du bist ja noch 3 Tage länger hier angemeldet als ich! Trotzdem ist mir nicht klar, welche Schlüsse im Sinne des Threads bzw. des Threadtitels aus deiner Aussage zu ziehen sind.

 

[shockwave10k]

Was es aber nicht kann, ist die Defekten Daten automatisch zu reparieren wie beim BTRFS oder ZFS Dateisystem.

Und sowas ist sicherlich eines der Kerndinge die ich einfach nicht beantwortet bekomme: Wie notwendig ist sowas für einen Privathaushalt? Menschen mit Informationstechnischem Hintergrund sind irgendwie entweder ultra konservativ (ich warte lieber noch 2 Kernel ab, dann wird es stabil laufen!) oder eine Spur zu progressiv (Endlich, auf diese Funktion habe ich schon seit Jahren gewartet, ich will sie aber nicht benutzen, ich will sie nur haben!).
Ich denke ein nicht-RAID 1 fähiges System wird mich spätestens dann bremsen und damit nerven, wenn 10GB Ethernet kommt und meine Leseraten vom Netzwerk mehr können. Bis dahin kann ich aber drauf verzichten.
Virtuelle Maschinen nutze ich nicht, Container, bzw bestimmte Fremdprogramme nur unwesentlich: JDownloader sollte drauf laufen und PiHole, der Rest ist Optional. Beides gibt es wohl für beide Systeme.
Welches ist intuitiver zu Bedienen?

 

[Ceiber3]

Teste doch einfach beide, Unraid ist glaube 30 Tage umsonst und Truenas kostet eh nichts.
Zu deiner Frage: UnRaid ist meiner Meinung nach einfacher zu bedienen.

Und sowas ist sicherlich eines der Kerndinge die ich einfach nicht beantwortet bekomme: Wie notwendig ist sowas für einen Privathaushalt?

Das kannst nur du wissen wie wichtig dir das ist. Es gibt viele, die nutzen UnRaid schon Jahre und sind sehr zufrieden. Ich selber habe auch die größte UnRaid Lizens, hatte ich mir mal gekauft und ne weile genutzt. Bin aber wieder auf original Synology zurück und das Teil läuft einfach.

 

[Trambahner]

Wie notwendig ist sowas für einen Privathaushalt?

Unerlässlich, meiner Meinung nach wenn Du Deine Daten digital archivieren und vorhalten willst.
Eher nicht, wenn Du nur Sicherungskopie-Images von optischen Medien speichern willst.

Ich hab vor ZFS schon Daten durch korrupte Dateien auf diversen Soft- und Hardwareraids (Controller, nicht Chipsatz-Fakeraid) verloren. Seit 2013, wo ich auf ZFS umgestiegen bin: kein einziges Bit mehr.

 

[gea]

Ist immer eine Abwägung zwischen
- Ich will vor allem ein bestimmtes Feature z.B. (K)ein Raid, besonders einfaches Docker oder GUI Handling oder ZFS wegen der überragenden Datensicherheit
- Ich will ein bestimmtes Betriebssystem z.B. Linux weil ich das kenne oder wegen einer speziellen Hardware oder Anwendung oder ein minimalistisches Storage OS wie den Solaris Fork OmniOS wegen dessen Stabilität oder besonders einfachen Updates und Wiederherstellung oder basierend auf einer Virtualisierungsplattform wie ESXi oder ProxMox damit man Virtualisierung und Storage (beide sollten immer online bleiben) sowie sonstige Dienste an denen man häufiger was ändert möglichst weit trennen kann.

 

[hominidae]

UnRaid nutzt XFS und ist damit kein richtiges Raid, du hast immer nur den lese Speed von einer Festplatte, bei einer 14 TB je nach Hersteller sollten es 100 bis 280 MB's sein.
Im schreiben hast du dann aber nur ein bruchteil, da die Parity extrem bremst. Das ganze kann man mit einer Cache SSD entgegen wirken. Wenn dann geschrieben wird, wird immer erst auf den Cache geschrieben und nach einer bestimmten Zeit automatisch auf den Festplatten Pool verschoben. Die Zeit usw kann man einstellen. Ansonsten gibt es auch ein ZFS Plugin, das wird aber nicht nativ unterstützt und würde ich deswegen schon nicht verwenden. Ansonsten ist UnRaid halt auch Perfekt für Virtuelle Maschinen und Container, beides ist sehr performant in UnRaid.

+1 für unRaid...wirklich einfach zu bedienen und mit Docker + VM Support sehr flexibel.
....und in der nächsten Version von unRaid wird wohl ZFS "nativ" drin sein, also ohne das externe Plugin. Einige Plugin-Entwickler haben ne beta Version wohl schon, da intern ein Upgrade auf ne neuere php-Version erforderlich ist. Die Vögelchen zwitschern, das bald ("soon" (TM), wie es bei unraid immer heisst ) ne public beta kommen soll....

 

[daralla]

Und sowas ist sicherlich eines der Kerndinge die ich einfach nicht beantwortet bekomme: Wie notwendig ist sowas für einen Privathaushalt?

Meiner Meinung nach: gar nicht. Gerade bei der Speicherung von statischen, unveränderlichen Daten ist ein (oder besser zwei, oder drei) Backup sinnvoller.

Ich weiß, seit ein paar Jahren ist das ein großes Thema "gekippte Bytes" usw., aber praktisch hab ich das weder privat noch im beruflichen Umfeld je gesehen. Hardware-Defekte, sowohl bei HDD und SSD, klar, das ist normal und erwartbar. Eben dagegen hilft Backup(s).

Vlt. ist das anders bei wirklich riesigen Dateien und Datenbanken, "Big Data" etc., aber im "normalen" Betrieb erlebe ich nur Datenverluste durch entweder defekte Hardware, oder das größte aller Probleme: den Anwender.

 

[Ceiber3]

Wenn du nur ECC Ram verbaust reicht das Privat eigentlich schon. Damit konnte ich schon früher keine gekippten Bytes in Datein feststellen. Und wie geschrieben nutzen sehr viele schon Jahre lang UnRaid, bis jetzt hat mir keiner von Problemen berichtet und ich habe da schon einige in der Community gefragt.

Sonst ohne ECC Ram hatte ich jedenfalls früher oft gekippe Bytes. Das habe ich dann immer schön in den Photos oder Videos gesehen.

 

[shockwave10k]

+1 für unRaid...wirklich einfach zu bedienen und mit Docker + VM Support sehr flexibel.
....und in der nächsten Version von unRaid wird wohl ZFS "nativ" drin sein, also ohne das externe Plugin. Einige Plugin-Entwickler haben ne beta Version wohl schon, da intern ein Upgrade auf ne neuere php-Version erforderlich ist. Die Vögelchen zwitschern, das bald ("soon" (TM), wie es bei unraid immer heisst ) ne public beta kommen soll....

Hört sich zwar sehr interessant an, aber abgesehen von einem unbestimmten "Soon", sind Betas jetzt nicht das, was ich meinen Daten anvertrauen möchte. Ich werde wohl TrueNAS Scale den Vorzug geben
Festplatten kommen die Tage an und dann geht der Umzug auch schon fast los. Die Frage die mich jetzt beschäftigt ist: Wie ziehe ich mit fast 7 TB Daten am einfachsten um? Gibt es dafür gute Migrationsprogramme die idealerweise Zeitgesteuert sind, sodass nur zu bestimmten Zeiten kopiert wird?

 

[i-B4se]

Hört sich zwar sehr interessant an, aber abgesehen von einem unbestimmten "Soon", sind Betas jetzt nicht das, was ich meinen Daten anvertrauen möchte.

Die Betas von Unraid werden lange getestet bevor diese veröffentlicht werden.
Mann kann auch ohne Probleme zur alten Version zurück.
Da muss man sich keine sorgen machen.

 

[Rarity]

Wie ziehe ich mit fast 7 TB Daten am einfachsten um?

Abhängig von Filesystem und ob Datei- oder Blockbasierend, unabhängig von Kopie lokal oder über Netzwerk:
zfs send, rsync, dd (dd_rescue im Falle von beschädigten Datenträger)

Die obrigen Befehle sind im Prinzip alles Einzeiler in der shell. Du kannst die Aufgabe in adäquate Teilaufgaben portionieren (z.B. nur ein Verzeichnis/Dateisystem/Datenträger auf einmal) oder die Einzeiler in der shell mittels Strg-Z anhalten und später mit &fg wieder fortsetzen.

 

[rowein]

Noch zur Ergänzung bzgl. Performance bei Unraid.
Den SSD-Cache kann man dank Btrfs auch als "normale" Dateiablage nutzen, sofern es ein Pool aus mehreren SSDs ist. Somit kannst du einzelne Shares, welche hohe Performance bieten auf dem SSD-Pool exklusiv belassen und hast keine niedrigeren Leseraten des Xfs-Pools.

 

[tim_s007]

Naja, bei der Aussage "heimisches NAS für 2 (bald 3) Personen" hast eh kaum Zeit für die Wartung/Bastelei vom Nas. Kauf ein Fertigprodukt von Synology oder QNAP, das ist alles an einem Tag konfiguriert und dann hast du Ruhe. Dieses ganze Rumgefrickel ist doch für nen Homeserver vollkommen oversized

 

[shockwave10k]

Bald 3 Personen heißt, dass mein ältester Sohn bald alt genug für seinen ersten PC ist....nicht das einer in der Mache ist.
Einen Homeserver gibt es bereits und der zieht nur um auf aktuellere Hardware, größere Platten und neues Betriebssystem. Das ist kaum mehr gefrickel als ein Fertigsystem, der Wartungsaufwand bei meinem alaufenden Server ist deutlich größer.

Ich habe auf 2x 14TB Toshiba Enterprice Capacity im Raid 1 umgeschwenkt. Die werden aktuell von TrueNAS Scale verwaltet. Die NAS Funktion steht, aber ich tue mich mit den Docker Container noch schwer.

 

[tim_s007]

Na das ist was anderes, dann hau rein

 

[hominidae]

Ich habe auf 2x 14TB Toshiba Enterprice Capacity im Raid 1 umgeschwenkt. Die werden aktuell von TrueNAS Scale verwaltet. Die NAS Funktion steht, aber ich tue mich mit den Docker Container noch schwer.

Dazu die Info, dass in unraid ein Array aus zwei Platten (1x data, 1x parity) auch wie ein Mirror/Raid1 läuft und damit die Performance-Penalty bei einem Array aus 1+n Datenplatten nicht zum tragen kommt.
Eine (bzw zwei im raid1) SSD als Cache für Docker+VMs sorgt dann dafür, dass die Datenplatten aber schlafen gehen können...spart Strom....die Erweiterbarkeit ist trotzdem gegeben.
Da unraid vom Stick bootet und im RAM läuft spart man die Disk fürs OS (kann man ja dann als Cache nehmen).
Wenn Du also ein Full-Backup hast, stünde einer Migration auf unraid nicht viel im Wege.

 

[shockwave10k]

Wie sieht das aus wenn Unraid ZFS mit der nächsten Beta bekommt: Angenommen ich spiele jetzt alle Daten auf die 14 TB Platte und lasse die andere als Parität laufen, dann kommt zfs und ich möchte in ein Raidz1 wechseln. Wie kann ich mit den Daten umgehen? Kann ich einfach das Dateisystem ändern und der schreibt in einem langwierigen und intensiven Prozess alle Daten um, oder muss ich (Vereinfacht gesagt) eine weitere Platte kaufen, ZFS als Dateisystem festlegen und alle Daten erneut migrieren?

 

[gea]

Wie sieht das aus wenn Unraid ZFS mit der nächsten Beta bekommt: Angenommen ich spiele jetzt alle Daten auf die 14 TB Platte und lasse die andere als Parität laufen, dann kommt zfs und ich möchte in ein Raidz1 wechseln. Wie kann ich mit den Daten umgehen? Kann ich einfach das Dateisystem ändern und der schreibt in einem langwierigen und intensiven Prozess alle Daten um, oder muss ich (Vereinfacht gesagt) eine weitere Platte kaufen, ZFS als Dateisystem festlegen und alle Daten erneut migrieren?

Man kann das Dateisystem nicht ändern. Man müßte also (bei einen ZFS Mirror 2x14T)
- Einen ZFS Pool auf der bisherigen Parity Platte 2 anlegen
- Daten von der bisherigen Daten-Platte 1 auf den ZFS Pool kopieren
- Platte 1 zu der Platte 2 als Mirror hinzufügen

Bei Raid-Z1 und 28T braucht man 3 Platten, muss also 2 hinzukaufen.
Die bisherige Datenplatte wird erst nach dem Umkopieren frei, z.B. als Backup