Unraid oder Linux mit ZFS?

[LL0rd]

Hallo Leute,

ich brauche momentan etwas Unterstützung bei einem Gedankenspiel. Ich habe aktuell einen Linux Server mit folgender Storage Hardware:

1x NVME als OS
3x 512 GB SSD als schneller Storage Speicher als RaidZ-1

4x 3TB als Datenspeicher im RaidZ-1 (1 HDD ist nun defekt)
2x 4TB als Datenspeicher im Mirror
Beide Arrays als Stripe

Das ZFS Dateisystem habe ich so konfiguriert, dass im Hauptverzeichnis (/data1) alles unverschlüsselt wird und unter /data1/enc die Daten verschlüsselt liegen. (ZFS Encryption)

Nun eigentlich wollte ich schon immer Unraid ausprobieren, deshalb reizt es mich schon etwas mit dem OS zu spielen. Ich weiß allerdings nicht, ob Unraid wegen der Performance mir genügen wird.

Mein aktueller Plan wäre:

Ich habe noch eine 10TB Platte und 2x 4TB Platten.
Ich werfe die defekte 3TB Platte raus und habe dann:

3x 3TB raidz1 => 6TB
4x 4TB raidz1 => 12TB
Als Strips zu 18TB, die SSDs bleiben und 10TB einfach so.

Die Alternative wäre Unraid. Dann würde ich folgendes machen:

5TB HDD als Parity drive
3x 3TB + 5TB + 4x4TB => 30TB

Eins meiner großen Bedenken ist allerdings, dass die Unraid Performance schlecht wird, irgendwie 120MB beim Lesen und 40MB beim Schreiben. Und ich nicht ganz weiß, was mit dem Cache ist, wie er verschlüsselt wird und genauso mit der Pairity Disk.

Deshalb tendiere ich schon beim ZFS + Linux zu bleiben. Was ist eure Meinung dazu?

 

[v3nom]

Schreiben bei unRAID ist recht lahm, wenn man nur eine Parity hat ohne Cache. Der Cache sammelt eigentlich erstmal alles Daten und schiebt die dann je nach Trigger auf die Platten. Schreiben wäre dann die Geschw. von dem eingesetztem Cache. Lesen ist immer die Geschw. einer einzelnen Platte.
ZFS geht auch unter unRAID, ich teste das gerade, aber das läuft dann alles über das Terminal ohne Gui.

 

[LL0rd]

Schreiben bei unRAID ist recht lahm, wenn man nur eine Parity hat ohne Cache. Der Cache sammelt eigentlich erstmal alles Daten und schiebt die dann je nach Trigger auf die Platten. Schreiben wäre dann die Geschw. von dem eingesetztem Cache. Lesen ist immer die Geschw. einer einzelnen Platte.
ZFS geht auch unter unRAID, ich teste das gerade, aber das läuft dann alles über das Terminal ohne Gui.

Was habe ich denn für Vorteile, wenn ich ZFS auf Unraid nutze? Ich habe da nur mal ein Tutorial gesehen und es sah für mich so aus, also ob ich dann die ganzen FS-Features, die ich eigentlich mit Unraid bekomme, dadurch verschenke und eigentlich nur die Extras nutze.

keine Ahnung, irgendwie tendiere ich momentan tatsächlich bei ZFS auf normalem Linux zu bleiben. Ich hatte auf dem Server ohne irgendwelche Caches eine Schreib- und Leseperformance von rund 500MB/s

 

[v3nom]

Klar unRAID und ZFS sind recht gegensätzlich und nicht direkt auf einander abgestimmt. unRAID will ja eben kein RAID sein und hat den Vorteil beliebige Plattengrößen zu kombinieren, aber halt ohne Geschwindigkeitsvorteil. Für alles andere kann man ruhig dann ZFS nehmen.

 

[Ceiber3]

Musst du halt ne große SSD als Cache einbauen bei UnRaid.

 

[LL0rd]

Musst du halt ne große SSD als Cache einbauen bei UnRaid.

Hm..... Wäre der Cache auch verschlüsselt?
Und.... Ja, ich kann schon eine 1TB SSD reinhauen, nur wie lange hält die? Irgendwie sagen die Hersteller 600TB written. Pro Monat schreibe ich ca. 10-20TB, ergibt 30 Monate, also rund 2,5 Jahre. Okay... Aber da könnte ich im ZFS die drei SSDs als Cache hinzufügen. Dann hätte ich parallel 2-3x 450MB/s

 

[v3nom]

Optane 900p?

 

[LL0rd]

Optane 900p?

Jetzt mal ernsthaft gefragt, bist du der Meinung, dass die Optane 900p Sinn macht? Ich möchte jetzt mal laut denken. Eine 1TB NVME, die von den Schreib-Zyklen ca. 2,5 Jahre (Ich rechne jetzt mal mit 3 Jahren) ausreicht, kostet heute etwas mehr als 100€. Ja, ich kann durchaus sagen, dass ich jetzt 30€ pro Jahr einfach für den Cache bezahle und nach 3 Jahren das Modul austausche.

Eine Optane 900p kostet fast 400€. Die Optane hält wahrscheinlich viel länger von den Schreibzyklen. Aber wie sieht es mit Kapazität aus? Bei den NVME Modulen bin ich fast sicher, dass ich für das gleiche Geld beim nächsten Tausch-Zyklus mehr Performance und Kapazität für das gleiche Geld bekomme.

 

[v3nom]

Es ist sehr schwer es dir recht zu machen
Wenn eine klassische NVME zu schnell verbraucht wäre ist nur Optane eine Option. Dadurch könnte dein Pool länger bis zu einer Degradierung laufen.
Kapazität? Wir reden immernoch von einem Cache oder? Da reicht die kleinste 900p
Habe gestern auch länger mal nach NVME M.2 Optanes geguckt, aber die interessanten sind nicht zu bekommen.

 

[fard dwalling]

Was für ein Netzwerk nutzt du denn, also welche Maximalrate ist denn bei dir überhaupt möglich? Und wie groß sind deine Daten die du auf das NAS schiebst? Eine 1TB brauchst du ja nur, wenn auch die Daten so groß sind oder in kurzer Zeit diese Größe überschreiten.

 

[LL0rd]

Also der Server ist mit 2x 10GbE angeschlossen. Und die maximale Transferrate war bisher auf dem SSD-Pool von rund 900MByte/s. Gespeichert auf dem Server sind Video-Daten. Also Files zwischen 10 und 100GB, selten auch mehr, wenn es irgendwelche längeren Aufnahmen (Vorträge) sind.

 

[Brokk]

Ui das ist für unRAID aber keine günstige Umgebung.... wenn der Cache voll ist oder zu beschäftig landest du bei der TX Rate der Festplatte auf der das share liegt.
Je nach Platte ist da Pustekuchen it 10 GBe

Außerdem ist das ganze nur 1 seitiges Caching. Schreibend wird gecached aber nicht lesend! Also der Transport einer datei vom PC zum NAS landet im Cache und wird dann vom "Moover" auf das Array (auf eine im Array befindliche Platte auf der das noch passt oder aufesplittet auf mehrere im DISKs im Array) befördert.
Also bist du lesend wieder bei der TX Rate einer HDD in deinem Pool, nicht die TX Raten aller HDDs zusammen.

unRAID ist bei mir eher ein Datengrab bzw. Backup Server mit ein paar docker Containern ....

 

[MollocH]

Ich glaube Unraid eignet sich am besten (und ich nutze es selbst seit ca 2 Jahren als NAS), wenn Performance nicht extrem wichtig ist. Ich persönlich mag die Funktionalität die Unraid mitbringt in Sachen Docker, VMs usw. Klar, könnte ich auch alles selbst konfigurieren, aber ab einem gewissen Punkt muss das alles auch einfach laufen. Außerdem fährt jeweils immer nur die Platte hoch, welche gerade gebraucht wird, was halt beim standard Raid nicht der Fall ist.

Wie ein Vorredner schon sagte ist der Cache generell wichtig. Dieser wird durch den Mover in einem eigens eingestellten Rythmus auf die Platten verschoben. Es bietet sich daher also an 2 Cache SSDs im Raid 1 (standard in Unraid bei 2 Cache SSDs) einzubauen.

Generell ist aber die Leserate aber eher schlecht weil eben auf eine einzelne HDD beschränkt.

Also Fazit: wenn es um Performance geht: nimm lieber ZFS auf einem Proxmox und wenn es eher um strom sparen, Komfort was HDD Größe angeht usw (und dir die Kosten für Unraid egal sind), dann greif ruhig zu Unraid

 

[Ceiber3]

ZFS gibt es doch auch für Unraid, oder habe ich mich verlesen ?

 

[Brokk]

Ja gibt es Tuts zu. Ist interessant aber ich glaube damit macht man sich die "Features" in unRAID kaputt.
Also kein Cache, Einzellaufwerke egal welcher Größe und kein Parityarray

Man kann dann auch einfach Freenas nehmen oder etwas unter linux selber basteln ...

 

[Digi-Quick]

Man hat auch u.U. Geld ausgegeben für ein System welches man mit FreeNAS, XigmaNAS, OMV kostenlos haben kann.

 

[gea]

.. mit FreeNAS, XigmaNAS, OMV

ZFS: wer hats erfunden und wo ist die ZFS Integration immer noch am Besten?
Oracle Solaris und die freien Solaris Forks wie OmniOS und OpenIndiana da nicht vergessen und nicht nur an Free-BSD und Linux denken.

Selbst das kommerzielle Oracle Solaris mit Original ZFS ist zuhause "für Test und Entwicklung" kostenlos.

Für einen reinen Videoserver mit dem Wunsch Platten schlafen zu legen ist ZFS aber in der Tat etwas unhandlich. Will man was wie Unraid (=kein Raid) auf ZFS aufsetzen muss man je Platte einen Pool verwalten. Muss man selbst entscheiden ob man den Mehraufwand haben möchte. Klar bleibt die überlegene Datensicherheit von ZFS gegenüber anderen Dateisystemen und mit Echtzeit-Raid auch die überlegene Performance gegenüber Un/Non Raid.

 

[Brokk]

Die Lizenz für unRAID hab ich gerne gezahlt .... Super Community mit aktiven Devs die sich auch mal selbst um Dinge kümmern aka. weniger Linux gefrickel für mich

Linux + ZFS ist mir für meine Heimumgebung viel zu kompliziert. unRAID tut was es soll und noch mehr

BTT: Wer unRAID kauft, kauft sich dieses grade wegen der "Einfachheit". Daran rumfrickeln damit man irgentwie ZFS zum laufen bekommt? Kann man doch besser gleich auf Freenas oder vergleichbares setzten.

 

[Sir Diablo]

Wenn man unRAID ausschließlich mit ZFS nutzen würde, braucht man dann trotzdem ne Lizenz?

 

[v3nom]

Äh gute Frage, ich glaube du könntest das Array nicht mehr starten, was notwendig ist um die SMB Freigabe zu aktivieren?!