ZFS Homeserver Festplatten Beratung

[m4rcs]

Hallo,

ich plane mir einen eigenen NAS zu zulegen. Die Hardware steht soweit fest:

• HP ProLiant MicroServer N40L
• Corsair ValueSelect DIMM Kit 16GB

Die 2GB RAM, die bei dem HP dabei sind, schmeiß ich weg und die 250GB Platte wollte ich als OS Platte nutzen. Meine Anforderungen sind:

• OS: FreeBSD
• Nettospeicherplatz: mindestens 6TB
• Kompensation von einer ausgefallenen (Storage-)Festplatte
• Kosten zwischen 500 € und 600 €

Nach längeren Recherchen stellen sich mir jetzt einige Fragen zu dem Festplatten Setup:

1. OS Platte oder nicht?​

Meine erste Idee war folgende. Der HP hat ja qausi sechs SATA Ports (mit eSata durchschleifen). Von diesen sechs wollte ich zwei nutzen, um zwei 250GB HDDs im Mirror für das Betriebsystem zu betreiben. Die restlichen vier Plätze wollte ich mit vier großen Platten im Raid Z1 für die eigentlichen Daten betreiben. Ist es überhaupt sinnvoll eigene OS Platten zu nutzen?

2. RaidZ1 mit 4 Platten?​

Jetzt habe ich schon mehrmals gelesen, dass man ein RaidZ1 nur mit 2[SUP]n[/SUP]+1 (3,5,7,...) Platten betreiben soll, um möglichst die beste Performance zu erhalten (Hier mal eine Quelle). Ist da überhaupt was dran? Merkt man das?

3. Überhaupt RaidZ1 nutzen?​

Ebenfalls öfters gelesen habe ich, dass ein RaidZ1 bei einem Austausch einer defekten Platte dazu neigt beim Rebuild komplett in die Knie zu gehen. Stimmt das? Sollte man eher auf ein RaidZ2 setzen?

4. Server oder Consumerplatten?​

Soll ich Serverplatten nutzen? Was haben Serverplatten außer der verlängerten Garantie zum Vorteil? Geht man nur von der verlängerten Garantie aus so lohnt sich das nicht wirklich, da die Serverplatten so pi mal Daumen das Doppelte kosten. Also geht meine Consumerplatte außerhalb der Garantie kaputt, kauf ich einfach ne neue Consumerplatte und ich bin beim Preis der Serverplatte.

5. RAM?​

Braucht man ECC Ram? Und reichen nicht auch 8GB Ram?


Also nochmal so zusammenfassend die Möglichkeiten, die mir so durch den Kopf schwirren:

• 2 x 250GB OS Platte, 4 x 2TB im RaidZ1
• 2 x 250GB OS Platte, 3 x 3TB im RaidZ1
• 4 x 2TB im RaidZ1 für Daten und OS
• 3 x 3TB im RaidZ1 für Daten und OS
• 4 x 3TB im RaidZ2 für Daten und OS

Ich hoffe ihr könnt mir ein paar Tipps geben.

 

[craxity]

Mach dir besser Gedanken um ein vernünftiges Backup an zwei getrennten Orten

 

[m4rcs]

Um das "sichere" Backup meiner Daten geht es primär nicht. Also wenn mein Haus abbrennt, dann hab ich ein größeres Problem als, dass meine Daten weg sind. Ich brauche einfach Storage, der für alle Bewohner im Haus verfügbar ist.

 

[Turboschnecke]

Also wenn du auf ZFS setzen willst, würde ich mir den ganzen Kram mit OS Platte im RAID sparen, zumal du das ohne RAID Controller eh nicht hinkriegen würdest. Ausser du bastelst mit FreeBSD rum.
Aber in meinen Augen zu viel Aufwand. FreeBSD klingt nach Nas4Free oder FreeNAS und die würde ich auf nen USB Stick installieren und von dem booten. Und dann über die Backplane und den DVD Sataanschluss mit 5 Platten ein RAIDZ1 erstellen. So habe ich das bei mir auch laufen.

Das mit der OS Platte und dem RAID kannste dir dann sparen, weil du sehr schnell FreeNAS/Nas4Free wieder auf nen neuen Stick installiert hast und dann dein RAIDZ1 wieder importieren kannst. Du kannst auch alles einrichten und dann den USB Stick auf einen zweiten Clonen, den du dann in den Safe packst. Dann musst du nur den Stick austauschen.

 

[bluesunset]

Nimm 6x3tb im raidz2. Die besseren Laufwerke sterben ned so früh und sichern die Datenintegrität besser als die billigen und haben normal noch 512byte Sektoren.

 

[m4rcs]

Also wenn du auf ZFS setzen willst, würde ich mir den ganzen Kram mit OS Platte im RAID sparen, zumal du das ohne RAID Controller eh nicht hinkriegen würdest. Ausser du bastelst mit FreeBSD rum.
Aber in meinen Augen zu viel Aufwand. FreeBSD klingt nach Nas4Free oder FreeNAS und die würde ich auf nen USB Stick installieren und von dem booten. Und dann über die Backplane und den DVD Sataanschluss mit 5 Platten ein RAIDZ1 erstellen. So habe ich das bei mir auch laufen.

Das mit der OS Platte und dem RAID kannste dir dann sparen, weil du sehr schnell FreeNAS/Nas4Free wieder auf nen neuen Stick installiert hast und dann dein RAIDZ1 wieder importieren kannst. Du kannst auch alles einrichten und dann den USB Stick auf einen zweiten Clonen, den du dann in den Safe packst. Dann musst du nur den Stick austauschen.

Ich wollte mfsBSD nutzen. Da kommt ein schöner Installer mit, der ein minimal FreeBSD auf nem ZFS installiert. Dort kann man auch mirror oder RaidZx für das Installationmedium wählen.
Das mit dem USB Stick hab ich auch schon überlegt. Bin aber dann zum Schluss gekommen, dass das ein potenzieller Flaschenhals sein könnte. Also meinst du, dass ein RaidZ1 mit vier Platten nicht sinnvoll ist?

Nimm 6x3tb im raidz2. Die besseren Laufwerke sterben ned so früh und sichern die Datenintegrität besser als die billigen und haben normal noch 512byte Sektoren.

Also heißt das, dass ein RaidZ1 zu anfällig beim Rebuilden ist? Leider überschreitet dein Vorschlag mein Budget.

 

[Turboschnecke]

Naja, was heisst potenzieller Flaschenhals? Zumindest bei meinem FreeNAS habe ich überall nur gelesen, dass es eh in den RAM geladen wird und auf dem Stick passiert dann nicht mehr viel. Mir persönlich wäre es einfach zu wider zwei Platten zu opfern für das OS, mit dem du ansonsten nicht viel machen wirst. Geschweige denn von den SATA Ports.
Und ob vier oder fünf Platten wirst du höchstwahrscheinlich eh nicht viel mitkriegen von der Performance. Da müßtest du im Stammtischthread nochmal nachlesen. Da hatte Gea mal was zu geschrieben

Ich hab mit fünf Platten auch nur ein RAIDZ1 und hab schon zwei mal Platten ausgetauscht. Das geht schon Klar bist du mit nem RAIDZ2 auf der sichereren Seite, aber das muss jeder für sich entscheiden. War auch einfach zufaul, den eSata Port reinzulegen *g*

 

[m4rcs]

Also spricht im Grunde nichts dagegen die 250GB Platte fürs OS zu nehmen und dann 4*2TB im RaidZ1 als Storage zu nehmen? Das wäre dann auch so in meinem Preisrahmen. Was ich noch wissen wollte, ob ich ECC Ram nutzen sollte und ob 16GB RAM nicht zu viel sind.

 

[ludwinator]

Von einem RAIDZx kannst du nicht booten, du brauchst also irgendwas fürs OS.
RAIDZ1 nicht mit 4, sondern mir 3 oder 5 Platten machen!
Bei 4 Platten würde ich 2*Mirror machen, Perfomance ist viel besser. Außerdem ist das auch erweiterbar, du könntest also auch mit nem einzelnen Paar starten.

cu

 

[AG1M]

Also spricht im Grunde nichts dagegen die 250GB Platte fürs OS zu nehmen und dann 4*2TB im RaidZ1 als Storage zu nehmen? Das wäre dann auch so in meinem Preisrahmen. Was ich noch wissen wollte, ob ich ECC Ram nutzen sollte und ob 16GB RAM nicht zu viel sind.

Spricht nichts dagegen die 250er für das OS zu nehmen. Und bei dem HP macht das nur mit ECC RAM Sinn. Gerade bei 16 GB RAM geht nur ECC siehe der Sammelthread vom HP Microserver, denn mit Non-ECC hast du nicht immer die vollen 16 sondern oft nur 8 GB (Glückspiel), bei ECC hat noch keiner von den Problemen gesprochen, zumal gerade unter ZFS ECC eigentlich Pflichtprogramm ist.

 

[m4rcs]

Von einem RAIDZx kannst du nicht booten, du brauchst also irgendwas fürs OS.
RAIDZ1 nicht mit 4, sondern mir 3 oder 5 Platten machen!
Bei 4 Platten würde ich 2*Mirror machen, Perfomance ist viel besser. Außerdem ist das auch erweiterbar, du könntest also auch mit nem einzelnen Paar starten.

cu

Also ich hab mal getestet und dieser MFSbsd zfsinstaller installiert das BSD so, dass man von nem RaidZ1 booten kann. Also wäre es möglich fünf Platten in einem RaidZ1 zu nutzen und davon auch zu booten. Aber wieso genau keine vier Platten im RaidZ1?

Spricht nichts dagegen die 250er für das OS zu nehmen. Und bei dem HP macht das nur mit ECC RAM Sinn. Gerade bei 16 GB RAM geht nur ECC siehe der Sammelthread vom HP Microserver, denn mit Non-ECC hast du nicht immer die vollen 16 sondern oft nur 8 GB (Glückspiel), bei ECC hat noch keiner von den Problemen gesprochen, zumal gerade unter ZFS ECC eigentlich Pflichtprogramm ist.

16GB ECC übersteigen leider mein Budget. Stellt sich jetzt die Frage, ob man auf ein 8GB ECC Kit, 8GB non-ECC Kit oder einen single ECC Riegel geht.

 

[TCM]

Wozu eigtl. immer diese Verwurstungen von Systemen durch Dritte benutzen? Nur weil der Installer was besonderes kann?

Nimm einfach das originale FreeBSD und geh den kleinen Schritt für Root-on-ZFS zu Fuß: ZFS auf root mit FreeBSD 9.1 - BSDForen.de

Du hängst mit dem Support an mfsBSD und die hängen wieder an FreeBSD. In meinen Augen komplett unnötig.

 

[m4rcs]

Wozu eigtl. immer diese Verwurstungen von Systemen durch Dritte benutzen? Nur weil der Installer was besonderes kann?

Nimm einfach das originale FreeBSD und geh den kleinen Schritt für Root-on-ZFS zu Fuß: ZFS auf root mit FreeBSD 9.1 - BSDForen.de

Du hängst mit dem Support an mfsBSD und die hängen wieder an FreeBSD. In meinen Augen komplett unnötig.

das mfsBSD ist nichts anderes als ein minimal installer für FreeBSD. Der "Installer" ist quasi die Anleitung nur in ein Script gegossen. Siehe hier: https://github.com/mmatuska/mfsbsd/blob/master/tools/zfsinstall

 

[TCM]

Oh sorry, das habe ich wohl verwechselt.

 

[m4rcs]

Momentan sieht der Plan so aus. Ich habe noch eine 1,5TB HDD daheim. Ich kaufe mir noch vier 2TB Platten und baue erstmal ein RaidZ1 mit fünf Platten auf. Später tausche ich die 1,5TB Platte gegen ein weitere 2TB Platte aus und erweitere das RaidZ1. Das OS installiere ich auch auf dem RaidZ1. Was haltet ihr davon?

 

[ludwinator]

ich dachte du willst von der 250er booten, dann wirds aber eng im Gehäuse.
Wenn du versch. Platten im gleichen RAID mischen willst, stell sicher, das die entweder alle mit 512er oder 4k Sektoren arbeiten und das das OS das auch mitkriegt.

cu

 

[m4rcs]

Nein, ich plane direkt von dem RaidZ1 zu booten. Ich wollte mir noch nen Wechselrahmen für den 5 1/4" Slot kaufen (RaidSonic Icy Box IB-168SK-B, SATA Wechselrahmen (16800) Preisvergleich | Deutschland - Hardwareluxx - Preisvergleich) für die fünfte Platte.

Was passiert denn, wenn die Platten unterschiedliche Sektorengrößen haben?

 

[ludwinator]

Ich glaube nicht, das es mittlerweile einen stabilen Grub gibt, der ZFS Raid-Zx booten kann. Insofern scheint mit mfsBSD eher ein Live-ISO-Image zu sein, von dem du booten musst. In jedem Fall riecht das nach arger Bastelei, da würde ich dann schon eher FreeNAS nehmen und das vom Stick booten.
Zum Thema 4k-Disks: ZFS and Advanced Format disks - illumos - illumos wiki

cu

 

[m4rcs]

Nochmal, das mfsBSD ist nur ein minimal Image von FreeBSD. Der Kerl hat sich halt noch die Mühe gemacht und noch nen kleinen Installer in Bash geschrieben. Mehr nicht. Siehe hier.

 

[ludwinator]

Die Frage ist, WIE soll das FreeBSD von einem ZFS Pool, der auf einem Raid-Z1 liegt, booten?
Solaris/Illumos/Smartos/etc können das nicht!

 

[m4rcs]

So: https://wiki.freebsd.org/RootOnZFS

 

[hotzen]

Man was ein Terz hier. Boote von der 250er und bau im N40L ein RaidZ1 aus 4x HDD. Ja, das sind dann 3 Datenplatten statt 2^2, das heisst du hast gerade 5MB/sec Durchsatz verloren, gibt echt schlimmeres... Das ist weit entfernt von hacky, unsauber oder nicht-optimal.

Für den N40L als reines NAS, ohne hypervisor-zeuch, reichen übrigens 4gb dicke! Die werden dann für den ARC verwendet und für filme-streamen und ähnliche Dinge helfen dir 16GB ARC kein Fitzelchen mehr. Da solltest du lieber mit den ZFS-optionen wie sync und atime spielen.

Und ja, 2^2 Platten im RaidZ2 sind richtig edel aber dein RaidZ1 "neigt nicht"(!) beim rebuild dazu abzurauchen, es ist halt ein gewisses risiko, das man kennen sollte. Und Backup hast du von den wichtigen Dingen doch... oder? RAID ist ne Lösung für Verfügbarkeit und nicht für Backup, also würde ich mir bei ner 4bay-Lösung wie dem N40L nicht so den Kopf machen und 4 Platten einbauen und dann ist RaidZ2 auch keine Option, sondern nur RaidZ1 oder halt Mirrors wenn du Random-Access statt seq. Datenrate brauchst.

 

[m4rcs]

Danke für die Info, hotzen. Keiner hat bis jetzt genau gesagt, was passiert wenn ich nicht 2^n+1 Platten bei nen RaidZ1 einsetze. Auf die 5MB/s kann ich gut und gerne verzichten.

 

[TCM]

Man was ein Terz hier.

Bist du der gleiche hotzen, der anderswo fragt, warum man nicht einen Pool aus vdevs mit einzelnen Platten machen sollte?

 

[ludwinator]

also nochmal zum Thema Plattenzahl: Der Unterschied ist erheblich und nicht nur marginal, vor allem kommst du da ja nicht mehr so ohne weiteres weg davon. Steht zwar genug davon im ZFS Thread, aber hier nochmal: Oracle Solaris ZFS: A Closer Look at Vdevs and Performance und OpenSolaris ZFS: Mirroring vs. other RAID schemes
Der Grund liegt darin, das ZFS mit 128K Blöcken arbeitet und damit bei 4 Platten 128k/3+1 mal Parity schreiben muss. 128 geht aber bekanntlich nicht ganzzahlig durch drei, damit muss also im schlimmsten Fall ein neuer Block für den Rest angepackt werden und damit möglicherweise mehr geschrieben werden als notwendig. Daher kann ZFS nicht so gut stripen wie es das eigentlich tut und das holt dich natürlich dann auch beim lesen wieder ein.
Also RAIDZ1 mit 3, 5 oder 9 Platten, RAID-Z2 mit 4 (natürlich Quatsch), 6 oder 10.

cu

 

[hotzen]

Bist du der gleiche hotzen, der anderswo fragt, warum man nicht einen Pool aus vdevs mit einzelnen Platten machen sollte?

Meinst du Hardforum? Das war im Kontext ZFS mit SnapRAID kombinieren um dessen Snapshot-Parity zu nutzen... geht's noch?

---------- Post added at 08:38 ---------- Previous post was at 08:32 ----------

Der Grund liegt darin, das ZFS mit 128K Blöcken arbeitet und damit bei 4 Platten 128k/3+1 mal Parity schreiben muss. 128 geht aber bekanntlich nicht ganzzahlig durch drei, damit muss also im schlimmsten Fall ein neuer Block für den Rest angepackt werden und damit möglicherweise mehr geschrieben werden als notwendig. Daher kann ZFS nicht so gut stripen wie es das eigentlich tut und das holt dich natürlich dann auch beim lesen wieder ein.
Also RAIDZ1 mit 3, 5 oder 9 Platten, RAID-Z2 mit 4 (natürlich Quatsch), 6 oder 10.

Alles richtig aber für ein Home-NAS spielt das wirklich keine Rolle, insb. wenn man 4 disk-slots hat.

Ich war mir aus den gleichen Gründen auch unsicher ob ich das machen will aber sequentiell ist das 4-disk RaidZ immer noch, wie zu erwarten, schneller als ein "optimales" 3-disk RaidZ und bei so einer N40L Gurke kommts kaum auf random-access á la Datenbank-Server an oder?

 

[m4rcs]

Genau das ist auch meine Überlegung. Ich nutze das nur als Fileserver daheim. Ich hab da keine Datenbank o.Ä. am Laufen. Im Grunde ist es mir egal, ob ich mit 75 MB/s oder 60 MB/s schreiben/lesen kann. Besonders wenn ich mir dadurch das gebastel mit dem fünften Sata Port ersparen kann.

 

[ludwinator]

Da wärst du aber nicht der Erste, der dann nach ein paar Monaten genau hier im Forum wieder aufschlägt und sich beklagt, dass HD-Filme Ruckeln, dass er das Gigabit nicht voll bekommt und das Random-I/O unterirdisch ist.
Und wenn du den fünften SAT-Port nicht nutzen willst, dann nimm doch die 250er zum booten und 3*2TB oder 3*3TB Platten im Raid-Z1 und alles ist gut.
Aber was red ich eigentlich ...

cu

 

[m4rcs]

Also lieber 3*3 TB als 4*2TB?

 

[ludwinator]

Bei Raid-Z1 eindeutig Ja!
Spart ausserdem noch Strom.