Suche Rat für Homeserver; Verschlüsselung; Media; Backup

[Jubeltrubel]

Hallo alle miteinander =)

Momentan nutze ich ein Freenas System, welches schon das ein oder andere Jahr auf dem Puckel hat. Ich war mit dieser Lösung sehr zufrieden. Jetzt hat sich die Situation aber geändert. Das hat ein paar Gründe:

-Neue Wohnung
-Eine Festplatte ist abgeschmiert (lässt sich nicht mehr drauf zugreifen)
-Ich verdiene nennenswert Geld

Wie zu lesen, hat sich meine Lebenssituation geändert und ich kann nun die Prioritäten, die ich an so ein NAS stelle ändern.

Ich versuche das hier sehr strukturiert aufzubauen, damit es einfacher zu lesen ist, als nur Text =)

Was benötige ich:
-Ich dachte da an 4 mal 3TB HDDs. (1 davon als Parity, Backup, je nach Möglichkeit [weiter unten])
-Ein System, das wenig Energie benötigt
-Ein System, das Filme/Audio Speichert und Dokumente und PC/Laptop/Handy Backups anlegt (Hier bin ich für Softwarevorschläge offen!)
-Ein System, das verschlüsselt ist. Da alle wichtigen Daten bei mir verschlüsselt werden, soll dies in der Kette natürlich nicht herausfallen.
-Performance sollte gut sein, aber nicht auf biegen und brechen das Maximum erreichen können
-//EDIT: Mir ist noch eingefallen, dass ich nur einen Platz (ein ZFS Pool?) haben will, der einfach mein ganzer Speicher ist. Ich will nur noch ein Netzlaufwerk einbinden müssen und will nicht mehr von vollen Platten hin und her sortieren müssen.
-//EDIT-2: Der Server läuft idr. 5~8h pro Tag, es ist also kein 24/7 Betrieb angedacht

Was mache ich damit:
-Raspberry Pi / Laptop zum streamen nutzen
-Musik auf PC/Laptop hören
-Backups anlegen von Dokumenten
-Backupmöglichkeit von PC/Laptop (wie oben zu lesen bin ich hier für Softwarevorschläge offen. Lohnt sich Acronis, gibt es etwas free, oder System eingebautes?)

Wieviele will ich ausgeben:
-Hier setzte ich keine feste Grenze. Es sollte allerdings die Zweck/Mittel Relation stimmen. Ich denke hier an 4 3TB Platten a 100~€ für und 300~400€ für das System. Ich hoffe ich komme damit unter 800€.

Was habe ich mir bisher ausgedacht:
-Freenas in der neueren Version. Da keine Migration vom alten Möglich ist muss so oder so ein neues System angeschafft werden. Freenas bietet den Vorteil von freier Software, sehr viel Funktionen und Diensten. Zusätzlich ist für mich ZFS (aber da lasse ich mich gerne belehren) eine gute Möglichkeit Verschlüsselung und Datensicherheit/Performance unter einen Hut zu bringen. Wichtig ist hier die Frage was für Hardware ich bräuchte um Verschlüsselung (AES nehme ich an, da dies per Hardware-Verschlüsselung in der CPU gelöst werden kann) und ZFS auf einigermaßen nennenswerte Performance zu bringen. Zudem gefällt mir Freenas bisher sehr gut und ich war sehr zufrieden.

-Ein fertig NAS System mit 4 Platten. Sicherlich einfacher in der Installation. Aber gibt es Systeme die Verschlüsselung, Performance können? Ist dies in einer Preiskategorie zu erreichen die nicht einen performanten PC übersteigt, der für Freenas benötigt wird?


Momentan tendiere ich zu Freenas, weil ich dort freie Hand habe mit Addons und Funktionen zu testen und diverse Sachen zu versuchen.

Mein Ziel ist es 4 Platten zu kaufen und davon "nur" eine als Parity/Redundanz zu nutzen. Ist dies möglich? Ich habe keine Lust auf 50% Speicherplatz Verlust.

Die hardware die ich Momentan verwende ist unten in der Signatur. Mir ist eigentlich klar, dass ich davon nichts verwenden kann, weil a) die CPU Leistung nicht reichen wird für Software Verschlüsselung und b) Ich nur 1GB ram für ZFS hätte und DDR2 Ram in Mengen kaufen unrentabel ist. Vielleicht könnte man die Intel PCI (achtung, kein PCI EXPRESS....) verwenden?!

So, da bin ich mal gespannt ob es eine Möglichkeit gibt, die mich zufriedenstellt. Ich bin bereit Zeit zu investieren um mich in Thematiken einzulesen und rumzubasteln

MFG Jubeltrubel

 

[rossi94]

Je größer die Platten, desto unsicherer der Raid, also lieber mehr kleinere Platten.

 

[underclocker2k4]

Woraus folgerst du diese Aussage Rossi?

 

[Jubeltrubel]

Würde mich auch interessieren. Ich denke das Problem wird sein, dass ich gerne 9TB haben würde und die 4. Platte mit 3TB als Parity bzw. Redundanz/Ausfallsicherheit nehmen würde(ob das so geht weiß ich nicht).
Und die meisten Boards sind dann doch eher limitiert auf 4 Sata Ports(ich will ja kein großes Board haben, ich denke das wird wenn Freenas die Lösung ist, ein ein mini ATX hinauslaufen).

MFG Jubeltrubel

 

[rossi94]

Em Rebuild dauert länger, also ist die Whrscheinlichkeit höher, dass während dem Rebuilt eine Platte stirbt. Deswegen ist ab 4 TB Raid 5 nicht mehr sicher genug und viele Firmen haben sich gegen den Kauf solcher Platten entschieden.

 

[Jubeltrubel]

Ab 4TB pro Platte im Raid 5?
Wenn ja, ich werde 4 mal 3TB Platten kaufen. Vielleicht kamst du dort durcheinander, oder ich habe dich falsch aufgefasst
Nichtsdestotrotz, was gibt es denn an Vorschlägen über das Grundlegende Konzept? Welches System bietet mir bei 4 Platten 3/4 des Speicherplatzes?

MFG Jubeltrubel

 

[rossi94]

Kann trotzdem passieren bei 4TB ist die Wahrscheinlichkeit halt unerträglich hoch.

 

[underclocker2k4]

Das stimmt doch garnicht.

unerträglich.....

Sicherlich ist es so, dass ein RAID mit 3TB HDDs länger braucht als nen RAID mit 2er HDDs. Unerträglich ist das bei weitem nicht.
Bei vielen kleinen HDDs erhöht sich die Ausfallwahrscheinlichkeit. Bei 2TB HDDs vs 4TB HDDs ist hier ein Faktor von 2 (doppelt soviele Platten) anzusetzen.

Um es mit deinen Worten zu sagen, bei 2TB HDDs ist die Wahrscheinlichkeit eines Ausfalls im Regelbetrieb unerträglich hoch.
(aber auch das stimmt nicht)

Der Grund, warum man nicht gerne auf solche großen HDDs (bzw allgemein große RAIDs) setzt ist der Umstand der normalen Lesefehler einer HDD. Diese Lesefehlerrate hat sich bei Consumer HDDs nicht wirklich geändert.
Gepaar mit den großen RAID-Kapazitäten ergibt sich der Umstand, dass mit 100%iger Wahrscheinlichkeit davon ausgegangen werden kann, dass bei einem kompletten Read des Arrays (Wie es bei einem rebuild der Fall ist.) dieser Lesefehler voll trifft. Da keine Parity mehr vorhanden ist, bekommt man diesen Fehler nicht mit (er wird als wahr angenommen, und kann nicht verhindert werden). Man stellt also ein RAID mit einem Bitfehler wieder her.
Ein Standardfilesystem kann nichts dagegen unternehmen und man steht im Zweifelsfall mit runtergelassenen Hosen da.

Diese Problem tritt unabhängig davon auf, ob man nun ein RAID aus 16x 2TB HDDs oder 8x 4TB HDDs nimmt.

Dieses Problem ist wirklich unerträglich. 2TB oder 4TB HDDs und deren Ausfallwahrscheinlichkeit sind relativ unproblematisch. Bei 4 HDDs sehe ich ehrlich gesagt kein Problem. Bei 2TB HDDs müßte man dann auch direkt mal 6 HDDs kaufen, welches ggf. einen anderen Controller bzw auch andere Hardware (Hotswap-Rahmen) erfodert.

Ein RAID ist ein RAID. In Consumerumgebungen kommt noch hinzu, dass es nicht ganz so kritisch ist. außerdem -> Backup regelt

 

[rossi94]

Okay Raid 5 heißt zumindest 3 Platten aber meistens sind die Arrays größer, damit steigt die Wahrscheinlichkeit auf einen Ausfall und vielleicht sogar dutzende Platten im Rebuilt. Tatsache ist, dass in großen Datencentern deswegen Daten verloren gegangen sind.

 

[Jubeltrubel]

Okey, nachdem wir das also geklärt hätten^^
Wie sieht das jetzt nun konkret auf meinen Fall bezogen aus? Kann ich z.B. ein Raid 5 nehmen oder ist dies "nur" für ein vielfaches von 3 Platten da?
Gibt es überhaupt die Möglichkeit eines 1/4 Raids / pool /wie auch immer, das mir Sicherheit gibt?
Kann das Filesystem also ZFS, dort die Ausfallsicherheiten erhöhen, da es auf Sicherheit getrimmt wurde und viele Fehler schon bei Dateizugriff verhindert?

MFG Jubeltrubel

 

[rossi94]

Klar kannst du das, aber es stehen nur 2/3tel der Gesammtkapazität zur Verfügung ich sagte auch nie, dass das so nicht laufen kann, nur dass das Risiko mit kleineren Platten kleiner ist.

 

[liz02mo]

Also ich hatte ähnliche Anforderungen wie du uns habe es aktuell wie folgt eingerichtet:

1 x SSD als Systemplatte
3 x 3 TB WD als Datengrab (Laufwerksbuchstaben A:, B:, S: )

Sowohl die Systemplatte, als auch die drei HDDs sind mit Truecrypt verschlüsselt und die HDDs sind als System Favourite in TC definiert und werden beim Systemstart automatisch eingebunden. Soll heißen: Beim Kaltstart einmal das Passwort für die Systemfestplatte eingeben und das wars, die anderen drei Festplatten werden automatisch eingebunden. Geht der Server in den Standby und wacht wieder auf, ist keine Passworteingabe notwendig, nur das Windows-Anmeldepasswort.

Das RAID5 stelle ich softwareseitig über snapRAID her. snapRAID läuft automatisiert nachts und erstellt eine Paritätsdatei auf Laufwerk S. Die Daten auf den einzelnen Festplatten sind lesbar, also auch, wenn du eine Festplatte ausbaust und in einem fremden PC steckst (natürlich mit TC und dann entschlüsseln).

Als Datenpool verwende ich FlexRAID, welches die Laufwerke A: und B: in ein Laufwerk V: bündelt, welches dann die summierte Größe von A: und B: besitzt. Auf diesem Laufwerk V: liegen dann auch die Netzwerkfreigaben.

Wenn der Server einige Zeit nicht verwendet wird bzw. die überwachten Aktivitäten nicht mehr stattfinden, wird der Server von LightsOut (benutze WHS2011 als OS) in den Standby geschickt.
Aufgeweckt wird er dann automatisch, wenn einer der Client-PCs mit installiertem LightsOut hochgefahren wird oder mittels Wake on Lan (bspw. von XBMC).

Die Windows Clients werden dann mittels der in WHS 2011 integrierten Backup-Lösung gesichert.

 

[craxity]

Du kannst schon ein RAID5 nehmen, aber imho bringt es dir keine Vorteile. RAID5 macht das ganze System teuerer, weil du mehr Rechenleistung brauchst, um die Parität zu berechnen. Und du brauchst eine HDD mehr. Ein weitere Nachteil ist, dass bei jeden Zugriff auf alle Festplatten zugegriffen wird. Das erhöht den Verschleiß zusätzlich. Wenn wirklich mal eine Festplatte ausfällt, ist auch die Wahrscheinlichekeit groß, dass beim Rebuild eine andere Platte ausfällt, da die Belastung durch den Rebuild sehr hoch ist. Abgesehen davon, erhöht eine RAID5 nur die Verfügbarkeit, nicht die Sicherheit. Für ein Backup musst du zusätzlich sorgen, obwohl du schon für das RAID eine zusätzliche HDD gekauft hattest. Wenn du 9TB haben willst, musst du für eine RAID5 vier 3TB-HDDs kaufen und nachmal drei für das Backup. Mach insgesamt sieben Platten. Ohne RAID5 brauchst du nur sechs und hast genauso ein sicheres Backup.

 

[Jubeltrubel]

Also ich beschränke mich nicht auf eine spezielle Raid-Sorte. Mir ist es eigentlich egal was für ein Raid ist, in Verbindung mit einem Filesystem, wenn es meine Lösung ist

Zwecks Backup: Ich werde von elementaren Sachen darauf ein Backup haben. Es wird ja "nur" als Ziel Backup Laufwerk genutzt. Dh WENN PC/Laptop etc crasht habe ich auf dem NAS ein Backup davon liegen. Wenn natürlich dies gleichzeitig hops geht, dann habe ich halt Pech
Dies würde ich dann so machen, wenns nicht anders geht.
Meine Vorstellungen sind einfach: Das ich 4 Platten kaufe, 3 davon als nutzbare Kapazität erhalte und die 4. dann für die Ausfallsicherheit da ist. Dh wenn eine der 3 Platten hops geht, soll das System (notfalls auch manuell) sagen: Fehler! Nehme verfügbare Platte und hat keinen Datenverlust.
Ich bin da noch nicht so fit in den höheren Raid Stufen in Verbindung mit Verschlüsselung, in Verbindung mit Filesystems, was möglich ist.

MFG Jubeltrubel

 

[rossi94]

Wenn dann SSD caching ... nicht fürs os ..

 

[Jubeltrubel]

Also soweit ich das sehe, wird Freenas (auch die neue Version) auf ein USB Stick installiert. Von dem wird gebooted und gut ist. Dann hat man alle (wahrscheinlich 4 Sata Ports) frei für nutz-Platten. Eine andere Lösung wäre ja ein fertig Nas, was aber keine Installationsmedium braucht.
Die Frage ist, ob SSD Caching so viel an Performance bringt, ob ich diese überhaupt brauche.
Idr brauche ich einen Datenstream von 10~20MB/s. Außer wenn ich natürlich Sachen kopiere, dann ist je schneller desto beser, ganz klar. Bisher bekomme ich mit der unten stehenden Kombination(je nach Platte) 40~70MB/s was mir in Sachen Performance durchaus ausreicht.

MFG Jubeltrubel

 

[screama]

Schau dir mal SnapRAID an

 

[rossi94]

Naja besser als die SSD fürs os zu benutzen auf jeden Fall.

 

[-INU-]

Ein Standardfilesystem kann nichts dagegen unternehmen und man steht im Zweifelsfall mit runtergelassenen Hosen da.

Wollte er nicht auf ZFS setzen.

 

[Turboschnecke]

Hol dir nen HP MicroServer und gut ist
Hab zwei davon mit FreeNAS auf nem USB-Stick und je 5 Platten am laufen (5x2TB und 5x3TB) in nem RAIDZ1 (aka RAID5)

 

[A8NSLIDELUXE]

Bis auf das Verschlüsseln sind bei mir alle Anforderungen identisch. Ich habe mich entschieden, mir einen Homeserver mit WSE2012 selbst zu bauen. Das ganze sieht so aus:

Pentium G2020 auf H77-Board, System-SSD, Raid 5 aus 4x 3TB WD Reds am Hardware-Raid-Controller. Zusätzlich für das Backup ein externes Gehäuse für 5 Festplatten über USB3, die ich zu einem "Speicherpool" in WSE2012 zusammenfasse. Dort kommt die Serversicherung drauf. Automatischer Standby über die Software Lights-Out (funktioniert einwandfrei).

Das System läuft bei mir jetzt ca. 6 Wochen. Ich habe noch nicht alles im Detail getestet, aber bisher bin ich sehr zufrieden.

 

[Jubeltrubel]

So wie ich es aus den Antworten hier und aus den Informationen des Internets herauslesen kann, wird es wohl die Lösung FreeNas auf USB und 4 Platten im Raid-Z1 werden.
Diese Lösung bedeutet doch dann konkret für mich, dass ich Verschlüsselung habe (wird sogar laut Doku AES-Ni supported) und dass ich 3 der 4 Platten als Netto-Nutzkapazität habe.

Zwei Fragen nur um sicher zu sein:
1) Laut Wiki zu Raid 5 ist die Nettokapazität n-1. Ist dies wirklich so? Worauf ich hinaus will ist folgendes: bei 4 Platten habe ich noch 1/4 "Verlust". Bei 10 Platten nur 1/10 "Verlust" dies wird dann nur von der Verwendbarkeit limiert, da "Nur" eine Platte ausfallen kann und bei Verwendung mehrer Platten die Wahrscheinlichkeit auch ansteigt dass eine Platte ausfällt?

2) Bei Raid-Z1 (Raid-5) kann mir eine Platte kaputt gehen und ich kann weiter meine restlichen Daten nutzen(also ich werde als User nichts merken)?
3) Ich werde als "Admin" einfach nur eine neue Platte kaufen (am besten gleich groß/specs) und es anstelle der kaputten einwerfen und Raid-Z1 macht dann automatisch den rebuild (ggf. ein paar Kommandos in der WebGui oder Konsole?!)
4) Hat jemand einen Vorschlag für Hardware? Wie sollte ich es dimensionieren? CPU sollte AES-Ni beherrschen. Ram würde ich anfangs auf 8GB setzen (schauen wie ZFS damit klar kommt und ggf 8GB nachrüsten). Als Board reichen mir eigentlich 4 Sata- Ports. Das ganze sollte dann natürlich sparsam sein, also mini atx? Board Vorschläge? AMD/ Intel?

Vielen Dank für die regen Diskussionen

MFG Jubeltrubel

 

[rossi94]

Ja, parity bit halt.

 

[Jubeltrubel]

Ich verbuche das einfach mal als:

Zu Antwort 1) und 2) und 3) Ja....

MFG Jubeltrubel

 

[rossi94]

Das war Frage 1, Frage 2 und 3 hab ich keine direkte Antwort für.

 

[Turboschnecke]

2)+3)
Ja, kannst du. Im WebInterface steht dann aber eine Warnung, dass der Pool degradet ist. Kaputte Platte offline setzen, ausbauen, neue Platte einsetzen und die Offline-Platte mit der neuen ersetzen. Dann startet der Rebuild
Das war jetzt bezogen auf FreeNAS.

 

[Jubeltrubel]

Ah okay das hört sich einfach an. Wie läuft es denn mit der Verschlüsselung? Gibt es dort Probleme in Sachen zfs und raid? Und wie sieht es aus wenn ich freenas starte, muss ich dann einmal im webinterface mein passwort eingebe und erst denn werden die Daten freigegeben?

 

[Loopman]

1) Laut Wiki zu Raid 5 ist die Nettokapazität n-1. Ist dies wirklich so?

Ja

Worauf ich hinaus will ist folgendes: bei 4 Platten habe ich noch 1/4 "Verlust". Bei 10 Platten nur 1/10 "Verlust" dies wird dann nur von der Verwendbarkeit limiert, da "Nur" eine Platte ausfallen kann und bei Verwendung mehrer Platten die Wahrscheinlichkeit auch ansteigt dass eine Platte ausfällt?

Richtig. Aber du möchtest kein Raid5/Z1 mit 10 Platten machen. Die Chance das eine zweite Platte im Rebuild ein Problem bekommt, ist einfach zu hoch. Da nimmt man dann entweder Raid6/Z2 oder teilt das ganze auf 2x Raid5/Z1 auf. In dem Fall n-2.

2) Bei Raid-Z1 (Raid-5) kann mir eine Platte kaputt gehen und ich kann weiter meine restlichen Daten nutzen(also ich werde als User nichts merken)?

Du solltest es bemerken, du musst die Platte dann schnellstmöglich austauschen
Aber der Software ist es erst einmal egal, richtig.

3) Ich werde als "Admin" einfach nur eine neue Platte kaufen (am besten gleich groß/specs) und es anstelle der kaputten einwerfen und Raid-Z1 macht dann automatisch den rebuild (ggf. ein paar Kommandos in der WebGui oder Konsole?!)

Jep.

4) Hat jemand einen Vorschlag für Hardware? Wie sollte ich es dimensionieren? CPU sollte AES-Ni beherrschen. Ram würde ich anfangs auf 8GB setzen (schauen wie ZFS damit klar kommt und ggf 8GB nachrüsten). Als Board reichen mir eigentlich 4 Sata- Ports. Das ganze sollte dann natürlich sparsam sein, also mini atx? Board Vorschläge? AMD/ Intel?

Das Forum ist voll damit...

 

[Jubeltrubel]

Vielen dank für die guten antworten! Das hat mit nochmal Sicherheit gegeben. Die Hardware wird sicher das geringste Problem werden. Weswegen ich explizit fragte war die besonderen Anforderungen. Also Verschlüsselung zfs und sonst sehr wenig

MFG Jubeltrubel

 

[NTB]

1. ja, richtig
2. im Prinzip ja
3. im Prinzip ja
4. Es gibt hier sehr viele ähnliche Threads mit jeder Menge Empfehlungen. Ich selbst würde für sowas einen G1610 als Prozessor nehmen.