Konfiguration Datensicherheit Homeserver

[DjHighjacker]

Hallo alle zusammen,


ich habe mir einen kleinen Homeserver zusammengebaut, der bei mir die Rolle des Fileservers übernimmt.
Im Server ist ein Mainboard mit 4x SATA und ein 2x SATA Controller verbaut.


Aktuell hängt eine SSD und 4x2TB (WD Green) Platten im System. Eine davon hat jetzt einen kleinen SMART Fehler angezeigt und wird demnächst getauscht. Gekauft habe ich als Ersatz jetzt 2x2TB WD Black (habe ich günstig bekommen).


Im Moment kümmert sich das Programm Stablebit Drivepool darum, dass die Festplatten zu einem Pool zusammengefasst werden und dass meine wichtigsten Daten auf mehrere Festplatten gespiegelt werden.


Eine 100%ige Datensicherheit erreiche dadurch jedoch nicht. Deshalb bestand die Überlegung ein RAID 5 aufzubauen.

Das Problem hierbei ist, dass ich jedoch keinen RAID Controller mit 5 Anschlüssen (3x WD Green + 2x WD Black) zur Verfügung habe und dieser auch zu teuer wäre. Deshalb hatte ich mir überlegt ein Software RAID 5 mit Windows zu machen.

Von der Performance ist das Software RAID nicht so schnell wie ein Hardware RAID, das ist mir bekannt, aber da es nur als Datengrab benutzt wird ist mir das eigentlich egal.

Um das Backup kümmere ich mich Separat, dafür habe ich demnächst einen extra Microserver.

Mir geht es hauptsächlich darum ob sich ein RAID 5 bei dieser Konstellation lohnt (Mainboard + extra SATA Controller), welche Risiken ich hierbei habe und ob es denn grundsätzlich überhaupt funktionieren kann

Schonmal vielen Dank für eure Hilfe!

 

[paulianer]

Ein Software-Raid auf Windows-Basis ist nicht ein bisschen langsam, die Schreibraten sind unterirdisch schlecht.
Hier gibt's einen Thread darueber: klick mich
Ich habe einen Testaufbau neben mir stehen und erreiche ueber Netzwerk ca. 10 MB/s schreibend. Schade, das war meine praeferierte Loesung, aber mit der Geschwindigkeit indiskutabel.


Ich stehe aktuell vor genau der gleichen Frage und schwanke zwischen einer Software-Loesung a la snadRAID, Windows-Storage Spaces (viel zu langsam - leider) oder einem FreeNAS Server. Entscheiden konnte ich mich noch nicht.

 

[fdsonne]

Die Frage ist eher, welche Hardware berechnet die Paritätsdaten?

Im Verlinkten Thread wird irgend so ein LowEnd AMD Teil verwendet.
Ich nutze beispielsweise die Softwareraidfunktion bei mir Zuhause im Backup Filer um alte HDDs möglichst effizient in Sachen nutzbarer Kapazität, aber dennoch mit irgend einer Absicherung, zusammen zu führen. Und habe da im Softwareraid 5 unter 2008 x64 Datenraten von 60-100MB/sec schreibend (logisch)
Dabei sind das HDDs mit größen von 160-500GB, teils IDE, teils SATA wild gemischt. Die 160er sind aus 2004 (Maxtor irgendwas mit IDE) + ein Paar 160er SATA Samsungs, 320GB WDs noch weit vor der Einstufung in Blue, Green, Black, whatever... usw.

Bei mir rechnet aber ein Dual Xeon mit 3GHz (Core2 65nm Technik) die Partität. Er nutzt zwar nur einen Thread, aber das kann er dafür halbwegs brauchbar...

Was dem Softwareraid unter Windows aber so gar nicht schmeckt, vor allem mit vielen verschiedendsten HDDs sind massive Random Zugriffe. Sprich das übertragen von Kleinstfiles, am besten noch gleichzeitig.
Geht es um sequenzielle Datenraten ist das durchaus machbar...

 

[paulianer]

Interessant!

Ich nutze einen C2D (3 Ghz, 2 Cores), 8 GB RAM und 3 160er Notebook-HDDs. Im Raid-0 performt das ganze brauchbar (ueber 150 MB/s), im Raid-5 krueckt es dagegen wie auch im Startpost des Threads beschrieben mit unterirdischen Schreibraten. Die CPU taktet dabei nicht mal auf 3 Ghz hoch.


Ich teste das noch mal gegen mit meinem Hauptrechner und haenge die HDDs da einfach mal rein
Wenn ich 50 MB/s schaffen wuerde waer ich schon zufrieden.




Ich ueberlege momentan, ob ich mir ein NAS baue (FreeNAS) oder das ganze unter ESXi realisiere (FreeNAS-VM. Leider funktioniert das nicht mit RDM).
Doch da ich keinerlei Ahnung im Umgang mit FreeNAS habe birgt das auch wieder Risiken...

 

[fdsonne]

Mhh eventuell besteht ein Unterschied zwischen Win Server und Client OS? Ich hab halt ne Server Edition...

 

[paulianer]

Das werde ich auch noch testen sobald der Download fertig ist.

 

[Janero]

ich glaube das problem liegt eher an den laaaaamen 2,5" drives im raid 0 mag das noch gehen weil die zu schreibenden Daten auf alle verteilt werden. im Raid 5 verdreifachst du für jede Platte die Arbeit und du hast die üblichen scheiss datenraten die man eben mit 160GB 2,5" HDDs so hat

 

[paulianer]

FreeNAS schafft um die 50 - 80 MB/s schreibend auf das Raid-5 mit ebendiesen HDDs. Dass die nicht optimal sind ist mir durchaus klar, aber da die hier noch rumliegen sind die zum testen wohl okay

 

[Janero]

jup das sicher ich schnall nur nicht warum man mit uralt platten noch versucht was auf die Beine zu stellen das macht an vielen stellen kaum Sinn
1. Stromverbraucht von einem halben Dutzend Platten mit der Kapazität einer einzigen aktuellen hdd die wahrscheinlich auch noch schneller wäre
2. wenn man die alten verdickt kann man sich meist davon locker ein paar neue kaufen
3. weit auf geringerer Aufwand die was mit den neueren/schnelleren Drives zu machen
ansonsten sehe ich hier kein + für die alten Laufwerke es sei denn zu Testzwecken oder warum macht man das?

 

[paulianer]

Du hast das richtig erkannt, es ist nur ein Testaufbau.

Ich suche ein System, mit dem ich gegen den Ausfall einer HDD sicher aufgestellt bin und nicht ein System, welches durch umstaendliche Bedienung eher noch mehr Fallstricke produziert.



Damit das hier auch fuer den TE spannend bleibt mal meine Ergebnisse:

• FreeNAS unter ESXi: Arbeitet bei mir nicht korrekt mit per RDM durchgereichte Festplatten
• FreeNAS physikalisch: Laeuft, leicht zu administrieren. Im Schnitt 65 MB/s auf mein Raid-5 aus 3 160er 2,5" HDDs.
• Win8 unter ESXi: Laeuft sauber auch mit RDM-HDDs, extrem langsame Schreibraten.
• Win8 physikalisch: Lauft sauber, hat das Raid-5 korrekt erkannt und uebernommen. Ebenfalls extrem lahm.
• snapRAID unter Windows 8: Fuer mich noch unverstaendlich, ich habe noch keine gute Anleitung gefunden. Umstaendlich, da man den Prozess, welcher die Paritaet berechnet, immer per Hand/Taskplaner anstossen muss.

Als naechstes werde ich mal Server 2012 aufspielen und testen.

 

[LichtiF]

Storage Pools und Windows Software Raid sind aber auch 2 paar Schuhe

Das die Storage Pools mit Parity sehr schlecht im Schreiben sind war schon letztes Jahr bekannt im Raid 1 oder Raid 10 sind die Storage Pools aber auch vergleichbar mit Raid Controller.

 

[LichtiF]

Unter 2012 sind die Storage Pools auch nicht besser mit Win 2012 R2 kommen da paar neue Features dazu aber unter Raid 5 wird es nicht viel besser.

Performance Vergleich zwischen Windows Storage Spaces und Hardware Raid Leveln « Dynamic IT Management Blog

 

[mueder joe]

Paulianer, wäre es keine Option die HDDs am ESXi ganz normal als Storage anzubinden und da mit VMDKs zu arbeiten?

Edit:
Wir schweifen aber vom Thema ab, der TE will Datensicherheit. Jetzt geht die Leier eigentlich wieder von Vorn los, dass man mit nem RAID nur die Verfügbarkeit erhöht und nicht die Sicherheit.
Also ist hier das RAID wirklich das richtige oder braucht der TE eher ein funktionierendes Backup?

Zum Thema RAID5 mit Consumerplatten und mehreren TB Arrays, interessant wird es ab Seite 18.
http://www.heinlein-support.de/upload/slac08/Heinlein-RAID_Mathematik_fuer_Admins.pdf

 

[paulianer]

Paulianer, wäre es keine Option die HDDs am ESXi ganz normal als Storage anzubinden und da mit VMDKs zu arbeiten?
[...]

Nein, da ich nach Moeglichkeit systemunabhaengig bleiben will. Storage-Spaces frisst jeder Windows8-Rechner, FreeNAS mit durchgereichten HDDs kann ich ebensogut in einen anderen PC mit FreeNAS drauf betreiben. Mit VMDKs wird's dann schon wieder schwieriger. Ausserdem sind meine HDDs zu gross

P.S.: Das Raid-5 ist auch mit meinem i7 SandyBridge nicht flotter unterwegs, es schafft statt 10 MB/s 16 MB/s. Immer noch indiskutabel. Win 8.1.




Edit: Ich habe gerade snapRAID getestet und muss sagen: Auch wenn die Gui noch nicht fertig entwickelt ist, das Programm macht was es soll

 

[DjHighjacker]

In meinem Fall wäre es eine AMD Quadcore APU, die das Ganze berechnen soll...wenn die Performance dermaßen einbricht, dass man nicht mal mehr mit 80MB/s schreiben kann dann ist meine Drivepool Lösung dennoch die bessere Alternative :/ Und ich denke nicht dass die APU stärker als ein Core2Duo/ i7 ist ^^

 

[paulianer]

Wenn du gerade von Windows 8 Storage-Spaces sprichst: Vergiss es
Die CPU scheint auch nicht der Flaschenhals zu sein, wie gesagt, selbst der C2D taktet nicht auf die maximale Frequenz hoch.


Ich habe mich nun fuer snapRAID entschieden. Das ist Freeware und bietet sich an, wenn man viele grosse Dateien hat und wenig Bewegung. Erste Testlaeufe mit meinen 3 Notebook-HDDs attestieren dem System, dass es macht was es soll.

Ganz zufrieden bin ich damit noch nicht, aber es ist besser als gar keine Paritaet



P.S.: Wenn du eh von allen Daten ein Backup hast, warum dann noch ein Raid-5?

 

[fdsonne]

Mit VMDKs wird's dann schon wieder schwieriger. Ausserdem sind meine HDDs zu gross

Eigentlich nicht... Denn diese VMDK Files kannst du mit jedem halbwegs deiner Quellversion entsprechenden VMware Virtualisierer lesen. (Player, Workstation, Server, ESXi usw.)
Das mit der Größe ist in der Tat noch (bis einschließtlich ESXi 5.1) ein Problem. Aber hier könnte man sich helfen indem man einfach zwei VMDKs drauf packt und im Gast OS einfach zusammen verbindet (wie auch immer, ist dem ESXi Host ja egal)
Mit dem 5.5 gehen auch VMDKs größer 2TB... Und damit ist die letzte Beschränkung dahingehend aufgehoben.

Wir schweifen aber vom Thema ab, der TE will Datensicherheit. Jetzt geht die Leier eigentlich wieder von Vorn los, dass man mit nem RAID nur die Verfügbarkeit erhöht und nicht die Sicherheit.
Also ist hier das RAID wirklich das richtige oder braucht der TE eher ein funktionierendes Backup?

Die Frage ist, ob der TE die beiden Begrifflichkeiten soweit auseinander gehalten hat
Es klingt in der Tat nämlich nach der hohen Verfügbarkeit des Raids -> bei gleichzeitig hoher Sicherheit des Backups.

 

[paulianer]

Hmm, d.h. ich koennte als Beispiel bei 3x 4 TB mit 6x 2 TB VMDKs arbeiten, diese an eine FreeNAS VM geben und dort ein Raid bilden. Wenn etwas passiert, die HDDs in den PC und die FreeNAS VM unter VMWare Player booten? Gibt das kein Durcheinander bei den Zugriffen auf die VMDKs? FreeNAS weiss nicht, dass immer 2 davon auf einer physikalischen HDD liegen.

 

[fdsonne]

so in der Art würde das Funktionieren...
Die mit ESXi formatierten HDDs bekommst du mit so ziemlich jedem Linux prinzipiell erstmal gelesen, wenn mich nicht alles täuscht. Alternativ halt fix irgendwo nen ESXi drauf installieren (USB Stick zum Beispiel) und von dort aus die VMDK Files von den physischen Platten runterziehen.

Wie man die 6x2TB VMDKs dann am Ende zusammen packt, ist ja ne andere Geschichte und hängt davon ab, was man für ne Lösung einsetzt.
Aber man müsste definitiv ne Kombi zwischen JBOD + Raid5 nutzen können. In Software könnte das durchaus gehen.
Alternativ zwei Raid5 Arrays anlegen und diese über jeweils immer einen Teil legen und am Ende abermals zusammen führen. -> das sollte denke ich auch gehen.

Das viel größere Problem ist eher, das du so zwar die Daten absicherst, aber dir immernoch der ESXi mit samt der Storage VM und allem drum und dran um die Ohren fliegen kann. Setzt diese Storage VM dann noch auf RAM Caching und Co. kann da schnell mal massiver Datenmüll entstehen. -> Das Problem hättest du aber ebenso bei RDM durchgereichten HDDs.



Für mich klingt das aber immer alles sehr kryptisch. Denn idR sind die Anforderungen im Gespräch immer derart enorm hoch, das es im Grunde ohne anständiges Budget gar nicht umsetzbar ist. Speziell weil eben immer irgendwelche "Sachen" in der Betrachtung rausgelassen werden, oder weil für irgendwas sich Krücken gebaut werden um abermals andere Problemstellen zu umschiffen usw.

 

[mueder joe]

Laufen würde es, die Performance wäre aber in der Tat schrottig, denn das mit den 2 Files auf 1 HDD wäre in der Tat ein Problem.
Kumpel von mir hat neulich nen 4 Port SAS Controller von Adaptec für 50 Euro in Ebay vertickt. Ich denke sowas wäre eher die Lösung.

 

[pumuckel]

Im Moment kümmert sich das Programm Stablebit Drivepool darum, dass die Festplatten zu einem Pool zusammengefasst werden und dass meine wichtigsten Daten auf mehrere Festplatten gespiegelt werden.


Eine 100%ige Datensicherheit erreiche dadurch jedoch nicht. Deshalb bestand die Überlegung ein RAID 5 aufzubauen.

Drivepool mit Duplizierung ist WESENTLICH besser als Raid 5 (was Datensicherheit bei Ausfall (nicht Datensicherung, die muss extern erfolgen) angeht) !

Es ist einfach, super erweiterbar und bei Ausfall einer Platte (wenn genug Platz ist - autoredundant), es ist sicher gegen den Ausfall von Controllern und dem ganzen System, stromsparend, kostenschonend

Der einzige Nachteil besteht im Platzverbrauch

Ich nutz Raid (und dann Raid 6) nur auf einem System wo der Platzverbrauch essenziell ist)

 

[Vonali]

Ein Software-Raid auf Windows-Basis ist nicht ein bisschen langsam, die Schreibraten sind unterirdisch schlecht.
Hier gibt's einen Thread darueber: klick mich
Ich habe einen Testaufbau neben mir stehen und erreiche ueber Netzwerk ca. 10 MB/s schreibend. Schade, das war meine praeferierte Loesung, aber mit der Geschwindigkeit indiskutabel.


Ich stehe aktuell vor genau der gleichen Frage und schwanke zwischen einer Software-Loesung a la snadRAID, Windows-Storage Spaces (viel zu langsam - leider) oder einem FreeNAS Server. Entscheiden konnte ich mich noch nicht.

Mal überlegt auf Linuxsoftware Raid umzusteigen? Meiner ist 100 mal schneller. ..

 

[pumuckel]

Mal überlegt auf Linuxsoftware Raid umzusteigen? Meiner ist 100 mal schneller. ..

ich hab mit dem Drivepool auch 66-106 MB/s (Alte Platten) liegt also nicht an Windows

 

[fdsonne]

Drivepool mit Duplizierung ist WESENTLICH besser als Raid 5 (was Datensicherheit bei Ausfall (nicht Datensicherung, die muss extern erfolgen) angeht) !

Es ist einfach, super erweiterbar und bei Ausfall einer Platte (wenn genug Platz ist - autoredundant), es ist sicher gegen den Ausfall von Controllern und dem ganzen System, stromsparend, kostenschonend

Der einzige Nachteil besteht im Platzverbrauch

Ja was heist wesentlich? So wesentlich ist es nun auch nicht...
Der Unterschied besteht eher darin, dass die Daten wirklich 1:1 gespiegelt werden. Und somit eine Kopie der Daten nicht wie beim Raid 5 auf allen HDDs verteilt liegt, sondern nur auf einer einzigen HDD. Stirbt dir mehr wie eine HDD, sind ebenso die Daten weg. Zumindest die, wo Quelle und Kopie auf den beiden defekten HDDs lagen.
Im Gegensatz zum Raid steigt das Risiko potentiell mit dem Füllstand des Pools... -> Denn um so voller, desto mehr Daten verliert man auch bei Aufall zweier HDDs.

Leider gibt es bei solchen "Kopieverfahren" oftmals eben auch Performanceprobleme. Weil einfach doppelt Arbeit für die HDDs vorhanden ist, wärend sich die Schreibarbeit aber nicht auf alle HDDs verteilen wird... Hat alles seine Vor- und Nachteile.

Laufen würde es, die Performance wäre aber in der Tat schrottig, denn das mit den 2 Files auf 1 HDD wäre in der Tat ein Problem.
Kumpel von mir hat neulich nen 4 Port SAS Controller von Adaptec für 50 Euro in Ebay vertickt. Ich denke sowas wäre eher die Lösung.

Neja, Raid 0 sollte man nicht unbedingt auf die Platte legen... Daher der Hinweis das irgendwie zusammen zu packen. Beispielsweise durch zwei getrennte Softwareraid 5 (oder ähnliches) Gruppen, die dann am Ende simpel zusammen gehangen werden. Da entsteht dann auch kein Performanceverlust.
In größeren Storagesystemen ist sowas zum Beispiel gang und gebe (also nicht das Teilen von 4TB in 2x2TB), sondern das limitieren der Raidgroup auf überschaubare Anzahl der HDDs und im zweiten Stepp dann simple zusammenfügen der Raidgroups.

 

[paulianer]

Also ich habe jetzt meine Testreihe mit snapRAID abgeschlossen und muss sagen: Wenn man die wichtigsten Befehle kennt funktioniert das ganze richtig gut. Ist allerdings ein ganz anderer Ansatz als ein Raid.

Vielleicht waere das auch was fuer den TE?