Storage-Server für den armen Studenten

H

H3PO

Enthusiast
Thread Starter
Mitglied seit
10.02.2008
Beiträge
383
Ich habe bisher in meiner Workstation ein 640GB Raid1 für wichtige Daten und mittlerweile 2x1,5TB + 2TB als Datenhalde, wobei sich im IT Studium ne ganze Menge ansammelt (ccc Mitschnitte, Rainbowtables, Musik, Video etc).
Demnächst wird die nächste Platte fällig und mir sind die Sata Ports ausgegangen (Mein Board hat 4+2xESata, dafür hab ich einfach Adapterkabel genommen).
Anstatt für 50€ nen schlechten Controller zu kaufen, habe ich jetzt für 60€ ein kleines AM2 System zusammengekauft:
  • Gigabyte MA74GM-S2H Rev2 (hat 6 Ports intern)
  • Athlon64 X2 3800+ EE SFF (die 35w version), dazu einen Mugen 1
  • 2 GB Ram
  • Gehäuse und nen 550W BeQuiet DarkPower hatte ich noch da.

Als os denke ich an Debian vom usb Stick (habe ich bisher auch so auf nem alten Sockel A System)
Jetzt ist die Frage, to Raid or not to Raid? Bisher habe ich es nicht gemacht, und zur Zeit sind auch alle Daten wiederbeschaffbar, aber das muss ja nicht immer so bleiben. Und die Grundstimmung hier im Forum geht ja oft sogar soweit, dass Raid5 nicht sicher genug sei...
Genau so unwichtig ist momentan Verschlüsselung.

Mein Problem: wenn man einmal sowas einrichtet und nicht für die Zukunft plant, hat man volle Platten und keine Chance mal eben das Dateisystem, das Raid oder die Verschlüsselung noch einzurichten. Es wird für mich jetzt schon schwer genug mal eben 2TB daten bei Freunden unterzubringen.
Im Moment tendiere ich dazu noch 2x2TB zu kaufen und dmcrypt+mdadm Raid5 zu machen, dazu die vorhandene 2TB platte leeren. Die 2x1,5TB als Raid0 zusammenfassen und davon 2TB als Hot Spare und 1TB als tmp.
Edit: da fällt mir grade zum ersten Mal auf, dass ich dann ja auf dem Raid weniger platz hätte (4TB) als jetzt gerade (5TB)... Also müsste das Raid0 wohl noch mit ins Raid5 bis ich mir mehr Platten leisten kann -.-

Wie würdet ihr da ran gehen?
Angenommen, ich verschlüssele mit dmcrypt oder truecrypt. Erst die einzelnen devices verschlüsseln und dann als Raid5 zusammenfassen oder erst Raid und dann das gesamte Device verschlüsseln? Letzteres stelle ich mir schwierig vor wenn das Raid mal erweitert werden soll.

Für Kommentare/Vorschläge bin ich dankbar.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
ein RAID ersetzt aber immernoch kein Backup - ich hätte mir wohl irgendwo nen passenden RAID oder SATA-X-Port Controller geholt und das intern weiterverbaut - so hast Du mit nem Server, wieder nen zusätzlichen Stromfresser, wenn das nix ausmacht - ok ;)

Wieso muss man ein RAID eigentlich irgendwann erweitern, ab X-Platten wird auch das nicht besser - wie wäre es, da einfach dann doch noch ein zusätzliches RAID aufzubauen - mit den neuen Platten? - also lieber 2x RAID5 aus 4x 2TB als ein RAID 5 aus 8x 2TB Platten... ;)
 
naja mit "armer Student" will ich andeuten, dass ich mir eine richtige Storage+Backup lösung nicht leisten kann.
Den Storage in einen extra Rechner auszukoppeln macht Stromspartechnisch sogar total sinn, weil meine Workstation oft nur noch läuft damit andere Leute ihre Serien von mir streamen können...
und zum 2. Punkt, wenn ich mich nicht total verrechne hätte ich im ersten Fall 12TB und im 2. Fall 14TB für das gleiche Geld... Für mich einziges Argument.
Ich brauche keine Geschwindigkeit, keine erhöhte Ausfallsicherheit etc, ich brauche nur Platz für wenig Geld.
 
Ich würde dir bei so einer Konstellation ein Snapshot RAID, wie bspw. snapraid oder flexraid empfehlen. Damit kannst du die Platten bunt mischen (Nur die Festplatte, auf der die Paritätsdaten liegen muss mindestens so groß, wie die größte Platte der restlichen sein), später ohne irgendwelche Probleme weitere hinzufügen etc. und es kann trotzdem eine Platte ausfallen.
 
Davon habe ich tatsächlich noch nie was gehört, werde mich mal schlaulesen. Hier im Forum (RAID FAQ) scheints keine Infos zu geben?
Edit: Ist ZFS RAID-Z gemeint? Das hab ich immerhin schonmal gehört, aber noch nie benutzt.
 
Zuletzt bearbeitet:
danke, wär nicht nötig gewesen ;)
snapraid it is.
noch anmerkungen zur verschlüsselung? sieht wohl nicht gut aus mit dem alten prozessor -.- (hier benchmarks mit dmcrypt)
 
H3PO schrieb:
noch anmerkungen zur verschlüsselung? sieht wohl nicht gut aus mit dem alten prozessor -.-
Zum Vergrößern anklicken....

War dir die Geschwindigkeit nicht egal?

H3PO schrieb:
Ich brauche keine Geschwindigkeit
Zum Vergrößern anklicken....

Schätze aber mal, dass deine Kiste so vielleicht 50MB/s in der Theorie und 40-55 MB/s in der Praxis schafft, evtl auch weniger (die anderen Dienste wie z.B Samba erzeugen ja auch noch ein wenig Last)

Aber wenn du von der Kiste nicht grade Massig HD Material streamen willst, sollte das noch ausreichen
 
Naja, ich meinte damit ich brauche keinen Verbund der schneller ist als eine einzelne Platte. Lesen sollte auf jeden Fall nicht langsamer sein als andere Platten schreiben können ;)
Es kommt aber wohl eh auf den Versuch an, habe mir das Forum Topic zu obigem Link durchgelesen und wurde nicht so recht schlau, ob die Messungen nun vor oder nach der Einführung des Multicore-Patches war.
 
Hallo,

du meinst vermutlich den Crypto Daemon. Die Option musst du ggf. in einem selbst zu bauenden Kernel händisch aktivieren, bringt auf Mehrkernen und mehreren Festplatten eine Menge.

Ansonsten solltest du dir einfach openssl speed ansehen und entscheiden, wieviel Sicherheit du wirklich brauchst. Von Truecrypt würde ich die Finger genauso wie von PCI Crypto-Beschleunigern lassen.

Ich hab ein Setup mit XFS über dm-crypt über mdadm und das hinzufügen einer Festplatte ist kinderleicht. Hot-Swap vorrausgesetzt (solltest du vorher testen) geht das im laufenden Betrieb ohne unmounten mit einem aktuellen Kernel so:

1. Platte einstecken
2. mdadm --add /dev/mdX /dev/sdNeu
3. mdadm --grow /dev/mdX --raid-devices=Vorher+1
4. cryptsetup resize /dev/mdX
5. xfs_growfs /mnt/meinMountpunkt

Ist echt sehr einfach und darum empfehlenswert. Was RAID angeht, würde ich es mit mdadm machen. Es ist die Standardlösung für Software-RAID unter Linux und läuft sehr sehr zuverlässig. Entwicklungslösungen mit halbgarer Software [1] sind nichtmal was für den semi-produktiven Betrieb zuhause. Was den Umfang angeht und meine Argumente dahinter schau dir mal folgende drei Artikel an:

Linux Software-RAID für unternehmenskritische Anwendungen » Falks Blog
Linux Software-RAID Konvertierung » Falks Blog
Debian Spezialkernel für Fileserver: raidcrypto » Falks Blog


1:
Code: 
 0.1 2011/3
 121 ==========
 122 * First public test release of SnapRAID.
Oo

Grüße
 
Zuletzt bearbeitet:
Vielen Dank, mir war nicht bekannt, dass es so einfach gehen kann mit dem resizen von verschlüsselten Containern. Dass mdadm und dm-crypt die Standardlösung ist, habe ich wohl gehört... Aber für mich sieht es so aus als könnte ich damit trotzdem noch keine heterogenen Raids aufbauen. Da es mir primär um die kosten pro Speicherplatz geht, werde ich keine Lösung nehmen die mich zwingt jahrelang die gleiche Plattengröße dazuzukaufen bzw alle paar Jahre alles neu zu kaufen.
 
Naja, mir ist eine "halbgare" Software lieber als ein wegen RAM-Fehler zerschossenes mdadm-RAID.

Bei Snapraid ist der weitere Vorteil, dass alle Platten einzeln angesprochen werden können - folgendes Szenario als Beispiel (Benutze selber snapraid mit 2 Platten für Parität, also ähnlich RAID6):

1 Fesplatte ausgefallen, während des Rebuilds 2 weiter ausgefallen.

Bei normalem RAID6 über mdadm wäre jetzt alles weg, auch das was auf den gesunden Platten liegt

Bei Snapraid/Flexraid ist hingegen nur das weg was auf den kaputtgegangenen Platten lag.

Außerdem ist eine zfs scrub ähnliche Funktionalität eingebaut, mit der man feststellen kann, ob alle Daten okay sind
 
system ist seit gestern komplett & debian gerade eben fertig eingerichtet. werde mal benchmarks mit dmcrypt ausprobieren heute abend
edit: neue platten sind noch nicht gekauft.
 
Zuletzt bearbeitet:
platten sind da und die ersten tests gemacht.
erstes fazit: 2gb ram sind zu wenig für zfs. habe dann erstmal die neuen platten mit ext4 formatiert.
ich klone grade eine platte mit dd und 4K blöcken (=sektorgröße der platten), das alleine erzeugt 40% last auf dem prozessor.
 
dcdead schrieb:
Naja, mir ist eine "halbgare" Software lieber als ein wegen RAM-Fehler zerschossenes mdadm-RAID.

Bei Snapraid ist der weitere Vorteil, dass alle Platten einzeln angesprochen werden können - folgendes Szenario als Beispiel (Benutze selber snapraid mit 2 Platten für Parität, also ähnlich RAID6):

1 Fesplatte ausgefallen, während des Rebuilds 2 weiter ausgefallen.

Bei normalem RAID6 über mdadm wäre jetzt alles weg, auch das was auf den gesunden Platten liegt

Bei Snapraid/Flexraid ist hingegen nur das weg was auf den kaputtgegangenen Platten lag.

Außerdem ist eine zfs scrub ähnliche Funktionalität eingebaut, mit der man feststellen kann, ob alle Daten okay sind
Zum Vergrößern anklicken....

hmmmm...

wg Raid:
Jede Platte geht garantiert mal kaputt.
Das heist doch dass im Zweifel mehrere TB weg sein dürfen...

RAID ersetzt zwar kein Backup steigert jedoch die Datenverfügbarkeit
enorm. Ich selber habe in den letzten zwei Jahren bei ca 50 TB Daten auf ca 70 Platten
und ZFS Pools kein Backup (habe ich aber )benötigt. Das obwohl vor allem bei meinen
SSD Pools die Ausfallrate in der Zeit bei 5%/ Jahr lag.

Redundanz ist also das Letzte worauf ich verzichten würde
Die Wahrscheinlichkeit eines Datenverlustes bei einem guten Raid-6
oder dem dazu nochmals verbesserten (kein write-hole) ZFS2
durch Plattenausfälle ist schon sehr gering.


wg scrub Ähnlichkeit:
ZFS scrub ist schon was ganz besonderes und hat nichts mit normalen Plattentests zu tun.
Es sind vor allem drei Features die es einzigartig machen und die lediglich bei btrfs im Enstehen sind

- online check (Pool bleibt zum check gemounted und in Betrieb)
- findet und repariert dank Daten-Quersumme "silent Errors" die durch Radioaktivität,
Alterung oder RAM-Fehler entstehen

Schreib/ Lesefehler im normalen Betrieb entstehen dank Copy on Write und Quersummen bei ZFS
im normalen Betrieb erst gar nicht bzw werden beim Zugriff automatisch durch den gleichen Mechanismus repariert (Daher hat ZFS auch kein übliches Filecheck-tool)

ZFS ist schon noch einzigartig
 
Zuletzt bearbeitet:
Hallo,

josen schrieb:
1:
Code: 
 0.1 2011/3
 121 ==========
 122 * First public test release of SnapRAID.
Oo
Zum Vergrößern anklicken....

mittlerweile sind zwei Jahre vergangen und ich habe meine Meinung zu SnapRAID geändert. Ich setze es jetzt selbst ein und würde mich über Meinungen von anderen Benutzern freuen :)

Wie man es unter Debian zum laufen bringt und was es ist? Hier gehts lang

Grüße
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh