Einfacher Homeserver zum familiären Datenlagern

[GreenStorm]

Hallo liebes Luxx,

nachdem ich schon länger Platte um Platte in meinen Desktop gesteckt habe, und den seit einer Weile außer zum Musikhören und Surfen zu nichtmehr viel benutze, und auch festgestellt habe dass mein Vater inzwischen eine Sammlung von 10 externen Festplatten besitzt überlege ich mir, das irgendwie sinnvoller in einem kleinen Fileserver zu regeln.

Verfügbare Hardware wären:

Mainboard: Gigabyte P35-DS3 Rev. 2.0
CPU: Intel Xeon 3210
RAM: 4x2GB A-Data Vitesta 800Mhz
Netzteil: beQuiet Straight Power 450W
APC USV mit 800VA

und insgesamt verfügbare Festplatten wären:

500GB x 4
1000GB x 1
1500GB x 2
2000GB x 4
3000GB x 3

Unterm Strich gibt das zur Zeit 23TB voll mit Zeugs - mit einem Schritt abstand irgendwie irre viel - und etwas Luft nach oben wäre natürlich sinnig. Wobei darunter sicherlich auch viel Müll ist. Netto Nutzkapazität sollte vielleicht um die 27TB liegen - ggf. mit Luft-nach-oben-Option?

Neuanschaffungen in einem gewissen Budget (ich würde mal so ~500€ in den Raum stellen) würden kein Problem darstellen. Natürlich fänd ichs gut, soviel existente Hardware wie möglich zu verwenden... aber es müssen natürlich wohl noch ein paar Platten (3TB wäre wohl sinnig?) angeschafft werden.
Ist es möglich 2TB und 3TB-Platten zusammen zu verwenden?

Betriebssystem ist mir ziemlich egal (FreeNAS, Nas4free etc - da scheints eine Menge zu geben?), ich habe mir sagen lassen, ZFS als FS wäre sinnig. Von den RAIDs habe ich leider keine Ahnung, der Wikipedia-Artikel hat mich nun nicht über die Maßen erleuchtet.. RAID 5 und 6 klingen sinnvoll. Redundanz wäre schon gern gesehen, ich schätze mehr als 1 Platte sollte wohl nicht gleichzeitig sterben, oder was habt ihr da für Erfahrungen im HomeServer-Bereich?
Und welchen RAID-Controller sollte ich da verwenden?

Außer zentralisiertem Datenlagern, und Zugriff, lesend und schreibend von allen Rechnern (Apple und Win) wäre eigentlich an Funktionen nichts großartig notwendig, Encryption wäre schön. Gibt es die Möglichkeit automatische BackUps für die Apple-Rechner a la TimeMachine als Service zu betreiben?

Also zusammengefasst:
- Welche Hardware sollte angeschafft werden, was ist von meiner Signatur sinnvoll verwendbar? (Netzteil, USV etc?)
- Welches OS und FS sollen verwendet werden?
- Welcher RAID, mit welchem Controller?

Ich bin für jegliche Korrekturen, Vorschläge und Tipps offen!


Vielen Dank!

 

[bastis0]

Moin,

Ich denke mal, die erste Frage sollte sein: Nur Datengrab oder auch andere Dienste? Also willste ggf. auch Streaming, Proxy, etc. laufen lassen?
Wie sind die angegebenen Festplatten? Sind das externe oder interne platten?
Soll das System 24/7 laufen oder nur zu bestimmten zeigen?

Also ich schmeiß mal meinen ersten Gedanken hier rein:
Prozessor: Intel Celeron G1820T Sockel 1150 (somit später gut aufrüstbar, falls mehr Leistung benötigt wird)
Ram: 2x 2GB Ram
Gehäuse: Sowas wie Sharkoon T9 Economy (9x 5,25" Bay) oder Sharkoon T28 (2x 5,25" und 8x 3,5" Bay's), Später ggf. nen externes Gehäuse für weitere Platten oder gleich auf nen Big Tower Gehäuse gehen.
Grafik: Onboard
Netzwerk: Entweder Onboard nehmen oder auf eine Intel PCIexpress gehen. je nachdem ob Du 1 oder 2 Netze hast (frei nach dem Motto: 1. Etage und 2. Etage getrenntes Netzwerk, aber 1 Server. Könntest auch 2. Netzwerkkarte für nen Internetaccess verwenden und damit nen Proxy machen.)

Ich denke, wenn es ein reines Datengrab, ohne extra Funktionen, werden soll, dann dürfte sogar nen Atom D2550 oder besser nen AMD E450 reichen. Aber Du hast ja was von ZFS erzählt und das brauch, wenn ich mich richtig erinnere, ein bissl mehr Leistung und dann vermutlich auch mehr RAM, als das, was ich oben schrieb. Das sollte dann einer genauer erzählen, der damit mehr Erfahrung hat.

P.S.: Deine Signatur ist nicht sichtbar !

 

[GreenStorm]

Das mit der Signatur hab ich auch schon gemerkt - oben korrigiert.

Proxy wäre in Punkto Virenscan sinnig, oder? Das Ding würde bei meinen Eltern stehen, auf dem Dorf mit langsamer Netzanbindung..
Ich wüsste nicht, was und ob da diverse Funktionen für den Heimbedarf sinnig wären, erstmal ginge es mir um zentralisierte Datenlagerung mit gewisser Ausfallsicherheit.

Aus Stromspargründen wären bestimmte Zeiten (bzw. Zugriffsgeregelt) wohl auch nicht verkehrt, oder? Ein Gehäuse hätte ich, in meinem Coolermaster Stacker ist irre viel Platz, die Platten sollten da reinpassen...

Etagen und Netzwerktrennung sind in der aktuellen Wohnsituation erstmal kein Thema. Einfach nur Server im Netzwerk...

- - - Updated - - -

Das mit der Signatur hab ich auch schon gemerkt - oben korrigiert.

Proxy wäre in Punkto Virenscan sinnig, oder? Das Ding würde bei meinen Eltern stehen, auf dem Dorf mit langsamer Netzanbindung..
Ich wüsste nicht, was und ob da diverse Funktionen für den Heimbedarf sinnig wären, erstmal ginge es mir um zentralisierte Datenlagerung mit gewisser Ausfallsicherheit.

Aus Stromspargründen wären bestimmte Zeiten (bzw. Zugriffsgeregelt) wohl auch nicht verkehrt, oder? Ein Gehäuse hätte ich, in meinem Coolermaster Stacker ist irre viel Platz, die Platten sollten da reinpassen...

Etagen und Netzwerktrennung sind in der aktuellen Wohnsituation erstmal kein Thema. Einfach nur Server im Netzwerk...

 

[DecaTec]

CPU: Intel Xeon 3210

Also wenn der Server hauptsächlich als Datengrab dienen soll, dann ist das vielleicht schon zu viel des Guten...

Prozessor: Intel Celeron G1820T Sockel 1150 (somit später gut aufrüstbar, falls mehr Leistung benötigt wird)

Für einen Home-Server würde ich niemals einen T-Prozessor nehmen. Hat den einfachen Grund, dass diese im Leerlauf (und ein Home-Server wird sehr häufig im Leerlauf laufen) nicht weniger Strom verbrauchen, als die normalen Prozessoren (ohne T). Wenn man einen T-Prozessor wählt, sollte man genau wissen, warum man diesen braucht. Ansonsten zahlt man für einen langsameren Prozessor mehr Geld.

Empfehlenswert ist für ein Datengrab im Moment sicherlich ein Haswell (z.B. Celeron G1820). Wenn Verschlüsselung eine Rolle spielen soll, dann muss man allerdings schon zu einem i5 greifen, da erst diese Prozessoren AES "in Hardware" unterstützen.

 

[fsironman]

Hier noch Erklärung: Stromspar-Prozessoren | c't

Wenn alles mit ZFS in einen Pool soll dann sollte es bei 30 TB und einem Pool schon RAID-Z3 sein.

Vorteil einer ZFS Lösung wären Checksumming.
Nachteil Hoher Ram Verbrauch und wie bei jedem RAID sobald die Paritätsgrenze überschritten ist sind alle Daten weg.


Als Alternative gäbe es z.B. Snapraid + Greyhole oder FlexRaid.

Das hat den Vorteil das bei einem Zugriff auch nur die Festplatten hochdrehen auf denen die Daten liegen, und die Festplatten einzeln lesbar sind.
Allerdings hat man keinen Geschwindigkeitsgewinn, also und nur die Geschwindigkeit einer Einzelnen Festplatte.


Hast du dir schon ein Backupkonzept überlegt ?
So Sachen wie Filme die man ersetzen kann brauchen eventuell kein Backup für den Rest solltest du dir aber was überlegen.
RAID != Backup

 

[GreenStorm]

Naja, wichtige Sachen sind schon auf den Clients, aus praktischen Gründen - Dokumente etwa. Bei Photos oder aber Musikprojekten meines Vaters habe ich mir noch keine Gedanken gemacht. Gibt es da einfach zu implementierende Möglichkeiten? Muss wie oben schon richtig erwähnt ja nicht alles gebackupped werden..

 

[RcTomcat]

Externe Platte an den Server und alle x tage eine Kopie von Ordner X,Y,Z erstellen lassen, Online Backups in Cloud Lösungen, Offsite backup, Real-Time-Sync etc.
Gibt mehrere Möglichkeiten wie du hier vorgehen kannst.

 

[fsironman]

Als Idee für dich wie ich es gelößt habe:

Habe 6 HDDs
3x3 TB
2x2 TB
1x 1,5 TB

Eine der 3 TB Platten dient zur Bereitstellung von Parität für die anderen Platten mit Snapraid.

Folgenden Freigaben habe ich mit greyhole umgesetzt:

Filme, Serien (~6 TB):
Die Dateien werden nur auf einer Festplatte gespeichert

Backup,Musik (~500 GB):
Alle Dateie die in diese Freigabe wandern werden auf 2 Festplatten reduntant gespeichert

Wichtig(~50 GB):
Alle Dateien die in diese Freigabe wandern werden auf allen Festplatten reduntant gespeichert


Die Daten der Wichtig und Backup,Musik Freigaben werden auf einer Externe Festplatte die im Keller lagert per udev-Regel automatisch beim Anschluss gesichert. (Falls das zuviel aufwand ist kann man auch über nen Raspberry Pi mit Externer HDD nachdenken)

Zusätzlich sichere ich die Daten der Wichtig und Backup,Musik Freigaben noch in der Cloud mit Crashplan (448-bit Blowfish mit eigenem Schlüssel).
Nur durch Backup fallen bei mir (1 PC, der Server selbst,2 Laptops , 2 Tablets 3 Smartphones) hier je nach Tag schon bis zu 2GB an.
Unter 1 Mbits Upload muss man sich da beschränken.


Vom Konzept werden wichtige Daten sehr gut gesichert und weniger wichtige Daten fast gar nicht.


Hier noch ein Überblick über die verschienden Fehlerfallszenarien und wie man damit umgehen kann.

1. Festplattenausfall

Solange nur eine Festplatte ausgefallen ist:
Neue Festplatte einbauen und mit snapraid wiederherstellen
Auch kann mit Greyhole alles außer Filme und Serien wiederhergestellt werden

Fallen mehr als eine Festplatte aus:
Die Filme und Serien der ausgefallenen sind Festplatten weg
Die Wichtig Netzwerkfreigabe überlegt sogar den Ausfall aller außer einer Festplatte
Rest kann man mit Backup Externe / Backup Crashplan wiederherstellen

2. Gelöschte Datei
Solange noch kein Snapraid Sync lief aus diesem wiederherstellen lief dieser schon sind Daten der Kategorie Filme / Serien weg
ansonsten Backup Externe / Backup Crashplan damit kann man alles wiederherstellen

3. Kompletter Verlust
Filme und Serien sind Komplett weg
Rest kann man mit Backup Externe / Backup Crashplan wiederherstellen



Für was auch immer du dich entscheidest Spiele die 3 Szenarien durch (Praktischer Test der Backup Funktion).


Hier noch Links zu der erwähnten Programmen:
http://snapraid.sourceforge.net/faq.html
http://www.greyhole.net/
http://bernaerts.dyndns.org/linux/75-debian/54-debian-udev-backup
https://www.code42.com/store/

 

[RcTomcat]

Hm mit crashplan hab ich etwas schlechte erfahrungen gemacht.
Habe eine vdsl 50 Leitung mit 10mbit Uplink.
Upload erfolgt so mit 1-2mbit...entsprechend lange dauert es dann 500GB oder mehr zu sichern.

 

[GreenStorm]

Danke für die vielen Hinweise - also die Cloud fällt tatsächlich flach, bei einer DSL3000er Anbindung auf dem Dorf... Der Rest klingt garnicht so übel. Ich muss das mal im Detail durchlesen, hab morgen Wochenende. Wie sieht das mit der greyhole-Paritätsplatte aus, wenn die versagt?

Und BackUps sind nicht dermaßen wichtig - da gehts eigtl. nur um eine Handvoll Dokumente, den Rest kann man ja einfach neuinstallieren wenn da mal was die Grätsche macht. Und das im Idealfall automatisiert 1x täglich - Nachts im Idealfall. Kriegt man ja aber mit Automator aufm Mac und mit nem Scheduled-Task unter Win ja problemlos hin.

 

[fsironman]

Greyhole macht keine Parität sonder poolt die Festplatten zusammen und kann die Daten redundant verteilen.

Wenn bei Snapraid die Paritätsplatte ausfällt dann passiert gar nicht.

Man kann bei Snapraid auch mehr wie eine Paritätsplatte verwenden und ist gegen x (= Anzahl der Paritätsplatten) Festplattenausfälle geschützt.

 

[GreenStorm]

Das klingt ja interessant!

Und nochmal zur Hardware:
Welches Mainboard und welcher RAID-Controller wären da interessant? Ist der Raidcontroller bei der Verwendung von Greyhole noch wichtig, oder gehts da nur um die maximale Anzahl an SATA-Ports?

Und zur CPU - der Xeon 3120 wäre halt noch über, weil in meiner alten Workstation - undervolted dürfte der auch weniger Strom fressen. Oder empfehlt ihr wirklich was anderes, weil eine andere 20-30€-CPU sich in einem Jahr wg. der Stromkosten rentiert hat?

Snapraid sieht wirklich gut aus - auch das Fakt dass man bereits befüllte HDDs benutzen kann klingt gut - dann brauchts nicht so viel hin-und-herschaufelei vorher...

Zu den Nachteilen - sind Dir bisher welche aufgefallen @fsironman? Hast Du dich mal über was geärgert?

Und wie sieht das bei Dir mit der Hardware aus, was benutzt Du da ?

Du hast jetzt also deine Datenspeicher- und Ausfallsicherheitslösung mit greyhole realisiert, die Platten, auf denen das alles läuft unter SnapRaid gesichert. Und wie funktioniert das ganze dann im Detail? ->

OS (Debian Automatisches BackUp) installiert, Snapraid installiert und die HDDs damit konfiguriert, dann den greyhole auf den mit SnapRaid eingerichtet HDDs aufgebaut. Richtig?

Ich muss die verschiedenen Ebenen gerade in den Kopf kriegen

 

[fsironman]

Meiner Meinung nach gibt es keinen Grund mehr ein klassisches Hardware Raid einzusetzen. Die pure Aufgabe des controllers ist es nur die S-ATA Ports bereitzustellen.

Alte Hardware ist eigentlich ein Nogo man kann sich für wenig Geld schon nen Server hinstellen der im Leerlauf (platten im standby) unter 15 Watt verbraucht: Bauvorschläge für PCs und Server | c't 2/14

Musst du aber individuell abschätzen für dich.

Ohne Verschlüsselung reicht ein Haswell Celeron + ein stromsparendes 1150 Board. Für mehr S-ATA Plätze dann z.B. sowas: Digitus DS-30104-1, PCIe x4 in Controllerkarten: SATA-Controller | heise online Preisvergleich

Wenn man ein bisschen mehr Stromverbrauch und Preis aber auch Server Features wie ipmi und ECC haben möchte dann sind ASRock > C2550D4I und Supermicro | Products | Motherboards | Xeon® Boards | X10SL7-F die Wahl schlechthin. 12 bzw. 14. SATA Ports sind halt ein Argument.


Als Gehäuse ist das hier ganz nett: SilverStone DS380, Mini-ITX (SST-DS380B) Preisvergleich | Geizhals Deutschland aber auch teuer
Ansosnten ist die Frage schallgedämmt j/n und wie viel Platz braucht man.


Vom Aufbau her: OS z.b. Debian installieren und die Platten einfach Mounten (ext4 wobei auch andere gehen).
Snapraid und Greyhole setzen direkt auf dem Filesystem auf die Platten sind also an jedem anderen Rechner lesbar.
D.h. in Greyhole und snapraid die Mountpoints eintragen konfigurieren und fertig.

Gravierende Probleme hatte ich bisher nicht habe mich aber mal bei Greyhole über nen kleine Bug bei der Option "Sticky Drives" geägert habe dann einfach auf Github (https://github.com/gboudreau/Greyhole) nen Commit gemacht und damit war das Problem auch behoben.


Was man aber klar sagen muss, da das ganze ist da es eher eingeschränkten Nutzen für Unternehmen hat ist es lange nicht so gut dokumentiert und getestet wie z.B. ZFS.