Festplatten Verbund

[ertisch]

Hallo,

Ich hoffe mir kann jemand helfen, denn mir fällt keine Lösung für das folgende Problem ein.

Ich würde mir gerne einen eigenen Server zusammenstellen. Beginnen möchte ich mit 2 Festplatten a 3 TB. Die erste Platte für das System und die zweite für Nutzerdaten. Ich habe nun 2 Benutzer, die den Server nutzen sollen und ein persönliches Homeverzeichniss auf der zweiten Platte bekommen. Nun zu dem Problem: Wenn die 3TB der Platte mal erschöpßft sein sollten, wie kann ich den Speicher für die beiden Nutzer am besten durch eine weitere Festplatte erweitern ohne das die Nutzer ein weiteres Homeverzeichnis auf der neuen Platte bekommen müssen.

Grundsätzlich zielt die Frage in die Richtung, wie ich den Speicherplatz in dem Server durch hinzufügen von weiteren Festplatten erweitern kann. Als mögliche Lösungen sind mir die folgenden bekannt, die mir aber nicht so sehr gefallen:
-Dynamischer Datenträger + übergreifendes Volume: Problem hier, fällt eine Platte aus ist die Partion hinüber
-Raid 5: Würde ich gerne drauf verzichten, weil wenn der Controller ausfällt ich auch nur noch Datenmüll habe.

Wie wird denn sowas in Firmen realisiert, wo viele User ihr Homeverzeichniss haben?

Danke für euere Hilfe
ertisch

 

[DecaTec]

Also du willst dynamisch erweiterbare Datenträger.
RAID hat damit erst einmal nichts zu tun: hier soll die Verfügbarkeit gesteigert werden, das ist der einzige Grund für RAID. Dass ein RAID-Verbund u.U. dynamisch erweitert werden kann (z.B. JBOD) ist nur ein Nebeneffekt.

Was mir zu deiner Frage sonst noch einfällt:
- Storage Spaces (Windows 8)
- Wenn 2 Benutzer den Server nutzen, dann werden diese wohl in erster Linie per Netzwerkfreigaben darauf zugreifen. Der Server verwaltet die Zuordnung zwischen Freigabename und Volume, auf dem die Freigabe enthalten ist. Soll heißen, dass es für die User transparent ist, wo die Daten eigentlich gespeichert werden. Aber fall eine HDD voll ist, kannst du die Freigabe einfach auf eine weitere HDD umziehen und die schon vorhandenen Daten des Nutzers dorthin verschieben. Wäre zwar etwas administrativer Aufwand, sollte bei 3 TB nicht all zu oft vorkommen. Einziger Nachteil wäre, dass der betoffenen User zur Zeit des Daten-Umzugs keinen vollen Zugriff hat. Aber wenn das erledigt ist, dann wird er von dem Umzug nicht viel mitbekommen, d.h. er muss nicht einmal etwas am Client verändern, da die Freigabe ja den identischen Namen behält.

-Raid 5: Würde ich gerne drauf verzichten, weil wenn der Controller ausfällt ich auch nur noch Datenmüll habe.

Nicht zwingendermaßen.

 

[ertisch]

Vielen dank für deine Antwort.

Aber fall eine HDD voll ist, kannst du die Freigabe einfach auf eine weitere HDD umziehen und die schon vorhandenen Daten des Nutzers dorthin verschieben.

Mal hypothetisch der Nutzer hätte die kompletten 3TB erreicht. Dann ist es ja nicht so einfach immer größere Festplatten nachzuschieben. Daher suche ich nach einer Möglichkeit einfach weitere Festplatten einzubinden, um somit den Platz zu erhöhen ohne die Daten rumkopieren zu müssen oder zwingend immer größere Festplatten als die vorherige zu kaufen (man möchte ja die alten Festplatten auch noch ein wenig weiter verwenden)

Storage Spaces

Das sieht sehr interessant aus und tut quasi genau das was ich möchte. Die einzigen Bedenken, die ich dabei habe sind die erhöhte Komplexität und was im Falle eines defekten Storage Space passiert.


Rein interessenhalber, weiß denn jemand wie mein Problem im Großen behandelt wird? Beispielsweise die Onlinespeicher (z.B. Dropbox oder Skydrive) bieten jedem Nutzer ein gewisses Kontingent an Speicher. Angenommen der Nutzer kauft sich nun weiteren Space hinzu dann werden ja kaum seine Daten auf eine größere Festplatte verschoben, sollte die bisherige voll sein oder?

 

[NTB]

An welches Betriebssystem hast du denn gedacht?
Du kannst ja ein Software RAID5 machen. Ein RAID an sich ist natürlich nicht für Erweiterung gedacht, macht sie aber tatsächlich recht einfach

Gesendet mit der Hardwareluxx App

 

[Stefan 0815]

Die Storage Space Lösung von Windows 8 kann man getrost vergessen. Ich habe das selbst schmerzlich erfahren müssen.

Windows 8 Storage Spaces: Bugs and Design Flaws

Da ein Rebalancieren der vorhanden Festplatten fehlt sind die storage Spaces unbrauchbar

 

[ertisch]

Danke für eure Antworten.

An welches Betriebssystem hast du denn gedacht?

Ich hatte an Windows Server 2012 gedacht.

Du kannst ja ein Software RAID5 machen. Ein RAID an sich ist natürlich nicht für Erweiterung gedacht, macht sie aber tatsächlich recht einfach

Zurzeit habe ich zwei externe Festplatten in einem Raid 1 (Spiegelung). Was mir hieran gefällt ist, das wenn eine Platte oder sogar der Controller ausfällt ich die Platte überall anschließen kann. Problem ist halt, dass es nicht erweiterbar ist. Raid5 fand ich schon recht schwierig nachzuvollziehen was dort genau geschieht. Und für eine Erweiterung muss ja das Raid 5 soweit ich weiß aufwendig erneuert werden, oder?

Die Storage Space Lösung von Windows 8 kann man getrost vergessen.

Der Artikel ist von Anfang 2012 und beschreibt die Implementierung in Windows 8. Sieht es bei Server 2012 anders aus, der ja erst später veröffentlicht wurde?


Was ich mir nicht vorstellen kann ist, dass im professionellen Bereich großer Aufwand betrieben wird um einfach nur mehr Speicher zur Verfügung zu stellen (also eine Lösung ohne Raid neu aufsetzen oder Daten rumkopieren). Weiß hier evtl. jemand genauer, wie das vonstatten geht?

 

[sjohannes]

ich hatte genau die gleiche frage wie du, habe aber ein linux verwendet und ich habe eine, für mich, sehr gute lösung gefunden.
ich benutze mhddfs. damit kannst du mehrere ordner zu einem zusammen fassen. wenn du in diesen ordner kopierst, wird erst ordner 1 (festplatte1) und dann festplatte2 voll gemacht.

und das beste daran: wenn eine festplatte defekt ist, lässt sich die zweite ganz normal mounten .... und es ist ohne probleme erweiterbar.

---------- Post added at 21:56 ---------- Previous post was at 21:45 ----------

da ich selbst nicht der absolute linux geek bin, hab ich mir selbst eine anleitung geschrieben, damit ich die schritte später nachvollziehen kann. ich stell die dir mal hier rein:

apt-get install mhddfs

- volumen erstellen

1. partitionen erstellen: cfdisk /dev/sdxx
2. partitionieren: mkfs.ext3 /dev/sdxx
3. mounten: mkdir /media/sdxx ; mount /dev/sdxx /media/sdxx
4. fstab: /dev/sdxx /media/sdxx ext3 rw 0 0
5. befehl: mhddfs /media/sdxx,/media/sdxy /media/mhddfs
6. mhddfs in fstab: mhddfs#/media/sdxx,/media/sdxy /media/mhddfs fuse allow_other 0 0
7. fuse zu modules hinzufügen: nano /etc/modules

- volumen hinzufügen

1. partitionen erstellen: cfdisk /dev/sdxyz
2. partitionieren: mkfs.ext3 /dev/sdxyz
3. mounten: mkdir /media/sdxyzx ; mount /dev/sdxyz /media/sdxyz
4. fstab: /dev/sdxyz /media/sdxyz ext3 rw 0 0
5. befehl: mhddfs /media/sdxx,/media/sdxy /media/mhddfs
6. mhddfs in fstab: mhddfs#/media/sdxx,/media/sdxy,media/sdxyz /media/mhddfs fuse allow_other 0 0

 

[Morphy]

Das was du suchst geht auch mit Flexraid zu machen. Theoretisch kann man das sogar mit zfs wenn man einem Pool einfach neue Platten hinzu fügt. Aber hier ist dann auch das Problem, wenn eine Platte im Pool Defekt ist ist der gesamte Pool hin.

 

[gea]

Das was du suchst geht auch mit Flexraid zu machen. Theoretisch kann man das sogar mit zfs wenn man einem Pool einfach neue Platten hinzu fügt. Aber hier ist dann auch das Problem, wenn eine Platte im Pool Defekt ist ist der gesamte Pool hin.

Das geht auch praktisch mit ZFS und SnapRaid. Das Dateisystem hat ja primär nichts mit dem Raid oder Backupverfahren zu tun. Das hat bei ZFS aber eher Bedeutung im Bereich Home-Mediaserver. Da sind die Daten meist nicht so wichtig und bei Ausfall stört es nicht so, dass man erst die defekte Platte ersetzen muss und die Daten erst nach Rebuild wieder da sind.

Wenn aber Datensicherheit und Verfügbarkeit gefragt ist, dann muss es schon ein echtes Raid sein. Erweiterbar wird das durch Pool-Lösungen. Und da ist dann ZFS die modernste und sicherste Lösung derzeit.

Ich würde daher:
Eine kleine Platte für das OS nehmen (oder USB Stick bei einem passenden OS) und die beiden Platten spiegeln. Ein günstige Lösung für das Vorhaben wäre ein HP Microserver + ZFS + USB Stick mit FreeNAS oder napp-it to Go (vorkonfiguriertes Storage-OS auf USB Stick)

 

[fdsonne]

Was ich mir nicht vorstellen kann ist, dass im professionellen Bereich großer Aufwand betrieben wird um einfach nur mehr Speicher zur Verfügung zu stellen (also eine Lösung ohne Raid neu aufsetzen oder Daten rumkopieren). Weiß hier evtl. jemand genauer, wie das vonstatten geht?

Mit dem professionellen Bereich kann man sowas schwer vergleichen. Vor allem, läuft dort in Sachen Storage einiges in ganz anderen Bahnen
Mal als kleiner Ausflug bei uns auf der Arbeit.
Wir verwenden Netapp Systeme. Hochverfügbar im Cluster sind mindestens zwei "Köpfe" aufgefahren. Diese sind gegenseitig Redundant, heist, kracht dir einer weg, gehts quasi unterbrechnungsfrei über den Anderen weiter.
Diese "Köpfe" sind quasi die Logik, also wenn man so will, eben der/die Raidcontroller ganz allgemein gefasst.
An diesen "Köpfen" hängen direkt die Plattenenclosures. In unseren Fall aktuell je vier pro "Kopf" gefüllt mit jeweils 14 SAS/FC Disks.
Die Plattenshelfs sind quasi nur leere Hüllen, bieten aber dazu nochmals die Möglichkeit ner doppelt redundanten Anbindung an den jeweiligen "Kopf". Auch hier kann ein ganzes Shelf wegfallen, ohne den Betrieb der anderen zu beeinflussen.

Soweit erstmal die Hardware.
Bei uns liegen auf den Teilen jeweils diverse LUNs für die ESXi Umgebung sowie diverse SMB Freigaben. Also das, was der Nutzer an seinem Client als Netzlaufwerk verbunden bekommt.
Nun ist es so, man definiert jeweils auf einem der "Köpfe" Raidgruppen. Also einen Zusammenschluss von Festplatten. In den meisten Fällen mit Paritätsdatenberechnung für hohe Verfügbarkeiten (kompensiert Plattenausfälle)
Auf diese Raidgruppen packt man Volumes. Was man sich quasi wie eine Partition von ner Single HDD vorstellen kann.
Auf diese Volumes wiederum packt man dann simple Freigaben beispielsweise.

Das ganze Konstrukt ist bei Netapp zum Beispiel so dynamisch, das man unter der Decke das Volume inkl. der draufliegenden Freigaben ganz simpel von einer Raidgruppe auf eine andere Raidgruppe verschieben kann/könnte. Somit kann man bequem im Fall von Platzmangel einfach eine neue Raidgruppe definieren bzw. eine vorhandene Raidgruppe mit mehr Platz bestimmen und dort das Volume drauf parken. Das Volume wiederum ist ebenso dynamisch nach oben oder auch unten erweiterbar. Sprich mal ein paar GB oder TB drauf packen/abziehen -> kein Problem.

Das ganze geht so dynamisch, das der User davon nichtmal was mitbekommt. Außer, dass es vllt wärend der verschiebungsphase etwas langsamer geht.
Klingt also also ziemlich toll
Problem ist nur, so ein voll redundantes System mit anständiger HDD Kapazität und ordentlichem Speed kostet schnell mal 100.000€, gern auch mehr...
Wahlweise gibts die Teile natürlich auch mit TB weise SSD Speicher usw. usf.

 

[ertisch]

Vielen Dank für eure Antworten und den informativen Exkurs in den profesionellen Bereich, der mein Budget dann doch übersteigt

ich hatte genau die gleiche frage wie du, habe aber ein linux verwendet und ich habe eine, für mich, sehr gute lösung gefunden.

Die Idee für Linux hört sich auch sehr interessant an und soetwas ähnliches hatte ich mir nun für den Windows Server gedacht. Ich kann ja NTFS Volumes in einen Ordner mounten. Ist die ein Festplatte voll wird eine weitere als Ordner eingebunden. Vorteil hier fällt eine Platte aus habe ich zumindest noch alles was auf der anderen Festplatte war (natürlich würde ich auch Backups machen.)

Ein weiteres Problem habe ich allerdings noch. Ich würde gerne meine Dateien verschlüsseln. Bisher bin ich mit Truecrypt ganz gut gefahren. Truecrypt unterstützt aber z.B. das mounten als NTFS Ordner nicht. Inwieweit Truecrypt mit Storage Spaces, Raid5 oder den anderen vorgeschlagenden Möglichkeiten zusammenarbeitet, weiß ich leider nicht. Hat hier vielleicht jemand nähere Informationen oder nutzt Truecrypt vielleicht selber mit einer der vorgeschlagenden Möglichkeiten?

 

[Loopman]

Wenn du Windows Server einsetzt, was spricht gegen Bitlocker statt Truecrypt?

 

[ertisch]

Wenn du Windows Server einsetzt, was spricht gegen Bitlocker statt Truecrypt?

Es ist nicht Open Source, bietet soweit ich weiß nur AES Verschlüsselung und keine versteckten Volumes. Nette features, die ich wohl vermissen würde.