Grundsatzfragen RAID & Netzwerk für Datengrab

[tar]

Hallo,

nachdem ich vor etwa 6 Jahren schon einmal vor dem Problem der sinnvollen Datenspeicherung stand, habe ich mich damals dazu entschieden, 6 x 4TB (WD RED) in meine Workstation einzubauen, was bis dato ohne RAID sehr zuverlässig lief. Mittlerweile benötige ich allerdings erneut mehr Speicher und zudem noch eine Möglichkeit, auf Medieninhalte (Videos, Musik) zentral zugreifen zu können (klassischer NAS-Anwendungsfall). Dabei stoße ich auf mehrere Probleme und überlege, aus meiner bisherigen Workstation ein eigenes System zur Datenhaltung und -sicherung aufzubauen statt mir Fertig-NAS-Systeme zuzulegen.

Doch bevor ich daran gehe, habe ich zunächst ein paar grundlegende Verständnisfragen.



Grundsatzfragen RAID

1. RAID ja oder nein:

Bei der Menge an Daten wäre ein Festplattenausfall katastrophal (deswegen möchte ich auch von der bisher simplen und wohl bisher eher zufällig "zuverlässigen" Datenhaltung weg zu einem RAID). Ferner wäre ein RAID-Verbund zur Erhöhung der Lese-Schreibzugriffe sinnvoll.

Entscheidung: RAID ja, aber nur 50% Kapazität nutzbar.

2. Kann man die RAID-Kapazität sukzessive erweitern? Falls ja, wie geht man dabei sinnvoll vor?

Die jeweils aktuelle Kapazitätsobergrenze von Festplatten (momentan 14 TB, vor 6 Jahren halt 6-8 TB) deckt sich nicht durch den im Zeitverlauf anwachsenden Speicherbedarf. D.h. man kauft bspw. heute 8x12 TB = 96 TB (~2.400 €), um im RAID effektiv 48 TB nutzen zu können und diese in absehbarer Zeit erweitern zu müssen, wenn es dann 24 TB Platten gibt.

Fragen:
- Ist eine diesbezügliche Erweiterung des RAIDs möglich?
- D.h. kann man problemlos 2x 12 TB Platten des eingerichteten RAIDs durch 2x 24 TB ersetzen oder gibt es dann Probleme bei der der RAID-Verwaltung und der zugehörigen Datenspeicherung?
- Ich vermute, man kann dann auch nur solange 12 TB der 24 TB Platte nutzen, bis alle Platten des RAIDs durch 24 TB Platten ersetzt wurden - ist das korrekt?

Falls dem so wäre, dann wäre eine sukzessive Erweiterung nicht möglich bzw. müsste man dies anders umsetzen: Man müsste dann ein gänzlich neues RAID-10 mit 4x 24 TB Platten aufbauen, was effektiv wieder 48 TB nutzbar macht und dieses dann nach und nach um weitere 24 TB Platten erweitern. Nach der Erweiterung kann man dann sein bisheriges 48 TB RAID (mit den 8x 12 TB Platten) auflösen. Hierbei wäre wohl jeweils ein komplett eigenständige NAS mit jeweils 8 Schächten einzusetzen. Das Erstsystem könnte man dann wiederum ein paar Jahre später für die Umsetzung mit 48 TB Platten nutzen (wobei ich hier stark bezweifle, dass die dann veraltete NAS-Hardware dafür noch sinnvoll eingesetzt werden kann).

3. Verschlüsselung

Fragen:
- Welche Dinge muss man hier generell beachten?
- Welche Verschlüsselung ist sinnvoll?
- Reduziert die Verschlüsselung die Schreibgeschwindigkeit und die Entschlüsselung die Lesegeschwindigkeit?



Grundsatzfragen Netzwerkanbindung

Ein Flaschenhals beim Lesen/Schreiben der Daten bildet neben der Festplattengeschwindigkeit auch die Netzwerkanbindung.

1. Die Speicherung der Daten

Das Schreiben und Verwalten geht ja gewöhnlich von einer Workstation aus, d.h. die Anbindung zwischen NAS und Workstation sollte der höchsten verfügbaren Datenrate entsprechen.

Fragen:
- Sind dafür 10 GB/s-Netzwerkkarten ausreichend oder gar höhere möglich? Welche Netzwerkkarten empfehlt ihr?
- Welches Netzwerkkabel muss/sollte dafür eingesetzt werden?

2. Das Lesen der Daten

Das Lesen erfolgt von verschiedenen Orten (Workstation, Laptops, Smartphones, Raspberries, TVs, HTPC oder dergleichen, Kinder-PCs, whatever).

Fragen:
- Wie hoch ist die Netzwerklast beim parallelen Lesen von 1080p- oder 4k-Videoinhalten?
- Reichen hierfür die übliche 1GB/s-Netzwerkkarten?
- Welche Netzwerkkabel müssen/sollten dafür eingesetzt werden?

3. Switch/Router

Alle angeschlossenen Netzwerkgeräte laufen im Switch/Router zusammen, der die Datenpakete entsprechend zuordnet.

Fragen:
- Welchen Switch/Router empfehlt hier hierfür?
- Gibt es spezielle Einrichtungseinstellungen, die man hierbei beachten muss? Ich denke da vor allem an die Priorisierung der Verbindung zwischen NAS und Workstation.

4. NAS-Anbindung generell

Fragen:
- Sollte man mehrere Netzwerkkarten im NAS verbauen (bspw. 1 Verbindung zur Workstation und 1 Verbindung zum Rest - ist das überhaupt möglich mit dem Switch/Router)?
- Ist es sinnvoll, den Netzwerkdatendurchsatz des NAS durch mehrere Netzwerkkarten zu bündeln (bspw. 2x 10 GB/s)? Gibt es hier Abhängigkeiten zu anderer Hardware? Was wären die Kosten?

 

[wenzilinho]

Ich greif mal ein paar Dinge auf:

Entscheidung: RAID ja, aber nur 50% Kapazität nutzbar.
Ferner wäre ein RAID-Verbund zur Erhöhung der Lese-Schreibzugriffe sinnvoll.

50% Kapazität bei RAID-10 oder RAID-6 mit nur 4 Platten. Der Sinn eines RAID-10 bei einem Datengrab erschließt sich mir nicht. Höhere Lese-Schreibzugriffe dann lieber mit mehr RAM oder Cache abfangen.

- Ich vermute, man kann dann auch nur solange 12 TB der 24 TB Platte nutzen, bis alle Platten des RAIDs durch 24 TB Platten ersetzt wurden - ist das korrekt?

Ja. Jede Platte nach und nach ersetzen, das RAID rebuilden und nach der letzten Platte den Pool expandieren.

Grundsatzfragen Netzwerkanbindung

Das Schreiben und Verwalten geht ja gewöhnlich von einer Workstation aus, d.h. die Anbindung zwischen NAS und Workstation sollte der höchsten verfügbaren Datenrate entsprechen.
Fragen:
- Sind dafür 10 GB/s-Netzwerkkarten ausreichend oder gar höhere möglich? Welche Netzwerkkarten empfehlt ihr?
- Wie hoch ist die Netzwerklast beim parallelen Lesen von 1080p- oder 4k-Videoinhalten?
- Reichen hierfür die übliche 1GB/s-Netzwerkkarten?

- Stellt sich erstmal die Frage ob du überhaupt 10 Gbit brauchst und ob die Workstation auch 10 Gbit auslasten kann.
- 1080p ca 5-10 Mbit/Stream, 4k ca 25 Mbit/Stream laut Google
- Kommt drauf an wieviele gleichzeitige Streams laufen

4. NAS-Anbindung generell
Fragen:
- Sollte man mehrere Netzwerkkarten im NAS verbauen (bspw. 1 Verbindung zur Workstation und 1 Verbindung zum Rest - ist das überhaupt möglich mit dem Switch/Router)?
- Ist es sinnvoll, den Netzwerkdatendurchsatz des NAS durch mehrere Netzwerkkarten zu bündeln (bspw. 2x 10 GB/s)? Gibt es hier Abhängigkeiten zu anderer Hardware? Was wären die Kosten?

Je nach Auslastung/gleichzeitigem Zugriff macht Portbündelung schon Sinn.


Man kann einige der Fragen nur pauschal beantworten, da die genauen Anforderungen fehlen. Wie groß soll das NAS werden, welche Daten/Datenmengen werden von der Workstation aufs NAS geschrieben? Wozu die gewünschten höheren Lese-Schreibzugriffe?

 

[underclocker2k4]

Bevor du weiterrennst:
[FAQ] RAID ersetzt kein Backup! und Warum eigentlich ECC RAM?

Hintergrund ist, dass bei solchen Datenmengen es mittlerweile zu Problemen kommt, die ein RAID nicht abfedern kann. Der sogenannte Datenrost.
Wenn wir also wirklich von 100TB reden, sollte man auch auf Dateisysteme setzen, die einem das Problem vom Hals schaffen. Zusätzlich ergeben sich dann auch noch andere Aspekte wie der ECC RAM.

Weiterhin lässt mich das aufhorschen.

Bei der Menge an Daten wäre ein Festplattenausfall katastrophal (deswegen möchte ich auch von der bisher simplen und wohl bisher eher zufällig "zuverlässigen" Datenhaltung weg zu einem RAID). Ferner wäre ein RAID-Verbund zur Erhöhung der Lese-Schreibzugriffe sinnvoll.

Das lässt nur den Schluss zu, dass du kein RAID brauchst, sondern erstmal ein Backup.

 

[tar]

50% Kapazität bei RAID-10 oder RAID-6 mit nur 4 Platten. Der Sinn eines RAID-10 bei einem Datengrab erschließt sich mir nicht. Höhere Lese-Schreibzugriffe dann lieber mit mehr RAM oder Cache abfangen.

Das käme doch darauf an, wo der Flaschenhals sitzt:
- Lesegeschwindigkeit der Quelle
- Schnittstellendurchsatz
- Schreibgeschwindigkeit des Ziels

Dafür müssten wir die unterschiedlichen Anwendungsfälle anschauen:

Daten aufs Datengrab schreiben:
- Quelle: Workstation-HDDs
- Schnittstelle: LAN
- Ziel: Datengrab-HDDs

Daten vom Datengrab lesen (kopieren):
- Quelle: Datengrab-HDDs
- Schnittstelle: direkt (USB, eSATA, whatever), LAN oder WLAN
- Ziel: HDD (Workstation, Laptop, ext. Festplatte, whatever)

Daten vom Datengrab lesen (streamen):
- Quelle: Datengrab-HDDs
- Schnittstelle: LAN oder WLAN
- Ziel: RAM (ich nehme zumindest an, dass der Stream im RAM gepuffert wird - ansonsten auch hier: HDD)

Bei der Schnittstelle kommt es drauf an, wie groß deren Durchsatz ist, um zu sehen, ob diese oder die HDD einen Flaschenhals bildet.

Kannst du mir sagen, welchen Cache du meinst (CPU? HDD?) und an welcher Stelle der greifen würde?

- Stellt sich erstmal die Frage ob du überhaupt 10 Gbit brauchst und ob die Workstation auch 10 Gbit auslasten kann.
- 1080p ca 5-10 Mbit/Stream, 4k ca 25 Mbit/Stream laut Google
- Kommt drauf an wieviele gleichzeitige Streams laufen

Je nach Auslastung/gleichzeitigem Zugriff macht Portbündelung schon Sinn.

Der Neuaufbau der Workstation wird danach ausgerichtet, was sinnvoll ist. Also wenn 10 Gbit oder mehr Sinn ergeben, wird die Hardware entsprechend ausgewählt. Kosten sind nachrangig, aber sollen sinnvoll eingesetzt werden.

Ich gehe momentan von maximal zwei parallelen 4K-Streams aus (selbst das dürfte aktuell sehr selten sein, aber man rüstet ja für die Zukunft und da wären es im Extremfall vier parallele 4K-Steams), was also 50 Mbit/s wären. Da bräuchte ich also keine 10 Gbit, sondern nur 1 Gbit.

Man kann einige der Fragen nur pauschal beantworten, da die genauen Anforderungen fehlen. Wie groß soll das NAS werden, welche Daten/Datenmengen werden von der Workstation aufs NAS geschrieben? Wozu die gewünschten höheren Lese-Schreibzugriffe?

NAS-Größe: Aktuell sind es 24 TB Datenbestand. Ich visiere mal für die nächsten 5 Jahre ca. insgesamt 48 TB an - mit Tendenz nach oben.
Datenmengen von Workstation auf NAS: 1x Initial Load (24 TB, kann ich sicher auch stückchenweise vornehmen) und dann unregelmäßige Updates in wochen- bis monatelangen Abständen (mehrere hundert Gigabyte bis einige Terabyte).

- - - Updated - - -

Bevor du weiterrennst:
[FAQ] RAID ersetzt kein Backup! und Warum eigentlich ECC RAM?

Hintergrund ist, dass bei solchen Datenmengen es mittlerweile zu Problemen kommt, die ein RAID nicht abfedern kann. Der sogenannte Datenrost.
Wenn wir also wirklich von 100TB reden, sollte man auch auf Dateisysteme setzen, die einem das Problem vom Hals schaffen. Zusätzlich ergeben sich dann auch noch andere Aspekte wie der ECC RAM.

Weiterhin lässt mich das aufhorschen.

Das lässt nur den Schluss zu, dass du kein RAID brauchst, sondern erstmal ein Backup.

ECC ist erstmal ein ganz anderes Thema und ob ECC-RAM für meine Zwecke wirklich sinnvoll ist, weiß ich ehrlich gesagt nicht, da sich hier die Geister scheiden. Man hat mir damals schon bzgl. meiner Workstation zu ECC-RAM und -Board geraten, aber ich habe bislang ohne ECC-RAM nichts negatives feststellen können.

Du rätst also nicht zu einem Datenschutz-RAID (RAID 1, 5, 10), sondern zu einem gänzlich separaten Backup (extern gelagert)? Das würde dann dazu führen, dass die Datendurchsatzrate vom NAS zu diesem Backup möglichst hoch sein müsste, da es ja regelmäßig durchgeführt werden sollte.

D.h. ich bräuchte zunächst mal 2x 12 TB für das Backup (bzw. nutze dafür zunächst mal meine 6x 4 TB Platten) der vorhandenen Daten und mind. 2x weitere 12 TB für den Aufbau des NAS, was ich nach und nach erweitern könnte (jeweils mit 1x 12 TB Platte fürs NAS und 1x 12 TB fürs Backup), nicht wahr?

 

[Liesel Weppen]

Du rätst also nicht zu einem Datenschutz-RAID (RAID 1, 5, 10), sondern zu einem gänzlich separaten Backup (extern gelagert)? Das würde dann dazu führen, dass die Datendurchsatzrate vom NAS zu diesem Backup möglichst hoch sein müsste, da es ja regelmäßig durchgeführt werden sollte.

Letztendlich musst du wissen, wie wichtig oder kritisch deine Daten sind. Ein Festplattenausfall ist nicht die einzige mögliche Ursache für Datenverlust, ein RAID schützt dich aber nur davor (und selbst das nicht absolut).
Gegen einen Verschlüsselungstrojaner, versehentliches Löschen von irgendwas auf einem Client, etc. schützt dich ein RAID aber nicht. Zumindest gegen letzteres hilft ggf. ein Dateisystem, das Änderungen speichert.

Bei 24TB Speicher muss man dann halt auch wohl oder übel für 24TB an Backupkapazität sorgen.

Als Backup zählt nur, was praktisch stromlos ohne Verbindung zu irgendeinem System (am besten noch örtlich getrennt) gelagert wird, ausser natürlich für den kurzen moment, wo das Backup selbst erzeugt wird.

Deine Anforderungen scheinen mir allerdings schon eher Richtung eines richtigen SAS zu tendieren. Also etwas professioneller als nur ein einfaches NAS, bzw. mal eben ein RAID per Netzwerkfreigabe ins Netz gestellt. Billig wird das aber wohl ohnehin nicht. Alleine für eine 10Gbit/s Anbindung schätze ich mal grob, wirst du da schon im höheren 3-stelligen Bereich landen, für nur 1x 10Gbit/s.

 

[-INU-]

Aktuell sind es 24 TB Datenbestand. Ich visiere mal für die nächsten 5 Jahre ca. insgesamt 48 TB an - mit Tendenz nach oben.
Datenmengen von Workstation auf NAS: 1x Initial Load (24 TB, kann ich sicher auch stückchenweise vornehmen) und dann unregelmäßige Updates in wochen- bis monatelangen Abständen (mehrere hundert Gigabyte bis einige Terabyte).

Das Wäre dann der einzige Punkt an dem 10G evtl nützlich wären, die Frage wäre dann wie oft du 500GB und mehr auf einen Schlag ins "Datengrab" schaufelst und wie schnell das gehen muss. Denn für die zwei 4K Streams bist du Meilen von 10G entfernt und viel mehr hast du an Anforderungen nicht genannt.

Und was hat dein Internet für einen Upload, evtl. könntest du das Backup auslagern. Ein NAS bei dir, ein anderes irgendwo fürs Backup. Beide mit RAID5/6. Nicht viel teurer und deutlich besser als ein RAID10 ohne Backup.

 

[tar]

Deine Anforderungen scheinen mir allerdings schon eher Richtung eines richtigen SAS zu tendieren. Also etwas professioneller als nur ein einfaches NAS, bzw. mal eben ein RAID per Netzwerkfreigabe ins Netz gestellt. Billig wird das aber wohl ohnehin nicht. Alleine für eine 10Gbit/s Anbindung schätze ich mal grob, wirst du da schon im höheren 3-stelligen Bereich landen, für nur 1x 10Gbit/s.

Sind SAS nicht auch an sich sicherer bzw. insoweit mit Warnsystemen versorgt, dass man Festplattenstörungen eher erkennt und reagieren kann?
Mich wundert auch, dass die sich preislich überhaupt nichts nehmen, wenn ich mal diese beiden vergleiche (12 Gb/s vs. 6 Gb/s).

Das Wäre dann der einzige Punkt an dem 10G evtl nützlich wären, die Frage wäre dann wie oft du 500GB und mehr auf einen Schlag ins "Datengrab" schaufelst und wie schnell das gehen muss. Denn für die zwei 4K Streams bist du Meilen von 10G entfernt und viel mehr hast du an Anforderungen nicht genannt.

Ja, für die paar Fälle im Jahr könnte ich auch auf 10G verzichten, denk ich. Dachte, es wäre sinnvoll, aber der Aufwand steht wohl in keinem Verhältnis. Da lass ich das lieber mal eine Nacht durchlaufen und gut - und die Backups kann man ja auch auf "lediglich Unterschiede aktualisieren" einstellen, nicht wahr? Das würde dann ja auch die Übertragungsdauer senken.

Da ich also keinen "high demand" oder dauernd "high volume" habe (es geht letztlich einfach um ein Datengrab zu Hause mit zentralem Zugriff auf die Medien für alle Mitbewohner), kann ich doch auch gänzlich von RAID weg, oder?

Und was hat dein Internet für einen Upload, evtl. könntest du das Backup auslagern. Ein NAS bei dir, ein anderes irgendwo fürs Backup. Beide mit RAID5/6. Nicht viel teurer und deutlich besser als ein RAID10 ohne Backup.

Das wird eher nix - bei 2000 Kbit/s bräuchte ich pro GB eine Stunde... Nö, lieber möglichst simpel - ggf. einfach externe Platten und im Schlafzimmer verstauen.

 

[Morrtin]

Wie schon erwähnt ist RAID kein Backup. Wenn die Daten sehr wichtig sind muss man über eine Backup Lösung nachdenken.

Nur mal kurz zum RAID: Wenn ein RAID dann würde ich zu RAID 5 oder 6 greifen. Den Geschwindigkeitsvorteil von RAID 1 spürst du im 1 Gbit Netz sowieso nicht.
Und somit hast du schon mal mehr Kapazität für "weniger Geld" und kannst auch leichter den RAID erweitern. Eine Festplatte (mit mind. gleicher Größe) dazu und gut ist.
Limit hier ist dann halt dein Motherboard oder Controller wie viele Platten du ins System geben kannst. Wenn die Anzahl nicht mehr erhöht werden kann, müssen
ALLE Festplatten ausgetauscht werden um mehr Kapazität zu bekommen.

Ich persönlich bin vom RAID weg, da mir JBOD + Parity mehr zusagt / Vorteile bringt. Ich habe aber auch keine super sensiblen Daten.

 

[gea]

Das Problem ist doch, Daten gehen garantiert irgendwann verloren.
Die Gründe sind vielfältig. Gegen jedes Problem gibt es aber Abwehrmaßnahmen

Eine Platte geht irgendwann kaputt
- Aktuelle Daten schützt ein Raid. Manche Raid Level sind besser als andere.
Backup hilft, ist aber wie altes Brot: immer von gestern

Stromausfall beim Schreiben kann ein Dateisystem oder Raid schrotten (write hole problem)
- Dagegen hilft ein Raidcontroller mit Batterie/Flashsicherung oder ein CoW Dateisystem

Daten verändern sich beim Lagern von alleine (Datenrost, silent data errors)
- Dagegen hilft regelmäßiges Prüfen mit Prüfsummen und Reparatur aus Redundanz

Daten sind in Gefahr wegen Trojaner/ Ransomware
Die verschlüsseln Daten, gerne zuerst alte Daten und Backup. Man merkt das meist zu spät
- Dagegen helfen viele (stündlich, taglich über viele Tage) und garantiert readonly Backups/ Versionierung,
idealerweise z.B. Dutzende oder Hunderte ZFS Snaps

Es brennt, der Blitz trifft das Haus oder ein Dieb stiehlt den Rechner
- externes Disaster Backup

 

[tar]

Yea und der geomagnetische Sturm erst

Also ich bin immer noch am Grübeln... und denke, ich sollte es nicht zu kompliziert machen, da es hier weder um hochsensible, noch hochverfügbare Daten geht, sondern im Wesentlichen um Filme und Musik:

Netzwerkgeschichte
Die hake ich mal als -done- ab, da die Daten nach dem initial load nur aller paar Wochen bis Monate rübergeladen werden. Ansonsten wird gestreamt, was ja das übliche Netzwerk nicht auslastet.

Backup
Die Backups schiebe ich parallel mit/nach dem eigentlichen Update direkt von der Workstation auf die Backup-Platte, die einzeln extern umherlagern. Falls dann mal eine Platte ausfällt, wird sie ersetzt und die zugehörigen Daten von der entsprechenden Backup-Platte draufgezogen. Wichtig hierbei ist sicher, dass man sich diese Platten in einem angemessenen zeitlichen Abstand zulegt, so dass die Wahrscheinlichkeit des gleichzeitigen Ausfalls der NAS-Platte und der extern gelagerten Backup-Platte noch weiter reduziert wird. Ist der Ausfall einer Backup-Platte nicht auch höher, da sie ja weniger als die NAS-Platte genutzt wird?

RAID
Da RAID kein Backup ersetzt, ergeben auch RAIDs für zusätzliche Datensicherheit keinen Sinn, sondern erhöhen nur unnötig die Redundanz. D.h. alles außer RAID-0 fiele raus, was auch die Speicherkosten senkt.
Ergibt nun RAID-0 überhaupt Sinn? Es würde die Geschwindigkeit des initial load und der Updates erhöhen, aber bei einem einzigen Plattenausfall müsste man alle Daten aus allen Backup-Platten neu aufspielen, d.h. auch, dass wenn bspw. NAS-Platte 1 ausfiele und Backup-Platte 2 nicht mehr ginge, man definitiv die Daten der 2. Platte gänzlich verloren hätte. Also liegt der Schluss nahe, überhaupt kein RAID zu nutzen.

JBOD
Bis auf Weiteres erachte ich es für meine Zweck nicht als notwendig, Platten zusammenzufassen. Also brauche ich auch kein JBOD.

Parity, ECC, whatever
Parity allein sagt mir jetzt nichts, aber Datenrost, ECC usw. sind wohl doch interessant. Da ich ja Daten allein von der Workstation aus verwalte (und auf die NAS- und Backup-Platten übertrage), sollte doch dann nicht auch nur in der Workstation die ECC-Hardware (Board + CPU + RAM) sitzen - oder etwa in Workstation und in der NAS?

Ich habe zwar einen ECC-fähigen Intel Xeon E3-1245 v3, aber weder mein Board, noch mein RAM sind für ECC ausgelegt.

Verschlüsselung
Hierzu wurde noch gar nichts gesagt, dabei finde ich diesen Punkt in Anbetracht drohenden Einbruchs und Diebstahls der gesamten Hardware schon nicht ganz unwichtig.

SAS vs. SATA
Ich habe mal etwas wg. SAS recherchiert und fand die höhere Geschwindigkeit interessant (12 Gb/s - 24 Gb/s) - allerdings stehen die Kosten eines zugehörigen Controllers (~300-900 €) und der sonstige zusätzliche Aufwand (v.a. serverartige Kühlung des Controllers notwendig) in keinem Verhältnis zum Nutzen und da ich das bzgl. dem Netzwerk schon abgehakt habe, würde ich auch hier einfach zu handelsüblichen SATA 6 Gb/s Platten greifen.

 

[gea]

Yea und der geomagnetische Sturm erst

Es gibt Leute die trotz Kettenrauchen alt werden ohne Lungenkrebs zu bekommen.

Dass man ohne Datenverlust alt werden kann wenn man sich um Datensicherheit keine Gedanken macht, klappt nur bei denen die keine digitalen Daten haben oder zumindest kaum Daten haben oder dass die Daten so unwichtig sind dass der Verlust nicht auffällt oder es einfach keine Rolle spielt.

Ansonst gilt der beliebte Spruch: Kein Backup, kein Mitleid

 

[tar]

Ich habe jetzt mal zwei Grund-Konfigurationen mit zunächst 24 TB und ECC zusammengestellt:

NAS-Variante mit SAS 12 Gb/s
- CPU-Kühler würde ich aus jetziger Workstation ausbauen (wird durch aktuellere Hardware ersetzt)
= ca. 1.770 €

NAS-Variante mit SATA 6 Gb/s
- CPU & CPU-Kühler würde ich aus jetziger Workstation ausbauen (wird durch aktuellere Hardware ersetzt)
= ca. 1.210 €

Ich tendiere aktuell zur SATA-Variante, da die 12 Gb/s bereits durch das Netzwerk (1 Gb/s) nicht ausgereizt werden können und auf dem NAS selbst werden die Daten nur beim Plattenwechsel verschoben.

EDIT: Beide Listen auf SAS geändert.

Zur Info auch mal meine aktuelle Workstation, die ersetzt werden soll. Das Gehäuse würde ich für den NAS-Server direkt weiternutzen.

Es fehlt noch das Netzteil. Wäre es sinnvoll, das vorhandene zu nutzen oder sollte ich mir hier bzgl. Stromverbrauch auf alle Fälle ein anderes zulegen?

Findet ihr die Konfiguration ansonsten erstmal OK?

 

[Trambahner]

In Chipsatz C226 (Xeon v3) würde ich wirklich nicht mehr neu investieren; die Plattform ist ziemlich alt mittlerweile.
Das X11SSH-CTF ist ein nettes Board (hab ich selber), aber neu würd ich auch in C23x-Generation nicht mehr investieren.

Teure Hardware-Raidcontroller sind obsolet, sobald zu ZFS einsetzt. Dafür brauchst Du dumme HBAs, die sind auch bei SAS günstig zu haben. An einen SAS-HBA kannst Du halt noch Extender dranhängen, wenn Du mehr Kapazität brauchst aber keine PCIe-Slots mehr hast.

Hast Du fürs Backup eine zweite ZFS-Maschine, kannst Du bequem und schnell Backups über Snapshots und "zfs send/receive" ausführen. Nach dem Initialbackup auch inkrementell natürlich. Ist sehr von Vorteil beim Sichern großer Medienfiles.

 

[tar]

In Chipsatz C226 (Xeon v3) würde ich wirklich nicht mehr neu investieren; die Plattform ist ziemlich alt mittlerweile.
Das X11SSH-CTF ist ein nettes Board (hab ich selber), aber neu würd ich auch in C23x-Generation nicht mehr investieren.

Teure Hardware-Raidcontroller sind obsolet, sobald zu ZFS einsetzt. Dafür brauchst Du dumme HBAs, die sind auch bei SAS günstig zu haben. An einen SAS-HBA kannst Du halt noch Extender dranhängen, wenn Du mehr Kapazität brauchst aber keine PCIe-Slots mehr hast.

Hast Du fürs Backup eine zweite ZFS-Maschine, kannst Du bequem und schnell Backups über Snapshots und "zfs send/receive" ausführen. Nach dem Initialbackup auch inkrementell natürlich. Ist sehr von Vorteil beim Sichern großer Medienfiles.

Danke für den Tipp mit der HBA. Ich hab beide Listen mal abgeändert auf C242 und C246 mit Tendenz zu Letzterem.

 

[sch4kal]

Hol dir den HBA doch gebraucht von einem seriösen eBay-Händler. Zum Beispiel einen Dell PERC H310, hab meinen für 30-40 € geschossen, lässt sich einfach auf einen LSI 9211-8i flashen.

 

[tar]

Wäre es nicht sinnvoller, gleich einen SAS-3 Controller zu holen, der die SAS-3 Platten auch unterstützt?

Ich frage mich auch, ob ich denn überhaupt aktuelle Hardware bzgl. Board, CPU + RAM benötige, da auf dem NAS selbst ja keine Prozesse stattfinden - es wird im Grunde nur gestreamt. Ansonsten wäre es momentan eventueller sinnvoller, wenn ich den Aufbau eines separaten NAS erstmal nach hinten verschiebe und den SAS-3-Controller + die SAS-3-Platten direkt in meine Workstation einbaue, auch wenn der Stromverbrauch da erstmal höher ist. Beim Zu-Bett-Gehen wird die Workstation dann halt heruntergefahren. Der Hintergrund ist ein demnächst anstehender Umzug und danach ist ein Hausbau geplant, bei dem ich ja ein modernes Netzwerk einplanen kann. Damit verzichte ich natürlich auch erstmal auf ECC (no risk, no fun).

Danach könnte ich aber ggf. auch viele Prozesse, die momentan auf der Workstation laufen, auslagern:
- Virtuelle Maschine (VMWare) mit Win 8.1 für SAP-VPN-Verbindung zum Kunden
- Entpacken großer rar-Dateien
- Video- & Audio-Encodierung
- ggf. eigenen Web-Server aufsetzen (mit paar Cronjobs)

D.h. statt jetzt eine NAS später einen richtigen Server aufsetzen, bei dem aktuelle Hardware tatsächlich sinnvoll wäre und die jetzige wieder veraltet wäre. So ein Hausbau dauert ja schon mal 2-3 Jahre.

 

[amdfreund]

Die Nas-Variante Sata ist doch auch ein SAS System nur mit anderem Controller und langsamerer M2SSD, aber den gleichen SAS-Platten. Bleibt am Ende da doch auch bei den 12Gb/s.
Als Planungsansatz könnte man ja noch anhängen, NAS jetzt bauen und nach dem Hausbau als Backupträgersystem für den dann zu bauenden Server nutzen So lassen sich die doppelten Kosten leichter verargumentieren. Ob die Daten zu deiner Schlafenszeit unerreichbar Lösung dauerhaft Anklang findet kann nur dein Umfeld entscheiden.

 

[tar]

Die Nas-Variante Sata ist doch auch ein SAS System nur mit anderem Controller und langsamerer M2SSD, aber den gleichen SAS-Platten. Bleibt am Ende da doch auch bei den 12Gb/s.

Joa, die beiden Listen hatte ich auf SAS geändert, siehe 3 Posts weiter oben

 

[-INU-]

Bei SAS bin ich mir ziemlich sicher das es ein Tippfehler war und NAS gemeint war. Aber von 10G und RAID0 zu ein par zusätzliche Platten in den Rechner schieben ist aber auch ein guter Sprung der zeigt das du dir erst einmal klar werden solltest was du überhaupt von der Hardware erwartest. Dann kann man schauen mit welcher Hardware sich dies realisieren lässt.

Aber mal grob: Fujitsu D3644-B, Intel Core i3-8100, 2x Kingston Server Premier DIMM 8GB, DDR4-2666, CL19-19-19 ECC, Festplatte als SATA Version und als HBA den Dell und entweder selbst umflashen oder etwas mehr zahlen. (empfehlen würde ich dir letzteres)

Dazu noch Kühler, SSD, Gehäuse, Kabel etc. Bei der SSD müsste man aber erst wissen welches OS und ob ein SSD Cache beim Storage genutzt wird. Genau wie bei der CPU, rein zum Streamen würde auch ein Pentium oder Celeron reichen, aber wenn noch ein par VMs/Container dazu kommen kann es (sehr) eng werden.

 

[tar]

Ich möchte

1) mehr Speicherplatz (mit 2x 12 TB = 24 TB starten, dann sukzessive mit flexibler Plattengröße aufstocken, also bspw. in 6 Monaten eine weitere 12 TB Platte und in 1-2 Jahren eine weitere 16 TB dazuschalten, usw.)
2) passwortgeschützter Zugriff freigegebener Ordner im LAN
3) ausreichend schnell (SATA + 1Gb-LAN) oder falls sich der Aufwand lohnt: richtig schnell (SAS 3.0 + Dual 10Gb-LAN)
4) stromsparend
5) entweder einen leistungsfähigen Server aufbauen oder eine leistungsfähige Workstation und je mehr ich darüber nachdenke, eher eine einzelne leistungsfähige Workstation und ein reines Datengrab ohne notwendige Rechenpower, aber mit bestmöglicher Anbindung, auf das ich direkt von der Workstation bspw. entpacken oder Videodateien encodieren kann. Im günstigsten Fall bestünde meine Workstation dann nur noch aus ein bis zwei SSDs (für's Betriebssystem, Programme und lokale Daten), die die NAS als Speicher für alles sonstige nutzt.

Wieso rätst du zu keinem SAS und wenn, dann nur für 6 Gb/s?
Wieso rätst du zu SATA und den SAS-HBA?
Beides ergibt aus meiner Sicht keinerlei Sinn.

Wenn SAS, dann gleich SAS 3.0 mit 12 Gb/s (was die größeren Platten ja ohnehin unterstützen) und da lande ich beim Broadcom SAS3008-Chipsatz (ohne RAID), der intern 200 € oder extern 150 € kostet (gäng die IBM Lenovo N2225 überhaupt universal für jedes Board oder wieso ist die relativ günstig?). Hier bräuchte ich dann a) eine entsprechend schnelle Anbindung von der Workstation zum NAS/Server und b) ebenso flinke Platten in der Workstation (wenn dort nur 2 SSDs drin sind, sollte das ja reichen?).

Wenn SATA, dann brauche ich auch keinen SAS-HBA, da mir 6-8 SATA-III-Ports on-board reichen. Das macht die ganze Angelegenheit zwar einfacher und sicher auch günstiger, aber ergibt das Sinn?

Achso, als Betriebssystem bevorzuge ich etwas "simples" (ggf. Windows-Server oder ähnliche oberflächengesteuerte Betriebssysteme), um keine Linux-spezifischen Geek-Setting-Orgien zu durchlaufen, denn da scheitere ich regelmäßig an dahingeworfenen commands, die keiner begreift, der aus der Windows-Welt kommt, so wie ich. Wenn möglich, dann wäre eine Remote-Steuerung des NAS von der Workstation aus wundervoll, so dass ich da nicht erst den Monitor hin- und herschleppen müsste, wenn ich mal was einstellen mag.

EDIT:

Ich kann mir auch vorstellen, das NAS vorerst (bis mal das Haus fertig ist, also einige Jahre) direkt neben meine Workstation zu pflanzen. Vielleicht gibt das eine einfachere Lösung bzgl. der Anbindung zwischen WS und NAS, ohne das sonstige Netzwerk aufbohren zu müssen.

 

[sch4kal]

Weil SAS3 keinen Sinn ergibt für drehende Platten. Das ist immer eine Punkt-zu-Punkt Verbindung, eine HDD kratzt ja noch nichtmal am 6 Gb/s Limit von SAS2/SATA3.

Bleib bei SATA Platten am onboard Controller und werf da OMV oder Unraid drauf, das wird einfacher und trivialer für dich sein als OmniOS/Solaris oder FreeNAS. Virtualisieren kannst ja dann immer noch auf der Workstation, das NAS dient dann nur noch als stromsparende Datenablage. Einfach mal auf Technikaffe stöbern, da gibts passende Konfigurationen die wenig Strom brauchen.

 

[tar]

Achso - die Köpfe der einzelnen Platte sind also von sich aus schon langsamer? D.h. SAS 3.0 ergebe nur Sinn, wenn man mehrere Platten bündeln würde, richtig?

 

[sch4kal]

Beim Einsatz von Expandern oder SAS SSDs, ja.

 

[gea]

da OMV oder Unraid drauf, das wird einfacher und trivialer für dich sein als OmniOS/Solaris oder FreeNAS.

Free-BSD, Linux, OSX, Windows und Solarish sind Betriebssysteme
FreeNAS, OMV, Unraid aber auch mein napp-it sind Distributionen/ Managementoberflächen für eines davon.

Die Betriebssysteme machen die größten und entscheidenden Unterschiede. Für Apache oder SAMBA z.B. ist es egal unter welchem OS es läuft. Man kann bei den jeweiligen Web-Oberflächen allenfalls sagen a ist hübscher/moderner als b. Auch sind manche Distibutionen eher auf bestimmte Dateisysteme (ext4 oder ZFS) optimiert oder aber auf bestimmte Anwendungen also eher Mediaserver (kein Echtzeit Raid, dafür Erweiterung Platte um Platte, z.B. Unraid) oder herkömmliche Homeanwendungen wie OMV mit ext4 oder eher Enterprise Storage optimiert (Echtzeit Raid, Performance skaliert im Raid) wie bei klassichen ZFS Systemen wie Solarish (da kommt ZFS her) oder Free-BSD (da wirds seit langem genutzt).

 

[Trambahner]

Technikaffe ist mittlerweile etwas veraltet und schlägt Konfigurationen ohne Support von ECC-Ram vor. Insbesondere letzteres halte ich für fahrlässig bei Storage-Systemen.

 

[tar]

NAS-Eigenbau: Medien Server + Virtualisierung

Danke erstmal zwischendurch für die vielen kleinen Hinweise... das Ganze ist ja ein Fass ohne Boden

Bzgl. der Storage selbst würde ich ein System präferieren, das die Datenintegrität sofort beim Schreiben sicherstellt und Festplattenfehler (auch einzelne Lesefehler) möglichst zeitnah meldet, so dass ich entsprechend reagieren kann. Daher wird es auf alle Fälle ein ECC-System werden. ZFS klingt dahingehend auch interessant - ist aber wohl aktuell für Windows noch nicht ausgereift. OMV und unraid scheinen aber auch einige Überwachungsmechanismen zu haben. Automatische Backup-Jobs und zig Images usw. sind bei mir nicht sinnvoll, sondern fressen nur unnötig Speicherplatz - die Backups werde ich daher manuell vierteljährlich selbst ausführen.

Ich bin bei Technikaffe grad noch über den Plex Media Server gestolpert und denke, das könnte für meine Zwecke genau richtig sein (also wäre doch etwas mehr als nur Storage angedacht). Bisher habe ich lokal Kodi genutzt und wollte das dann in den einzelnen Räumen (Wohnzimmer, Schlafzimmer, ggf. noch Kinderzimmer) per einzelner lokaler Raspberry Pi auch nutzen (und hätte ich dort jeweils einrichten müssen) - aber wie ich so lese, wäre Plex als zentraler Mediendienst geeigneter (in Kodi könnte man sich auch zu Plex verbinden) und könnte wohl auch die ganze Videoprozessierung vorab übernehmen, so dass dann auf die Raspberries (oder was immer dann in die Räume kommt... hab hier erstmal noch ein Raspberry Pi 3 (ohne Plus) rumliegen) nur der Plex Client müsste und den Stream "liest". So jedenfalls mein erstes Querlese-Verständnis.

Muss ich mir eigentlich auch jetzt schon bzgl. dem Zugriff verschiedenster Betriebssysteme auf die Freigabe vom NAS Gedanken machen? Ich hatte da bereits ein Problem von der Raspberry Pi 3 in Kodi auf eine Windows-Freigabe zugreifen zu können. Habs dann zwar irgendwann hinbekommen, aber bin auf diverse Kürzel gestoßen, die ich nicht kannte: Samba, CIFS, NFS usw.

 

[Trambahner]

Windows ist in seinen Arbeitsplatzversionen eh nicht das OS der Wahl bzgl. Storage. NTFS als Dateisystem ist da auf Dauer zu unzuverlässig.

Aber dank Virtualisierung sind multiple OS auf einer Kiste ja kein Problem mehr.

 

[konfetti]

Wenn Dich ZFS interessiert und Du auch Streams haben möchtest, dann wäre doch eine fertige NAS-Lösung ala Xigmanas/OMV/... das richtigere für Dich.

Ich habe virtuell als 24/7 Sys ein Xigmanas mit durchgereichtem HBA laufen und das Backup-Sys is ein älteres System auf dem Xigmanas direkt auf der Hardware läuft, wenn ich es anschalte.

 

[Morrtin]

Sorry das ich mal so Frech bin und behaupte, dass für den Anfang ein Hypervisor, ZFS, etc. System zu komplex ist,
wenn du mit Linux commands nichts am Hut hast und lieber zu Beginn einmal alles mit WebGUI managen willst.

Ich würde folgendes vorschlagen:
Die Hardware kaufen die im Thread [Kaufberatung] Low-Power Media Server (Storage, Transcoding) besprochen wird,
wo du ja auch aktiv bist, wie ich gerade gesehen habe.

Inzwischen oder erst wenn die Hardware da ist, einmal unRAID auf einen USB Stick installieren und dir die Software 30 Tage lang gratis anschauen.

Mit der Software kannst du:
1-2 Parity Platten einrichten
x Daten Platten verschiedener Größen einrichten - diese entweder verschlüsselt oder unverschlüsselt formatieren.
Benutzer anlegen und Berechtigungen für die Shares vergeben.
Docker und VM Umgebung sind schon vorbereitet.
Platten fahren in den Spin Down.
Es gibt sogar ein Sleep Plugin wenn dich das interessiert.
Docker Container für Datengrab, Management etc. gibt es genug.
usw.

Da die Daten auf den Festplatten "normal" liegen kannst du diese jederzeit wo anders verwenden.

Ich möchte hier niemanden auf den Slips treten, aber es gibt so viele Möglichkeiten und ich selbst komme auch immer
wieder vom Hundertsten ins Tausendste, daher glaube ich das du mit unRAID deine ersten Schritte sehr leicht
bewerkstelligen könntest. Später kann man noch immer auf die "Profi" Systeme umsteigen kannst.

 

[tar]

Durch diesen Thread bin ich auf die wohl auch für meine Zwecke passende Grundkonfiguration gestoßen, was die Hardware betrifft. Ich habe daher die alten Listen gelöscht und diese angelegt. Unsicher bin ich mir noch, ob die separaten CPU- und SSD-Kühler sinnvolle Ausgaben sind - aber sind ja nur 50 €.

Als Storage werde ich zunächst meine ca. 5-6 Jahre alten, aber laut CrystalDiskInfo noch guten 6x 4TB WD Red nutzen, die momentan in meiner Workstation sind - und in die WS kommen dann zunächst 2 neue 12TB Platten rein, die später mal im NAS landen werden.

Als Backup benötige ich momentan etwa 12-16 TB für die Medien, die ich dazu parallel auf NAS und WS halten werde. Bleiben also jeweils 8-12 TB Buffer bis zur Erweiterung in 1-2 Jahren. Da würde ich dann die 4TB-Platten sukzessive mit den größeren WS-Platten ersetzen und in der WS dann auf noch größere Platten umschwenken, und so weiter und so fort.

Als Gehäuse würde ich eventuell auch mein momentan für die WS vorhandenes Lian Li PC-8FIA nutzen. Dank Schalldämmung ist es quasi unhörbar und ausreichend Platz für die Platten ist auch vorhanden.

Mein vorhandenes Netzeil be quiet! Straight Power E9-CM 580W ATX 2.4 dürfte mit 580W allerdings überdimensioniert sein. Deswegen würde ich auf das be quiet! Straight Power 10 400W umschwenken. Leider ist es nicht modular, aber was solls.

---

Danke Morrtin - das klingt vernünftig. Meinst du, es wäre auch sinnvoll, mal mit Windows Server rumzuspielen - oder wäre das vergeudete Lebenszeit?