[Kaufberatung] NAS für privat Nutzer mit Extremer Datenmenge

[Holt]

Was soll denn nun da alles drauf laufen? Rein als NAS reicht der Pentium dicke, ich habe einen N54L mit einem schwachen, alten AMD Dualcore, fünf Red 3TB im SW-RAID 5 und der wird nicht einmal auf einem Kern voll ausgelastet. Die Synólogy Diskstation DS416 die Du im ersten Thread in Erwägung gezogen hattest, hat einen Annapurna Labs Alpine AL-212 ARM Dual Core mit 1,4GHz und die Synology DiskStation DS1815+ als 8 Bay sowie die DS2415+ als 12Bay haben einen Intel Atom C2538. Auch wenn ich wenig von solche einseitigen Benchmarks halten, aber bei Passmark kommt der vergleichbare Atom C2550 auf 2329 Punkte und Single Thread auf 596, da sind halt die lahmen Silvermont Kerne drin und der Pentium G3240 hat dort 3272 Punkte und Single Thread 1798.

Da sollte also neben der reinen NAS Verwaltung noch Luft bleiben und die CPU ist ja gesockelt, sollte also austauschbar sein. Aber das sollte ja im Sammelthread des ML10 stehen und dort kannst Du dann auch fragen, ob die Jungs die so eine Kiste haben meinen ob die CPU für Diene Anwendungen reicht oder man vielleicht eher den ML10 mit der Xeon E3-1220 v3 CPU nehmen sollte. Der hat ab 486€ zwar dann auch 8GB RAM und eine 1TB HDD dabei, ist aber damit preislich eigentlich nicht mehr so attraktiv.

Aber im Vergleich zum neuen ML30 mit Skylake CPUs immer noch günstig, nur ist der noch nicht verfügbar und wenn er dann da ist, dürfte der Preis sich dem des Dell T130 angleichen, zu dem es ja ebenfalls schon einen Sammelthread gibt. Aber der hat leider nur 2 Einbauplätze für 3.5" Platten:

Aber drüber ist ja noch Luft um den Basteltrieb auszuleben und mehr 3.5" HDDs Platz zu verschaffen

 

[besterino]

Kleine Korrektur: der T130 hat von Haus aus Platz für 4 3,5" HDDs.

 

[Holt]

Kann sein, so genau kenne ich den nicht, ich dachte es wäre nur die zwei 3.5" unten, darüber der kleine Käfig für 2 2.5" und dann oben für 2 5¼", aber da könnte man natürlich auch leicht 3.5" HDDs einbauen und wenn es sowieso nur 3.5" Einbauplätze sind natürlich erst recht. Schade das es unten nicht gleich 4 Platze sind, dann wäre das eine runde Sache, denn bei der Gehäusegröße und der CPU würde ich da wenigstens 6 HDDs unterbringen wollen, wenn ich ihn als Storageserver nützten wollte.

 

[besterino]

Jau, der hat oben quasi noch 2x die gleichen 3,5er wie unten in den Dell typischen Caddies, nur eben um 90 Grad gedreht.

 

[Holt]

Mit 475€ liegt er vom Preis gerade etwas zu hoch als das man ihn zerrupfen und z.B. in ein anderes Gehäuse packen könnte. Der E3 1220 v5 kostet Boxed 215€, ein passendes Xeon Board geht bei 112€ los, mit einem C236 und einer IPMI erst ab 215€, also sind wir dann mit den rund 30€ für 4GB DDR4 unbuffered ECC RAM schon bei 460€, für die verbleiden 15€ bekommt man kein Netzteil und Gehäuse, wobei man bei Dell das Netzteil übernehmen oder einen Adapter verwenden müsste, wenn man die Teile in ein anderes Gehäuse stecken möchte. Wenn sie zu den Anforderungen passen, dann sind diese Microserver meist unschlagbar günstig, dafür kann man meist nichts Vergleichbares selbst zuammenbauen. Will aber anderes Konfigurationen, also eine andere CPU oder kann auf Features wie IPMI verzichten, so könnte der Selbstbau schon interessant sein, nur geht man dann auch immer das Risiko ein ob alles auch so zusammen passt.

Aber der T130 war sowieso nur am Rande erwähnt, empfehlen würde ich eher den ML10 weil der eben die Möglichkeit bietet 6 3.5" HDDs zu verbauen und ungleich günstiger, ja sogar unschlagbar günstig ist! Dafür hat er aber eben auch eine schwächere CPU der Haswell Generation, die reicht für den Server als Storageserver locker, aber wie gut er welche Zusatzaufgaben noch mit erledigen kann, müsste Bartlebe mal sehen. Typische NAS Zusatzdienste wie email- oder Webserver, sollte er auch noch locker bewältigen, die Fertig-NAS haben meist viel schwächere CPUs verbaut, aber Google Webangebot kann er damit natürlich keine Konkurrenz machen.

 

[Bartlebe]

Ok nochmal einmal kurz Zurückgeschwenkt zum Dateisystem.

Von den Features her hatte ich ja gen Anfang des Posts schonmal geschrieben würde ich mich ganz gerne für ZFS entscheiden.
Ich habe mich da grob eingelesen und wenn ich das richtig verstanden habe gibt es unter ZFS sogenannte Pools.
Um nun die Kapazität eines NAS zu erhöhen das unter ZFS läuft gibt es 2 Möglichkeiten. Entweder die Platten durch größere ersetzen und somit die Kapazität des Pools zu erhöhen. Oder aber einen Neuen Pool, um die Gesamtkapazität des NAS zu erhöhen. Wobei man, wenn man mit 2 Pools arbeitet auch die beiden Pools stripen kann, was zu höherer Geschwindigkeit führt. Aber logischerweise (wenn man 2x z1 pools betreibt) dazu führt das mehr Platten für Parität draufgehen(im Beispiel dann zwei...je eine für jeden Pool).

Habe ich das so richtig verstanden? Und wenn ja, gibt es da noch weitere Einschränkungen?
Also müssen / sollten Pools mit dehnen gearbeitet werden gleichgroß sein oder ähnliches.

Nur um zukünftige erweiterungen mal durchzuspielen.
Wenn also der ML10 gekauft werden sollte. OS = FreeNAS, Dateisystem = ZFS / z1 Raid
1. Entweder direkt alle 6 Möglichen Platten in kleinerer Kapazität kaufen damit alles in einem Pool bleibt und nur eine Paritätsplatte als Speicherplatz flöten geht.

oder 2. erst nur beispielsweise 4 Platten kaufen und die zu einem Pool mit z1 Raid machen. Um dann eventuell bei bedarf noch 2 weitere Platten nachzustecken um einen zweiten Pool im z1 zu haben.
Vorteil 2. Methode: 2 Pools können gestripet werden was die Geschwindigkeit erhöht.
Nachteil 2. Methode: es gehen auch 2 Platten für Parität verloren.

Nur um sicherzugehen das ich das alles richtig verstanden habe, also ich keine der beiden Möglichkeiten falsch wiedergegeben habe und es auch keine 3. Möglichkeit gibt.

 

[gea]

Vom Prinzip her richtig, aber falsche Begriffe.

Bei ZFS speichert man Daten auf einem Datenpool. Darauf werden dann Dateisysteme angelegt.
Der Pool besteht aus vdevs über die ZFS die Daten in der Art eines Raid-0 striped.

Macht man vdevs je aus einer einzelnen Platte, dann ist der Pool quasi ein normales Raid-0. Ein vdev kann aber auch ein Mirror oder Raid-Z (1-3) sein. Durch diese Flexibilität kann ein Pool beliebig gross (kein tatsächliches Limit), beliebig schnell (sequentielle Performance skaliert mit Anzahl der Datenplatten, io mit der Anzahl der vdevs) und beliebig sicher sein - je nach Raidlevel der vdevs.

 

[Bartlebe]

Gut aber das hieße ja das, auch wenn ich die Begriffe falsch verwendet habe, ich die Bedeutung für die Erweiterbarkeit im generellen und auch ganz Speziell bei diesem Projekt richtig rausgearbeitet habe oder?

Sprich die beiden möglichen Ansätze und den Vorteil / den Nachteil beim 2. Ansatz

 

[gea]

Ja, man kann einen Pool durch weitere vdevs oder Austausch aller Platten eines vdevs vergrößern. Andere Möglichkeiten gibts nicht.

 

[Holt]

Von den Features her hatte ich ja gen Anfang des Posts schonmal geschrieben würde ich mich ganz gerne für ZFS entscheiden.

Das ist Deine Entscheidung, aber dann ECC-RAM und Backups Pflicht sein, dann ein Recovery Tool gibt es nicht, da ZFS ein Profifilesystem für die ganz großen Storages ist und man dort im Worst Case das Backup zurückspielt. Da kann man vorher recht gut bestimmten wie lange man dafür braucht und das wichtigste in so einem Fall ist es dem Chef und den Kunden sagen zu können, wann das System wieder läuft. Daher kann man sich da nicht auf Reparaturversuche einlassen, der Dauer und Ausgang unbekannt sind.

Um nun die Kapazität eines NAS zu erhöhen das unter ZFS läuft gibt es 2 Möglichkeiten. Entweder die Platten durch größere ersetzen und somit die Kapazität des Pools zu erhöhen. Oder aber einen Neuen Pool

Richtig, Du kannst nicht wie bei einem HW-RAID oder Linux SW md RAID diese um weitere Platten ergänzen. Das geht zwar auch, aber die werden nur wie bei JBOD "angeklebt" und die Daten darauf genießen eben nicht den normalen Schutz wie auf den anderen Platten.

Dies war auch ein Grund warum ich mich gegen ZFS und für ein SW-RAID mit Linux md entschieden habe!

1. Entweder direkt alle 6 Möglichen Platten in kleinerer Kapazität kaufen damit alles in einem Pool bleibt und nur eine Paritätsplatte als Speicherplatz flöten geht.

Moment, bei 6 HDDs mit kleiner Kapazität, sagen wir 3TB, wäre das dann aber bei HDDs mit einer UBER von 1:10^14 nicht ganz ungefährlich nur eine HDD für Parität einzusetzen, also RAID5 bzw. Z1 zu machen. Vergiss nicht, bei 3TB mit 1:10^14 sind die Chancen dann nur 23,7% das die verbleibenden 5 bei einem Ausfall komplett fehlerfrei gelesen werden können!

oder 2. erst nur beispielsweise 4 Platten kaufen und die zu einem Pool mit z1 Raid machen. Um dann eventuell bei bedarf noch 2 weitere Platten nachzustecken um einen zweiten Pool im z1 zu haben.

Was soll denn ein Pool mit 2 Platten bringen? Das wäre ja ein RAID 1 (keine Ahnung wie zfs sowas nennt), damit wäre dann im ganz wieder die Kapazität von 2 HDDs verloren und zu einem "RAID 0" kannst Du die beiden Pools auch nicht wirklich sinnvoll zusammenfassen, weil sie ja unterschiedliche groß wären.

Vorteil 2. Methode: 2 Pools können gestripet werden was die Geschwindigkeit erhöht.

Ja wie denn konkret? Da hast Du sagen wie vier 3TB HDDs im ersten Pool, also 9TB Gesamtkapazität und rüstest zwei 8TB HDDs als RAID 1 nach, dann hast Du einmal 9TB und einmal 8TB, das wären zusammen dann nur 16TB wenn man sie wie ein RAID 0 gestrippt betreibt. Und geht das überhaupt? Auch noch ohne Datenverlust?

Nachteil 2. Methode: es gehen auch 2 Platten für Parität verloren.

Eben!

es auch keine 3. Möglichkeit gibt.

Natürlich gibt es die: Man braucht sowieso ein Backup, wenn die Daten sicher sein sollen, denn keine RAID oder ZFS Pool können Backups ersetzen. Schau Dir nur mal an was der Aktuelle Verschlüsselungsvirus da gerade so anstellt, der Verschlüsselt auch die Netzwerklaufwerke auf die die infizierten Rechner Zugriff habe! Dann stellt man sicher das diese Backup wirklich aktuell ist und funktioniert, löst den Pool auf und erstellt einen neue schon gleich mit den zusätzlichen Platten. Das ist nicht nur die 3. Möglichkeit, sondern der Weg eine ZFS Pool zu erweitern!

 

[Bartlebe]

Ok also 1. ECC RAM ist doch so oder so geplant... ich habe hier noch nicht eine config oder Möglichkeit in erwägung gezogen wo das nicht der Fall war.
2. Das mit dem UBER hatten wir doch auch schon lange geklärt und ich habe recht gegeben das Platten mit nem UBER von 1:10^15 da rein sollen. Von daher auch die Überlegung das jetzt Raid z1 auch reichen könnte.
Vorher war ja immer von einem Raid z2 die Rede

Und mal ganz realistisch gedacht... der um den es hier Genau geht hat UNMENGEN von DvDs und so weiter... eine enorme Filmesammlung. Eines der Hauptaufgabengebiete des NAS wird dementsprechend neben dem Filesystem und der Cloud auch das Streaming werden.
Und natürlich wäre es Wünschenswert von absolut allen Daten ein Backup zu haben. Macht aber Kosten/Nutzen Faktor schlicht und ergreifend keinen Sinn dann 20tb an externen bereitzuhalten um im zweifelsfall alles zu sichern.
Gebackupt werden wichtige Daten, solche die nicht wieder hergestellt werden können (Urlaubsbilder Steuererklärung was auch immer) oder ähnliches im absoluten katastrophenfall.
Macht kein Mensch bei Filmen und Serien, dafür ist Speicherplatz dann doch noch zu teuer.
ABER das heißt natürlich nicht das man das bei der Planung billigend in Kauf nimmt das der Mensch alle keine Ahnung 200-300 DVD's oder was der hat komplett neu wird aufn rechner ziehen müssen.

Ja du hast Recht in einem Serverbetrieb für einen Zahlenden kunden wird das so gehandhabt und macht Sinn.
Aber ohne jetzt Irgend ein Argument davon herabwürdigen zu wollen ist das in einem solch privaten Anwendungsbereich bei dieser Art von Daten doch ein wenig an der Realität vorbei.

Von daher ist deine Vorgeschlagene 3. Variante nicht wirklich praktikabel.

Da einen zweiten Pool aufzumachen aber auch nicht wirklich Praktikabel scheint. Werde ich Meinem Kollegen wohl empfehlen mit der Variante 6x4 tb zu gehen .. Dann hat der auf jedenfall noch Puffer was Speicherplatz angeht. UND es gibt auch keine Probleme das Kapazitätsmäßig nach oben zu schrauben wenn der Platz doch ausgehen sollte und zwar so wie es auch in ZFS vorgesehen und machbar ist.

 

[pumuckel]

Na dann hoffen wir alle mal, dass es sich um 300+ selbst gedrehte Filme handelt, denn sonst sind die Kosten für das "nas" sicherlich zu vernachlässigen gegenüber den 300+ Urheberrechtsverletzungen

Nur so als Denkanstöße

http://dejure.org/gesetze/UrhG/108b.html macht zwar deutlich, das es nicht strafrechtlich verfolgt wird (wenn rein privat) , jedoch betrifft dies nicht den Rechteinhaber und dessen zivilrechtliche Ansprüche

 

[Holt]

Ok also 1. ECC RAM ist doch so oder so geplant... ich habe hier noch nicht eine config oder Möglichkeit in erwägung gezogen wo das nicht der Fall war.

Wollte es auch nur noch einmal in Erinnerung rufen!

2. Das mit dem UBER hatten wir doch auch schon lange geklärt und ich habe recht gegeben das Platten mit nem UBER von 1:10^15 da rein sollen.

Aber welche kleinen Platten sollen es denn konkret werden, die eine UBER von 1:10^15 haben? Bei WD hat die Re Serien diese UBER, nicht die Red und auch nicht die Red Pro! Eine 3TB Re kostet 200€, bei dem eBay Angebot für 169€ hätte ich Bedenken Gebrauchtware zu erhalten, die Re 3TB ist ja schon seid 2012 auf dem Markt und damit kommen die ersten abgerittenen Gebrauchtmodelle aus den Datacentern mit zurückgesetzten S.M.A.R.T. so langsam als angeblich unbenutzte Neuware oder generalüberholte Modell wieder auf den Markt. Der Anbieter hat ja neben der WD Re 3TB noch genau eine weitere HDD im Angebot, die Seagate Barracuda 7200.14 3TB Manufacturer refurbished.

Das gilt auch für das günstigste Angebot der Re 4TB, ein Impressum vom Anbieter Crabman konnte ich gleich gar nicht finden und das Angebot ist mit 4 Artikeln übersichtlich, aber komisch gemischt. Von

Von Toshiba käme ebenfalls nur die Enterprise MG Serie als Nearline HDD in Frage, da kostet die 3TB auch ab 213€ und die 4TB ab 271€, ähnlich viel wie die aktuelle Version der WD Re 4TB.

Von HGST kommt auch nur die UltraStar in Frage, die Megascale hat nur eine UBER von 1:10^14, nur sind die günstigen 2TB UltraStar alles abgerittene Gebrauchtware, auch wenn sie als angeblich neu und unbenutzt oder generalüberholt angepriesen werden, was auch für die Ultra Star 3TB der A7K3000 gilt, die K6000 ist die aktuelle UltraStar Serie, die UltraStar K4000er sind noch halbwegs aktuell, da kostet eine 3TB aber auch ab 183€.

Bei Seagate hat die Seagate NAS Baureihe ab der 6TB dagegen eine UBER von 1:10^15, die kleineren haben auch nur 1:10^15 und bei der Surveillance Reihe hat es nur die mit 8TB. Einzig die Enterprise NAS und die früher Constellation ES.3 genante Enterprise Capacity Baureihen haben durchgehend 1:10^15 für alle Kapazitäten. Die Baureihe ist noch zumindest unter den Bezeichnungen auch kein Jahr alt, die Gefahr vom Datencentern ausrangierte Gebrauchtware zu bekommen also entsprechend gering und bei den großen Kapazitäten sowieso praktisch 0.

So eine Seagate Enterprise NAS HDD 3TB, SATA 6Gb/s (ST3000VN0001) ist ab € 172 auch die günstigste der 3TB, aber pro TB sind das 57,33€ und die Seagate Enterprise Capacity kosten pro TB ähnlich viel. Dagegen kostet die Seagate NAS 6TB (ST6000VN0021) nur ab 254€, also 42,23€/TB und für das Geld pro TB gibt es sonst keine neue HDD mit einer UBER von 1:10^15, außer der Seagate Surveillance HDD 7200rpm 8TB, SATA 6Gb/s (ST8000VX0002) die ab 334€ und damit 41,73€/TB kostet. Aus den 15,628,053,168 Guaranteed sectors im Product Manual kann man übrigens ablesen, dass die ST8000VX0002 keine 4kn sondern eine 512e ist.

Von daher auch die Überlegung das jetzt Raid z1 auch reichen könnte.
Vorher war ja immer von einem Raid z2 die Rede

Aber s.o., die Krux an der Sache ist, dass die kleinen HDDs dann wieder nur eine UBER von 1:10^14 haben oder die mit einer UBER von 1:10^15 eben teuer sind. Günstig und mit 1:10^15 sind die beiden zuletzt genannte Seagate Modelle, weshalb die eben so attraktiv sind. Nur sind es eben mit 6TB bzw. 8TB keine kleinen HDDs und ich würde die nehmen, jetzt die nötig Anzahl als Linux md RAID 5 konfigurieren und dann bei Bedarf zukaufen und das RAID erweitern, statt auf ZFS zu setzen. Man kann z.B. mit cfv auch unter Linux Prüfsummen erstellen und automatisch prüfen lassen, aber Datenkorruption kommt praktisch nie von den HDD, sondern vor allem von RAM Fehlern. Die HDDs schreiben hinter jeden Sektor eine ECC von mindestens 100 Byte, da passieren praktisch nie Bitfehler unerkannt und schon die CRC32 hinter jedem FIS mit dem die Daten über SATA übertragen werden, erlauben bei Übertragungsfehlern (die sieht man am Attribut 199 bzw. 0xC7 der S.M.A.R.T. Werte) nur mit einer Wahrscheinlichkeit von etwa 1:10^40 einen unerkannten Fehler, also auch praktisch nie, da man dazu ja 10^40*8k übertragen müsste, wogegen die gesamte im letzten Jahr gefertigte Festplattenkapazität nur kein winziger Klecks ist.

Eher könnte mal ein Bitfehler auf den internen Datenpfaden der HDD auftreten, Enterprise HDDs haben einen Schutz davor und bei Seagate haben selbst die meisten Consumer HDDs wie die ST3000DM001 eine Erkennung für solche Fehler, was man auch anhand eines Ende-zu-Ende Fehler Attributes in den S.M.A.R.T. Werten sieht, aber die sind auch sehr, sehr selten. Die Fans von Filesystemen mit Prüfsummen tun ja immer so, als würden die HDDs immer mal wieder einfach so andere Daten wiedergeben, aber das ist schlicht Quatsch, dafür können wenn, dann vor allem RAM Fehler oder FW Bugs verantwortlich sein. Die HDDs liefern nur einen Lesefehler, wenn sie eben eine Sektor nicht mehr korrekt lesen können, die Wahrscheinlichkeit dafür drückt eben die UBER aus. Nur in einem RAID 5 führt das ja nicht zu einem Fehler wie bei einer einzelnen Platte den die SW vielleicht auch nicht korrekt auswertet und dann die gelesene Daten

 

[fsironman]

So wie ich hier mitlese und super viel Wert auf ECC RAM TLER etc. gelegt wird und über UBER diskutiert wird für ein Filmestorage da kann ich einfach nicht anders und auf http://www.snapraid.it/ hinweisen.

Für Daten die sich selten ändern optimal. Scrubben kann man auch.

Und für mich der Dealbreaker:
- Erweiterung super super easy: neue Platte rein config anpassen sync und fertig
- Fallen tatsächlich mehr Festplatten aus als du Paritätsplatten hast dann sind die restlichen Platten trotzdem noch lesbar
- Beim Zugriff muss nur die Festplatte laufen auf der das File liegt

Nachteile:
- Keine Performancegewinn gegenüber Einzelplatte
- Snapshot Raid


Außerdem:
Nehmen wir an du hast 3 Festplatten und du willst dich gegen Datenverlust so gut wie möglich absichern welche option hat man:

Option 1:
RAID1 Storage + Backupfestplatte

Option2:
Storage + RAID1 Backupfestplatte

Option3:
Storage + Backupfestplatte + noch ne Backupfestplatte


Option3 ist meiner Meinug nach immer vorzuziehen

RAID braucht du nur wenn du hohe Verfügbarkeit willst.
Und im Gegensatz du einem Unternehmen ist es kein Weltuntergang wenn du einen Abend lang keine Filme anschauen kannst.

Und bevor jemand kommt aber für Backup brauchst du doch ne größere Festplatte wie von der gesichert wird.
Prinzipiell richtig nicht aber bei einem Filme Archiv wo sich nie etwas ändert und nur selten gelöscht wird.

 

[tovaxxx]

Für mich ist Snapraid auch optimal. Allerdings hab ich da ein Problem mit der Wiederherstellung der Parität. Eine Platte (Daten) wurde ersetzt und beim Wiederherstellen fordert Snapraid die alte Platte wieder obwohl die neue in der Config drin steht. Woran kann das liegen bzw. wo ist der Fehler. Habs 2 x versucht.

 

[fsironman]

Das hier im Detail zu beantorten wäre etwas OT kannst mir gerne ne PN senden oder neuen thread aufmachen aber prinzipell tauscht du in der config nur die defekte Platte mit der neuen aus und sagts fix.

 

[Holt]

Das muss jeder selbst wissen, sind ja auch eure Daten, aber ich halte mich lieber an bewährtes und am längstens und weitesten haben sich bisher die Linux md SW-RAIDs bewährt. Die tollsten Features der auch so gelobten Alternativen nutzen ja nicht, solange die Implementierung noch wirklich bugfrei ist.