Planung NAS 2.0 (ZFS, bis 60TB) für Privat

[DocSilly]

Hallo Hardwarejunkies,

mir ist bekannt das es dutzende ähnlicher Anfragen gibt - aber kein Thread passte auf meine Anfragen. Viele haben sich um Teilaspekte gekümmert aber ich denke das ein zentralisierter auf meine Anliegen doch eine gewisse Berechtigung hat.

Schon seit vielen Jahren beschäftige ich mich mit der Speicherung meiner kleinen Datensammlung (Datengrab für Videodateien). Anfangs waren es noch zusätzliche Datenfestplatten im PC im unteren GB Bereich. Nachdem mir aber zwei mal das Ableben derer meine Daten mit ins Grab genommen haben wurde auf RAID mit Redundanz gesetzt. (Ja, RAID ersetzt keine Backups, kenne ich schon )
Das erste war ein RAID5 mit 4x 250 GB im Arbeitsrechner, das letzte Upgrade waren dann 8x 1,5TB an einem Hardware RAID-Controller im PC. Weitere Erweiterungen im Arbeitsrechner waren aber nicht mehr realisierbar (in bezahlbarer Form).

Der nächste Schritt führte dann zu meinem NAS 1.0, Ziel war ein bezahlbares Datengrab mit hoher Datensicherheit bei leisem Betrieb. Nach längerer Recherche kristalisierte sich ein ZFS basiertes System als beste Lösung heraus. Erste Versuche mit dem damaligen FreeNAS waren unbefriedigend, Nexentastore CE war mir zu limitiert, am Ende kam Solaris 11 Express auf die Kiste. Als Hardware kam dann folgendes zum Zuge:

Spoiler

Case: Fractal Design Define XL
Mobo: ASUS M4A89GTD Pro
CPU+HS: AMD Phenom II X6 1090T + Scythe Mugen 2 Rev.B
RAM: 16GB (4x4GB) Kingston KVR1333 ECC Memory
PSU: Enermax MODU82+ II 625W
NIC: Intel Gigabit CT Desktop Adapter, PCIe x1
Controller: Intel SASUC8I, PCIe x8, 8x SAS/SATA mit LSI IT firmware
HDD: 14x Western Digital Caviar Green 2000GB (WD20EARS) - alle in einem großen RaidZ2
1x 40GB OCZ-VERTEX2 (OS drive)
1x 128GB Super Talent STT_FTM28GX25H (cache drive, ist eine RMA)
OS: Oracle Solaris 11, zur Zeit 11.1
Fans: be quiet! Silent Wings USC, 2x 120mm + 2x 140mm an einem fancontroller

Das NAS 1.0 läuft seit 2,5 Jahren leise in meinem Arbeitszimmer, momentan läuft das Resilvering der fünften getauschten Festplatte. Es war sicher nicht die optimale Lösung alle 14 Festplatten in ein ZFS-Encrypted RaidZ2 zu packen, zudem gab es damals noch die kleinen Probleme mit den neuen 4K AF Festplatten. Da das NAS aber langsam überläuft ist es Zeit für ein neues NAS 2.0

Hier die geplante Hardwareliste:

Spoiler

- Ri-vier 4U 24bay storage chassis (No SGPIO) - RV4324-03A 450€
- be quiet! Straight Power E9-CM 580W 100€
- Intel Xeon E3-1225 v3, 4x 3.20GHz 200€
- ASUS P9D-E/4L 230€
- Kingston ValueRAM Intel DIMM Kit 32GB 300€
- IBM ServeRAID M1015 370€ für drei
- Adaptec mini SAS x4 (SFF-8087) auf 4x SAS (SFF-8482) Kabel, 0.7m 140€ für sechs

Somit wären ich bei 1800€ für das Grundgerüst ohne Festplatten. Für Festplatten würde ich 4TB nehmen.
- WD Green (vergleichbare): leise und sparsam, sind aber sicherlich keine optimale Option da diese weder für 24H Betrieb ausgelegt sind noch besonders Vibrationsarm sind. Vor allem die Vibrationen dürften in 4U Rack langsam zum Problem werden (in meinem NAS 1.0 waren alle Vibrationsgedämpft eingebaut), gibt eh keine 4TB Version als WD Green
- WD SE 220€ : Die neue Einstiegs Nearline-Serie mit Beschleunigungssensoren etc um Vibrationen aktiv zu bekämpfen ... dafür aber laut + warm + hoher Energieverbrauch dank 7200RPM ... und vor "relativ" teuer
- Western Digital WD Red 4TB 190€ : leise, kühl und sparsam, vorgesehen für 24H Betrieb, angepasste Firmware für NAS und bekämpft Vibrationen passiv ... mit 190€ aber noch recht teuer, mag aber daran liegen das es die 4TB Version erst seit kurzem gibt
- Seagate NAS HDD 4TB 170€ : Ähnlich der WD RED aber 20€ günstiger ... bei Vollausbau macht das dann mal kurz knapp 500€ aus

Momentan tendiere ich zu den Seagate NAS Laufwerken, auch wenn diese nur für kleine NAS von max 5-6 vorgesehen sind. Die WD SE Nearline sprengen dann doch meine finanziellen Möglichkeiten, trotz ihrer aktiven Vibrationskontrolle. Immerhin würden sich die Mehrkosten im Vollausbau auf gut 1200€ belaufen. Mit 4000€ machen die Festplatten (24x WD NAS 4TB) alleine 2/3 der Kosten aus.

Kommen wir also zu den Fragezeichen:

- CPU: Haswell wurde gewählt wegen der Energiesparfunktionen der neuen Generation. Es stellt sich hier die Frage ob es sich eventuell lohnt mehr Geld für weniger CPU Leistung aber niedrigerer TDP auszugeben. Als günstigste Lowpower CPU wäre da der Intel Xeon E3-1230L v3, 4x 1.80GHz (25W TDP) für 230€ oder danach dann der Intel Xeon E3-1265L v3, 4x 2.50GHz für 300€. Das NAS ist ein reines Datengrab ABER es soll mit Verschlüsselung laufen.

Als Mainboard kommt das ASUS P9D-E/4L da es als eines der wenigen Boards drei Slots mit vollen elektrischen x8 Gen3 bietet (auch wenn diese durch den PCI-E Switch mit x16 Gen3 Link "hust" ausgebremst werden "hust"). Ein interessanter Review ist hier zu finden. Vor allem fand ich diesen Satz am Ende wichtig:

In our week with this board it’s been flawless – performance has been stellar and there have been no glitches with using all of the PCI-E slots for HBAs in a storage chassis.

- Aufteilung der Festplatten: Es galt ja eine Zeitlang der Wegweiser bei RaidZ/Z2/Z3 bestimmte Festplattenzahlen zu nehmen für optimale Performance in Verbindung mit 4K AF Festplatten. Diese Problematik sollte sich zumindest mit Solaris 11.1 erschlagen haben (siehe auch What's New in Disk Management? bzw. How to tell if AF 4k drives are detected correctly). Ein riesen RaidZx käme trotzdem nicht in Frage, alleine schon wegen Resilvering, aber welche Aufteilung wäre zu empfehlen? 3x RaidZ2 oder zweimal RaidZ3? Kann Napp-IT beim erstellen schon automatisch mit 4K AF umgehen oder muss man noch zu Putty greifen um ashift=12 zu nutzen (hab noch 0.8l3 nightly auf meinem NAS 1.0)?

- Bootdrive: Eine normale HDD oder ein/zwei SSD in der internen Halterung oder ein/zwei USB Sticks?

- OS: Vor allem in Bezug auf Encryption. Entweder kommt da Solaris 11.1 in Frage mit nativem ZFS-Encryption oder so etwas wie OmniOS mit "aufgesetzer" Encryption.

- EDIT: Ach ja, da wäre noch die Sache mit Spindown und den M1015, geht es direkt oder muss man da wieder was editieren?

Bei knapp 6000€ im Vollausbau für sein privates Datengrab stellt man doch lieber VORHER möglichst viele Fragen, ich danke schon mal im Voraus für die konstruktiven Antworten. Und jetzt brauch ich erstmal eine kurze Pause nachdem ich diese Wall-of-Text verfasst habe.

UPDATE der Hardwareliste > Neuer Post

 

[bigghost]

nettes.projekt aber 3 raid controller der ohne cache nicht besonders performant sein kann mit so einem externen 24 hd gehäuse was 6 anschlüsse braucht nicht der hit.vor allem hat der controller keinen externen anschluss also nimmst du die intern und gehst damit auf ein externes gehäuse.nicht so schön.

wäre ein vernünftiger raid controller mit externen anschluss mit einem externen 24 hd jbod gehäuse nicht besser. kenne aber da die preis zum vergleich auch nicht.aber sowas haben wir auf der arbeit und vorteil finde ich bei den jbods wenn die 24hds nicht mehr reichen kannste dir ein weiteren jbod direkt einschleifen. weiß aber nicht ob die lösung mit den 3 controller evt. performanter auch wenn ohne cache

 

[TCM]

Wozu brauchen die Controller Cache? Dafür ist doch ZFS da. Der Rechner steckt außerdem mit den Platten in dem Gehäuse drin. Was also der Einwurf wegen extern soll, versteh ich auch nicht.

OP: Das passt prinzipiell so. Die Einwürfe sind komplett unbegründet.

Extra eine CPU mit niedriger TDP bringt nichts IMHO. Im Idle spart die nicht mehr als die "normalen", dafür fehlt dir nach oben die Leistung. Wenn die Leistung eh nicht gebraucht wird, dann taktet das Teil auch nicht komplett hoch.

Solaris 11.1 würde ich ehrlich gesagt nicht einsetzen. 1) Du hast keine Garantie, dass die Verschlüsselung auch das tut, was sie soll, s. NSA-Verflechtungen in Konzernen 2) du hast null Support 3) ging mal die Anekdote rum, dass AES-NI dort gar nicht funktioniert bei ZFS encryption 4) ist Oracle die Definition eines geldgeilen, menschlichkeitsleeren Konzerns. Lies mal nach, warum denen die komplette Entwicklungsabteilung um ZFS etc. weggerannt ist. Qualität kommt da absolut keine mehr, s. Java. Oracle ist eine Sackgasse und schwarzes Loch für Geld[1].

Noch besser als eine "aufgesetzte" Encryption wäre eine "untergeschobene", also ZFS auf vollverschlüsselten Platten einrichten, mache ich auf FreeBSD. Vorteile hier konkret: 1) Encryption ist AES-NI-beschleunigt 2) jede Platte ist ein eigener Thread bei der Verschlüsselung, alle Kerne werden genutzt 3) es sind absolut keine Daten unverschlüsselt, auch keine Pool-Metadaten. Nachteil: Es werden alle Komponenten verschlüsselt, d.h. effektiv wird die Parität mitverschlüsselt statt nur die Nutzdaten.

Edit: [1] das Video hatte ich gesucht: http://www.youtube.com/watch?v=-zRN7XLCRhc#t=2002 ab Minute 33 ca.

 

[bigghost]

sry gar nicht gesehen das ihm ri-vier auch board reinkommt etc. mein fehler.

 

[hotzen]

hätte da mal paar fragen zu deinem vorhaben
- das 4u gehäuse, ist das noch ein original norco oder ähnlich xcase.co.uk ein norco-ähnlicher, den ri-vier selbst verkauft?
- die supermicros können doch genauso 3x HBAs befeuern, oder nicht? würde das asus prinzipiell eher im workstation- als im server-bereich sehen. aber nur meine 2cents
- aes-ni hat tatsächlich unter solaris probleme, bei allen hardforum.com-tests war es nicht aktiv obwohl es das auch nach rückfrage mit oracle hätte sein müssen. fail.
- würde auch die seagate platten nehmen
- würde 4x 6er raidz2 statt raidz3 nehmen. finde den rechenaufwand für 3 paritäts-disks etwas übertrieben
- 370 für 3x m1015 ist VIEL zu viel kohle. die solltest du bei ebay zwischen 50-80 das stück bekommen.
- hatte auch solaris 11 mit zfs-encryption bin aber zu omnios gewechselt (ohne encryption). würde auf jeden fall raten zu omnios zu gehen und zu schauen wie man da verschlüsselung halbwegs edel lösen kann. solaris ist einfach zu bitter ohne jedweden grundlegenden update-channel.
- ich glaube gelesen zu haben, dass neuere festplatten neben der 512er blockgröße per separatem attribut auch ihre physischen 4k kommunizieren und die neueren zfs-versionen das auch interpretieren können. aber da kann ich mich irren.
- spindown ist hba-unabhängig (mit ausnahmen) und kann normalerweise ganz einfach über die power.conf eingetragen werden. funktioniert auch gut.
- was system-platte angeht würde ich eine kleine ssd nehmen, die nur zu einem kleinen teil (~10 gb) partionieren, den rest völlig frei lassen. wird dann automatisch als spare verwendet, wearout ist also quasi ausgeschlossen. raid o.ä. würde ich persönlich nicht fahren, dafür ist so ein mini-ding zu schnell wieder aufgesetzt. hauptsache die zfs tanks überleben

viel spaß und erfolg, ist ja eine gewisse investition

 

[hominidae]

Tja, das sieht ja ganz gut aus...das Thema Full-Disk Encryption und AES-NI Support hat mich dann auch von Solaris-11 zu Linux mit dm-crypt/LUKS geführt....das rennt wie Sau...auch FreeNas war deutlich (20%) langsamer.
Ich nutze ein Low-End Desktop Board von ASUS, aber mit ECC und nem AMD Opteron 3350HE.
Da drin einen M1015 und dran einen Intel RESCV240 (nach dem letzten FW Update des Expanders habe ich nie Probleme mit S-ATA Disks gehabt...und mein GBit lastet das Setup ohne Probs aus.

Das Thema low-TDP würde ich mal ignorieren.
Im idle sind alle Intels einer Reihe gleich und das wird Deine Mühle wahrscheinlich auch machen.
Für AES-NI sind das auch nochmal Reserven.

 

[hotzen]

Die c't wiederholt auch gebetsmühlenartig, dass aus Effizienz-Sicht die normal TDP CPUs zu wählen sind.
Eine niedrig-TDP CPU ist in der Maximal-Leistung stark begrenzt, sie braucht überproportional länger für die Abarbeitung einer gegebenen Workload.
Eine normal-TDP CPU hat die Workload wesentlich schneller abgearbeitet und geht dann in die exakt gleiche Idle-Last über wie die Low-TDP CPUs.

CPUs mit geringer TDP wählt man also *ausschließlich* aufgrund eines nicht ausreichenden/kleinen Kühlsystems.

Zum Expander, ich würde prinzipiell zu mehreren dedizierten M1015 tendieren, anstatt alles durch einen Expander zu pressen.
Das ganze gilt natürlich nicht mehr ab 24 disks, da hat man dann kaum eine andere Chance als einen guten Expander zu benutzen.

 

[hominidae]

..zum Thema Netzteil, bin ich immer der Meinung dass bei mehr als 4-6 Platten ein single-Rail einfach sein muss.
Sowas zB: Netzteile mit Leistung ab 550W, Anzahl 12V-Ausgänge: 1x, Besonderheiten: unterstützt "Haswell" C6/C7 Low-Power States/abnehmbare Anschlüsse, 80 PLUS: 80 PLUS Gold Preisvergleich | Geizhals Österreich
Evtl kannst Du was sparen, wenn Du auf abnehmbare Anschlüsse verzichtest..im Gehäuse ist Platz genug.

Eine Gehäuse Alternative zum Norco (Ri-Vier importiert das ja) ist das Intertech: http://www.hardwareluxx.de/community/f101/norco-rpc-4224-aka-inter-tech-ipc-4u-4324l-889631-6.html
Habe es auch und bin sehr zufrieden....Lüfter tauschen und gut.

 

[hominidae]

Ich denke mit Expander braucht es etwa 7-10W weniger Strom (ein M1015, wenn man annimmt das der Expander auch in dem Bereich liegt).
Ich bin damit eingestiegen, da ich nicht genug slots auf meinem Board hatte/habe und bin sehr zufrieden.

Edit:
Bei Disks, die weniger als 1,5GBit am S-ATA liefern sollte es auch OK sein.
Rechnung:

Max Bandbeite des M1015 auf 8 Ports mit 6GB/s sind 48GB/s.
An einem 36Port Expander bleiben dann 28Ports...also immer noch 1.7GB/s pro Port...das reicht für eine Seagate 4TB NAS Platte.
Denke nicht das die 150MB/sec konstant liefern kann.

...wenn ein paar SSDs im Spiel sind, dann evtl. dafür einen eigenen M1015 nehmen.
Bei einem 24 port Expander, der nur mit einem M1015-slot (4 Ports) verbunden ist, kommen für 20 Disks immer noch 1.2GB/s an....und 4 Disks können mit 6GB/s direkt ran.

Edit2: ..und die Backplanes in den angesprochenen Gehäusen sind auch nur 12GB (3GB pro Slot)....die Bandbreite von 3x M1015 käme also garnicht an.

 

[pumuckel]

Bei knapp 6000€ im Vollausbau für sein privates Datengrab stellt man doch lieber VORHER möglichst viele Fragen, ich danke schon mal im Voraus für die konstruktiven Antworten. Und jetzt brauch ich erstmal eine kurze Pause nachdem ich diese Wall-of-Text verfasst habe.

... der menge an Drives und bei dem Preis muss ich dir nahelegen KEINE CONSUMER oder NAS Platten zu verwenden (oder evtl geeignete Gehäuse zu wählen (z.b. 1 Server + 2 Drivecases)

Seagates NASWorks firmware und die HDD an sich ist wirklich RICHTIG toll, jedoch trotz spezieller Lagerung bei den Drives NICHT den Schutz gegen die Vibrationen wie bei den Constellation ES Drives ....
Trotzdem, wenn "Consumer" dann die Seagate NAS imho

das Video hier ist SEHR ALT : aber bringts auf den Punkt Shouting in the Datacenter - YouTube (so schon lange nicht mehr der Fall !!!)

 

[DocSilly]

Ist das aktuelle Ri-Vier wirklich noch ein einfacher Norco Import? Die Produktbilder unterscheiden sich doch schon etwas:

Spoiler

Ri-Vier

Norco

Als nächst-teurere Alternative käme dann wohl das X-Case RM 424 -Pro für (Währungsrechner raushol) ca. 665€ in Frage.
Das sieht schon etwas besser aus als das Ri-Vier, die Temperaturgesteuerten Hotplug Lüfter sind auch nett ... aber man bezahlt sicher auch extra für die SGPIO Option - welche ich nicht brauche. Das Ri-Vier gibt es übrigens auch als Version mit SGPIO, das kostet dann 525€ statt 450€.

 

[hominidae]

Oh, das sieht wirkilch anders aus...und es heisst

Ri-vier's own brand of the popular 24 Hot-swap 4U case with very stable backplane created by an Intel engineer [...]

Ich muss gestehen, ich hatte den Link nicht wirklich angeschaut...aber die Nummer klang so verdächtig/bekannt genug ;-)
Ob die Backplanes nun besser oder nur anders sind als die Norcos, wäre ja noch zu prüfen.
Habe gerade irgendwo gelesen, dass da auch neue kommen, zB mit nur 1xPower pro BP.

 

[Zwitschack]

ich würde mal noch zwei sachen in den raum werfen:

- als CPU würde ich persönlich den Intel Xeon E3-1245 v3 dem Intel Xeon E3-1225 v3 vorziehen (thema i5 vs i7)
- bei 24 geplanten Festplatten würde ich doch mal nen Hersteller direkt anfragen, ob man eine Bestellung aufgeben kann und was sich preislich machen lässt.

 

[hotzen]

Dann würde ich aber den Intel Xeon E3-1230 v3 reinschmeißen, als p/l-besten Xeon mit Hyper-Threading, ohne GPU-Zeuch:
Intel Xeon mit Codename: Haswell, CPU Features: Hyper-Threading Preisvergleich | Geizhals Deutschland

 

[Zwitschack]

naja, bei Anschaffungkosten von über 5.000€ kann er auch eine CPU mit iGPU nehmen. hab mich da auch an seiner ersten Wahl orientiert, da diese auch eine iGPU enthällt.

 

[gea]

Bei knapp 6000€ im Vollausbau für sein privates Datengrab stellt man doch lieber VORHER möglichst viele Fragen, ich danke schon mal im Voraus für die konstruktiven Antworten. Und jetzt brauch ich erstmal eine kurze Pause nachdem ich diese Wall-of-Text verfasst habe.

Ich würde ein 24 bay Case von Chenbro oder Supermicro (ohne Expander mit miniSAS Anschluss) nehmen- alternativ ein Norco oder Intertech (bei Abstrichen an mechanischer Qualität) dafür billiger (Lüfter immer tauschen oder drosseln) dazu ein SuperMicro X9SRH-7TF + Xeon und ECC Ram und irgendein Xeon (10 GbE und SAS 8 Kanal onboard), dazu 8-256 GB RAM, weitere LSI 9207 oder billige IBM 1015 (onboard bzw IBM 1015 reflashed mit IT Firmware)

OmniOS (neuestes und schnellstes freies ZFS, stable mit Updates) ist auch meine erste Wahl
mit 2 x Raidz2, je 10 disks (max 64 TB nutzbar bei 4 TB disks)

Ich würde auch ein zweites kleines Backupsystem im Keller mit einplanen.
(z.B. HP Microserver für wichtige Daten, auch mit OmniOS, max 12 TB nutzbar bei 4x4 TB disks und Raid-Z1)

bzgl Verschlüsselung
- wenn man online ist: hilft nicht/nicht relevant
- gegen Geheimdienste vermutlich meist wirkungslos
- gut gegen Gelegenheitsdiebe oder einfache Polizei-Durchsuchung sofern Server aus

dennoch: Schade dass es nur für Oracle Solaris integrierte ZFS Verschlüssellung gibt.
Allerdings ist die Verschlüssellung per Lofiadm (Solaris & Co) die absolut beste Lösung, wenn es darum geht, normale ZFS-Daten-Pools zu verschlüsseln und mit ZFS RaidZ-Sicherheit auf beliebigen Datenträgern (z.B. USB Sticks, externen Platten mit beliebigem Filesystem, Cloud etc) zu sichern. Das geht weder mit eingebauter Solaris noch mit BSD oder Linux Device-Verschlüssellung so einfach und sicher da damit lediglich die verschlüsselten Datei-Devices gesichert werden müssen.

z.B der Pool besteht aus 11 verschlüsselten ZFS Raid-Z3 Datei-Devices.
Wenn man die sichert oder per Mail verschickt so bleibt der Pool intakt, wenn man wenigstens 8 von 11 Dateien erhält oder lesen kann. Bis zu drei fehlende oder defekte Dateien führen zu keinem Datenverlust.

 

[josen]

Hallo,

ich kann dir einen einfachen Host-Bus-Adapter empfehlen. Wenn du sowieso ZFS einsetzen möchtest, kümmert sich ZFS ausreichend um Redundanz. Eine CPU mit AES-NI sollte dann Pflicht sein wenn du verschlüsseln willst, klar. Was du dir vielleicht auch einmal ansehen solltest ist ein Setup aus SnapRAID, dm-crypt und ext4 oder XFS unter Linux. Damit behältst du auch dann noch den Groteil deiner Daten, wenn mehr Festplatten als das RAID-Level zulassen, ausfallen. Und es können alle Festplatten einzeln in den Sleep-Modus.

Ich fahre das Setup zur Zeit mit 16x3TB in einem RPC-4220 von Norco und verbrauche im Standby nur 60 Watt.

Für das System solltest du eine kleine SSD und einen USB-Stick als Cold-Standby kaufen. Einmal die Woche dd der Bootpartition auf den Stick und wenns nötig wird vom Stick booten. Hat mir schon oft das Leben gerettet.
Wie ist das eigentlich bei ZFS mit Verschlüsselung? Ist echte Full-Disk-Encryption inklusive der Systemplatte möglich? Das würde ich für dein Datengrab schon empfehlen.

Grüße

 

[DocSilly]

Ah, da gab es ja schon einiges an konstruktiven Einwänden, wollen wir mal ein wenig darauf antworten:

...
- die supermicros können doch genauso 3x HBAs befeuern, oder nicht? würde das asus prinzipiell eher im workstation- als im server-bereich sehen. aber nur meine 2cents
...
- würde 4x 6er raidz2 statt raidz3 nehmen. finde den rechenaufwand für 3 paritäts-disks etwas übertrieben
- 370 für 3x m1015 ist VIEL zu viel kohle. die solltest du bei ebay zwischen 50-80 das stück bekommen.
- hatte auch solaris 11 mit zfs-encryption bin aber zu omnios gewechselt (ohne encryption). würde auf jeden fall raten zu omnios zu gehen und zu schauen wie man da verschlüsselung halbwegs edel lösen kann. solaris ist einfach zu bitter ohne jedweden grundlegenden update-channel.
- ich glaube gelesen zu haben, dass neuere festplatten neben der 512er blockgröße per separatem attribut auch ihre physischen 4k kommunizieren und die neueren zfs-versionen das auch interpretieren können. aber da kann ich mich irren.
- spindown ist hba-unabhängig (mit ausnahmen) und kann normalerweise ganz einfach über die power.conf eingetragen werden. funktioniert auch gut.
- was system-platte angeht würde ich eine kleine ssd nehmen, die nur zu einem kleinen teil (~10 gb) partionieren, den rest völlig frei lassen. wird dann automatisch als spare verwendet, wearout ist also quasi ausgeschlossen. raid o.ä. würde ich persönlich nicht fahren, dafür ist so ein mini-ding zu schnell wieder aufgesetzt. hauptsache die zfs tanks überleben
...

- Das Asus P9D-E4/L fällt sicher eher in die Kategorie der Serverboards mit den 4x Intel i210 Gigabit NIC und den (optionalen) 8x 6gb/s SAS/SATA Ports in Verbundung mit einer PIKE Steckkarte (LSI based). Zudem ist es das einzige Board welches drei V3 x8 geschaltete PCIe Slots bietet (alle anderen haben max zwei + einen mit 4x)
- das mit den 4x 6er raidz2 hört sich interessant an auch wenn da einiges an Kapazität verloren geht ... eventuell tendiere ich da eher zu 3x 8er RaidZ2
- nuja, ebay wäre eine Option, meine Preise sind halt normale Neuware und keine Refurbished
- OmniOS ist schonmal als Option vorgemerkt
- Solaris 11.1 kann es wohl richtig auswerten, siehe meinen Link dazu im Startpost "How to tell if AF 4k drives are detected correctly"
- gut das Spindown so einfach laufen soll, unter Windoof muss man da wohl doch etwas tiefer eingreifen damit es funzt
- Bootplatten ist noch nicht entschieden, macht aber eh nur einen kleinen Teil der Kosten aus

Die c't wiederholt auch gebetsmühlenartig, dass aus Effizienz-Sicht die normal TDP CPUs zu wählen sind.
Eine niedrig-TDP CPU ist in der Maximal-Leistung stark begrenzt, sie braucht überproportional länger für die Abarbeitung einer gegebenen Workload.
Eine normal-TDP CPU hat die Workload wesentlich schneller abgearbeitet und geht dann in die exakt gleiche Idle-Last über wie die Low-TDP CPUs.

CPUs mit geringer TDP wählt man also *ausschließlich* aufgrund eines nicht ausreichenden/kleinen Kühlsystems.

Zum Expander, ich würde prinzipiell zu mehreren dedizierten M1015 tendieren, anstatt alles durch einen Expander zu pressen.
Das ganze gilt natürlich nicht mehr ab 24 disks, da hat man dann kaum eine andere Chance als einen guten Expander zu benutzen.

- Das mit den L Xeon war auch nur so ein Gedankenexperiment
- Expander wollte ich eh lieber vermeiden, da kanns teils etwas hakelig laufen - und die 24x 4TB sollten erstmal reichen für ne kleine Weile (bis zum NAS 3.0)

..zum Thema Netzteil, bin ich immer der Meinung dass bei mehr als 4-6 Platten ein single-Rail einfach sein muss.
Sowas zB: Netzteile mit Leistung ab 550W, Anzahl 12V-Ausgänge: 1x, Besonderheiten: unterstützt "Haswell" C6/C7 Low-Power States/abnehmbare Anschlüsse, 80 PLUS: 80 PLUS Gold Preisvergleich | Geizhals Österreich
Evtl kannst Du was sparen, wenn Du auf abnehmbare Anschlüsse verzichtest..im Gehäuse ist Platz genug.

- Gibts da noch mehr Background Infos warum 12V Singel-Rail von Vorteil sein soll bei vielen Platten?

... der menge an Drives und bei dem Preis muss ich dir nahelegen KEINE CONSUMER oder NAS Platten zu verwenden (oder evtl geeignete Gehäuse zu wählen (z.b. 1 Server + 2 Drivecases)

Seagates NASWorks firmware und die HDD an sich ist wirklich RICHTIG toll, jedoch trotz spezieller Lagerung bei den Drives NICHT den Schutz gegen die Vibrationen wie bei den Constellation ES Drives ....
Trotzdem, wenn "Consumer" dann die Seagate NAS imho

das Video hier ist SEHR ALT : aber bringts auf den Punkt Shouting in the Datacenter - YouTube (so schon lange nicht mehr der Fall !!!)

- Das Youtube ist mir bekannt von meiner ersten Nachforschungen zum NAS 2.0
- Nearline Platten sind für MICH ganz einfach zu teuer, die WD SE Reihe liegt bei 55€/TB, eine Constellation ES tendiert da zu 70-80€/TB ... die Seagate NAS liegt da bei 40€/TB. Zudem sind Nearline lauter, wärmer und ziehen fast das doppelte an Leistung im Vergleich zu einem NAS Laufwerk.

ich würde mal noch zwei sachen in den raum werfen:

- als CPU würde ich persönlich den Intel Xeon E3-1245 v3 dem Intel Xeon E3-1225 v3 vorziehen (thema i5 vs i7)
- bei 24 geplanten Festplatten würde ich doch mal nen Hersteller direkt anfragen, ob man eine Bestellung aufgeben kann und was sich preislich machen lässt.

- 50€ extra für 0,2GHz und HT ... gute Frage obs das Wert ist ... aber wird in Betracht gezogen
- hat man als Privatkunde da wirklich ne Chance?

Ich würde ein 24 bay Case von Chenbro oder Supermicro (ohne Expander mit miniSAS Anschluss) nehmen- alternativ ein Norco oder Intertech (bei Abstrichen an mechanischer Qualität) dafür billiger (Lüfter immer tauschen oder drosseln) dazu ein SuperMicro X9SRH-7TF + Xeon und ECC Ram und irgendein Xeon (10 GbE und SAS 8 Kanal onboard), dazu 8-256 GB RAM, weitere LSI 9207 oder billige IBM 1015 (onboard bzw IBM 1015 reflashed mit IT Firmware)

OmniOS (neuestes und schnellstes freies ZFS, stable mit Updates) ist auch meine erste Wahl
mit 2 x Raidz2, je 10 disks (max 64 TB nutzbar bei 4 TB disks)

Ich würde auch ein zweites kleines Backupsystem im Keller mit einplanen.
(z.B. HP Microserver für wichtige Daten, auch mit OmniOS, max 12 TB nutzbar bei 4x4 TB disks und Raid-Z1)

bzgl Verschlüsselung
- wenn man online ist: hilft nicht/nicht relevant
- gegen Geheimdienste vermutlich meist wirkungslos
- gut gegen Gelegenheitsdiebe oder einfache Polizei-Durchsuchung sofern Server aus

dennoch: Schade dass es nur für Oracle Solaris integrierte ZFS Verschlüssellung gibt.
Allerdings ist die Verschlüssellung per Lofiadm (Solaris & Co) die absolut beste Lösung, wenn es darum geht, normale ZFS-Daten-Pools zu verschlüsseln und mit ZFS RaidZ-Sicherheit auf beliebigen Datenträgern (z.B. USB Sticks, externen Platten mit beliebigem Filesystem, Cloud etc) zu sichern. Das geht weder mit eingebauter Solaris noch mit BSD oder Linux Device-Verschlüssellung so einfach und sicher da damit lediglich die verschlüsselten Datei-Devices gesichert werden müssen.

z.B der Pool besteht aus 11 verschlüsselten ZFS Raid-Z3 Datei-Devices.
Wenn man die sichert oder per Mail verschickt so bleibt der Pool intakt, wenn man wenigstens 8 von 11 Dateien erhält oder lesen kann. Bis zu drei fehlende oder defekte Dateien führen zu keinem Datenverlust.

-Chenbro etc. sind mir ne Nummer zu teuer, da ist man gleich bei 1200€ mit Netzteil, beim X-Case wären es "nur" knapp 800€ mit Netzteil
- X9SRH-7T = 470€ (spart einen M1015) vs Asus + 1x M1015 = 350€
Quad Xeon "Sandy Bridge-EP" beim gleichen Preis nur 2,4GHz statt 3,4GHz oder bei 3,3GHz dann 790€ ... Ausser man nimmt die älteren Stromschlucker "Sandy Bridge-E" mit 130W TDP, da gibts dann nen Intel Xeon E5-1620, 4x 3.60GHz für 260€ ...ich wollte mich da lieber für die neue Haswell Generation zugunsten der verbesserten Energiespar-Optionen entscheiden (auch wenn man sich da auf 32GB max RAM limitiert). Ausser die 32GB max sollten ABSOLUT ungenügend sein für ein Video-Datengrab mit 60TB.
- OmniOS werd ich mir mal genauer anschauen wie da die Verschlüsselung am besten aufgesetzt wird
- 2 x Raidz2, je 10 disks ... wie sind denn da die Resilver Zeiten mit 4TB Platten? Da es wohl ein 24x Gehäuse wird wäre da eventuell 3x RaidZ2 je 8 Platten eine Option?
- Alle Daten sind gleich wichtig, von daher müsste eine Backuplösung die gleiche Kapazität wie die Nutzdaten haben, momentan tendiere ich dazu meine Alt-Platten einzeln dafür zu nutzen
- Geheimdienste sind weniger das Problem, wegen Encryption, eher die netten Beamten in grüner Uniform. Ein Online Tank dürfte weniger ein Problem sein - wenn ich vor Ort bin beim Besuch "huch, wie konnte ich nur über das Stromkabel stolpern?" ... und wenn ich nicht da sein sollte dürfte es unwahrscheinlich sein das eine entsprechend ausgerüstete und ausgebildete IT-Einheit dabei sein sollte welche es schafft eine Spezial-USV einzuschleifen um den Server im laufenden Betrieb mitzunehmen (ohne das die sich beim Versuch selbst rösten oder die Sicherung auslösen) - auch wenn sowas durchaus möglich ist.

 

[hotzen]

optimale raid-set größen:
raidz2 ist x disks + 2 parität, also
6=4+2 wobei 4=2^2, fein.
8=6+2, wobei 6=2^2,45, fail
10=8+2, wobei 8=2^3, fein.

dazu ist zu sagen, dass ich persönlich einen 4-disk raidz fahre, einfach weils so gut in einen hp microserver passt
aber bei deinem investitionsvolumen würde ich alles maximal sauber haben wollen

die m1015 auf ebay kosten übrigens 50-80 neu, weil die oft standardmäßig bei servern dabei sind und einfach rausgerissen werden (kein raid5 etc.).
da ist nichts refurbished, einen m1015 für >100 würde ich persönlich als wucher empfinden.

würde übrigens einen xeon mit HT anraten, zfs und andere concurrency-orientierte software wissen das zu schätzen.

 

[jdl]

Bei knapp 6000€ im Vollausbau für sein privates Datengrab stellt man doch lieber VORHER möglichst viele Fragen, ich danke schon mal im Voraus für die konstruktiven Antworten. Und jetzt brauch ich erstmal eine kurze Pause nachdem ich diese Wall-of-Text verfasst habe.

Wo soll das Gehäuse stehen?
Server und JBODs sind laut! Und da das Problem schon bei den Netzteilen anfängt, kannst Du nur diesen Wege gehen, wenn Du Platz für eine getrennte Aufstellung hast. Falls das gewährleistet ist, nimm ein fertigen Server mit 24 oder 36 Einschüben und einem 8 Port SAS RAID oder HBA Chip oder Adapter. Mehr ergibt bei privater Nutzung eh keinen Sinn. Von SuperMicro gibt es passende 36 Port Barebones. Dazu zwei Xeon E5-2603 das reicht selbst aus für einen Fileserver im Pro Umfeld aus.

Wenn das wegen des Krachs nicht geht, dann brauchst Du ein anderes Gehäuse wie etwa das LianLi PC D-8000, und da kommt dann ein HBA mit den Platten rein und dazu ein simples Xeon E5 Board mit einem 8 Port HBA.

 

[hominidae]

- Gibts da noch mehr Background Infos warum 12V Singel-Rail von Vorteil sein soll bei vielen Platten?

Ja, habe hier schonmal was geschrieben: http://www.hardwareluxx.de/community/f101/netzteil-hilfe-975940.html#post21079654

Zum Thema M1015 und ZFS.
ich würde die *nur* gebraucht/günstig über die Bucht kaufen und nicht neu.
Du musst die umflashen und verlierst dabei die Garantie sowieso.
Wenn möglich, kaufe die gleich auf IT-Mode geflasht (bieten viele Verkäufer schon so an)....dann hast Du das Risko nicht,
dass Du einen Briefbeschwerer draus machst oder dass Du gar kein Board hast/findest in dem das umflashen geht.

 

[DocSilly]

optimale raid-set größen:
raidz2 ist x disks + 2 parität, also
6=4+2 wobei 4=2^2, fein.
8=6+2, wobei 6=2^2,45, fail
10=8+2, wobei 8=2^3, fein.

die m1015 auf ebay kosten übrigens 50-80 neu, weil die oft standardmäßig bei servern dabei sind und einfach rausgerissen werden (kein raid5 etc.).
da ist nichts refurbished, einen m1015 für >100 würde ich persönlich als wucher empfinden.

würde übrigens einen xeon mit HT anraten, zfs und andere concurrency-orientierte software wissen das zu schätzen.

- ich entsinne mich an den megalangen thread im hardforum von sub.mesa ... aber war nicht mit das hauptproblem der damals noch so neuen 512e 4K/AF Laufwerke? Kann mich nicht mehr so recht entsinnen ob da schon was mit getestet wurde in Bezug auf ashift=9 vs ashift=12 bei solchen Laufwerken. Gibt es da vielleicht aktuellere Testreihen?
- ebay ... momentan keine Riesenauswahl, einer für bis jetzt 65€ bei 10Std Rest und zwei die noch 4 Tage Rest haben, die andern sind alle auch bei 120€+
- ich denke mal auch das es der HT Xeon wird

Wo soll das Gehäuse stehen?
Server und JBODs sind laut! Und da das Problem schon bei den Netzteilen anfängt, kannst Du nur diesen Wege gehen, wenn Du Platz für eine getrennte Aufstellung hast. Falls das gewährleistet ist, nimm ein fertigen Server mit 24 oder 36 Einschüben und einem 8 Port SAS RAID oder HBA Chip oder Adapter. Mehr ergibt bei privater Nutzung eh keinen Sinn. Von SuperMicro gibt es passende 36 Port Barebones. Dazu zwei Xeon E5-2603 das reicht selbst aus für einen Fileserver im Pro Umfeld aus.

Wenn das wegen des Krachs nicht geht, dann brauchst Du ein anderes Gehäuse wie etwa das LianLi PC D-8000, und da kommt dann ein HBA mit den Platten rein und dazu ein simples Xeon E5 Board mit einem 8 Port HBA.

- zu Supermicro (oder Chenbro) hab ich schon weiter oben geschrieben -> sind einfach zu teuer
- Die meisten Alu Lian-Li die ich bisher gesehen habe neigten doch mehr zu Vibrationslärm ... schwer zu sagen ob das "leiser" wäre als das Rackcase

 

[hotzen]

Habe gestern was auf hardforum gelesen, wo argumentiert wurde, dass eine Anzahl Platten ungleich 2er Potenz vornehmlich zu verschenktem Platz wg. des ungünstigen Stripings führt:

A 128kB record striped over 13 data disks = 9.85 kB per drive. You need 3x 4kB = 12kB blocks (with ashift=12) per drive to store that, as it does not fit into 2 blocks. 9.85/12 = 82%.
If you have an ashift=9 pool, you would use 98% of the space. With ashift=13 you would be down to 62%! If you use a 2^n number of data disks you are always at 100% because the division of 128kB (=2^17) by the number of disks (=2^n) is always an integer (=2^(17-n)). Okay, you will have a problem once you exceed 2^5=32 data disks, but that should not happen.

How bad is raidz3 with 16 discs? - [H]ard|Forum

 

[Tornhoof]

Wenn du so sehr auf ZFS stehst, wie wärs mit ZFSonLinux und dann Crypto mit DMcrypt und AES-NI?
Supermicro empfiehlt btw keine Xeons mit GPU (...5 V3) einzusetzen, ggf. bei Asus mal klären obs bei denen auch so ist.

 

[hotzen]

Kann man da nicht langsam, BLASPHEMIE, auf btrfs gehen?

Ich finde ja OmniOS & Co mit ZFS wegem dem Kernel-CIFS/SMB so richtig schick... Samba, bah.

 

[TCM]

Kann man da nicht langsam, BLASPHEMIE, auf btrfs gehen?

"Stable: yet to be released"

Ich hab mir einen Talk zu dem Machwerk angeguckt, da rollen sich ja die Fußnägel hoch. Das hat ne ganz ganz komische Art, RAID zu machen. Man kann für jede Datei und die Metadaten separat den RAID-Level einstellen(!) RAID1 bedeutet z.B. nicht, dass zwei Disks absolut identisch sind, sondern der belegt fröhlich auf jeder Disk die Blöcke, wo er grad Lust hat. Es gibt also ne Abstraktion physische<->virtuelle Blöcke. Gruselig.

Man MUSS bei btrfs scrubben, weil er bei RAID grundsätzlich die Blöcke in fester Reihenfolge liest. Also wenn er Block x einmal von Disk 1 gelesen hat, dann liest er ihn IMMER von da. Ohne scrub kann der Block auf Disk 2 fröhlich vor sich hinrotten.

df lügt dich permanent an, bzw. den RAID-Level darfst du im Kopf draufrechnen. 2 4T-Platten zeigt er als 8T an. Eine 10G-Datei "belegt" 20G etc. Wird dann bei RAID6 bestimmt lustig, wenn es denn irgendwann mit RAID5 mal kommt. Der Talk ist knapp 2 Jahre alt und schon da hatten sie kein RAID5/6.

Mounten tut man das übrigens, indem man eine beliebige Komponente mountet(!) und er sich den Rest zusammensucht.

Fühlt sich einfach unintuitiv, frickelig und inkonsistent an. Wie mans halt kennt, wenn bei Linux das NIH-Syndrom ausbricht. Alles besser können wollen, aber hinten kommt nur Grütze raus, die der nächste dann komplett übern Haufen wirft und sein 345234. Filesystem zusammenschustert. No thx.

Edit: Lustig war noch ein Debug-Tool, was die hatten. Damit kann man gezielt Blöcke korrumpieren, im default natürlich auf beiden(!) Komponenten eines RAID1. Selbst für ein Debug-Tool megaclever. Talk: http://www.youtube.com/watch?v=hxWuaozpe2I

Bonus-Lacher ist natürlich, dass es von Oracle kommt. Passt alles wie Arsch auf Eimer. http://www.hardwareluxx.de/communit...bis-60tb-fuer-privat-977192.html#post21111566

 

[DocSilly]

Wenn du so sehr auf ZFS stehst, wie wärs mit ZFSonLinux und dann Crypto mit DMcrypt und AES-NI?
Supermicro empfiehlt btw keine Xeons mit GPU (...5 V3) einzusetzen, ggf. bei Asus mal klären obs bei denen auch so ist.

Gibts da irgendwo mehr Details dazu, vor allem warum?

Kann man da nicht langsam, BLASPHEMIE, auf btrfs gehen?

Wurde ja schon über mir ausreichend beantwortet. Ein Filesystem mit dem Status BETA hat in meinem NAS nix zu suchen. ZFS wird gewählt weil es ein geprüftes und recht ausgereiftes FS ist, vor allem dessen Schwerpunkt auf Datenintegrität ist hier das "Verkaufsargument" ..... aber TBs an Privatem (von dem eventuell kein Backup existiert) an ein BETA-FS anzuvertrauen - was für ein GRAUEN.

 

[Tornhoof]

Gibts da irgendwo mehr Details dazu, vor allem warum?

In einigen Foren wird folgendes berichtet:
Wenn du einen x5er GPU xeon nimmst kommst du per IPMI nicht mehr ins BIOS weil anscheinend die Umschaltung/Abschaltung der internen Xeon GPU erst nachm Biosscreen passiert. Ich hab das nicht probiert, ich brauche keine GPU im Server.

 

[DocSilly]

Danke für die Erklärung, IPMI ist für mich nicht wichtig - aber sicherlich gut zu wissen für jene welchen IPMI BIOS-Zugang brauchen.

 

[InfiX]

bei den asus boards braucht man für iKvm sowieso ein eigenes addon modul
würde mich auch interessieren obs dazu mehr details gibt, sollte das nicht irrelevant sein, da das board so oder so eine onboard GPU hat?