[Kaufberatung] 40 TB FreeNAS Server für TV Studio

[skagway]

Hallo zusammen,

brauche einen Server um Projektdateien inkl. Videomaterial zu archivieren. Gearbeitet wird auf den Workstations mit SSD's. Will mir einen FeeNAS Server mit ZFS RAIDZ3 aufbauen mit folgender Hardware:

11 x Seagate Desktop HDD.15 4TB, SATA 6Gb/s (ST4000DM000)
1 x Intel Xeon E3-1225 v3, 4x 3.20GHz, Sockel-1150, boxed (BX80646E31225V3)
1 x Kingston ValueRAM Intel DIMM Kit 32GB, DDR3-1600, CL11, ECC (KVR16E11K4/32I)
1 x IBM ServeRAID M1015, PCIe 2.0 x8 (90Y4556)
1 x Intel S1200V3RPS (DBS1200V3RPS)
1 x Inter-Tech 4U-4310L, 4HE
1 x ASUS Redundante Stromversorgung 770W (90-S00PW0130T)

Fragen:

-Hardware Änderungen / Tipps / Empfehlungen?

-Bei 11 * 4TB Disks und RaidZ3 habe ich 3 Parity Drives und somit 32TB nutzbaren Speicher bei dem die Daten auch nach Ausfall von 3 HDD's weiterhin verfügbar sind. Korrekt?

-FreeNAS ist empfehlenswert?

Gruss
skagway

 

[Eye-Q]

Dir ist hoffentlich bewusst, dass Du hardwaremäßig bei der Konfiguration komplett am Anschlag bist, oder? Da kannst Du weder RAM noch eine einzige weitere Festplatte dazupacken.
Außerdem dürfte beim HDD-Controller kein Kabel mit bei sein, es werden also zwei Breakout-Kabel (SFF-8087 -> 4xSATA) benötigt, um die Backplane anschließen zu können.
Das nächste Problem, was ich sehe: das sind stinknormale Desktop-HDDs, die nicht auf Dauerbetrieb ausgelegt sind. Erstens würde ich da HDDs nehmen, die eben auf Dauerbetrieb ausgelegt sind und zweitens mindestens ein "Cold-Spare" in den Schrank legen, wer weiß was man in 3 Jahren bekommt, wenn eine Platte ausfällt und man eine neue benötigt.

Des weiteren sieht mir das nach professionellem Umfeld aus, da wäre ich mit Selbstbastel-Lösungen vorsichtig - was ist, wenn das Mainboard ausfällt und man das Board nicht mehr bekommt? Dann ist Asche mit allen Daten.

Zur Software kann ich nichts sagen, da ich mit FreeNAS und ZFS keine Erfahrungen habe.

 

[skelleton]

Ich stimme zwar grundlegend zu, dass im professionellen Umfeld auch professionelle Loesungen eingesetzt werden sollen.
Aber er plant ZFS also sind die Daten nach einem nicht weg, im Zweifelsfall kann man da dann einfach ein neues System bauen und die Platten dort anschliessen. Dazu sollte es im professionellen Umfeld sowieso ein Backup geben.
Je nach Anzahl der Zugriffe kann es auch sein, dass ein einzelner RaidZ3 performance Probleme haben wird.
Ich sehe in der zusammenstellung keine Systemplatte, Ich bin mir nicht sicher ob es empfohlen ist FreeNAS von einem USB Stick laufen zu lassen aber es ist zumindest moeglich.

Zu den Fragen: -Ja bei RaidZ3 koennen bis zu 3 Platten ausfallen, bevor es zu Datenverlust kommt. Allerdings wird es sicher eine ganze Weile dauern einen RaidZ3 in dieser Konfiguration zu resilvern. Du solltest damit rechnen, dass beim Ersetzen einer Platte eine Ausfallen kann.
- Ich habe FreeNAS nicht viel genutzt aber ich glaube der Hauptfokus liegt nicht unbedingt im Business Bereicht.

 

[hominidae]

...ich würde statt FreeNAS zu OmniOS+napp-it plädieren. -> napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris downloads

...Alternative statt Intel Board und M1015 ein X10SL7-F..da ist ein LSI 2308 schon drauf: Supermicro | Products | Motherboards | Xeon® Boards | X10SL7-F
Wird i.d.R. günstiger sein...weiss aber nicht, ob die Netzwerkkarten des X10 mit OmniOS oOtB laufen.

 

[the_pi_man]

Bei den paar Euro die du für das X10 Board mit dem 2308 drauf sparst, kannst du auch ein X9 und einen S1155 Xeon nehmen und sicher sein, das alles läuft.
Den Hauptteil der Kosten machen ja eh die Platten aus...
Ansonsten ist Omnios + Napp-It eine gute Idee.
Als Gehäuse würde ich eher nach einem Inter-Tech 4U-4316L raten da du so Platten einfach wechseln kannst da weitere freie Slots verfügbar sind.
Als Platten würde ich vorschlagen:

HGST Deskstar 7K4000 4TB
Western Digital 4 TB Red oder
Seagate NAS HDD 4TB

auch genau in der Reihenfolge, da die Hitachi 7200'er sind und du somit einen Geschwindigkeitsvorteil haben solltest. Wobei die Geschwindigkeit meist durch die 1 GBit Verbindung limitiert wird.

 

[therealJMC]

Also bei der Menge an HDDs würde ich ganz definitiv zu WD RE4 4TB greifen (sogar eher noch zur SAS Variante), weder zu RED/NAS/Desktop HDDs. Und noch mehr ehrlich würde ich auch nicht ein redundantes ASUS Netzteil nehmen (weils das quasi nicht gibt einzeln), vorallem weil du scheinbar nichtmal die Beschreibung des Artikel gelesen hast: "ASUS 770W Power Module Ersatzmodul für ASUS RS520". Und 2 Stromkreise und 2 USVen sind nehme ich mal an schon vorhanden um das ganz richtig ablaufen zu lassen?

Mal ehrlich, ihr scheint das halbwegs Professionell betreiben zu wollen und du hast scheinbar nicht wirklich Plan: Kauf dir nen fertigen Server der deinen Ansprüchen entspricht. Da gibts genug Läden die dir die Kisten auch nach Bedarf schneidern - ob jetzt Thomas Krenn oder ähnliches.

 

[RSM72]

Wenn ihr nur halbwegs professionellen Anspruch habt solltet ihr auf ein Komplettsystem zurückgreifen von einem Hersteller der auch in 3-5 Jahren noch Wartung für das System bietet.

 

[skagway]

Momentan sind im Büro zwei QNAP NAS System auf denen alles gespeichert ist. Die Festplatten sind nichtmal gespiegelt; also null Datenverfügbarkeit geschweige denn Sicherheit. Jetzt ist eine Offerte von einem Apple Premium Reseller gemacht worden für einen MacMini mit Thunderbolt attached Storage der aber auch nur ein weiteres Gerät in der Reihe sein soll. Also 2 * QNAP NAS + 1 * MacMini mit ext. Thunderbolt RAID Storage. Daher denke ich dass der zentralisierte Storageserver von mir schonmal eine grosse Verbesserung ist. Irgendwie muss ich mich preislich aber noch im Rahmen halten -.-
Das ganze ist nur ein Archiv der Daten, also Geschwindigkeit spielt keine grosse Rolle.

Wie viel Watt muss mein Netzteil denn bei dieser Konfiguration haben? Hat jemand eine Empfehlung für ein redundantes Netzteil?

@the_pi_man
Welchen Prozessor mit 1155 Sockel und welches X9 Mainboard von SuperMicro könntest du denn empfehlen? Die Auswahl ist riesig. Und warum kann ich mir dann sicherer sein dass alles läuft?

Ansonsten bin ich soweit mit den Vorschlagen einverstanden; werde wahrscheinlich die HGST Deskstar 7K4000 4TB Festplatten nehmen und das Inter-Tech 4U-4316L. OmniOS mit Napp-it werde ich mir auch mal anschauen.

 

[Kampfwurst_Hugo]

wie wäre es damit
Backblaze Blog » 180TB of Good Vibrations – Storage Pod 3.0

ca 11000€ für 180TB

 

[teqqy]

Wenn Performance keine Rolle spielt, kann man auch zu Racksystemen von QNAP oder Synology nehmen in welche 12 oder 18 HDDs passen.

 

[hominidae]

...leg das NT nicht zu gross aus.
Jede der Platten zieht ca. 2A auf 12V beim Kaltstart....nanach brauchst Du im idle nur noch 20% davon.
Der M1015 kann auch "staggered" spinup, aber das *muss* nicht klappen und wäre auch nur für 8 von den 11 Disks.
Die Platten brauchen also 22A...für mobo, CPU, RAM und den Controller kannst Du 5-6A, max 10A rechnen...da NT auch altern, würde ich nochmal 5A Reserve reinpacken
Also irgendwas mit >=32A bis <=37A sollte ausreichend sein.
Ich würde auch darauf achten, das es single Rail NT sind...da muss man beim rechnen und beim verkabeln nicht aufpassen.

Das X9SCM-F oder X9SCM-iif (Unterschiede sind in den Netzwerkkarten-typen, das iiF hat zwei gleiche) wäre eine gute Wahl für S1155...läuft einwandfrei mit dem M1015.
Als Professor ist es bei den Anforderungen eigentlich egal..nimm den günstigsten oder den "dicksten" wenn das Geld da ist...der Standard-Kühler reicht.

- - - Updated - - -

...die beiden wären mit mind. 80% Effizienz meine Favoriten: http://geizhals.at/de/?cat=gehps&xf=365_80~366_redundant~366_12V+min.+30A~2505_1x#xf_top

 

[TCM]

mindestens ein "Cold-Spare" in den Schrank legen, wer weiß was man in 3 Jahren bekommt, wenn eine Platte ausfällt und man eine neue benötigt.

was ist, wenn das Mainboard ausfällt und man das Board nicht mehr bekommt? Dann ist Asche mit allen Daten.

Zur Software kann ich nichts sagen, da ich mit FreeNAS und ZFS keine Erfahrungen habe.

Der letzte Punkt wäre aber wichtig gewesen. Der räumt nämlich die ersten beiden komplett aus. Man braucht weder identische Platten noch identisches Mainboard. Die Platten müssen nur mindestens so groß wie die alten sein. Man kann problemlos eine 10T-Platte zu einem Pool mit 4T-Platten dazustecken. Dann liegen halt 6T brach, aber für die Poolintegrität spielt das keinerlei Rolle.

Für ZFS ist grob gesagt nur wichtig, dass die block devices "irgendwie" vorhanden sind. Ob das Platten direkt im Rechner sind, Platten an USB, Platten als iSCSI übers Netz importiert, spielt absolut keine Rolle. An den Pool kommst du ran, wenn du dem Kernel genug Platten irgendwie bereitstellen kannst.

Als Platten würde ich vorschlagen:

HGST Deskstar 7K4000 4TB
Western Digital 4 TB Red oder
Seagate NAS HDD 4TB

auch genau in der Reihenfolge, da die Hitachi 7200'er sind und du somit einen Geschwindigkeitsvorteil haben solltest.

Welche Priorität hat die Liste? Die Seagate sind doch schneller als die WD Red. Sind die Red irgendwie "besser" als die Seagate?

-Bei 11 * 4TB Disks und RaidZ3 habe ich 3 Parity Drives und somit 32TB nutzbaren Speicher bei dem die Daten auch nach Ausfall von 3 HDD's weiterhin verfügbar sind. Korrekt?

Vorsicht. Die Verluste durch die Umrechnung sind bei den Größen schon enorm. Eine "4TB"-Platte hat nur ca. 3,6TB nutzbaren Platz. Der Pool würde um die 29TB groß sein, minus etwas ZFS overhead.

 

[Digi-Quick]

Vorsicht. Die Verluste durch die Umrechnung sind bei den Größen schon enorm. Eine "4TB"-Platte hat nur ca. 3,6TB nutzbaren Platz. Der Pool würde um die 29TB groß sein, minus etwas ZFS overhead.

Korrektur:

Byte

4TB (TeraByte) = 3,6 TiB (TibiByte)
Tera = 10^12
Tibi = 2^30

somit sind 8x 4TB immer noch 32TB
aber 8x 3,6TiB nur 28,8 TiB