Empfehlungen für ein sehr großes NAS / Media Server

[walsmi]

Hallo zusammen,
ich wollte euch mal um Rat bitten, da bei uns das Thema Nas immer mehr ausgeufert ist.

Vorhandene Hardware:
19" Gehäuse mit 20 Hot Swaps und MiniSAS Backplane, ASRock Z77 Mobo, I3 3240T, 8GB Non ECC, Adaptec 81605
1) RAID 1 mit 2x 3TB WD Red für DSLR Fotos und Dokumente (aktuell ca 2Tb belegt)
2) RAID 5 mit 6x 3TB WD Red für Programme, Acronis Backups aller meiner Systeme , VM's derzeit ca 8TB belegt
3) RAID 5 mit 4x 6TB WD Red für Bluray ISO'S ( Haben ein Heimkino und mehrere HTPC's, dementsprechend habe ich meine ca 500 BLurays gerne im Netzwerk verfügbar) belegt sind hier aktuell 12TB
4) RAID 1 mit 2x 60GB SSD für OS

Backup auf ein kleines NAS und externe Festplatten gibt es lediglich von den ersten beiden RAID's und dem OS.

OS: Windows Server 2012 (Hauptgrund hierfür ist, dass ich es zur Bedienung gewohnter und einfacher finde, Ansonsten könnte auch jedes andere OS dafür herhalten, da ich derzeit ja nur Files freigebe)

Probleme:
1) Ich hab nen hohen Stromverbrauch, da ich angefangen habe die Kiste 24/7 laufen zulassen. Vor allem weil die Platten so weniger neustarts abbekommen und die mittlerweile ja schon ein großes Budget verschlungen haben.
2) Der Platz wird langsam knapp
3) Die Performance über Gbit lan lässt seit der UHD Bluray zu wünschen übrig und stößt teilweise an Grenzen. FIlme brauchen teilweise 110MB/s.


Gewünschte Anregungen:
- Macht es Sinn die Hardware zu erneuern? ( Evtl auf Skylake, XEon, ECC ...)
- Wie würdet ihr es machen um den Stromverbrauch zu senken und dennoch die Platten zu schonen?
- Aufrüsten auf Quadport Ethernet sinnvoll?



Besorgt habe ich nun bereits 4x8TB WD80EFZZ als Ersatz für das zwete Raid (HDD's haben 25k+ Betriebsstunden) bin mir aber unsicher wie ich weiter machen soll. Bitte keine Kommentar mit wofür brauch man das. Ich und meine Freundin sind beide Ingenieure und beruflich sehr eingespannt. Abends genießen wir dann gerne Serien und Filme vom Server, Fernsehen wird bei uns eigentlich nicht genutzt. Dafür haben wir entsprechend Geld in die Hand genommen und uns ein kleines Heimkinoreich aufgebaut.

Vielen Dank im Voraus für eure Hilfe.

Gruß

 

[sweetchuck]

Würde die Platten so einrichten, daß sie in den Kernzeiten, wo üblicherweise Betrieb auf dem Server ist, dauerhaft laufen und ansonsten in den Spindown gehen. Mit Linux geht das mit hdparm und ein paar Cronjobs, bei Windows keine Ahnung.

 

[bigghost]

Spindown mit Hardware RAID wird bestimmt nicht gehen.

Mehrere LAN Ports zu bündeln zum Switch mit Bond4 mit LACP steigert nur die Bandbreite wenn viele einzelne Clients Daten vom Server ziehen.
Der einzene Client kommt nicht über ein 1Gbit hinaus.

- - - Updated - - -

Wenn du nur Files freigibst ? Würde ich auf eine vernünftige Hardware mit ECC wechseln inkl. einen HBA Controller und dann auf FreeNAS wechseln.
ZFS ist das bessere Filesystem. Damit klappt dann auch HD Spindown vernünftig. Eine Anbindung mit 3-4 Gbit an den Switch mach auch Sinn bei vielen Clients.

Bleibt die Frage ob dein Switch Layer2 kann und auf dem Switch eine LAG eingerichtet werden kann ?

 

[underclocker2k4]

Zur NIC-Bündlung wurde ja schon was gesagt. Wenn deine Files >110MB/s brauchen, kommst du nur mit 10GBE weiter.
Wenn du via SMB drauf zugreifst, könnte NIC-Teaming von Windows noch funktionieren. Das geht dann auch ohne Layer2 Switch.

Zum Thema Stromverbrauch würde mir nur einfallen, das ganze auf mehrere Rechner zu verteilen. So dass z.B. der Videoserver 24/7 läuft mit ein paar Platten und der/die anderen Server dann nur bei Bedarf hochgefahren werden. Die Frage ist, was du aktuell an Stromverbrauch hast und wo du hinwillst.

Aus meinen 15 Jahren Server @home kann ich dir sagen, Platten brauchen Strom, RAID-Controller brauchen Strom. Wer beides laufen haben will, muss das bezahlen wollen.
Manchmal ist es dann halt so.

 

[Eye-Q]

Wenn deine Files >110MB/s brauchen, kommst du nur mit 10GBE weiter.

Inzwischen wurden auch 2,5- und 5GbE-Karten vorgestellt: Delock DL-89456: Netzwerkkarte für 2.5 und 5GbE - Golem.de - die sind jedoch noch so neu, dass gebrauchte 10GbE-Netzwerkhardware günstiger kommen dürfte.

Wenn Du möglichst geringe Stromaufnahme (Strom wird nicht verbraucht, nur aufgenommen und in andere physikalische Prozesse umgesetzt ) haben willst, ohne die Platten schlafen zu legen, brauchst Du natürlich möglichst große Platten, wobei die größten Platten überproportional teuer sind. Wie schon geschrieben, kann man mit Linux/FreeNAS und Software-RAID/ZFS/wasauchimmer das so lösen, dass die Platten eben ein Mal am Tag (je nachdem wann ihr normalerweise ins Bett geht, da noch eine halbe Stunde draufpacken) in den Spindown gehen und kurz bevor ihr normalerweise von der Arbeit kommt wieder anlaufen, das halten die aus.

 

[besterino]

Die einfachste Variante zum Stromsparen ist wohl leider Hardware eben möglichst gering dimensioniert einsetzen und schlicht ausschalten, wenn nicht benötigt.

Das beißt sich dann ggf. mit anderen Zielen wie eben "Platten schonen" - wobei das m.E. nun extrem davon abhängt, wo oft eben die Platten dann über den Tag so anlaufen bzw. wie lange sie dann aus wären. So richtig empirische Daten gibbet dazu m.W. nicht, aber immerhin ist der Start/Stop Cycle Count ein Teil der Smart-Werte - sollte also einen Effekt haben. Umgekehrt ist aber auch die Dauerlaufzeit ein Smart-Faktor.

Naja, im Ergebnis gibt es wohl den grundsätzlichen Meinungsstand, dass ein einmaliges Anlaufen dem "Stress" von "längerer Laufzeit" gleichkommt. Wie lange genau? Keine Ahnung. Also: während des Urlaubs lohnt sich wahrscheinlich der Shutdown. Für einen oder einen halben Tag wahrscheinlich eher nicht...

Dummerweise müsstest Du jetzt noch wissen, wie viele Start/Stops genau deine Platten vertragen und Neuanschaffungskosten nach Zeit X dann mit den Stromkosten für die Laufzeit während "Nicht-Nutzung" ins Verhältnis setzen...

Am Ende würde ichs daher wie Underclocker24 halten: sind dir deine Platten und schnellere Verfügbarkeit lieber als Stromsparen, lass sie Dauerlaufen. Wenn nicht, dann nicht.

Ich lasse sie z.B laufen weil mich schon die Zwangs-Gedenkpausen für den Spinup nerven würden, wenn ich auf die Dinger im NAS von den verschiedenen Clients zugreifen will (da liegen für verschiedene Clients als Ordnerumleitungen die Order für Musik, für Bilder, für Downloads usw. und ganz zu schweigen von VMs und ein paar iSCSI Shares). Hinzu kommt, dass ich aber auch gerne mal von unterwegs drauf zugreifen und daher kaum eine regelmäßige feste Auszeit planen könnte. Hängt also alles auch sehr vom persönlichen Nutzungsprofil ab.

 

[VirtuGuy]

Wenn du Strom sparen willst, dann würde ich prüfen ob du nicht die Zahl der Platten reduzieren kannst. Du hast in Summe 8x 3tb im System, belegst aber nur einen Bruchteil der Kapazität. Sofern du die Platten nicht wegen I/O hast, würde ich hier ansetzen. Ebenso könnte es Sinn machen größere Verbraucher wie den Raidcontroller zu ersetzen (neues Board mit ECC & Storage Spaces). Netzteil? 10G wäre die simple Lösung für dein Bandbreiten Problem, aber damit holst du dir auch wieder einen größeren Verbraucher ins System.

Was ist in deinen Augen ein "großer" Stromverbrauch, bzw wie groß ist deine Erwartung in etwaige Einsparungen? Rechnet sich eine Veränderung innerhalb der nächsten 3-4 Jahr wenn du die Zeit/Kosten dafür berücksichtigst?

 

[underclocker2k4]

Inzwischen wurden auch 2,5- und 5GbE-Karten vorgestellt: Delock DL-89456: Netzwerkkarte für 2.5 und 5GbE - Golem.de - die sind jedoch noch so neu, dass gebrauchte 10GbE-Netzwerkhardware günstiger kommen dürfte.

Nee, haben sie "nicht vorgestellt".
Das ist eine 10GBE Karte, die für schlechte Leitungen auch 2,5 und 5GBE fahren kann. Das kann von der HW her so ziemlich jede aktuelle 10GBE Karte.
(z.B. x550)
Ich behaupte, dass eine saubere Homeverkabelung automatisch nie auf 2,5/5GBE laufen wird. Es wird idR immer ein 10GBE Link aufgebaut. Daher hat er dann eh voll Party in der Hütte.

 

[walsmi]

Vielen Dank für eure Hilfe,
Netzwerk:
Ins Thema Bonding/Teaming habe ich mich ein wenig eingelesen und stimme euch daher zu, dass mir das nichts nützen wird. Stattdessen wäre 10Gbit wohl der Weg den ich gehen sollte.
Könnt ihr mir da Karten mit guter Preis/Leistung empfehlen (gerne gebraucht), evtl. Mellanox ?!? Werde auf Grund der hohen Preise für Switches wohl eher Peer 2 Peer verwenden, da wären DualPort Karten nicht schlecht, dann kann ich brücken. ANsonsten brauche ich ja nur SFP+ DAC Kabel oder?
Strom sparen / Future:
Der Stromverbauch für den Server beträgt im Schnitt ca. 150W, zugegeben, klingt nicht viel, aber ist eben 24/7. Werde wohl zukünftig ein Spin Down machen und dafür die Anzahl der Festplatten wie ohnehin geplant auch reduzieren und dafür auf die 8 TB`s gehen. Um zusehen wieviel mir das bringt, werde ich mal einige Verbrauchsmessungen durchführen müssen und anschließend entscheiden.
Weiterhin habe ich überlegt evtl auf ein neues System mit Avoton und FreeNas zu wechseln. Jedoch muss ich mich auch da erst einlesen, bzw. mal in einer VM / mit Testsystem ein wenig rumprobieren.

 

[Digi-Quick]

Wenn du eh schon "spielen" willst, solltest du auch einen Blick auf NAS4Free und Omni-OS/Napp-It werfen.
Openfiler und OMV könnte man auch noch anschauen.

In Sachen Hardware hier mal reinschauen (16 HDDs und mehr - "DIY-systeme" / Es wird Teuer)
http://www.hardwareluxx.de/communit...uide-april-2016-a-1114030-5.html#post24534978

Übrigends: ein I3 3240T ist mitnichten ein Stromsparprozessor >> Es ist ein "Leistungssparprozessor", wodurch sie die Stromaufnahme pro Zeit reduziert, wenn gearbeitet wird.
Aber: bezahlen tust du die Arbeit, welche ein Produkt aus Leistung mal Zeit ist. Reduzierst du die Leistung, verlängert sich automatisch die Zeit, die der Prozessor braucht um eine bestimmte Arbeit zu erledigen >> Daraus folgt, der Prozessoer ist deutlich weniger in den sogenannten C-States in denen dann wirklich Strom gespart wird.
Im Umkehrschluss könnte man daraus sogar ableiten, daß die sogenannten Stromsparprozessoren letztendlich eine höhere Gesamtstromaufnahme haben könnten als ihre nicht "kastrierten" Kollegen, was aber zu beweisen wäre.

Du als "Leistungssparprozessor" bekommst eine Axt, die Kollegen mit Voller Leistung haben Motorsägen.
jeder soll Bäume mit 30cm Durchmesser fällen. Wer mit einem Baum fertig ist, wartet auf die anderen. Wer hat als erstes Pause?
Es wird hier natürlich nicht die körperliche Leistung bewertet sondern die Ergebnisorientierte Leistung der Werkzeuge.

 

[dekahedron]

150W ist doch eigentlich recht vertretbar. Ich find es beinahe schon wenig fuer die Anzahl an Platten (ich komm bei mir auf 250W bei 17 Platten und der laeuft auch 24/7).

Du hast zwei grosse RAID5...wie waers denn die zusammenzulegen, das wuerde den freien Platz fuer beide Anwendungen verbinden und so besser nutzen. Bei der Anzahl an Platten vllt stattdessen als ein RAID6? Also die 6x3 TB Platten durch 6x6TB Platten ersetzen und mit den bestehenden 4x6TB Platten zusammenlegen. Als ein einziges RAID6 mit 10x6TB, ergibt dann immerhin 48TB unformatiert. Oder halt mit 8TB Platten, aber dann ergibt es wirklich Sinn ein grosses Array anzulegen.

Andere Idee ist zugegebenermassen sehr pragmatisch: Schon mal dran gedacht die Filme neu zu encodieren und damit die Groesse etwa zu halbieren? Ich hab' meine Filmsammlung mit Handbrake auf etwa die Haelfte geschrumpft ohne sichtbaren Qualitaetsverlust. Wuerde zwei Probleme auf einmal loesen: Weniger Speicherplatz noetig und der Datendurchsatz waere auch nicht mehr am Limit der 1GbE-Anbindung. Wobei ich es nicht ganz nachvollziehen kann, mit den 110MB/s bei UHD. Da kommt man ja auf etwa 580 GB pro 90min Film.

Ich les weiter oben mehrere Male, dass Spindown nicht geht. Beherrschen das nicht die meisten Controller? Arecas jedenfalls koennen es.

EDIT: bei den 250W hab ich gelogen. Da haengt auch noch das ges. Netzwerkequipment dran. Der Filer duerfte eher so um 180-200W liegen, allein.

 

[Morpheus2200]

Die Raid arrays sind ja alle nicht vollständig gefüllt. Vielleicht hilft dir da ein Softwarebasiertes flexibles system.
Ich persönlich mag ja ZFS, bringt dir auch bei Fotos im RAW Format mit Kompression schon einiges.

Wenn es dir darum geht den Energiebedarf zu minimieren geht das zunächst denke ich mit möglichst wenigen möglichst sparsamen Platten und spindown.
Die Hardware auszutauschen um ein paar Watt im idle zu sparen macht vermutlich nicht so viel Sinn, dein Netzteil ist bei so vielen HDDs doch sicher etwas größer dimensioniert und der Wirkungsgrad bei wenig last ist da oft nicht optimal.