[Kaufberatung] Medienserver

[UweObst]

Hallo,

ich möchte mir einen Medienserver (1080p-MKVs + 3DMKVs; Raid6; max. 16x3TB oder 4TB HDDs; sukzessiver Ausbau) aufbauen. Dieser sollte nach Möglichkeit möglichst leise sein, da der Medienserver im Wohn-/Esszimmer stehen soll (das hängt ein wenig von meiner Überzeugungsarbeit bei meiner besseren Hälfte ab). Ne WaKü-Lösung wäre auch denkbar.

Bei den Hardwarekomponenten bräuchte ich Eure Hilfe. Folgendes habe ich mir überlegt:

Gehäuse: LIAN LI PC-A77B
Raid-Controller Adaptec 71605 (Oder LSI? Unklar ist, ob mit 1GB oder 256MB Cache? Was empfiehlt sich hier als vernünftig? HotSwap fähig?)
Festplatten: WD Red WD30EFRX (Gibt es bessere und leisere 3TB oder 4TB Platten? In Foren wird öfters von Ausfällen berichtet.)
Festplattenkäfig: Lian Li EX-34NB
Lüfter: Noiseblocker NB Multiframe M12-PS (Gibt es hier leiserer? Enermax oder Pabst?)
Mainboard: noch kein spezielles; Kriterien: aktueller Chipsatz; für Dauerbetrieb geeignet; ECC-Unterstützung; möglichst potent
RAM: noch kein speziellen; Kriterien: möglichst ECC; schnell
Netzteil: noch kein spezielles; Kriterien: leistungsfähig (max. 16 Festplatten); hoher Wirkungsgrad; möglichst leise

Über Rückmeldungen und Kaufempfehlungen würde ich mich freuen

 

[AG1M]

Also wegen der Lautstärke - da bringt dir eine WaKü nicht wirklich etwas. Das was krach macht, sind die vielen Festplatten. Wichtig ist eher ein gutes Gehäuse das kaum bis keine Vibrationen weitergibt und auch schallgedämmt ist. Natürlich wenn mal 16 Festplatten irgendwann verbaut sind, müssen auch die gut gekühlt sein (und je mehr Lüfter verbaut sind, desto lauter), auch wenn z.B. die WD Red im Vergleich wirklich sehr kühl bleibt.

Mainboard würde ich ein aktuelles Supermicro Mobo + Intel Xeon + Kingston ECC RAM (was in der Supported Liste steht).

Was für ein Betriebsystem hast du geplant? Soll das wirklich nur ein Datengrab mit Freigaben werden? Wenn ja wäre für dich vielleicht auch ein Blick auf ZFS sinnvoll und ein teuerer RAID Controller kann wegfallen und dafür ein HBA genutzt werden.

 

[UweObst]

Also wegen der Lautstärke - da bringt dir eine WaKü nicht wirklich etwas. Das was krach macht, sind die vielen Festplatten. Wichtig ist eher ein gutes Gehäuse das kaum bis keine Vibrationen weitergibt und auch schallgedämmt ist. Natürlich wenn mal 16 Festplatten irgendwann verbaut sind, müssen auch die gut gekühlt sein (und je mehr Lüfter verbaut sind, desto lauter), auch wenn z.B. die WD Red im Vergleich wirklich sehr kühl bleibt.

Das Gehäuse und die Festplattenkäfige von Lian Li müssten das doch hinbekommen, oder? Ich würde den Innenraum natürlich noch schalldämmen. Zudem würde ich auch erst mit 4 Platten anfangen und dann sukzessive ausbauen.

Mainboard würde ich ein aktuelles Supermicro Mobo + Intel Xeon + Kingston ECC RAM (was in der Supported Liste steht).

Da gibt's ja ne Menge Auswahl. Ein Intel Xeon müsste doch reichen (für Hard- und Softwareraid), oder? Welches Board empfiehlt sich denn hier preis-/leistungstechnisch?

Was für ein Betriebsystem hast du geplant? Soll das wirklich nur ein Datengrab mit Freigaben werden? Wenn ja wäre für dich vielleicht auch ein Blick auf ZFS sinnvoll und ein teuerer RAID Controller kann wegfallen und dafür ein HBA genutzt werden.

Bitte nicht lachen, aber ich dachte an Windows Server 2012. Im Grunde soll der Medienserver als Filmarchiv (für eine mehr oder weniger längerfristige Sicherung meiner MKVs) dienen sowie kleinere Backups aufnehmen. Primär ist der Einsatz mit dem HTPC.

Mit ZFS kenne ich mich leider nicht genug aus? Wo läge denn abgesehen vom Raid-Controller hier der Vorteil? Müsste man dann nicht Linux o.ä. als OS verwenden? Wie performant müsste die CPU dann bemessen werden?

 

[keibertz]

ZFS würde ich im produktiven Betrieb nur einsetzen wenn man sich mit den entsprechenden OS Systemen auch auskennt. Wenn man reiner Windows User ist kann ich davon nur abraten. Oder man sollte sich beim einrichten und vor allem Testen des erweiterns, rebuilds und sonstigen möglichen Fehlern wirklich viel Zeit lassen.
Ansonsten macht man beim ersten Fehler der Auftritt etwas falsch und alle Daten sind weg ...

Ob es zwingend gleich Xeon, ServerMainboard, HardwareRAIDController und ECC RAM sein muss ist Ansichtssache. Im professionellen Bereich ist das ganze klar Pflicht. Aber fürs private reicht oft auch schon wesentlich kleinere und billigere Hardware. Kommt aber eben auch immer darauf an was man alles damit vor hat. Bei Verschlüsselung ist meiner Meinung z.B. eine CPU mit AES Pflicht.

Beim Thema Lautstärke kann ich mich leider AG1M nur anschließen. Einen Server mit 16 Festplatten bekommst du nicht wirklich leise. Um die Geräusche auch nur niedrig zu halten wirst du einiges an Aufwand betreiben müssen. Ein komplett gedämmtes Gehäuse, sowie gedammte Festplattenmontage sind dabei pflicht. Aber um die Festplatten wirklich auf 30-40 Grad zu halten braucht du nun einmal entsprechende Lüfter und diese machen einen gewissen KRACH. Selbst wenn die Lüfter selbst absolut geräuschlos drehen würden, wird alleine durch die Luft ein gewisser Geräuschpegel erzeugt.
Einen Server mit 16 Festplatten trotz ausreichender Kühlung so leise wie möglich zu bekommen ist auf jeden Fall eine Herrausvorderung der speziellen Art. Und es wird dich einiges an Geld und Nerven kosten.

 

[UweObst]

ZFS würde ich im produktiven Betrieb nur einsetzen wenn man sich mit den entsprechenden OS Systemen auch auskennt. Wenn man reiner Windows User ist kann ich davon nur abraten. Oder man sollte sich beim einrichten und vor allem Testen des erweiterns, rebuilds und sonstigen möglichen Fehlern wirklich viel Zeit lassen.
Ansonsten macht man beim ersten Fehler der Auftritt etwas falsch und alle Daten sind weg ...

Ich bin zwar auch kein reiner WinOS-User, aber habe leider auch nicht die Zeit, mich adäquat in Linux etc. im Hinblick auf ZFS einzulesen und einzuarbeiten. Hier würde ich den niederschwelligeren Weg gehen wollen, auch wenn das bedeutet, einen "teuren" Raid-Controller kaufen zu müssen.

Ob es zwingend gleich Xeon, ServerMainboard, HardwareRAIDController und ECC RAM sein muss ist Ansichtssache. Im professionellen Bereich ist das ganze klar Pflicht. Aber fürs private reicht oft auch schon wesentlich kleinere und billigere Hardware. Kommt aber eben auch immer darauf an was man alles damit vor hat. Bei Verschlüsselung ist meiner Meinung z.B. eine CPU mit AES Pflicht.

Da hast Du natürlich recht! Ich tendiere in den semiprofessionellen Bereich. Und was man hat, das hat man. Momentan soll es zwar primär als Daten- und Backupgrab dienen, aber das könnte sich ja, wenn die Möglichkeiten gegeben sind, auch schnell ändern. Vom Profil her würde ich mir gerne etwas Flexibilität bewahren wollen. Performanz und Flexibilität wären mir wichtig! Welche konkreten Mainboards (ein Xenon + aktueller Chipsatz) kämen denn infrage bzw. sind empfehlenswert?

Beim Thema Lautstärke kann ich mich leider AG1M nur anschließen. Einen Server mit 16 Festplatten bekommst du nicht wirklich leise. Um die Geräusche auch nur niedrig zu halten wirst du einiges an Aufwand betreiben müssen. Ein komplett gedämmtes Gehäuse, sowie gedammte Festplattenmontage sind dabei pflicht. Aber um die Festplatten wirklich auf 30-40 Grad zu halten braucht du nun einmal entsprechende Lüfter und diese machen einen gewissen KRACH. Selbst wenn die Lüfter selbst absolut geräuschlos drehen würden, wird alleine durch die Luft ein gewisser Geräuschpegel erzeugt.
Einen Server mit 16 Festplatten trotz ausreichender Kühlung so leise wie möglich zu bekommen ist auf jeden Fall eine Herrausvorderung der speziellen Art. Und es wird dich einiges an Geld und Nerven kosten.

Was heißt denn "nicht wirklich leise"? Von welchen dB(A)-Bereich sprechen wir? Dass es in unmittelbarer Nähe zum Server bei voller Bestückung und bei vollem Betrieb nicht totenstill ist und sein kann, ist mir klar. Der ausgewählte Lüftertyp kommt auf max. 23dB(A) und die WD RED auf max. 24dB(A), was noch unter dem Schalldruckpegel eines ruhigen Schlafzimmers bei Nacht (vgl. z.B. als Quelle) liegt. Zudem beträgt der Abstand zum Server, den ich im Esszimmer frei positionieren könnte, mehr als 3m. Zur Not wäre die Verlagerung in einen separaten Raum auch möglich, wenngleich weniger erwünscht. Mit Hilfe einer vollständigen Dämmung, entsprechender Hardware und Lüfter (via Lüftersteuerung geregelt) sowie der entkoppelten Lagerung der HDDs im Festplattenkäfig müsste man doch das Ding im Hinblick auf die Lautstärke einigermaßen zähmen können. Dieser Herausforderung möchte ich mich stellen.

 

[gea]

ZFS würde ich im produktiven Betrieb nur einsetzen wenn man sich mit den entsprechenden OS Systemen auch auskennt. Wenn man reiner Windows User ist kann ich davon nur abraten. Oder man sollte sich beim einrichten und vor allem Testen des erweiterns, rebuilds und sonstigen möglichen Fehlern wirklich viel Zeit lassen.
Ansonsten macht man beim ersten Fehler der Auftritt etwas falsch und alle Daten sind weg ...
.

Kommt darauf an.
Einen Wlan Router oder ein Fertig-NAS setzt man ja auch ein obwohl BSD, Linux oder Unix darauf läuft.
Fertige ZFS Distributionen mit Web-UI sind nicht soweit weg davon. Auch ist schon arg viel Bößwilligkeit, Absicht oder gravierende Fehler beim Einrichten nötig, um mit ZFS Daten zu verlieren - gerade im Vergleich z.B. mit Windows und NTFS. Da hatte ich schon öfter Datenverluste und brauchte das Backup. In vier Jahren ZFS brauchte ich noch kein Backup.

Schwierig wird es nur, wenn man Hardware kauft, die nicht läuft -oder man etwas installieren möchte, was nicht out of the Box dabei ist. Ein bischen Einlesen in die Idee von ZFS muss aber schon sein. Wenn man aber einmal ZFS kennengelernt hat will man nichts anderes mehr. Es ist ein Quantensprung was Dateisysteme, deren Sicherheit und Eigenschaften angeht.

 

[UweObst]

Wenn ich das richtig gelesen und verstanden habe, lässt sich ein Raid-Z nachträglich nicht ohne Weiteres mit weiteren HDDs erweitern. Es besteht doch nur die Möglichkeit, entweder die Platten im Raid-Z gegen neue sukzessive auszutauschen (z.B. kleinere gegen größere), oder dem ZFS-Pool einen weiteren Raid-Z-Verbund hinzuzufügen (2 Raid-Z-Verbünde im dynamical stripping). Oder sehe ich das falsch? Wenn dem so ist, hätte sich diese Option für mich damit erledigt.

Sorry für den OT!

 

[gea]

Wenn ich das richtig gelesen und verstanden habe, lässt sich ein Raid-Z nachträglich nicht ohne Weiteres mit weiteren HDDs erweitern. Es besteht doch nur die Möglichkeit, entweder die Platten im Raid-Z gegen neue sukzessive auszutauschen (z.B. kleinere gegen größere), oder dem ZFS-Pool einen weiteren Raid-Z-Verbund hinzuzufügen (2 Raid-Z-Verbünde im dynamical stripping). Oder sehe ich das falsch? Wenn dem so ist, hätte sich diese Option für mich damit erledigt.

Sorry für den OT!

OT
Das war für Sun bei der Enwickling von ZFS nie ein Thema. Storage wächst nicht n+1 sondern n*2
In Zeiten wo eine neue 2 TB Platte aber 80 Euro kostet und 4W verbraucht , ist das aber kein Thema.
Oder will jemand ernsthaft einen Pool mit vielen kleinen alten Stromfresser-Platten aufbauen die jeden Moment über den Jordan gehen können anstatt einen Mirror oder Raid-Z aus 2-4 TB disks.

Bei einem normalen Mediaserver is eh ein Mirror aus 2 x 2-4 TB disks am Besten.

 

[GrafikTreiber]

Ja, das siehst du richtig so. Aber warum dass nun ein Auschlusskritierium für ZFS sein soll weiß ich nicht, das selbe gilt auch für Hardware-Raid-Controller.
Außerdem verstehe ich auch nicht was so etwas bringen soll, außer für den Fall "Sparen am falschen Ende". Wenn ich mehr Storage haben will kaufe ich mir einfach neue Festplatten und erstelle ein neues RaidZ. Wenn ich die alten Festplatten nun anders verwenden will kopiere ich die Daten einfach auf das neue RaidZ und gut ist.

http://www.hardwareluxx.de/communit...latten-brauche-hilfe-925448.html#post19811339

Oh man... soviel Halbwissen.

Fangen wir mit dem Netzteil an: Nimm kein komplett passives Netzteil, das ist überhaupt nicht notwendig und auch eher Kontraproduktiv weil du in diesem Gehäuse am liebsten auch den minimalen Airflow mitnehmen willst. Ein 80+Gold Netzteil mit hochwertigem Lüfter ist auch unter Vollast nicht wirklich zu hören.

Auch ist es nicht notwendig für 24 Festplatten mehr als ein ca. 550 Watt Netzteil einzubauen, es wäre auch reichlich dämlich, den je mehr Leistung ein Netzteil hat desto ineffektiver arbeitet es bei niedriger Auslastung, was zur meisten Zeit der Fall ist da sich die CPU im Idle und die Festplatten im Tiefschlaf befinden sollten.

Außerdem brauchst du keine riesigen Anlaufströme weil eben NICHT alle Festplatten gleichzeitig anlaufen, dein Controller unterstützt Staggered Spinup, das heißt man kann einstellen wie viele Festplatten gleichzeitig gestartet werden, das ist sogar bei den LSI-Controllern standardmäßig so eingestellt das 2 Festplatten alle 2 Sekunden gestartet werden.

Nun zur Lautstärke/Temperatur: Die Lüfter bekommst du unhörbar, auch mit vernünftigen Temperaturen. Ich habe Silent Wings 2 auf 5V, die Temperaturen liegen bei Vollast je nach Modell zwischen 35 und 40°C, das ist ein optimaler Wert, siehe Google Festplattenstudie. Diese zeigt, das eine Durchschnittstemperatur von 40°C die geringsten Ausfälle produziert, sobald man mehr oder weniger (JA, KÜHLER IST NICHT BESSER!) Durchschnittstemperatur hat steigen die Ausfallraten an.

Der Boxed Kühler ist aber definitiv zu laut, da solltest du einen größeren CPU-Kühler mit leisen Lüftern verwenden. von Scythe, Bequiet, Thermalright.

Das Problem der Lautstärke ist aber nicht allein mit leisen Lüftern getan. Wählst du diese vernünftig aus, hörst du sie auch nicht, weder bei der CPU, vor den Festplatten noch im Netzteil. Das Problem sind die Festplatten an sich die vibrieren und in großer Anzahl ziemlichen Krach machen. Dagegen kann man nicht wirklich was machen, außer man fährt einen wirklich großen finanziellen Aufwand, sprich Festplattenentkopplung und Dämmung wie keibertz ja schon sagte. Und je mehr Festplatten man hat um so schwieriger wird das. So etwas geht auch nicht in einem 19" Gehäuse, da musst du dir dann selber was bauen. Die einzig brauchbare Lösung die mir einfällt wäre ein halbwegs gedämmtes Rack und Entkopplungsschienen zu verwenden z.B. so etwas hier gedämmte Trageschienen für Serverschrank - 19 Zoll-Tec GmbH . Das hat bei mir den Geräuschpegel ca. halbiert.

Nun zur "Anzahl an Festplatteneinschüben": Es ist völlig egal ob es nächstes Jahr 5TB Festplatten gibt oder nicht. Der Preis pro TB ist entscheidend. Und wenn es darum geht so viel Speicherplatz wie möglich für einen günstigen Preis zu bekommen sind diese Modelle in der Regel die völlig falsche Wahl, schau dir doch einfach mal aktuell den Preisunterschied zwischen 3TB und 4TB Festplatten an. Auch hat es in den letzten 4 Jahren nie Sinn gemacht Festplatten zu verkaufen um Slots frei zu bekommen. Sofern man den Platz hat ist es bisher immer wirtschaftlicher gewesen für mehr Festplatteneinschübe zu sorgen anstatt die alten Festplatten zu verkaufen und durch neue zu ersetzen. Du kannst das ganz einfach an Hand des Preisverlaufes bei Geizhals nach vollziehen sofern du dir das so nicht vorstellen kannst.

Dann brauchst du noch SFF-8087 zu SFF-8087 Kabel mit mindestens 60cm Länge, maximal 75cm Länge. Außerdem musst du darauf genug 4pin-Stromanschlüsse zu haben um Lüfter und die Backplanes anzuschließen.
Schau dir meine Liste Storageserver an, das einzige was dort dir noch fehlt ist die 120mm-Lüfterblende für das Gehäuse, die ist nicht bei Geizhals gelistet. Ansonsten sollte dort alles enthalten was du für einen wirklich leisen Storageserver benötigst. Wenn du die Lüfter auf 5V stellst und die Festplatten schlafen legst sind die Lüfter im Idle und unter Last nicht zu hören. Wenn die Festplatten auch im Schlafmodus sind hörst du gar nichts. Besser geht es nicht.

Ich empfehle auf jeden Fall hochwertige Lüfter zu kaufen da diese für längere Laufzeiten gemacht sind und nicht nach ein paar Monaten anfangen zu klackern. Daher empfiehlt es sich auch eines der hochwertigeren von Bequiet zu kaufen, da sind nämlich auch die 12€ Silent Wing Lüfter drin und nicht irgendein 3€ Modell von Ada und Co so wie bei Seasonic und Konsorten.

Eine so große Anzahl an Festplatten wirst du nur mit einer Wasserkühlung, sowie aufwendiger Dämmung und Entkopplung in einem Selbstbau-Gehäuse unhörbar machen können, fertig gibt es so etwas nicht. Vergiss es also einfach. Das beste was du machen kannst ist leise Lüfter zu wählen und das Gehäuse selber zu entkoppeln. Soviele Festplatten einzeln zu dämmen und zu entkoppeln ist praktisch einfach nicht machbar ohne einen sehr kostspieligen und zeitwendigen Affenzirkus mit Eigenbau zu veranstalten.

Statt diesem teuren Lian-Li-Gehäuse kannst du dir auch gleich ein richtiges 19"-Storagegehäuse z.B. von Inter-Tech kaufen.

Arbeite mal diese Threads durch, das sollte viele deiner Wissenslücken füllen:
http://www.hardwareluxx.de/community/f101/nas-mit-8-12-festplatten-brauche-hilfe-925448.html (Netzteil, Hardware, ECC)
http://www.hardwareluxx.de/community/f101/homeserver-upgrade-928660.html (Netzteil, Hardware, ECC, Virtualisierung)
http://www.hardwareluxx.de/community/f101/verschluesseltes-nas-929821.html (Verschlüsselung)
http://www.hardwareluxx.de/communit...-storage-pools-vs-freenas-mit-zfs-918728.html
http://www.hardwareluxx.de/communit...-refs-unter-windows-server-2012-a-928375.html
http://www.hardwareluxx.de/communit...controller-will-nicht-hp-dl180-g5-931056.html (Controller)
http://www.hardwareluxx.de/community/f101/norco-rpc-4224-aka-inter-tech-ipc-4u-4324l-889631.html (Gehäuse)
http://www.hardwareluxx.de/community/f101/medium-zfs-nas-build-fuer-soho-letzte-fragen-932645.html (Hardware)

 

[UweObst]

OT
Das war für Sun bei der Enwickling von ZFS nie ein Thema. Storage wächst nicht n+1 sondern n*2
In Zeiten wo eine neue 2 TB Platte aber 80 Euro kostet und 4W verbraucht , ist das aber kein Thema.
Oder will jemand ernsthaft einen Pool mit vielen kleinen alten Stromfresser-Platten aufbauen die jeden Moment über den Jordan gehen können anstatt einen Mirror oder Raid-Z aus 2-4 TB disks.

Bei einem normalen Mediaserver is eh ein Mirror aus 2 x 2-4 TB disks am Besten.

Aber warum dass nun ein Auschlusskritierium für ZFS sein soll weiß ich nicht, das selbe gilt auch für Hardware-Raid-Controller. Außerdem verstehe ich auch nicht was so etwas bringen soll, außer für den Fall "Sparen am falschen Ende". Wenn ich mehr Storage haben will kaufe ich mir einfach neue Festplatten und erstelle ein neues RaidZ. Wenn ich die alten Festplatten nun anders verwenden will kopiere ich die Daten einfach auf das neue RaidZ und gut ist.

Da muss ich mich wohl falsch ausgedrückt oder die ganze Sache falsch verstanden haben. Ich dachte, dass es bei einem Hardware-Raid ohne Probleme möglich ist, mit 4x3TB (RAID 6) anzufangen und dieses Raid-Array nach und nach mit Festplatten zu erweitern, ohne ein neues RAID-Array o.ä. etablieren zu müssen. Mein Ziel ist sozusagen ein mitwachsendes logisches Laufwerk. Wenn das mit ZFS gut geht, würde es auch noch in der engeren Wahl bleiben. Hier wäre ich für eine kurze Aufklärung dankbar, bevor ich mir die Threads dazu genauer angucke.

Statt diesem teuren Lian-Li-Gehäuse kannst du dir auch gleich ein richtiges 19"-Storagegehäuse z.B. von Inter-Tech kaufen.

Ja, aber für "ein richtiges 19"-Storagegehäuse" braucht man auch Platz. Zudem muss ich das auch meiner besseren Hälfte adäquat kommunizieren. Den Lian Li im Esszimmer in einer Ecke aufzustellen, ist da leichter und lag daher näher. Ein Storage-Gehäuse von Inter-Tech hatte ich bereits im Blick und reizt mich auch sehr. Deine Liste zum Storageserver war sehr hilfreich, Danke! Kann es auch ein 3U-Gehäuse sein oder passt dann ein normales ATX-Netzteil nicht mehr?

 

[NTB]

kleiner Hinweis:
openmediavault basiert auf debian und nutzt mdadm. Da lässt sich das RAID problemlos erweitern.
auch von RAID 5 auf RAID 6 lässt sich erweitern.

Spindown unterstützt es auch.

Handhabung und Bedienung ist wie freenas.

Gesendet mit der Hardwareluxx App

 

[GrafikTreiber]

Und für das Lian Li braucht man keinen "Platz"?
Lian Li PC-A77B BxHxT: 220x595x590mm
Inter-Tech 4U-4324L BxHxT: 482x178x680mm
Na, fällt dir was auf?
Das 4U-4324L ist sogar kleiner.

In das 3HE Inter-Tech passt leider kein Standard ATX-Netzteil.

Und so viele Festplatten im Wohnzimmer? Hast du schon mal mehr als fünf Festplatten gleichzeitig gehört von denen gelesen bzw auf die geschrieben wird? Anscheinend nicht, sonst würdest du die Idee gleich wieder verwerfen.
Die Lüfter bekommst du unhörbar, keine Frage. Aber die Vibrationen und Motorgeräusche bekommst und in so großer Anzahl nicht leise. Für 2-3 Festplatten kannst du Dämmboxen kaufen, aber "vernünftige" wie das Scythe Quiet Drive werden schon länger nicht mehr hergestellt, die gingen zum Schluss bei eBay für den doppelten Preis weg. Und selbst mit einem Quiet Drive, der wahrscheinlich besten Dämmbox, bekommt man die Vibrationen auch nicht vollständig weg. Und je mehr Festplatten es sind, um so schlimmer wird es.
Stell es dir vor wie eine Biene die um dich herum schwirrt. Eine geht so. Drei Stück nerven dann schon. Und jetzt stell dir 10 Stück vor. SMMMMMMMMMMMMMMMMMM, BRUMMMMMM RTRTRATARTAA. Es hat schon einen Grund warum ich meine Storage-Server inklusive der Expander-Gehäuse wegen der vielen Festplatten Bienenschwarm nenne.

Verabschiede dich bitte grundlegend von der Idee ein RAID mit der Zeit zu erweitern, das ist Bad Practice, auch wenn es die Software oder Hardware unterstützt die du dort verwendest solltest du es nicht machen.
Einfach immer ein vollständigen Satz neue Festplatten kaufen und darauf das RAID erstellen, alles andere ist Bastelei und führt zum potentiellen Datenverlust.

Bei einem Neubau und ohne vorherige Erfahrungen würde ich heute auch nicht mehr auf mdadm und ext4/xfs... setzen, ZFS war schon selbst zu zfs-fuse Zeiten sicherer als als ein mdadm+x-beliebiges Dateisystem jemals sein wird.
Spindown unterstützt eigentlich jedes Linux, dafür ist nur hdparm -S 241 /dev/disk/by-id/scsi-SATA_SAMSUNG_HD20* /dev/disk/by-id/scsi-SATA_ST3000DM001* nötig, mehr nicht.

 

[keibertz]

Und so viele Festplatten im Wohnzimmer? Hast du schon mal mehr als fünf Festplatten gleichzeitig gehört von denen gelesen bzw auf die geschrieben wird? Anscheinend nicht, sonst würdest du die Idee gleich wieder verwerfen.
Die Lüfter bekommst du unhörbar, keine Frage. Aber die Vibrationen und Motorgeräusche bekommst und in so großer Anzahl nicht leise. Für 2-3 Festplatten kannst du Dämmboxen kaufen, aber "vernünftige" wie das Scythe Quiet Drive werden schon länger nicht mehr hergestellt, die gingen zum Schluss bei eBay für den doppelten Preis weg. Und selbst mit einem Quiet Drive, der wahrscheinlich besten Dämmbox, bekommt man die Vibrationen auch nicht vollständig weg. Und je mehr Festplatten es sind, um so schlimmer wird es.
Stell es dir vor wie eine Biene die um dich herum schwirrt. Eine geht so. Drei Stück nerven dann schon. Und jetzt stell dir 10 Stück vor. Es hat schon einen Grund warum ich meinen Server wegen der vielen Festplatten Bienenscharm nenne.

+1 Kann man wirklich nur so unterschreiben. Server in der Größe = hörbar ...

Verabschiede dich bitte grundlegend von der Idee ein RAID mit der Zeit zu erweitern, das ist Bad Practice, auch wenn es die Software oder Hardware unterstützt die du dort verwendest solltest du es nicht machen.
Einfach immer ein vollständigen Satz neue Festplatten kaufen und darauf das RAID erstellen, alles andere ist Bastelei und führt zum potentiellen Datenverlust.

Erweitern ist zwar theoretisch möglich, aber ich würde auch immer dazu raten jeweils ein Komplettes RAID auf einmal zu kaufen. Ich betreibe 2 mal RAID6 mit jeweils 8 Festplatten und habe mir diese 8 jeweils auch auf einmal gekauft.
Von Erweitern im laufenden Betrieb halte ich auch nichts und habe es bisher auch immer vermieden in diese Situation zu kommen. Dann lieber 2-3 Monate länger sparen und gleich das ganze RAID kaufen.

 

[Asa]

Ja, das siehst du richtig so. Aber warum dass nun ein Auschlusskritierium für ZFS sein soll weiß ich nicht, das selbe gilt auch für Hardware-Raid-Controller.

Warum? Es gibt doch genug HW-Raid Controller die Online-Extend können und wo das auch funktioniert.
Ein Backup ist immer wichtig, aber davon abgesehen funktioniert das absolut problemlos.
Gleiches gilt für das normale Linux SW-Raid (mdadm), auch da gibts online-extens.

 

[GrafikTreiber]

Das "Online-Extend" eines Hardware-Raid-Controllers hat die gleichen Nachteile wie bei einer ähnlichen Aktion bei ZFS. Es gefährdet die Daten, von daher kann ich es nicht ruhigen Gewissens empfehlen. Besonders bei einem Hardware-Raid-Controller mit Vorzeit-Dateisystemen wie NTFS ohne Checksumming kann das ziemlich ins Auge gehen.

Wenn ich den Platz habe um diese Daten zu sichern brauche ich auch kein Online-Extend sondern kann gleich ein neues RAID mit den neuen Festplatten anlegen.

 

[Asa]

was unnötig mehr zeit (+manpower) benötigt und umständlicher ist.

 

[UweObst]

Danke für Deine Rückmeldung!

Und für das Lian Li braucht man keinen "Platz"?
Lian Li PC-A77B BxHxT: 220x595x590mm
Inter-Tech 4U-4324L BxHxT: 482x178x680mm
Na, fällt dir was auf?
Das 4U-4324L ist sogar kleiner.

Ja, da hast Du Recht Gut, ich bin überzeugt und tendiere zu einem Storage-Gehäuse.

In das 3HE Inter-Tech passt leider kein Standard ATX-Netzteil.

Gut zu wissen! Wenn ich also ein ATX-Netzteil verwenden möchte, müsste es ein 4HE-Gehäuse sein.

Und so viele Festplatten im Wohnzimmer? Hast du schon mal mehr als fünf Festplatten gleichzeitig gehört von denen gelesen bzw auf die geschrieben wird? Anscheinend nicht, sonst würdest du die Idee gleich wieder verwerfen.
Die Lüfter bekommst du unhörbar, keine Frage. Aber die Vibrationen und Motorgeräusche bekommst und in so großer Anzahl nicht leise. Für 2-3 Festplatten kannst du Dämmboxen kaufen, aber "vernünftige" wie das Scythe Quiet Drive werden schon länger nicht mehr hergestellt, die gingen zum Schluss bei eBay für den doppelten Preis weg. Und selbst mit einem Quiet Drive, der wahrscheinlich besten Dämmbox, bekommt man die Vibrationen auch nicht vollständig weg. Und je mehr Festplatten es sind, um so schlimmer wird es.
Stell es dir vor wie eine Biene die um dich herum schwirrt. Eine geht so. Drei Stück nerven dann schon. Und jetzt stell dir 10 Stück vor. SMMMMMMMMMMMMMMMMMM, BRUMMMMMM RTRTRATARTAA. Es hat schon einen Grund warum ich meine Storage-Server inklusive der Expander-Gehäuse wegen der vielen Festplatten Bienenschwarm nenne.

Ich verstehe! Ganz leise muss es ja auch nicht sein, nur eben kein LKW Ich dachte auch schon an ein Akustikrack o.ä. Wäre das was? Je nach Überzeugungskraft könnte ich das Ganze auch in ein anderes Zimmer verlegen.

Verabschiede dich bitte grundlegend von der Idee ein RAID mit der Zeit zu erweitern, das ist Bad Practice, auch wenn es die Software oder Hardware unterstützt die du dort verwendest solltest du es nicht machen.
Einfach immer ein vollständigen Satz neue Festplatten kaufen und darauf das RAID erstellen, alles andere ist Bastelei und führt zum potentiellen Datenverlust.

Wie muss ich mir das dann vorstellen? Habe ich pro erstelltes Raid ein logisches Laufwerk?

Bei einem Neubau und ohne vorherige Erfahrungen würde ich heute auch nicht mehr auf mdadm und ext4/xfs... setzen, ZFS war schon selbst zu zfs-fuse Zeiten sicherer als als ein mdadm+x-beliebiges Dateisystem jemals sein wird.
Spindown unterstützt eigentlich jedes Linux, dafür ist nur hdparm -S 241 /dev/disk/by-id/scsi-SATA_SAMSUNG_HD20* /dev/disk/by-id/scsi-SATA_ST3000DM001* nötig, mehr nicht.

Also würdest Du ZFS dringend empfehlen? Könnte ich das auch als Anfänger bewerkstelligen?

 

[GrafikTreiber]

Ein schallgedämmtes Rack im Wohnzimmer? Ich weiß nicht ob das wirklich soviel bringt. Und schön aussehen tut das auch nicht unbedingt. Es gibt zwar so Racks mit Dämmung in Büromöbel-Optik, aber schön ist was anderes.
Am einfachsten wäre es wenn du den Server in einen anderen Raum verfrachten würdest, z.B. Abstellkammer oder Keller. Wenn du kein Rack hast stell den Server auf eine ISO-Matte oder ähnliches, das dämpft etwas die Vibrationen. Ich habe in meinem 19" Schrank spezielle Schienen die etwas Entkoppeln, das bringt doch schon etwas. Aber ob ich die Tür zu mache oder nicht, durch die Vibrationen kommen trotzdem Geräusche nach draußen.

Naja, "Anfänger" ist ein dehnbarer Begriff. ZFS ist definitiv der Königsweg, es gibt kein besseres Dateisystem. Ob du es unbedingt nutzen musst und ob du mit etwas anderem nicht auch glücklich wirst ist eine andere Frage. Hast du *NIX-Erfahrungen mit der Kommandozeile und fühlst dich wohl damit? Wenn nicht, bist du bereit viel zu lernen?
Mein erstes *NIX war Gentoo Linux als Stage1 Remoteinstallation auf einem Rootserver im fremden Rechenzentrum, wohl einer der härtesten Einstiege die es so gibt. Aber es war spaßig und ich habe sehr viel gelernt.

Für einen kleinen Homeserver mit ZFS gibt es auch genug Anleitungen wo du einfach nur Copy&Paste machen musst, viel lernen musst du hier also eigentlich nicht. Ich denke am einfachsten wäre vielleicht ein Solaris basierendes System da du dort das Thema SMB auch relativ einfach mit dem nativ im Kernel integrierten SMB-Server abhaken kannst und einfach sagst zfs set sharesmb=on und gut ist. Außerdem gibt es da noch das Webinterface napp-it von gea der hier auch im Forum unterwegs ist. Wenn du aber wirklich wissen willst was du da tust solltest du vielleicht alles auf der Kommandozeile machen und erst zu Webinterfaces greifen wenn du die Befehle auch so beherrschst. Ansonsten bleibst du ein einfacher Lemming und stellst bei jeder Kleinigkeit dumme Fragen in einem Forum die für andere so trivial nervig sind dass sie dich am liebsten erschießen würden.

Wenn du ein Raid erstellst du hast du unter *NIX ein weiteres "Gerät" auf dass du an Dateisystem spielen kannst. Da ZFS nicht nur ein Dateisystem sondern auch Volumenmanager und Software-Raid in einem ist hast du bei der Erstellung eines weiteren RaidZ dann halt gleich ein weiteren zpool den du irgendwo hin mounten kannst. Sorry, ich weiß nicht wie ich die Frage zufriedenstellend beantworten soll. Aber ja, man könnte es so sagen "Pro erstellten Raid ein logisches Laufwerk".

 

[gea]

Wenn du ein Raid erstellst du hast du unter *NIX ein weiteres "Gerät" auf dass du an Dateisystem spielen kannst. Da ZFS nicht nur ein Dateisystem sondern auch Volumenmanager und Software-Raid in einem ist hast du bei der Erstellung eines weiteren RaidZ dann halt gleich ein weiteren zpool den du irgendwo hin mounten kannst. Sorry, ich weiß nicht wie ich die Frage zufriedenstellend beantworten soll. Aber ja, man könnte es so sagen "Pro erstellten Raid ein logisches Laufwerk".

Das stimmt unter ZFS nur, wenn man aus jedem Raid (nennt sich bei ZFS vdev) einen eigenen Pool mit genau einem Filesystem machen würde. Die ZFS Idee geht aber eher so:

Aus den Platten werden Raids (vdevs) gebaut. Diese vdevs werden einem Daten-Pool hinzugefügt, der praktisch unbegrenzt wachsen kann. Auf diesem Pool werden dann Dateisysteme angelegt (entspricht dem bisherigen Partitionieren.) Die Anzahl der Dateisysteme ist praktisch auch nicht limitiert (so wie die Dateigröße, Anzahl Ordner oder Anzahl Dateien)

Das Besondere ist jetzt, die Größe der Dateisysteme wird nicht beim Anlegen definiert sondern sie können beliebig wachsen bis zur Poolgröße. Daten werden über alle vdevs gestriped umd mehr Performance zu erhalten, Limits lassen sich dynamisch mit Quotas und Reservations setzen.

Sollte der Platz mal ausgehen, einfach ein neues vdev anfügen. Der Platz steht dann automatisch allen Dateisystemen zur Verfügung. Die Dateisysteme lassen sich an beliebiger Stelle mounten (Default ist /poolname/dateisystem)

Man könnte also sagen: Pro Pool beliebig viele logische Laufwerke

 

[keibertz]

Wie muss ich mir das dann vorstellen? Habe ich pro erstelltes Raid ein logisches Laufwerk?

Die kurze Antwort heißt JA

Also würdest Du ZFS dringend empfehlen? Könnte ich das auch als Anfänger bewerkstelligen?

Dazu hat jeder seine eigene Meinung. Ich sage ganz klar NEIN. Wenn du dich nicht auf der Konsole auskennst lass es ... Ich bin zwar nicht unbedingt ein nixblicker auf der Konsole, aber mir sind meine Daten zu wichtig als das ich sie einem anderem OS anvertraue als dem mit dem ich mich mit Abstand am besten auskenne.
Ich habe trotz mehrfacher versuche mich auf anderen OS Systemen heimisch zu fühlen nach wie vor zuhause alle Rechner auf Windows. Alles andere konnte mich bisher einfach nicht fesseln. Benutze Konsole nur wenn es sein muss. Sprich auf der Arbeit bei unseren Servern und Testmaschinen und bei meinem alten TV Receiver ...

Muss aber letzten Endes jeder selbst entscheiden ob RAIDController oder ZFS. Bzw welches OS auf dem Server zum Einsatz kommt.

Bin selbst derzeit wieder mal am überlegen mir einen kleinen Testserver für ZFS aufzusetzen. Aber bis ich das wenn überhaupt jemals produktiv benutze wird es noch ein ganzes Weilchen dauern ...

 

[gea]

Dazu hat jeder seine eigene Meinung. Ich sage ganz klar NEIN. Wenn du dich nicht auf der Konsole auskennst lass es ... Ich bin zwar nicht unbedingt ein nixblicker auf der Konsole, aber mir sind meine Daten zu wichtig als das ich sie einem anderem OS anvertraue als dem mit dem ich mich mit Abstand am besten auskenne.
Ich habe trotz mehrfacher versuche mich auf anderen OS Systemen heimisch zu fühlen nach wie vor zuhause alle Rechner auf Windows. Alles andere konnte mich bisher einfach nicht fesseln. Benutze Konsole nur wenn es sein muss. Sprich auf der Arbeit bei unseren Servern und Testmaschinen und bei meinem alten TV Receiver ...

Es gibt ja storage appliances. Die sind eher wie ein wlan-Router, Die laufen ja auch alle mit **IX
Da ist die Console nicht mehr angesagt als Windows cmd.

z.B. in alphabetischer Reihenfolge
FreeNAS
napp-it mit Nexenta Illumian, OmniOS, OpenIndiana oder Oracle Solaris
Nas4free
NexentaStor CE (nur nichtkommerziell, max 18TB RAW Speicher)
Zfsguru

Da wird alles per Web-UI eingestrellt, Console braucht man nur für den Installationsbefehl.
Lassen sollte man dann aber Versuche etwas zum Laufen zu bringen, was nicht serienmäßig dabei ist.

OpenIndiana und Solaris haben sogar eine vollwertige GUI mit Browser.

 

[UweObst]

Vielen Dank für Eure hilfreichen Antworten!

Wenn Ihr gestattet, würde ich das Ganze rekapitulieren, um es zu verstehen. Bitte berichtigt mich, wenn ich mich irre:

Nehmen wir an, ich entscheide mich für das 4HE Inter-Tech Storage-Gehäuse, dann hieße das 4x6 HDDs.

Erweitern ist zwar theoretisch möglich, aber ich würde auch immer dazu raten jeweils ein Komplettes RAID auf einmal zu kaufen

Verabschiede dich bitte grundlegend von der Idee ein RAID mit der Zeit zu erweitern, das ist Bad Practice, auch wenn es die Software oder Hardware unterstützt die du dort verwendest solltest du es nicht machen.
Einfach immer ein vollständigen Satz neue Festplatten kaufen und darauf das RAID erstellen, alles andere ist Bastelei und führt zum potentiellen Datenverlust.

Sinnvoll wäre m.E. jetzt pro 6er-HDD-Set ein Raid, da ich die Festplatten im 6er-Set kaufen würde. Bei maximaler Bestückung hätte ich es also mit 4 Raids zu tun. Oder empfiehlt sich hier eine andere Verteilung (je Backplane vielleicht: 6x4)?

Das stimmt unter ZFS nur, wenn man aus jedem Raid (nennt sich bei ZFS vdev) einen eigenen Pool mit genau einem Filesystem machen würde. Die ZFS Idee geht aber eher so:

Aus den Platten werden Raids (vdevs) gebaut. Diese vdevs werden einem Daten-Pool hinzugefügt, der praktisch unbegrenzt wachsen kann. Auf diesem Pool werden dann Dateisysteme angelegt (entspricht dem bisherigen Partitionieren.) Die Anzahl der Dateisysteme ist praktisch auch nicht limitiert (so wie die Dateigröße, Anzahl Ordner oder Anzahl Dateien)

Das Besondere ist jetzt, die Größe der Dateisysteme wird nicht beim Anlegen definiert sondern sie können beliebig wachsen bis zur Poolgröße. Daten werden über alle vdevs gestriped umd mehr Performance zu erhalten, Limits lassen sich dynamisch mit Quotas und Reservations setzen.

Sollte der Platz mal ausgehen, einfach ein neues vdev anfügen. Der Platz steht dann automatisch allen Dateisystemen zur Verfügung. Die Dateisysteme lassen sich an beliebiger Stelle mounten (Default ist /poolname/dateisystem)

Man könnte also sagen: Pro Pool beliebig viele logische Laufwerke

Mit ZFS hätte ich dann also 4 vdevs. Diese könnte ich entweder in einem Pool (= ein logisches Laufwerk) oder in mehrere Pools (= mehrere logische Laufwerke) organisieren. Ersteres käme meinen Verwaltungswünschen am nächsten.

Dazu hat jeder seine eigene Meinung. Ich sage ganz klar NEIN. Wenn du dich nicht auf der Konsole auskennst lass es ... Ich bin zwar nicht unbedingt ein nixblicker auf der Konsole, aber mir sind meine Daten zu wichtig als das ich sie einem anderem OS anvertraue als dem mit dem ich mich mit Abstand am besten auskenne.
Ich habe trotz mehrfacher versuche mich auf anderen OS Systemen heimisch zu fühlen nach wie vor zuhause alle Rechner auf Windows. Alles andere konnte mich bisher einfach nicht fesseln. Benutze Konsole nur wenn es sein muss. Sprich auf der Arbeit bei unseren Servern und Testmaschinen und bei meinem alten TV Receiver ...

Muss aber letzten Endes jeder selbst entscheiden ob RAIDController oder ZFS. Bzw welches OS auf dem Server zum Einsatz kommt.

Nun ja, ZFS klingt sehr interessant. Ein Hardware-Raid mit WinOS Server 2012 wäre sicherlich vom Niveau und der Einstiegsgrenze niederschwelliger. Aber ich möchte gerne verstehen, was ich da mache, da das m.E. gerade bei Problemen virulent wird, so dass meine Entscheidung momentan in Richtung ZFS geht. Meine Konsolenerfahrung ist mittelmäßig und beschränkt sich auf Apples Unix-Derivat (bitte nicht sauer sein, GrafikTreiber ) aber ich bin lernbereit und lernfreudig.

Wenn schon denn schon, würde ich auch AES und SMB nutzen wollen.

Interessant und für mich relevant wäre jetzt eine mögliche aktuelle und performante Hardware-Bestückung. Die Liste von GrafikTreiber ist ja schon einmal ein Anhaltspunkt.

 

[gea]

Mit ZFS hätte ich dann also 4 vdevs. Diese könnte ich entweder in einem Pool (= ein logisches Laufwerk) oder in mehrere Pools (= mehrere logische Laufwerke) organisieren. Ersteres käme meinen Verwaltungswünschen am nächsten.

Interessant und für mich relevant wäre jetzt eine mögliche aktuelle und performante Hardware-Bestückung. Die Liste von GrafikTreiber ist ja schon einmal ein Anhaltspunkt.

Ein Laufwerk ist ja da eine Festplatte oder ein Hardware-Raid, das dem Rechner als Festplatte präsentiert wird. Die Sicht Pool=logisches Laufwerk ist nicht ganz korrekt. ZFS sieht ja alle Festplatten als Einzelplatten und baut darauf Software-Raids (vdevs). Das sind aber keine Laufwerke sondern Festplattengruppen die man zu einem Pool als virtual devices hinzufügen kann.

Die herkömmliche Denkweise von Raid=logisches Laufwerk stimmt nur bei Hardware-Raid und Nicht-ZFS Software-Raid.

Zum Pool-Layout.
Die Organisation der vdevs und des Pools der daraus erstellt wird, bewegt sich zwischen den Faktoren

- Performance
- Kapazität
- Datensicherheit
- Kosten

Bei einem Gehäuse mit max 24 Platten und Mediaserver würde ich auf Raid-Z2 setzen (wie Raid-6) da damit zwei Platten pro vdev ausfallen können ohne dass Daten verloren sind. Eine Platte wird sicher ab und zu ausfallen. Die Wahrscheinlichkeit eines zweiten Ausfalls bis zur Reparatur ist nicht zu unterschätzen.

Ich würde aber eventuell gleich mit einem Raid-Z2 aus 7-8 Platten beginnen und als maximale Ausbaustufe 3 vdevs, je 7-8 Platten sehen. Ist von der Kosteneffektivität besser. Einen Slot zum Ersetzen von Platten immer frei lassen.


Die Liste von Grafiktreiber ist "best use" für ZFS. Den IBM muss man aber noch umflashen damit er als einfacher HBA und nicht als Hardware-Raid Controller arbeitet.

 

[GrafikTreiber]

Sinnvoll wäre m.E. jetzt pro 6er-HDD-Set ein Raid, da ich die Festplatten im 6er-Set kaufen würde. Bei maximaler Bestückung hätte ich es also mit 4 Raids zu tun. Oder empfiehlt sich hier eine andere Verteilung (je Backplane vielleicht: 6x4)?

Man verteilt ein RAID wenn möglich immer über mehrere verschiedene Backplanes und Controller für maximale Performance und Ausfallsicherheit, verwirf also sämtliche Ideen mit 6x4 oder 3x8 oder was auch immer, das ist der falsche Gedankenweg.

Beispiel Datensicherheit: Du hast einen Raid auf nur einer Backplane und genau die oder der Controller oder das Kabel ist defekt und schreibt Müll auf die Platten.
Nun ist dein ganzes Raid im Eimer. Würdest du aber jede Festplatte des Raids auf eine andere Backplane und somit teilweise auch auf einen anderen Controller verteilen wäre nur eine Festplatte defekt und du kannst, sofern du ein Raid mit Redundanz oder einen Spiegel hast, die Daten von der Festplatte die noch in Ordnung ist wiederherstellen.

Beispiel Performance: Mal angenommen du verwendest sehr schnelle SSDs von denen schon 5 Stück die Bandbreite deines Controllers mit 8 Ports vollständig nützen würden. Wenn du die SSDs hier über mehrere Controller verteilst erreichst du eine höhere Peformance, weil statt nur einem hier drei Controller involviert wären und man so Performance für bis zu 15 SSDs unter Volllast hätte.

Mit ZFS hätte ich dann also 4 vdevs. Diese könnte ich entweder in einem Pool (= ein logisches Laufwerk) oder in mehrere Pools (= mehrere logische Laufwerke) organisieren. Ersteres käme meinen Verwaltungswünschen am nächsten.

Die Idee nur einen großen Pool zu haben mag verlockend sein, allerdings musst du dir auch darüber im Klaren sein dass du so etwas weniger Datensicherheit und Ausfallsicherheit hast. Wenn z.B. mal dein Server defekt ist und du dringend an bestimmte Daten musst du aber nur einen Server hast wo du 8 Festplatten statt 24 Festplatten anschließen kannst hast du ein Problem.
Da ich genau auf dieses Problem keine Lust habe, verwende ich einzelne Pools. Außerdem hat man bei der Verwendung einzelner Pools weniger Probleme mit Fragmentierung.
Wenn du jetzt keine Lust darauf hast für mehrere Pools mehrere SMB-Freigaben zu machen habe ich auch eine simple Lösung:
Ich habe den Mountpoint /zpools/ via Samba freigegeben. Dadrin sind alle meine Pools gemountet, ich habe also nur eine einzelne SMB-Freigabe trotz mehrerer Pools.

Ich verwende RaidZ3s aus 11 Festplatten für Daten, für mich ist dass der optimale Kompromiss aus Datensicherheit, Performance und Kosten. Für VM-Storage habe ich zwei SSDs im Mirror und als "Incoming"-Pool einen Mirror aus2x3TB Festplatten.

Lies dir bitte unbedingt meinen Beitrag #2437 im ZFS Stammtisch dazu durch und klapp die Spoiler auf, da geht es um die Ausfallwahrscheinlichkeit von Raidz1-3 und die optimale Laufwerksaufteilung für maximale Performance.

Wenn schon denn schon, würde ich auch AES und SMB nutzen wollen.

Schau dir dazu diesen Thread an http://www.hardwareluxx.de/community/f101/verschluesseltes-nas-929821.html und wäge Vor- und Nachteile ab.
Crypto-Peformance von ZFS: ZFSonLinux/dmcrypt > FreeBSD/Geli > Solaris11 native ZFS-Crypto ab Poolversion 30 > Sparse Encrypted ZFS Pools unter fast je dem Solaris basierenden System.
Solltest du eine vollständige Crypto-Installation mit ZFSonLinux machen kann ich meine Doku aus meiner persönlichen Wiki hier kurz posten. Das ist zwar keine vollständige Anleitung, aber eine Kurz-Doku die *NIX-Experten sehr viel Arbeit abnimmt. Da ich schon öfter Anfragen bekommen habe wie mein System denn so genau aussieht werde ich das vielleicht auch in nächster Zeit mal in einem separaten Thread nieder schreiben.

 

[UweObst]

Vielen Dank für Deine Antwort!

Man verteilt ein RAID wenn möglich immer über mehrere verschiedene Backplanes und Controller für maximale Performance und Ausfallsicherheit, verwirf also sämtliche Ideen mit 6x4 oder 3x8 oder was auch immer, das ist der falsche Gedankenweg.

In Ordnung!

Beispiel Datensicherheit: Du hast einen Raid auf nur einer Backplane und genau die oder der Controller oder das Kabel ist defekt und schreibt Müll auf die Platten.
Nun ist dein ganzes Raid im Eimer. Würdest du aber jede Festplatte des Raids auf eine andere Backplane und somit teilweise auch auf einen anderen Controller verteilen wäre nur eine Festplatte defekt und du kannst, sofern du ein Raid mit Redundanz oder einen Spiegel hast, die Daten von der Festplatte die noch in Ordnung ist wiederherstellen

Beispiel Performance: Mal angenommen du verwendest sehr schnelle SSDs von denen schon 5 Stück die Bandbreite deines Controllers mit 8 Ports vollständig nützen würden. Wenn du die SSDs hier über mehrere Controller verteilst erreichst du eine höhere Peformance, weil statt nur einem hier drei Controller involviert wären und man so Performance für bis zu 15 SSDs unter Volllast hätte.

Verstehe und leuchtet ein! Danke für die Erklärung!

Wenn du jetzt keine Lust darauf hast für mehrere Pools mehrere SMB-Freigaben zu machen habe ich auch eine simple Lösung:
Ich habe den Mountpoint /zpools/ via Samba freigegeben. Dadrin sind alle meine Pools gemountet, ich habe also nur eine einzelne SMB-Freigabe trotz mehrerer Pools.

Wenn das geht, dann bin ich ja beruhigt Ich hatte mich nur gefragt, wie ich das XBMC beibringen soll, dass die Daten in mehreren Pools liegen

Ich verwende RaidZ3s aus 11 Festplatten für Daten, für mich ist dass der optimale Kompromiss aus Datensicherheit, Performance und Kosten.

Lies dir bitte unbedingt meinen Beitrag #2437 im ZFS Stammtisch dazu durch und klapp die Spoiler auf, da geht es um die Ausfallwahrscheinlichkeit von Raidz1-3 und die optimale Laufwerksaufteilung für maximale Performance.

Das hatte ich auch im Blick.

Danke für den Link! Wenn ich es richtig verstanden habe, kann ich also ein Raid-Z3 aus 4, 5, 7 oder 11 Festplatten erstellen. D.h. ich könnte theoretisch, sagen wir einmal, wenn der Geldbeutel es nicht gleich hergibt, 11 Platten zu kaufen, mit 4 anfangen und später ein Raid-Z3 aus 4, 7, 5 oder 11 Platten hinzufügen usw. Die Raid-Z3 erhalten jeweils ihren eigenen Pool. Richtig?

Schau dir dazu diesen Thread an http://www.hardwareluxx.de/community/f101/verschluesseltes-nas-929821.html und wäge Vor- und Nachteile ab.
Crypto-Peformance von ZFS: ZFSonLinux/dmcrypt > FreeBSD/Geli > Solaris11 native ZFS-Crypto ab Poolversion 30 > Sparse Encrypted ZFS Pools unter fast je dem Solaris basierenden System.
Solltest du eine vollständige Crypto-Installation mit ZFSonLinux machen kann ich meine Doku aus meiner persönlichen Wiki hier kurz posten. Das ist zwar keine vollständige Anleitung, aber eine Kurz-Doku die *NIX-Experten sehr viel Arbeit abnimmt. Da ich schon öfter Anfragen bekommen habe wie mein System denn so genau aussieht werde ich das vielleicht auch in nächster Zeit mal in einem separaten Thread nieder schreiben.

Die Sache mit ZFSonLinux und dmcrypt hört sich doch ganz gut an. Ich wäre Dir sehr dankbar, wenn Du Deinen persönlichen Wiki posten könntest. Vielen Dank im Voraus!

Ist ZFSonLinux in Solaris, das Du weiter oben empfohlen hast, bereits integriert? Sorry für die dumme Frage!



---------- Post added at 22:32 ---------- Previous post was at 22:25 ----------

Den IBM muss man aber noch umflashen damit er als einfacher HBA und nicht als Hardware-Raid Controller arbeitet.

Mit welcher Firmware müsste ich denn flashen?

 

[gea]

Man verteilt ein RAID wenn möglich immer über mehrere verschiedene Backplanes und Controller für maximale Performance und Ausfallsicherheit, verwirf also sämtliche Ideen mit 6x4 oder 3x8 oder was auch immer, das ist der falsche Gedankenweg.

Ich sehe jetzt nicht was das eine mit dem anderen zu Tun hat und das stimmt so auch nicht.

Bei der Poolorganisation ist man völlig frei und hat unterschiedliche Optimierungen. Ziel der ZFS Entwicklung bei Sun waren jedoch Großpools die heute auch gerne in den PataBytebereich mit Hunderten von Festplatten gehen.

Die Pools bestehen dabei bei I/O lastigen Anwendungen aus möglichst vielen Mirror vdevs, bei reinen Storageanwendungen meist aus einer Anzahl von Raid-Z2 vdevs mit in der Regel je ca 10 Platten. Auch hier gilt, je mehr vdevs, je schneller. Deutlich mehr Platten pro vdev sollte man nicht nehmen da sonst die rebuild-Zeiten mehrere Tage betragen können - bei verringerter Performance. Mehrere vdevs pro Pool ist also "alltäglich" und auch die übliche Art bei Platzproblemen den Pool und damit den Platz aller Dateisysteme zu vergrößern. Das ist ist also zumindest nicht der falsche Gedankenweg. Ich habe aber auch Backupsysteme mit 15 x Raid-Z3 weil damit am meisten Kapazität da ist, auch wenn sie recht lahm sind (Haben nur die I/O Performance einer einzelnen Festplatte)

Die Platten sind dabei oft an einem oder wenigen Controllern über Expander angeschlossen. Ein SAS2 Controller ist dabei sicher nie das Problem eine bestimmte Performance zu erreichen. Bei einem Mediaserver ist das hinsichtlich Performance ohnehin unerheblich. Die pci Express 2.0 Performance mit 8 Lanes beträgt z.B. 4 GByte/s. Ein Pool der das liefert und einen Server der das verarbeitet kann muss man suchen. (Wobei ich auch Server habe mit max 48 Platten an 6 SAS2 Controllern mit Maximalausbau von ca 200 TB - das aber vor allem um SAS Platten zu vemeiden und billige 4TB Sata zu nutzen.)

PCI Express

Auch die Ausfallsicherheit ist ja keine Frage der Poolorganisation, egal ob der Pool aus einem vdev mit 14 Platten oder aus zwei/drei/zwanzig vdevs mit 7 Platten besteht. Ersterer ist langsamer und preisökonomischer, beim Zweiten gibt es zusätzlich die Option, irgendwann nur einen Teil der Platten durch größere oder neuere zu tauschen (Platten halten nicht ewig).

Wenn was kaputt geht, muss man es halt tauschen. ZFS ist dabei extrem robust. Bei einem echten Disaster (Brand, Blitzschlag, Überspannung aus dem Netzteil, Diebstahl, Bedienfehler etc) sollte man halt ein externes Backup haben.

 

[GrafikTreiber]

@gea: Ich glaube du hast mich falsch verstanden. Ich sprach nicht von Poolorganisation sondern von der physikalischen Verteilung von Festplatten innerhalb eines "Storage-Verbundes" aus direkten an Controller angeschlossenen Festplatten und Expandern! Das war eine grundsätzliche Empfehlung unabhängig von ZFS. Ich sprach nicht davon dass mehrere vdevs in einem Pool der falschen Weg wären!
Wenn du deine Raids immer nur an einen Controller hängst hast du einen Single Point of Failure und unter Umständen einen Bandbreiten-Engpass. Ich habe hier ein paar SSDs von denen 5 Stück reichen um die 4GByte/s von PCIE2.0 x8, die in der Praxis sogar nur 3,75GByte/s sind, auszureißen. Und das sind keine speziellen SSDs, ganz normal Samsung SSD 840 Pro, auch eine Samsung 830 oder Intel 520 schafft das.
Wenn dieser eine Controller nun flöten geht hast du keinen Zugriff mehr auf den Raid. Hätte man die Festplatten über mehrere Controller verteilt hätte man, genug Redudanz vorraus gesetzt, weiterhin Zugriff auf sein Raid, wenn auch im degraded Status.
Allein meine 11x Z3 Pools aus Seagate Barracuda 7200.14 3000GB (ST3000DM001) benötigten ca. 200Mbyte/s pro Festplatte. Wenn du also nun diese Festplatten an einen 32er Expander ranhängst und der nur einen SAS6-Uplink (4x600=2400) hat, hast du nur ausreichend Leistung für 12 Festplatten!
Wenn ich zwei dieser Z3 Pools an einen Expander einbaue und gleichzeitig unter Last setzte underperformen die Festplatten wirklich und erreichen nur 40-50% ihrer maximalen Leistung. Daher habe ich meine Pools über mehrere Expander und Controller verteilt um Performancengpässe zu vermeiden.
Auch große Storage-Farmen mit hunderten Expandern arbeiten so und die Performance und Ausfallsicherheit zu erhöhen. Wir nennen das immer Festplattenverteilung "über Kreuz", vielleicht kann ja jemand damit etwas anfangen.

Beispiel-Zeichnung Server mit 32 Einschüben:
O= Leerer Festplatten-Einschub
V = 3-Way-Mirror
W= Spares für Raidz2 und 3-Way-Mirror
X= Raidz2 8HDDs #2
Y= Raidz2 8HDDs #2
Z= SSD gemirrorter Stripe aus 4 SSDs

Das wäre ein gutes Beispiel:
SAS-Controller 1 YYXX ZOOV
SAS-Controller 2 YYXX ZWOV
SAS-Controller 3 YYXX ZWOV
SAS-Controller 4 YYXX ZOOO

Hier mal ein schlechtes Beispiel mit Bandbreiten-Engpässen und Single Point of Failure:
SAS-Controller 1 YYYY YYYY
SAS-Controller 2 XXXX XXXX
SAS-Controller 3 ZZZZ VVVW
SAS-Controller 4 WOOO OOOO

Danke für den Link! Wenn ich es richtig verstanden habe, kann ich also ein Raid-Z3 aus 4, 5, 7 oder 11 Festplatten erstellen. D.h. ich könnte theoretisch, sagen wir einmal, wenn der Geldbeutel es nicht gleich hergibt, 11 Platten zu kaufen, mit 4 anfangen und später ein Raid-Z3 aus 4, 7, 5 oder 11 Platten hinzufügen usw. Die Raid-Z3 erhalten jeweils ihren eigenen Pool. Richtig?

Du kannst ein Z3 auch aus 6,8 oder 10 Festplatten erstellen, es geht im meinem Post nur um die optimale Stripesize und somit optimale Performance. Ein Redundanz-Raid mit n+3 aus 4 Festplatten macht meiner Meinung nach keinen Sinn, da kannst du auch einen 3-Way-Mirror machen.
Wenn das Budget klein ist, kauf dir immer 6 Festplatten und mach daraus ein Z2.

Mit welcher Firmware müsste ich denn flashen?

Die Initiator-Target-Firmware, durchlesen, da ist auch eine Anleitung verlinkt: http://www.hardwareluxx.de/communit...controller-will-nicht-hp-dl180-g5-931056.html

 

[gea]

Firmware für IBM 1015 (auf LSI 9211 IT mode flashen):
IBM ServeRAID M1015 Part 4: Cross flashing to a LSI9211-8i in IT or IR modeServeTheHome – Server and Workstation Reviews

 

[GrafikTreiber]

Das Tutorial hatte ich in dem angesprochen Thread auch verlinkt.
@gea: Habe meinen Beitrag oben nochmal editiert, bitte noch mal lesen.

 

[UweObst]

Vielen Dank für Eure Beiträge!

Bei der Poolorganisation ist man völlig frei und hat unterschiedliche Optimierungen. Ziel der ZFS Entwicklung bei Sun waren jedoch Großpools die heute auch gerne in den PataBytebereich mit Hunderten von Festplatten gehen.

Die Pools bestehen dabei bei I/O lastigen Anwendungen aus möglichst vielen Mirror vdevs, bei reinen Storageanwendungen meist aus einer Anzahl von Raid-Z2 vdevs mit in der Regel je ca 10 Platten. Auch hier gilt, je mehr vdevs, je schneller. Deutlich mehr Platten pro vdev sollte man nicht nehmen da sonst die rebuild-Zeiten mehrere Tage betragen können - bei verringerter Performance. Mehrere vdevs pro Pool ist also "alltäglich" und auch die übliche Art bei Platzproblemen den Pool und damit den Platz aller Dateisysteme zu vergrößern. Das ist ist also zumindest nicht der falsche Gedankenweg. Ich habe aber auch Backupsysteme mit 15 x Raid-Z3 weil damit am meisten Kapazität da ist, auch wenn sie recht lahm sind (Haben nur die I/O Performance einer einzelnen Festplatte)

Die Platten sind dabei oft an einem oder wenigen Controllern über Expander angeschlossen. Ein SAS2 Controller ist dabei sicher nie das Problem eine bestimmte Performance zu erreichen. Bei einem Mediaserver ist das hinsichtlich Performance ohnehin unerheblich. Die pci Express 2.0 Performance mit 8 Lanes beträgt z.B. 4 GByte/s. Ein Pool der das liefert und einen Server der das verarbeitet kann muss man suchen. (Wobei ich auch Server habe mit max 48 Platten an 6 SAS2 Controllern mit Maximalausbau von ca 200 TB - das aber vor allem um SAS Platten zu vemeiden und billige 4TB Sata zu nutzen.)

Auch die Ausfallsicherheit ist ja keine Frage der Poolorganisation, egal ob der Pool aus einem vdev mit 14 Platten oder aus zwei/drei/zwanzig vdevs mit 7 Platten besteht. Ersterer ist langsamer und preisökonomischer, beim Zweiten gibt es zusätzlich die Option, irgendwann die Hälfte der Platten durch größere zu tauschen.

Du kannst ein Z3 auch aus 6,8 oder 10 Festplatten erstellen, es geht im meinem Post nur um die optimale Stripesize und somit optimale Performance. Ein Redundanz-Raid mit n+3 aus 4 Festplatten macht meiner Meinung nach keinen Sinn, da kannst du auch einen 3-Way-Mirror machen.
Wenn das Budget klein ist, kauf dir immer 6 Festplatten und mach daraus ein Z2.

Sorry, aber je mehr ich lese, desto weniger scheine ich zu verstehen. Ich versuche das noch einmal zu rekapitulieren (ich hoffe, das geht Euch nicht auf die Nerven):

1) Ich kann n Festplatten zu einem Raid-Z vdev oder mehrere Raid-Z vdevs organisieren. Wenn es um optimale Stripesize und Performanz geht, empfehlen sich für Raid-Z3 vdev 4, 5, 7 oder 11 Festplatten.

2) Diese Raid-Z vdevs kann ich einzeln oder vermehrt in einen Pool packen. Je mehr Raid-Z vdevs (aber max. 10 Platten) in einem Pool sind, desto schneller.

Habe ich das so richtig verstanden?

---------- Post added at 23:19 ---------- Previous post was at 23:13 ----------

Firmware für IBM 1015 (auf LSI 9211 IT mode flashen):
IBM ServeRAID M1015 Part 4: Cross flashing to a LSI9211-8i in IT or IR modeServeTheHome – Server and Workstation Reviews

Danke!