[Kaufberatung] Neuer Fileserver

[Tiedemann1210]

Moin,

ich bin gerade dabei mir einen neuen Fileserver zusammenzustellen. Da in meinem aktuellen server kein Platz mehr für Festplatten ist und die HW dazu kein ECC unterstützt dachte ich mir es wird Zeit für einen neuen. Meine Anforderungen wären:

- Platz für ca. 12 - 16HDDs
- ECC RAM
- Muss stabil im 24/7 Betrieb laufen
- Sollte nicht zu viel Strom fressen

Ich hab mir schon einige überlegungen zur HW gemacht.

CPU: Wird wahrscheinlich der Pentium G4400 der ja oft für solche Anwendungsfälle empfohlen wird.

Board: Das wichtigste an dem Board ist für mich das der Chipsatz ECC unterstützt.
Außerdem wäre nicht schlecht wenn das Board schon einige SATA Ports von Haus aus mitbringt, da spart man sich die Storage controller.
Mein momentaner favourit wäre das hier Supermicro X11SAE-M Preisvergleich

RAM: Würde ich den hier nehmen: Samsung DIMM 8GB, DDR4-2133, CL15-15-15, ECC Preisvergleich

Netzteil: Wird ein Straight Power 10. Ich bin ich noch am überlegen ob 500W für das maximum an 16HHDs reichen oder gleich 600W. Das Problem ist bei den HDDs ja das die bei Anlaufen deutlich mehr Leistung brauchen. Man könnte die Platten natürlich nacheinander anlaufen lassen aber wenn dann dann will ich es gleich richtig machen und ein Netzteil kaufen das auch ne extremsituation stemmen kann.
Hat eventuelle jemand erfahrung wie viel ~16HDDs beim anlaufen so brauchen?

Gehäuse: Sollte die max 16 HDDs irgendwie unterbringen können. Für mich wäre sehr wichtig das die HDDs darin gut entkoppelt sind, damit sie sich nicht gegensetig durch die Vibrationen stören. Die Kühlung sollte natürlich auch vernünftig sein. Deswegen fällt ein 19" Schrank schon mal weg. An Lautstärke und Optik gibt es keine Anforderungen da der Server in einer Abstellkammer im Keller stehen wird.

Momentan stehe ich zwischen dem Nanoxia Deep Silence 1 Rev B. und dem Fractal Design Arc XL. Wobei ich eher zum Nanoxia tendiere.
Hat schon mal jemand eines der Gehäuse mit HDDs aufgefüllt und kann sagen wie das mit den Vibrationen aussieht?

Platten: Als Systemplatte kommt ne billige SanDisk Plus 120GB rein. Die HDDs sind WD Red und Seagate NAS(bereits vorhanden).

OS: Debian oder CentOS

Außerdem hab ich noch diesen SATA Storage Controller den ich aus dem aktuellen Server übernehmen kann:
Digitus DS-30104-1 Preisvergleich

Meine frage wäre nun ob die Zustammenstellung so in Ordnung ist oder lässt sich da noch was besser machen? Kann man eventuell auch noch irgendwo sinnvoll kosten einsparen? Mein Budget liegt so im ~800€ Bereich.

Ich bedanke mich schon mal für das Lesen des kleinen Romanes .

MfG
Tiedemann

 

[EveryDayISeeMyDream]

Ob Sinnvoll oder nicht, musst du entscheiden, aber warum denn 16 HDDs, brauchst du mehr als 50TB Speicher? Als erstes würde ich die Platten mal gegen 8TB Modelle austauschen, damit nicht so viel im Server rattert und Wärme erzeugt. (Bei 8 Platten und Raid 5 macht das nämlich auch schon 56TB.

Wenn das eine Option ist, kannst du dir das LianLi Q26B anschauen, 10x HotSwap mit Gummientkopplungen, dazu dann ein http://geizhals.de/ASRock-Rack E3C224D4i-14S, da kannste dann einen G3258 drauf schnallen. Das Board bietet sogar einen internen USB-Port für einen ESX

 

[the_pi_man]

Bei angedachten 8 Platten würde ich eher über RAID-6 (raidz2) nachdenken.

 

[Opticum]

Ich würde dir eine größere 4 Kern Xeon CPU empfehlen, wenn Idle verbrauchen die fast alle genau so wenig, aber wenn dann mal Power gebraucht wird ist sie da und schneller mit fertig, schneller wieder im Idle Bereich. Das mit den Vibrationen wird von den Herstellern mit angegeben, wie viele Platten im selben Gehäuse mitlaufen dürfen/sollten. Die WD Red PROs haben eine Art Vibrationskompensation. Es ist halt immer alles mit einer priese Skepsis zu sehen wie viel das im Endeffekt dann bringt.

 

[TCS]

bei 3,5" HDD kannst von max 20W beim Anlaufen ausgehen (hoch gegriffen) -> wären bei 16 Platten 320W -> also reichen 500W dicke

Lieber aber wirklich weniger und dafür Größere Platten verwenden (spart auch Strom).
ECC ist für sowas immer gut
Wird hotswap benötigt? Wie schlimm sind Downtimes? Backup?

Ab 10TB würd ich zumindest überlegen, ob Raid5 (Z1) noch ausreichend ist, oder Raid6 (Z2) eine Überlegung wert wäre

 

[Tiedemann1210]

@EveryDayISeeMyDream
Also momentan brauch ich natürlich keine 16 Platten. Die 18TB im jetzigen Server reichen momentan auch noch. Ich dachte aber auch mal das mir eine 4TB locker Platte ausreicht . Ich weiß halt nicht wie sich das in Zukunft ändert deswegen will ich halt noch ein paar Kapazitäten nach oben.

Das ASRock Rack sieht auch ganz nett aus. Hat sogar SAS anschlüsse. Aber vom Preis her würde sich das nicht wirklich lohnen da MB + CPU teurer sind als die G4400 variante. Da es ein reiner Fileserver braucht die CPU nicht wirklich viel Leistung und muss nur einen Samba server stemmen, sonst nichts.

8Tb Platten würd ich mir momentan nur ungerne einbauen. Die sind ja noch recht neu (mehrere Platter dank Helium/ Teilkontaktbereich durch hohe Datendichte). Da will ich lieber Langzeiterfahrungen abwarten. Außerdem ist der Preis ja auch noch recht hoch und dazu sind die meisten Platten bei mir noch nicht mal ein halbes Jahr alt, also viel zu früh zum austauschen.

@ the_pi_man
Ob ich überhaupt ein Raid verbund brauche bin ich mir auch nicht wirklich sicher. Ein Backup ersetzt ein Raid sowie so nicht. Und Ausfallsicherheit ist nicht so wichtig da der Server eh vor Ort im Keller ist. Da tauscht man die defekte Festplatte aus, spielt ein Backup auf und nach ein paar Stunden ist alles funktionsfähig.

@Opticum
Einen Xeon brauch ich nicht da der Server wirklich nur als reiner Fileserver dient. Mein jetziger Server wo ein alter i5 3570k verbaut ist wird dann zum Anwendungsserver. Falls ich leistung für ne Anwendung brauch läuft die dann eh darauf. Mit den Herstellerangaben zur Vibrationskompensation bin ich auch skeptisch deswegen sollten die HDDs gut entkoppelt sein.

@TCS
Dann kann ich ja das 500W NT nehmen. Aber ich dachte mal gehört zu haben das eine Platte bis zu 30W beim anlaufen braucht. Das sind aber dann wahrscheinlich die 16k rpm Platten. Naja da die Platten von mir eh nur 5400 rpm haben denke ich auch das die 500W reichem

Hotswap wird nicht benötigt. Downtimes sind wie schon erwähnt nicht so schlimm da ich die selber gleich vor Ort beheben kann. Backups sind natürlich ausreichend vorhanden

 

[pumuckel]

- Platz für ca. 12 - 16HDDs
- ECC RAM
- Muss stabil im 24/7 Betrieb laufen
- Sollte nicht zu viel Strom fressen

das hätten alle gerne

schonmal die angeguckt:

https://geizhals.de/supermicro-a1sa7-2750f-retail-mbd-a1sa7-2750f-o-a1162562.html?hloc=de
https://geizhals.de/?cat=mbson&xf=7086_SAS+6Gb/s#xf_top

grad das https://geizhals.de/supermicro-x10sdv-2c-7tp4f-retail-mbd-x10sdv-2c-7tp4f-o-a1423000.html?hloc=de trifft viele deiner Wünsche

 

[Digi-Quick]

16 HDDs und mehr - "DIY-systeme"
http://www.hardwareluxx.de/communit...uide-april-2016-a-1114030-5.html#post24534978
Teil 2 mit 19" Gehäusen habe ich noch nicht gepostet

Mein NAS/Filer mit 20 HDDs (max25) koommt mit 'nem 550W NT aus, habe aber auch staggered Spinup aktiviert..
16 HDDs brauchen ca. 16x2A= 32A Anlaufstrom auf der 12V Schiene (32Ax12V = 384Watt)

 

[Holt]

bin ich noch am überlegen ob 500W für das maximum an 16HHDs reichen oder gleich 600W. Das Problem ist bei den HDDs ja das die bei Anlaufen deutlich mehr Leistung brauchen.

Für die Seagate NAS stehen im Datenblatt 2A Anlaufstrom für alle über 1TB, was also 32A wären und dann müsst man mal die Belastbarkeit der einzelnen Rails des Netzteils studieren, denn das ist meine ich Multirail NT, was für diesen Zweck suboptimal ist.

Hat eventuelle jemand erfahrung wie viel ~16HDDs beim anlaufen so brauchen?

Was nutzen irgendwelche Erfahrungen irgendwelche Leute mit irgendwelchen Platten? Schau in die Datenblätte, dafür sind die gemacht worden!

Sollte die max 16 HDDs irgendwie unterbringen können. Für mich wäre sehr wichtig das die HDDs darin gut entkoppelt sind, damit sie sich nicht gegensetig durch die Vibrationen stören.

Das werden sie sowieso und zu weichen sollten HDDs auch nicht entkoppelt werde, sonst können sie durch die eigenen Vibrationen zu sehr in Bewegung geraten. Die HDD Hersteller schreiben i.d.R. vor die HDDs mit 4 Schrauben festzuschrauben. Daher sollten dann bei mehr als 8 HDDs im Gehäuse auch entsprechend HDD verwendet werden, also die Seagate Enteprise NAS statt der NAs oder die WD Red Pro statt der Red.

Die HDDs sind WD Red und Seagate NAS(bereits vorhanden).

Die wären für so viele HDDs in einem Gehäuse nicht geeignet, die aktuellen sind für maximal 8 HDD pro Gehäuse zugelassen, die frühen Version sogar nur für maximal 5.

Als erstes würde ich die Platten mal gegen 8TB Modelle austauschen

Sehen ich auch so, denn dann bekommt man mit 8 Platten auch schon einiges an Kapazität hin und kann doch die einfacheren Modell nehmen, wobei ich da klar die Seagates der WDs vorziehen, einfach weil die eine bessere UBER von 1:10^15 haben, schon bei der einfach NAS, während bei WD selbst die Red Pro nur 1:10^14 hat, auch wenn das im Datenblatt als 10:10^15 angegeben ist. Das macht dann beim RAID 5 aus 8 8TB HDDs einen Unterscheid von fast 62% zu 4,6% bei der theoretischen Chance auf ein Rebuild aus.

Wenn das eine Option ist, kannst du dir das LianLi Q26B anschauen, 10x HotSwap mit Gummientkopplungen

Da ist beim Gehäuse aber nur die Backplane für 2 Laufwerke dabei, für die anderen 8 müssen man die Backplane extra kaufen, da kommen dann noch mal rund 50€ auf die schon nicht unbescheidenen 190€ drauf.

Da würde ich mal eher das SilverStone DS380, Mini-ITX (SST-DS380B) in den Raum werfen, wenn denn 8 Platten ausreichen, da ist dann die Backplane für alle Platten schon dabei und dazu reicht ein SilverStone Strider Series 300W SFX12V (SST-ST30SF), welche ganz gut im Review bei CB abgeschnitten hat. Bei 8x2A maximalen Anlaufstrom (es dürften im Zweifel eher weniger sein als mehr), sollten die 22A auf 12V reichen (etwas überlasten kann man so ein Netzeil ja kurzfristig auch mal) und es gibt nur eine 12V Schiene, also keine Probleme mit der Lastverteilung.

Das Board bietet sogar einen internen USB-Port für einen ESX

Interne USB A Buchsen sind bei Serverboard eigentlich recht normal und keine solche Besonderheit.

Bei angedachten 8 Platten würde ich eher über RAID-6 (raidz2) nachdenken.

Das hängt davon ab welche UBER die Platte haben und wie aktuell man sein Backup hat.

bei 3,5" HDD kannst von max 20W beim Anlaufen ausgehen

Da schaut man einfach ins Datenblatt der Platten die man verbauen will, dann muss man von nichts ausgehen, dann weiß man was die laut Hersteller maximal brauchen werden. Für die Seagate NAS sind es 2A, also 24W, Deine 20W waren im Zweifel also zu wenig und eben nicht hoch gegriffen.

(hoch gegriffen) -> wären bei 16 Platten 320W -> also reichen 500W dicke

Was auch total vereinfacht ist, denn was nutzt es, wenn das Netzteil nur einen zhu geringen Teil dieser 500W auf den Schienen an denen die Platten hängen liefern kann? Das Straight Power 10 500W hat 4 12V Schienen mit je maximal 18A und damit müssten bei 16 HDD die je 2A zum anlaufen wollen, diese schon recht gleichmäßig auf zwei Schienen verteilt werden, aber wie ist die Aufteilung bei dem Netzteil? Eben, nachsehen und nicht aus dem Bauch gob schätzen!

Lieber aber wirklich weniger und dafür Größere Platten verwenden (spart auch Strom).

Das spart nicht nur Strom, sondern auch Einbauplätze (ggf. Backplanes), SATA Ports und u.U. auch Spannungsanschlüsse von Netzteil.

Die 18TB im jetzigen Server reichen momentan auch noch. Ich dachte aber auch mal das mir eine 4TB locker Platte ausreicht

Welche Platten hast Du denn jetzt genau? Wenn 18TB noch reichen dann würde ich mir 4 Seagate NAS 8TB holen und mit Linux ein md-SW RAID 5 aussetzen, denn bei ZFS geht eine Erweiterung des RAIDs nicht vernünftig, da werden zusätzliche Platten an den Pool wie bei JBOD(BIG) angehängt statt sie voll zu integrieren wie es bei md RAID geht. Dann hast Du schon mal 24TB netto und Bedarf weitere HDDs nachrüsten. Die alten verkaufst Du oder machst eben Backupplatten daraus, davon wirst Du ja auch mehr brauchen, wenn die Kapazität ansteigt.

8Tb Platten würd ich mir momentan nur ungerne einbauen. Die sind ja noch recht neu (mehrere Platter dank Helium/ Teilkontaktbereich durch hohe Datendichte).

Die Seagate NAS hat weder Helium noch SMR oder sonst eine grundlegend neue Technologie an Board.

Da will ich lieber Langzeiterfahrungen abwarten.

Langzeiterfahrungen liegen immer erst vor, wenn die aktuell verkauften HDDs schon längst zumndest intern komplett überarbeitet wurden und die Erfahrungen mit vorherigen Ausführungen auf diese gar nicht mehr übertragbar sind. Du hast doch bei der 3 Jahre Garantie, dann ein RAID 5 was den Ausfall einer Platte verkraften kann und noch zusätzlich Backups.

Außerdem ist der Preis ja auch noch recht hoch

Also das finde ich nicht unbedingt, die Seagate NAS kostet um die 40,93€/TB, sogar weniger als die mit 6TB und 4TB ist zwar gut 20% teuer als die 4TB mit 33,96€/TB, aber dafür braucht man auch doppelt so viele von den 4TB, also ein größeres und teureres Gehäuseund dann sind die eben nur für bis zu 8 HDDs in einem Gehäuse zugelassen, für mehr müsste man die Seagate Enterprise NAS Reihe nehmen und da kostet die 4TB dann sogar 52,25€/TB, also 27% mehr als die NAS 8TB.

dazu sind die meisten Platten bei mir noch nicht mal ein halbes Jahr alt, also viel zu früh zum austauschen.

Dann hast Du schon vor einem halben Jahr zu kleine Platten gekauft, aber die sollten sich ja dann auch noch gut verkaufen lassen.

Ausfallsicherheit ist nicht so wichtig da der Server eh vor Ort im Keller ist. Da tauscht man die defekte Festplatte aus, spielt ein Backup auf und nach ein paar Stunden ist alles funktionsfähig.

Wenn sich die Daten denn kaum ändern und auch wirklich immer alle auf dem Backup sind, dann ist das eine Option, aber bedenke das ein Lesefehler reicht um eine Datei nicht mehr Lesen zu können und zum Backup greifen zu müssen. Bei einem RAID 5 ist das kein Problem., da liest das RAID die Daten und Partity von den anderen Platten und überschreibt den schwebenden Sektor erneut mit den rekonstruierten Daten, so dass es bei Platten im RAID eigentlich nie schwebenden Sektoren gibt und damit auch keine Lesefehler. Dann gibt es auch noch das Srubbing um die Platten eben auch regelmäßig auf solche Probleme zu prüfen und diese zu beheben, aber nicht öfter als einmal pro Monat ausführen, die NAS haben nur ein Workload-Rating von 180TB pro Jahr, bei einem wöchtentlichen Scrubbing wäre es bei 8TB HDDs aber schon 416TB/Jahr alleine dafür.

Dann kann ich ja das 500W NT nehmen. Aber ich dachte mal gehört zu haben das eine Platte bis zu 30W beim anlaufen braucht.

Nicht auf höhrensagen hären, sondern Datenblätter lesen, aber wenn man bzgl. der Herstellerangaben sowieso immer skeptisch ist, bringt das wohl nicht viel.

Naja da die Platten von mir eh nur 5400 rpm haben denke ich auch das die 500W reichem

Wenn Du die Seagate NAS 4TB hast, dann hat die 5900rpm und ist miden gleichen 2A Anlaufstrom wie die NAS 8TB mit ihren 7200rpm angegeben. Die Hersteller können den Anlaufstrom regeln, der hängt also nicht immer mit der Drehzahl zusammen. Die WD Red 4TB hat laut Datenblatt 1,75A, die 8TB Red mit 1,79A nur unwesentlich mehr.

https://geizhals.de/supermicro-a1sa7-2750f-retail-mbd-a1sa7-2750f-o-a1162562.html?hloc=de

Also den lahmen, alten Intel Atom C2750 würde ich mir nicht mehr antun. Dann schon eher das:

grad das https://geizhals.de/supermicro-x10sdv-2c-7tp4f-retail-mbd-x10sdv-2c-7tp4f-o-a1423000.html?hloc=de trifft viele deiner Wünsche

Das hat auch schon zwei 10GBASE-T Ports an Board, was für einen Storageserver auch nicht übel ist, gerade wenn Du die Platten in ein RAID packst, denn Gigabit begrenzt da schon ganz schön und dazu ist es die moderne Xeon-D Plattform mit den viel schnelleren Boardwell Kernen, wenn auch nur in Firm des kleinen Pentium-D. Das Board ist für einen Storageserver ideal, wenn man wirklich so viele HDDs verbauen will. Aber die Frage ist, ob sich das lohnt, denn sonst reicht auch das Supermicro X10SDV-2C-TLN2F retail (MBD-X10SDV-2C-TLN2F-O) ab € 381,99, das ist Mini-ITX, würde also in die vorgeschlagenen Gehäuse passen, es hat 6 SATA 6Gb/s Ports und dazu einen PCIe Slot für Deine Digitus für weitere 4 SATA Ports und ebenfalls die 2 10GBASE-T Ports und IPMI zu Überwachung und zu Ein- Ausschalten übers Netzwerk ohne in den Keller zu müssen.

 

[besterino]

...ein Workload-Rating von 180TB pro Jahr, bei einem wöchtentlichen Scrubbing wäre es bei 8TB HDDs aber schon 416TB/Jahr alleine dafür...

Ganz interessante Hintergrundinfos zum Thema (musste mir gerade mal wieder selber eine Frage beantworten und hab die Antwort da gefunden).

 

[Tiedemann1210]

@Holt
Ich bedanke mich schon mal für die ausführlichen Informationen .

Als Netzteil würde ich dann doch lieber das Seasonic G-Series 550W nehmen. Das hat ja nur eine Rail die 45A verkraftet. Das sollte dann locker reichen.

Bei den werksseitigen entkopplungen sind die Platten ja bei fast eh jedem Gehäuse mit 4 Schrauben befestigt. Meistens sind halt noch Gummipuffer dazwischen, um die Vibrationen etwas zu absorbieren. Komplett vibrationsfrei wird die Platten wahrscheinlich komplett von Werk aus kein Gehäuse entkoppeln können.
Aber wenn mich nicht alles täuscht sind die Spezifikationen der Hersteller doch für Serverschränke, wo die Platten meistens im Hotswap liegen was so gut wie gar keine Entkopplung ist. Mal rein von der Überlegung her sollten sich durch ein Verminderung der Vibrationen doch etwas mehr Platten als in der Spezifikation betreiben lassen.

Aber ob es wirklich mal ~16 Platten werden bin ich mir natürlich auch nicht sicher. Ich will nur die Möglichkeit auf so viele Platten offen lassen.
Falls doch werden es bei den neuen Platten gleich die Enterprise Platten.

Wenn die 8TB Seagate auf bewährte Technologien setzt dann ist das wirklich ne option für mich. Ich glaub ich werde meine jetztigen Platten behalten und dann einfach wenn neue dazu kommen auf 8TB modelle setzten.

Das Gehäuse muss kein mITX Gehäuse sein. Da im Keller genug Platz ist kann es auch ein Big Tower sein. Ich würde dafür auch nur ungerne etwas edles und hochwertiges wie Silverstone/Lian Li nutzten da ich das Gehäuse eh kaum zu gesicht bekomme. Es sollte aber auch ein kompletter Billigmüll für ein paar € sein.

Und dem Raid(5) ist natürlich auch noch so ne Sache. Die höhere Lesegeschwindigkeit würde sich kaum bemerkbar machen da dann eh wieder das 1GB/s Lan der Flaschenhals wäre. Außerdem reicht mir der momentane Datendurchsatz ohne ein Raid momentan eh aus.
Und ein Backup ersetzt ein Raid sowieso nicht. Falls mal eine Datei nicht mehr lesbar ist, sollte bei mir auch kein Problem sein. Da ich auch interne Backup platten nutze(es sind selbstverständlich auch externe Backups vorhanden) reicht ein einfacher cp Befehl aus um die Datei wieder herzustellen.
Also momentan wüsste ich keinen wirklich überzeugenden Grund, auf einen Raid verbund umzusteigen.

Das X10SDV-2C-7TP4F wäre natürlich schon was feines. Aber mit nem kleineren Board + 1-2 Storage Controllern würde ich viel billiger mein vorhaben erreichen.
Und was bringen die X10SDV Boards für einen Vorteil im vergleich zum G4400 + X11SAE-M. Der Intel Pentium D1508 hat halt etwas mehr nicht benötigte Leistung und es gibt einen 10GB/S controller. Hat der SoC denn sonst noch irgendwelche entscheidenden Vorteile gegenüber dem C236 Chipsatz?

@besterino
Auf jeden fall ein interessanter link

 

[Holt]

Ganz interessante Hintergrundinfos zum Thema

Außer Seagate verschweigen die meisten Hersteller das Thema Workload lieber und geben ein Workload nur für die Enterprise HDDs an. So konnte ich von WD noch nichts über das Workload Rating der Red oder Red Pro erfahren, nur in einem Review wird man 120 bis 150TB/Jahr für die Red genannte und bei Anandtech ~180TB/Jahr für die Red Pro, aber ohne Quellenangaben und eben mit unpräzisen Aussagen.

HGST jhat bei der Vorstellung der Megascale Serie 180TB/Jhr für die Megascale und 550TB/Jahr für die Ultrastar genannt, aber wie viel die Deskstar NAS vertragen ist auch unbekannt. Beide HGST Modelle passen mit ihren 180TB und 550TB Workload auch perfekt in das Schema welches auch Toshibas Programm auf 2014 zeigt:

Manbeachte das dort das Workload Rating hervorgehoben ist und das rot hervorgehobene Confidential auf der Seite, die WD Se hat ebenfalls 180TB/Jahr und die Re (nicht Red) 550TB/Jahr, Seagate Desktop 55TB und ide Seagate Enterprise Capacity 550TB/Jahr, die Einteilungen sind also überall gleich und das wohl nicht zufällig, sondern da hat man sich sicher in einer Norm drauf geeinigt. Nur die Seagate Enterprise NAS Reihe fällt mit 300TB/Jahr aus dem Schema raus und eine NAS Platte hat Toshiba eben auch nicht im Angebot. Auffällig ist auch, dass die Enterrpise Cloud Serie von Toshiba nur für kleine RAIDs, also weniger HDDs in einem Gehäuse zugelassen zu sein scheint.

WDs Senior Director, Advanced Reliability Engineering hat übrigens im Juni 2013 folgendes dazu veröffentlicht:

Why Specify Workload?
by George Tyndall, Ph.D.
Senior Director, Advanced Reliability Engineering
...
The above discussion and the results shown in Figure 2 illustrate that MTTF is woefully
inadequate in describing the intrinsic reliability of HDDs. Since the dominant failure modes
limiting HDD reliability scale with the total data transfer, it follows that the Mean Petabytes to
Failure (MPbF) would be the metric of choice. However, until the industry as a whole accepts
MPbF as the preferred measure of product quality, WD will take the interim approach of
specifying both the MTTF and the maximum workload at which the product meets the MTTF
requirement.
...
In the case of HDDs, the workload defines the failure rate growth curve over the normal serviceable life of the drive, and is usedin conjunction with MTTF to unambiguously define the HDD reliability.

Warum die in dem Dokument vom Juni 2013 versprochen Workload Angaben nun gerade für die Consumer HDDs immer noch ein Staatsgeheinmnis behandelt und selbst vom Support nicht verraten werden, kann ich angesichst solcher eigenen Aussagen, wirklich nicht nachvollziehen.

Der Hintergrund könnte aber sein, dass man den Kunden nicht mit der Tatsache konfrontieren möchte, dass es bei HDDs im Grund wie bei SSDs ist und eben das übertragbare Datenvolumen beschränkt ist, auch wenn dies bei HDDs eben an den geringeren Köpfabständen und damit dem Teilkontaktbetrieb der Köpfe liegt, die einen Verschleiß bewirken und einen mehr oder weniger hohen Aufwand erfordern diese zu verhindern. Die Enden der Köpfe werden ja erwärmt damit sie sich ausdehnen und die Abstände so weit verringern, dass die magentischen Kräfter der inzwischen immer kleiner gewordenen Flächen für ein Bit noch ausreichen um diese zu lesen und vor allem zu schreiben, denn beim Schreiben braucht man stärkreres Magentfeld und die Feldstärke nimmt überproportional mit der Entfernung wieder ab, also muss man so dicht an um die Datendichten von als so etwa 300Gbit/in² zu realisieren, dass man in den Bereich kommt wo die Oberflächen nicht mehr glatt sind, sondern Kraterlandschaften ähneln und damit gibt es Abrieb und Verschleiß, obwohl man da u.a. mit Carbonbeschichtungen und Lubifizierungen gegenanwirkt, was aber auch Geld kostet und die billigen Platten bekommen eben nur die billigen Lösungen, die teuersten Enterprise Platten eben die aufwenigsten und teuersten. Wobei dei mit 15.000rpm eben nicht in der Kapazität auf über 600GB, eben um diesem Problem zu enkommen, denn die sind ja für die ganz kritischen Unternehmenseinsätze gedacht.

Toshiba hat schon die erste HDD mit Dual-Heatern in den Köpfen vorgestellt, damit kann man die Abständen noch genauer regulieren und vor allem für die Lese- und Schreibvorgänge unterschiedliche, womit zu Workload dann nicht mehr die gelesenen und geschrieben Datenvolumen identisch zählen, sondern die gelesen weniger weil beim Lesen mehr Abstand möglich ist, man kommt also etwas mehr in die Richtung von SSDs, bei denen offiziell nur die geschrieben Datenvolumen zählen (TBW), aber in Wahrheit auch die gelesenen mit einem kleinen Faktir eingehen, weil es eben dort ein Read Disturb gibt und Zellen früher refresht werden müssen, wen sie öfter ausgelesen wurden.

Früher gab es jedenfalls kein Workload Rating, das kam mit den gesteigerten Datendichten auf und ist deshalb vielen gar nicht bekannt. In der Entwicklungsgeschichte der Seagate Barracuda Reihe tauchen mit der 7200.11 erstmals Hinweis auf das Workload Rating auf und die war auch die ersten die mit nur noch 2.400 Betriebsstunden pro Jahr spezifiziert war, während Seagate die 7200.7 zu deren Zeit als HDDs für Desktop bis Enty Level Server empfohlen hatte. Da hat sich viel gewandelt und das ist manchen komplett entgangen die meinen HDDs wären alle gleich und die unterschiedlichen nur Marketingerfindungen.

Das hat ja nur eine Rail die 45A verkraftet. Das sollte dann locker reichen.

Das vermeidet die Problem der Aufteilung der last auf die Schienen, denn dummerweise ist es eben auch nicht leicht zu erfahren wie diese jeweils konkret auf die Anschlüsse aufgeteilt sind.

Aber wenn mich nicht alles täuscht sind die Spezifikationen der Hersteller doch für Serverschränke

Auf was die sich gebiehen, habe ich noch gefunden, aber ich denke kaum, dass man bei den einfache NAS Reihen wie eben der WD Red oder Seagate NAS von einem Einsatz in einem Serverschrank ausgeht, denn die sind für Heimanwender gedacht die eeher selten Serverschränke haben und eben nicht für den Unternehmenseinsatz in Servern.

Aber ob es wirklich mal ~16 Platten werden bin ich mir natürlich auch nicht sicher. Ich will nur die Möglichkeit auf so viele Platten offen lassen.

Das musst Du wissen, aber mit großen 8TB HDDs kann Du mit 8 bis 10 schon ganz schöne Kapazitäten realisieren, weit mehr als Deine aktuellen 18TB.

Falls doch werden es bei den neuen Platten gleich die Enterprise Platten.

Auch da gilt es aufzupassen, die Toshiba MC scheint ja nur für kleine RAIDs mit wenigen Platten gedacht zu sein, nicht alle Enterprise HDDs sind da identisch und dann sind gerade von den Enteprise HDDs mit kleineren Kapazitäten auch gerne mal günstig angebotene Modelle in Wahrheit gebrauchte Platten.

glaub ich werde meine jetztigen Platten behalten und dann einfach wenn neue dazu kommen auf 8TB modelle setzten.

Dann wäre die Frage wie man das mit einem RAID realisiert, aber ggf. kompliziert zu beantworten.

Und dem Raid(5) ist natürlich auch noch so ne Sache. Die höhere Lesegeschwindigkeit würde sich kaum bemerkbar machen da dann eh wieder das 1GB/s Lan der Flaschenhals wäre.

Die Frage ist ja, wie lange man beim Gigabit Netzwerk bleibt, die LAN Ports hinten an meinem Board sind nach der PS/2 Buchse die lahmsten Schnittstellen an der Rückseiten, da es dort kein USB2 mehr gibt. Der Thrend geht zu schnelleren Netzwerklösungen und wenn das Kabel ein ordentlich verlegtes und nicht zu langes Cat5e ist, geht sogar 10GBASE-T, wie es die Intel Xeon-D Familie udn sogar deren kleiner Pentium-D Ableger schon mitbringen. Da sollte sich in den nächsten Zeit mehr tun und die Preise werden auch fallen, denn WLAN ist schon dabei das Gigabit zu überholen und alleine um die Access Points passenden anzubinden, muss als mehr als Gigabit Netzwerk her.

Außerdem reicht mir der momentane Datendurchsatz ohne ein Raid momentan eh aus.
Und ein Backup ersetzt ein Raid sowieso nicht.

Klar, aber um da mal größere Datenmenge drauf zu schieben, ist mehr Durchsatz schon angenehm.

Das X10SDV-2C-7TP4F wäre natürlich schon was feines. Aber mit nem kleineren Board + 1-2 Storage Controllern würde ich viel billiger mein vorhaben erreichen.

Klar kann man es auch billiger erreichen, aber das X10SDV-2C-7TP4F beitet gleich noch 2 10GBASE-T Ports und alleine so eine Karte über 350€ (Intel x550, auf dem basiert die Lösung der Xeon-D) und dann ist da der Inhalt von noch so einer Karte für ebenfalls über 350€ mit drauf, die CPU mit 2 Broadwell Kernen und IPMI, damit relativiert sich der Preis dann aber ganz schön um nicht zu sagen, wenn Du alleine einen vergleichbaren Netzwerk und Storage Controller woanders nachrüsten möchtest, bist Du bei über 700€. Dazu 200€ für das X11SAE-M und noch mal IPMI hat aber dafür tolle Videoausgänge die im Keller wohl keiner braucht und 56€ für den G4400.

Hat der SoC denn sonst noch irgendwelche entscheidenden Vorteile gegenüber dem C236 Chipsatz?

Die Dinger sind extrem auf Effizienz getrimmt und rechnet alles zusammen was das Board mitbringt und Du hast fast 50% Rabatt im Vergleich zu Kauf der Storage- und Netzwerkcontroller, die dann auch noch Slots belegen. Wenn Du aber sicher bist das 10GbE für Dich während der Nutzungsdauer nie in Frage kommen und Du ggf. lieber mehere kleine SATA Host Controllerkarten oder gerbauchte SAS HBAs nachrüsten möchtest, dann wäre die Lösung mit dem C236 und dem Pentium darauf schon günstiger. Wenn ich mir überlege was aber alleine die Platten kosten werden die in meinen nächsten Heimserver gehen werden, dann sind mir Hundert Euro fürs Mainboards auch egal und ich möchte lieber eine ordentlich als eine billige Lösung, umso mehr je größer das Storage wird.

 

[Tiedemann1210]

Der Stromverbrauch des SoC ist natürlich auch ein guter Grund, aber ich glaub das die bessere Effizenz unter dem Stromhunger der HDDs eh untergehen wird. Und so schlecht ist die Effizienz des G4400 ja auch nicht.

Wenn Du aber sicher bist das 10GbE für Dich während der Nutzungsdauer nie in Frage kommen und Du ggf. lieber mehere kleine SATA Host Controllerkarten oder gerbauchte SAS HBAs nachrüsten möchtest, dann wäre die Lösung mit dem C236 und dem Pentium darauf schon günstiger.

Also das mit der Zukufstssicherheit mit 10Gbe ist natürlich ein guter Grund für das X10SDV. Aber momentan unterstützt kein einziger Rechner im Netzwerk 10Gbe. Und bei meinem primär genutzten Desktop hab ich mir vorgenommen, Board+CPU noch min. 2 Jahre zu nutzten. Falls in dem Zeitraum das Netzwerk doch auf 10Gbe aufgerüstet werden sollte, müsste ich ja auch Desktop und auch alle anderen PCs im Netztwerk mit einer entsprechenden Controllerkarte aufrüsten. Deshalb würde ich sagen das es in den nächsten 2 Jahren sehr unwahrscheinlich ist, das ich auf 10Gbe aufrüste. Und so wie ich mich kenne werd ich nach 2-3 Jahren wahrscheinlich sowieso wieder den Basteldrang haben, am Server irgendwas aufzurüsten.

Deswegen schätze ist dass das X11SAE-M für mich doch die sinnvollere Wahl ist. Falls in Zukunft 10Gbe der standard wird, dann wird halt auf ein entsprechendes Board aufgerüstet. Dem X11SAE-M wird halt dann ein anderer Nutzen gegeben(z.B. im Anwendungsserver, wo keine so hohe Datenrate benötigt wird). Und mit dem 8 SATA ports + 4 auf dem Controller könnte ich auch schon 12 Platten anschließen was in Kombination mit 8TB Platten für die nächste Zeit locker reichen sollte.

 

[pumuckel]

da dein Plan schon gelockt aussieht, spar doch etwas Geld:

https://www.jacob.de/Mainboards/Int...-SUPERMICRO-MBD-X11SAE-M-O-artnr-2900158.html

165€ find ich schon fair

 

[Holt]

Das mit den 10GbE musst Du wissen, irgendwann muss man den Anfang machen und gerade wenn der nächste PC erst in 2 Jahren geplant ist, steigt die Chance dann schon eher einen mit 10GbE (oder vielleicht den Zwischenstufen von 2,5 oder 5GbE, aber technisch ist das fast gleich, da die gleiche Modulation bei weniger Frequenz genutzt wird) zu haben. Gigabit Ethernet ist einfach schon sehr lange verbreitet und wird nun sogar von WLANs überholt werden, was die Verbreitung schnellerer Ethernetstandards fördern wird, alleine um diese schnellen WLAN Hotsports anbinden zu können und auch für ganze Heimserver und NAS Kisten ist Gigabit eine Bremse. Da muss und wird sich also was tun, alle Schnittstellen haben sich von der Geschwindigkeit her immer werter entwickelt und da gab es immer nur eine Richtung und schon weil mit Infrastruktur für Gigabit kein Geld mehr zu verdienen ist (schau Dir an was man für Karten und Switches heute noch bezahlt, das ist fast nichts), wird sie Industrie auch auf schnellere Standards für Heimanwender umschwenken um wieder mehr und teurer verkaufen zu können, dazu müssen nur erst die Stückzahlen steigen, damit der Einstieg auch für die weniger enthusiastischen Heimanwender attraktiver wird, die Technik ist ja da, sie ist nur teuer bzw. wird sehr teuer verkauft solange sie vor allem für den Enterprisemarkt bestimmt ist.

Die Verbreitung von 10GbE nimmt ja aber auch schon zu, bei den S.1150 Xeon Boards gab es noch keines mit 10GbE Onboard, damals gab es das allenfalls auf einigen weniger Xeon Boards mit dem großem S.2011-3, während es nun einige S. 1151 Boards damit gibt, es verbreitet sich also nach unten und wenn selbst billigste Pentrium-D 1507 SoC für 103$ Listenpreis zwei 10GbE Ports hat, dann kann es nicht so teuer sein wie es heute verkauft wird und wird sich früher oder später auch in Mainstream Chipsätzen wiederfinden. Vielleicht macht ja AMD da mal den Anfang, deren ARM-Basiert Opteron A1100 SoC ja auch mit 10GbE kommen.

Noch ist der Z170 ja in 22nm gefertigt, während die SoCs der Xeon-D Familie alle 14nm sind, aber ich möchte wetten, wenn die Chipsätze auch in 14nm kommen, wird Intel da einfach die Schaltung der 10GbE Logik aus den SoCs übernehmen, auch wenn diese halt den Nachteil hat kein 100Base-T mehr zu unterstützen, aber wer hat denn zuhause noch nicht wenigstens Gigabit? Und für die paar Leute reicht es dann einen billigen Gigabitswitch dazwischen zu hängen oder man nimmt ein Board mit einem zusätzlichen Netzwerkchip drauf.

Übrigens ist auch bei den S.1151 Xeon Boards der Aufpreis für 10GbE deutlich geringer als wenn man nachrüsten würde, das Supermicro X11SSH-TF retail (MBD-X11SSH-TF-O) ab € 375,03 hat den X550 und zwei Ports, das sonst gut vergleichbare Supermicro X11SSH-F retail (MBD-X11SSH-F-O) ab € 232,55 ohne 10GbE kostet keine 150€ weniger, während eine X550er Netzwerkkarte mit einem Port rund 300€ und mit 2 Ports etwa 360€ kostet, also fast so viel wie das ganze Mainboard wo die gleich Technik schon drauf ist.

Ob nun aber in 2 Jahren so eine Karte nur noch 100€ kostet und Du dann mit einer Nachrüstung günstiger wegkommen würdest und ob in 2 Jahren überhaupt schon ein PC 10GbE haben wird oder dies weiterhin alleine auf Serverboards beschränkt bleibt, dass gibt meine Glaskugel nun auch nicht her, da musst Du Dir selbst eine Meinung bilden und danach handeln. Sicher ist nur, dass schnellere Schnittstellen in der Vergangenheit die langsameren immer verdrängt haben und die bei den Heimanwendern meist dann richtig in Fahrt gekommen ist, also die erste Chipsätze für Heimanwenderplattformen mit den neuen Schnittstellen auf den Markt gekommen sind. Ebenso ist sicher, dass bei Ethernet der Druck steigt die Bandbreiten nicht mehr nur im Rechenzentrum zu erhöhen, wobei Techniken wie Bindung (also das Zusammenfassen zweier Ports) dann bzgl. der Erhöhung der Datenraten doch eher nur eingeschränkt taugliche Notlösungen sind.

 

[Maik1000]

@EveryDayISeeMyDream
Also momentan brauch ich natürlich keine 16 Platten. Die 18TB im jetzigen Server reichen momentan auch noch. Ich dachte aber auch mal das mir eine 4TB locker Platte ausreicht . Ich weiß halt nicht wie sich das in Zukunft ändert deswegen will ich halt noch ein paar Kapazitäten nach oben.

Mich würde aus reiner Neugierde bzw weil ich das Problem auch habe, mal interessieren, wie du die 18 TB bzw in Zukunft ca 40TB backupst ? Auf einem NAS, Einzelplatten per USB oder einem zweitem identischen Server?
Ausserdem würde mich interessieren, was für Backups Du machst, Syc auf andere Platten, Full backup oder inkementelles backup ?

 

[Tiedemann1210]

Mich würde aus reiner Neugierde bzw weil ich das Problem auch habe, mal interessieren, wie du die 18 TB bzw in Zukunft ca 40TB backupst ? Auf einem NAS, Einzelplatten per USB oder einem zweitem identischen Server?
Ausserdem würde mich interessieren, was für Backups Du machst, Syc auf andere Platten, Full backup oder inkementelles backup ?

Also momentan sind alle wichtigen Daten auf 3 verschiedenen Platten. Von den 18TB sind 8 TB interne backup platten. Die restlichen 10TB sind Nutzdaten. Bei mir werden im Stundentakt alle wichtigen Daten die neu dazu gekommen sind oder sich geändert haben mit rsnapshot auf die internen Backup Platten gesichert. Dabei werden gelöschte oder überschriebene Datein noch ein halbes jahr auf der internen Platte aufbewahrt. Bei mir sind nämlich die häufigsten Gründe für Datenverlust das ich irgendwelche Daten ausversehen lösche oder überschreibe. Rsnapshot verwaltet das im prinzip als inkrementelles Backup.

Für mich bringt diese Variante mehr Fexibilität mit als ein Raid1/5 da ich selber auswählen kann, welche Ordner weggesichert werden. Außerdem bewahrt ein Raid überschriebene Datein auch nicht auf.

Dazu schließ ich regelmäßig noch eine externe Festplatten an und spiegle die interne Backup platten auf die externen. Also im Prinzip ein Sync.

Im Prinzip brauch ich für alle wichtigen Daten die 3-fache Menge an Speicherplatz. Der Vorteil an 3 Platten ist halt, das selbst wenn mal eine Platte ausfällt immer noch eine Redundanz von 2 Platten da ist.
Zu 100% sicher ist die Methode aber leider auch nicht. Es kann sein das sich ne Datei auf der Platte ändert und dann die Platte verreckt bevor das nächste mal rsnapshot durchläuft. Aber die wahrscheinlichkeit, dass das genau dann passiert, wenn sich grad was an den Datein ändert, ist eher gering. Außerdem finden innerhalb einer Stunde keine so großen Änderungen statt, wodurch der Verlust noch verschmerzbar wäre. Da wäre ein Raid 1/5 natürlich wieder im Vorteil. Aber da das versehentliche Löschen oder Überschreiben von Datein bei mir viel häufiger auftritt als der eben genannte Vorfall bleib ich bei rsnapshot.

Ein etwas größeres Problem wäre noch, wenn beide Internen Platten gleichzeig verrecken. Da hätte ich dann nur die Version von dem letzten externen Backup. Aber das wäre eher sehr unwahrscheinlich, dass das passiert.

Deswegen will ich mein Backup Strategie in Zukunft auch etwas überarbeiten. Und zwar ist demnächst auch noch ein zusätzlicher Backup Server geplant. Dort kommen dann die jetztigen Internen Backupplatten rein und rsnapshot sichert die Daten dann übers Netzwerk.
Eventuell schließe ich die Platten dann auch noch in beiden Servern zustätlich zu einem Raid 5/6 Verbund zusammen. Um den kurzen Zeitraum zwischen den rsnapshot Durchläufen abzusichern wäre für ein Raid doch ein nützlicher Grund. Dafür würde halt dann wieder etwas Speicherplatz verloren gehen.
Das wäre dann aber noch mal sicherer als meine Jetzige Variante.

Aber zusammengefasst lässt sich sagen, dass das sichere Speichern von wichtigen Daten sehr teuer ist.

 

[Trambahner]

Raid5 würde ich bei den Plattengrößen nicht mehr nehmen. Wenn Dir während dem (langen) Rebild noch eine aussteigt, was durchaus passieren kann, wars das i.w. Wenn die Platten aus dem gleichen Produktionslos entstammen, erhöht sich das Risiko evtl. nochmal.
=> ZFS ist vielleicht unflexibel fürs Zufügen/Entfernen einzelner Platten, aber hat dafür wunderbare Eigenschaften für wertvolle Daten. Schutz vor Bitrot, Copy-on-Write und Snapshots (löst Dein Problem "Raid bewahrt überschriebene Daten nicht auf"), keine harten Partitionierungen sondern flexible ZVols und Datasets, LZ4-Komprimierung. Resilvern nur von belegtem Speicherplatz, Auf den Datasets kannst Du dann flexibel die gewünschten Snapshots fahren.

Gerade bei von Volumes mit x TB würde ich keine "dummen" Raid5/6 mehr einsetzen, sondern nur noch ZFS.

 

[Holt]

So pauschal würde ich ein RAID 5 nicht ablehnen, da die Chancen auf ein Rebuild eben mit einer besseren UBER auch deutlich steigen und sich auch sehr wohl berechnen lassen, was ich auch getan habe. Leider scheint das vielen Usern immer noch nicht angekommen zu sein.

ZFS ist schön und gut, Bitrot ist aber vor allem ein RAM Problem, wenn man ECC RAM hat (und natürlich immer ein passendes System dazu), dann ist das Risiko aber sehr gering, denn die Platten haben intern ja immer eine ECC hinter den Daten jedes Sektors und die Übertragung über SATA wird mit einer CRC32 hinter jedem FIS mit bis zu 8192 Bytes Nutzdaten ebenfalls abgesichert und die Platten bei der Nutzung der gewöhnlichen ATA keine falschen Daten sondern Lesefehler liefern, wenn die ECC nicht reicht um die Bitfehler zu korrigieren, sichert man sich damit nur gegen Fehler auf den internen Datenpfaden der Platten und SATA Host Controller ab, wobei die C236 übrigens auch ECC für die internen Puffer haben. Dafür hat man aber den Nachteil, dass sich ein ZFS Pool nicht wirklich um weitere Platten erweitern lässt, die werden da nur wie JBOD angeklebt, genießen aber nicht den Ausfallschutz wie die übrigen Platten im Pool, was bei einem md-SW-RAID anderes ist.

Wer also plant sein RAID künftig um weitere Platten zu erweitern, sollte sich darüber im Klaren sein, dass dies bei ZFS das Auflösen des alten Pools und Neuanlegen über die ganzen Platten bedeutet, wonach dann alle Daten aus dem Backup zurückgespielt werden müssen.

 

[gea]

Auch wenn es nur dazu führt, dass wir uns einig sind dass wir uns nicht einig sind:

Software Raid auf Copy on Write Dateisystemen und Prüfsummen auf Daten und Metadaten sind die
Storage Innovationen der letzten 10 Jahre. Wenn es das nicht gäbe, müsste man es dringend erfinden denn

- Raid-5/6 ist Murks bei einem Stromausfall (Write Hole Problem) da es dabei sowohl das Raid wie das Dateisystem schrotten kann. Da hilft nur CopyOnWrite und modernes SoftwareRaid

- Prüfsummen nur auf der Platte auf Ebene eines Datenblocks ist Murks da es nichts von den echten Daten weiss ansonsten wäre die gesamte Storage Entwicklung der letzten 10 Jahre völlig unnötig gewesen Das Stichwort ist da Ende zu Ende Prüfung der Daten, also über die Kette Platte, Backplane, Kabel, Controller

- Unerkannte Dateifehler (bitrot/Datenrost) auf einem Array können durch RAM Fehler entstehen. Viel wahrscheinlicher ist aber ein "Bitflop" im viel größeren Plattenarray. Ohne Prüfsummen auf den wirklichen Daten ist man dagegen machtlos. ECC RAM nützt da garnichts

Wen stört es da, dass Sun bei der Entwicklung von ZFS und Solaris Petabyte und Exabyte Storage im Blick hatte und nicht den Heimuser, der aus einem 4 Platten Raid ein 5 Platten Raid machen möchte sondern Datacenter die immer Raids also zumindest 2 weitere Platten hinzufügen

In Zeiten von 8-10 TB Platten nimmt man eh am Einfachsten einen einfachen Mirror.
Wenn das nicht reicht, dann halt einen weiteren um von 8-10TB auf 16-20 TB zu gehen. Im professionellen Umfeld geht es eh eher von 20 TB auf 40 TB.

Die ganze Uber Diskussion ist mit ZFS auch nicht ganz so drastisch. Bei einem Raid-5 besteht die Gefahr dass das Raid komplett verloren geht. Bei ZFS Z1 ist nach Ausfall einer Platte und einem folgenden Lesefehler allenfalls die Meldung zu erwarten, dass eine Datei defekt ist.

Man macht mit ZFS eh regelmäßig ein Datascrubbing. Das verdient da auch den Namen weil es eben tatsächlich die Daten verifiziert. Was soll man denn ohne Prüfsummen sonst scrubben?

Mal ganz nebenbei.
Hat mal jemand eine fschk mit einem Raid 5/6 Array und 20 TB gemacht. Ext4/ntfs möchte das ja gerne nach einem Absturz. Da heisst es dann, see you later Alligator.... - ohne echte Aussicht irgendwas sinnvolles zu reparieren.

Raid-5/6, ext4, HFS, ntfs, XFS etc hat mit kleinen Arrays gut funktioniert, wurde in den 90er des letzten Jahrtausends für Gigabyte Storage entwickelt - ist heute aber mit Terabyte Storage Murks, old technology, überholt, nicht gut genug, RiP, was bin ich froh dass ich den Scheiss und das ist es
heute - für aktuelle Kapazitäten nicht mehr brauche wenn es um sicheres Storage geht !!

Ich bin so froh dass es ZFS und die Möchte-Gern ZFS Nachbauten wie btrfs und ReFS gibt
(Die vielleicht irgendwann mal besser sein könnten - wer weiß - eher unwahrscheinlich wegen ZoL, die bringen Mainstream in OpenZFS)

 

[Holt]

Das Stichwort ist da Ende zu Ende Prüfung der Daten, also über die Kette Platte, Backplane, Kabel, Controller

Vernünftige (Enterprise-)Platten habe eine Ende-zu-Ende Prüfung der internen Datenpfade, ordentliche SATA/SAS Host Controller ebenfalls. Die Übertragung und auf den Platten sowieso. Also wo solle da Fehler herkommen, die nicht erkannt werden, außer ggf. von FW-Bugs, aber wenn die den Host Controller oder alle Platten betreffen kann auch ein Filesystem wie ZFS im Zweifel nichts mehr machen.

- Unerkannte Dateifehler (bitrot/Datenrost) auf einem Array können durch RAM Fehler entstehen.

Dort entstehen Bitfehler vor allem. ECC-RAM ist Pflicht, wenn sie vermeiden will, egal bei welchen RAID- oder Filesystem.

Viel wahrscheinlicher ist aber ein "Bitflop" im viel größeren Plattenarray.

Auf den Medien kippen immer wieder mal Bit, bei HDDs wie auch bei SSDs und weil das so ist, haben beide auch immer eine ECC über die Daten und wenn die nicht um die gekippten Bits eines Sektores oder eine Page reicht zu korrigieren, gibt es einen Lesefehler statt der (korrupten) Daten. Wo kommt um alles in der Welt nur das Märchen her, dass Platten immer mal wieder so falsche Daten liefern würden? Das macht weder eine Platte noch ein Array von Platten. Diese Lüge ist die Existenzgrundlage solcher Filesysteme, es bleibt aber eine Lüge. Außer bei Fehlern auf den internen Datenpfaden (gute Platten haben einen Schutz davor) oder FW Bugs (sind ja zum Glück selten) oder wenn man es den Platten erlaubt, etwa bei der Verwendung der ATA Streaming Befehle für Echtzeitvideoaufzeichnungen (da störten Bitfehler weniger als das Fehlen ganzer Frames), liefern HDDs nicht einfach unbemerkt korrupte Daten zurück. Punkt aus!

Wen stört es da, dass Sun bei der Entwicklung von ZFS und Solaris Petabyte und Exabyte Storage im Blick hatte

Mich z.B., denn im Datencenter repariert man keine Filesysteme, da spielt man das Backup zurück, weil man da genau weiß wie lange es dauern wird bis das System wieder läuft, während es bei einem Reparaturversuch unbekannt ist wie das Ergebnis sein wird. Daher gibt es keine Tools um ZFS zu fixen.

In Zeiten von 8-10 TB Platten nimmt man eh am Einfachsten einen einfachen Mirror.

Wieso? Ein RAID 5 oder 6 ist auch bei großen Platten viel sinnvoller, sobald man mehrere HDD hat, so ab 5 wäre ein RAID 1 viel zu teuer, denn dabei muss man immer doppelt so viel Kapazität verbauen als man nutzen kann und die 8TB und erst recht 10TB kosten ja nun mal auch noch einiges und nicht jedem reichen 8TB am Ende auch aus.

Wenn das nicht reicht, dann halt einen weiteren um von 8-10TB auf 16-20 TB zu gehen. Im professionellen Umfeld geht es eh eher von 20 TB auf 40 TB.

Und für jeden Heimanwender reichen also 16TB aus? So wie 40TB im professionellen Umfeld in jedem Fall reichen? Also Du hast eine Weltsicht, einfacher geht wohl nicht.

Bei einem Raid-5 besteht die Gefahr dass das Raid komplett verloren geht.

Na dann Google mal nach ZFS Pool verloren, die Gefahr gibt es auch und in welcher Situation wieso sollte einem ein RAID5 komplett verloren gehen, wo es ein ZFS Pool überlebt?

Man macht mit ZFS eh regelmäßig ein Datascrubbing.

Das macht jeder halbwegs intelligente Mensch bei einem RAID auch, meines macht es per cron-job automatisch einmal im Monat.

Das verdient da auch den Namen weil es eben tatsächlich die Daten verifiziert. Was soll man denn ohne Prüfsummen sonst scrubben?

Na was wohl? Einfach ob die Daten lesbar sind, denn die die Platte die Daten und keinen Lesefehler liefert, dann stimmen sie auch und da auch die Parity gelesen wird, dürfte auch geprüft werden ob die zu den Daten passt, womit dann zweifelsfrei klar ist, dass sich diese auch nicht unbemerkt verändert haben.

Hat mal jemand eine fschk mit einem Raid 5/6 Array und 20 TB gemacht. Ext4/ntfs möchte das ja gerne nach einem Absturz.

Mein N54L hat leider schon ein paar unterwartet Spannungsabfälle aufgrund von Stromausfällen und keine Probleme und auch kein fschk gemacht.

Ich bin so froh dass es ZFS und die Möchte-Gern ZFS Nachbauten wie btrfs und ReFS gibt

Schön für Dich, nutze es, aber man sollte nicht verschweigen, dass es einmal eben auch Nachteile hat und die Argumente dafür wie das Märchen der Bit die auf dem Medium kippen von der Platte dann als falsche Daten geliefert würden, einfach totaler Unsinn sind, die allenfalls taugen um kleine Kinder zu erschrecken.

 

[RipperFox]

Vernünftige (Enterprise-)Platten habe eine Ende-zu-Ende Prüfung der internen Datenpfade...

Überall fallen mal Bits um - zwar selten, aber der Faktor Fehler/Daten macht's.
Seit man sich CD Images von Distros aus dem Netz ziehen kann gibt es auch Prüfsummendateien (MD5/SHA1), um die Korrektheit des Download zu prüfen - trotz Übertragung über fehlererkennende TCP Verbindungen.
CRCs helfen nicht immer und auch bei ECC gibt es "uncorrectable errors":

The Limitations of the Ethernet CRC and TCP/IP checksums for error detection
https://queue.acm.org/detail.cfm?id=1866298
https://research.cs.wisc.edu/wind/Publications/latent-sigmetrics07.pdf
https://www.necam.com/docs/?id=54157ff5-5de8-4966-a99d-341cf2cb27d3

["Scrubbing"] macht jeder halbwegs intelligente Mensch bei einem RAID auch, meines macht es per cron-job automatisch einmal im Monat. Na was wohl? Einfach ob die Daten lesbar sind, denn die die Platte die Daten und keinen Lesefehler liefert, dann stimmen sie auch und da auch die Parity gelesen wird, dürfte auch geprüft werden ob die zu den Daten passt, womit dann zweifelsfrei klar ist, dass sich diese auch nicht unbemerkt verändert haben.

Blöderweise weiß z.B. der Controller nicht, ob die Daten welche er (korrekt!) geschrieben und gelesen hat überhaupt für das Dateisystem konsistent sind.
Noch schlimmer: Manche Dateisysteme prüfen erst nach einer festen Anzahl an Mounts oder vergangenen Zeit mal überhaupt was.
Obwohl das OS keinen fsck ausführte und der Controller immer "alles ok" meldet könnte das FS einen Schaden haben - der erst beim nächsten fsck bemerkt würde..

Grüße Ripper

 

[gea]

Entscheidend ist

Überall gibt es Prüfsummen z.B. bei Platten auf den Datenblöcken und trotzdem meldet ZFS immer wieder mal Prüfsummenfehler auf den tatsächlichen Daten. Wo der Fehler in der Übertragungskette passierte ist zunächst egal. Man kann bei heutigen Arraygrößen darauf schlicht nicht verzichten. Alles andere bedeutet die Storage Entwicklung der letzten 10 Jahre mit btrfs/ReFS oder ZFS als völlig unnötig zu bezeichnen.

Ohne die Prüfung der tatsächlichen Daten und Metadaten bei jedem Zigriff oder als Scrub aller Dateien über die Prüfsummen ist alles andere nur Hoffen ohne Gewissheit. Der einzige Trost ist dann, dass von von eventuellen Problemen zunächst nichts merkt während neue Dateisysteme das sofort anmerken.

 

[Holt]

Überall fallen mal Bits um - zwar selten, aber der Faktor Fehler/Daten macht's.

Überall fallen mal Bits um, aber das geht nur durch, wenn die Technik keine Fehlerkontroller bietet. Bei einer HDD oder SSD werden gekippte Bits auf dem Medium erkannt und von der ECC korrigiert, wenn das nicht geht, gibt es einen Lesefehler aber eine korrupten Daten zurück. Die internen Datenpfade sind bei viele Consumerplatten eine Schwachstellen, aber Fehler dort sind zum Glück sehr selten. Die Datenübertragung ist bei SATA mit CRC32 gesichtert und wenn da ein Fehler passiert, wird die Übertragung wiederholt und unerkannt bleibt bei einer CRC32 über ca. 8k weniger als einer in 10^40 Fehlern, bei 8k Daten müsste also noch weit mehr als die Kapazität aller je produzierten HDDs übertragen werden um einen Fehler unerkannt durchkommen zu lassen. Der Host Controller und seine Anbindung können auch Schwachstellen sein, aber gute HW hat auch da einen Schutz vor Bitfehlern, so wie es bei den NICs z.B. auch ist:

Seit man sich CD Images von Distros aus dem Netz ziehen kann gibt es auch Prüfsummendateien (MD5/SHA1), um die Korrektheit des Download zu prüfen - trotz Übertragung über fehlererkennende TCP Verbindungen.

Aber wo kommen die Fehler her? Hast Du denn ECC RAM (mit passender Plattform) und einen entsprechden NIC? Hast der Hoster der Daten das?

CRCs helfen nicht immer und auch bei ECC gibt es "uncorrectable errors":

Natürlich gibt es die, wer hatte denn noch nie einen schwebenden Sektor bei einer HDD? Aber das ist dann keine Slient-Data-Corruption, weil es eben auffällt und keine korrupten Daten zurückgeliefert werden. Wenn aber natürlich das Programm welches den Lesebefehl geschickt hat diesen Fehler verschweigt und so tut als wäre eine Datei trotzdem korrekt geladen worden, dann hilft das natürlich auch nicht. Gegen miese Software ist noch kein Kraut gewachsen.

The Limitations of the Ethernet CRC and TCP/IP checksums for error detection

Das hat mit dem Filesystem aber nichts zu tun.

https://queue.acm.org/detail.cfm?id=1866298

Auch hier verstehen ich den Zusammenhang zum Thema nicht.

https://research.cs.wisc.edu/wind/Publications/latent-sigmetrics07.pdf

Ditto, das HDD Fehler machen ist bekannt und ebenso, wie man damit umzugehen hat, nämluch durch die Redundanz im RAID.

https://www.necam.com/docs/?id=54157ff5-5de8-4966-a99d-341cf2cb27d3

Misdirected write und Torn write sind Probleme allenfalls vorkommen können, wenn man Platten verwendet die nicht mit den Vibrationen klarkommen die da herrschen wo man sie einsetzt. Die Wahrscheinlichkeit das ein ganzer Sektor auf einer anderen Spur genau so geschrieben wird und dass auch noch ein paar Bits in der Adress Mark so kippen, dass die Adresse auch noch passt, ist wohl 0.



Das Bild zeigt noch 512 Byte Sektoren, bei den 4k Sektoren sind s 100Byte ECC. Stimmt die Adress Mark nicht zur angefahrenen Poisiton, gibt es einen Lesefehler und nicht die Daten zurück.

Torn write kommen nur vor, wenn das Rechner abstützt oder während des Scheibvorgangs einen Spannungsabfall erleidet. Dann hat man aber sowieso immer einen Datenverlust, denn was nur zur Hälfte geschrieben wurde, kann ja niemals mehr ganz von der Platte gelesen werden, diese Wunder wird auch kein Filesystem der Welt jemand schaffen.

Blöderweise weiß z.B. der Controller nicht, ob die Daten welche er (korrekt!) geschrieben und gelesen hat überhaupt für das Dateisystem konsistent sind.

Das ist aber dann kein Problem, wenn das Filesystem selbst konsistent ist, also eben nicht z.B. durch Abstürze oder unerwartet Spannungsabfälle korrupt wurden.

Noch schlimmer: Manche Dateisysteme prüfen erst nach einer festen Anzahl an Mounts oder vergangenen Zeit mal überhaupt was.

Oder wenn sie nicht geschlossen wurden, also das Dirty Flag gesetzt ist, aber wenn das Medium darunter eben garantieren kann, dass die Daten genauso gelesen werden wie sie geschrieben wurden, kann nur noch ein Bug im Filesystem oder eben z.B. ein RAM Fehler des Rechners diese inkonsistent machen, gegen erstes hilft ECC RAM und zweites ist bei bewährten Filesystemen unwahrscheinlicher als bei den neuen Filesystemen, in beiden Fällen droht aber sowieso Datenverlust.

Obwohl das OS keinen fsck ausführte und der Controller immer "alles ok" meldet könnte das FS einen Schaden haben

fsck prüft nur die Filesturktuen und nicht die Dateien selbst, das ist Aufgaben des Mediums, also des RAIDs, diese nicht zu verfälschen und das passiert ja auch eigentlich nie. Ich kenne genug RAIDs die mit normalen Filesystem im Produktionsbetrieb jahrlange nie falsche Daten gelifert haben, denn das wäre bei denen aufgefallen. Manche tun so als würden HDDs ständig mal eben unbemerkt veränderte Daten zurückliefern, aber das ist einfach falsch. Die liefern Lesefehler zurück, wenn sie die korrekten Daten nicht mehr liefern können und natürlich hat ein Filesystem mit Pürfsummen und Fehlerkorrektur auch seine Vorteile, aber eben auch Nachteile und ist eigentlich die Lösung für ein Problem von Storage mit Kapazitäten, von denen Heimanweder noch sehr, sehr weit weg sind, selbst wenn sie im zweistelligen TB Bereich sind.

Wenn man ordentliche Platten verbaut die für die Nutzung auch geeignet sind und eben nicht nur die billigsten Desktopmodelle, dazu ein ordentliches Board und eben alles mit ECC RAM und dessen Unterstüzung, dann hat man schon mit einem normalen md-SW-RAID unter Linux und z.B. einem ext4 Filesystem darauf einen sehr guten Schutz vor Silent Data Corruption. Backups ersetzen RAIDs sowieso nie, egal ob RAID5, RAID6 oder RAID Z irgendwas, darüber sollten wir uns ja wohl hoffentlich einige sein.