Suche ein Programm oder Strategie um eine MD5-Datenbank aufzubauen

[Snoopy69]

Vielleicht kennt das der Eine oder Andere, dass sich beim Kopieren/Verschieben oder beim Altern von Dateien CRC-Fehler einschleichen können. Wenn ich meinen jetzigen Datenbestand mit MD5 (über Total Commander) verifiziere hab ich nach zb einem halben Jahr zig nicht-verifizierte Dateien. Daher suche ich ein Programm oder eine Strategie, dass die Dateien seit der letzten Verifizierung erkennt, verifiziert und in die schon bestehende MD5-Datenbank (mit Total Commander erstellt) aufnimmt. Wäre super, wenn es sowas gäbe.

Wenn nicht, habt ihr eine Idee für eine sichere Strategie, dass ich die seit der letzten Verifizierung hinzugekommenen Dateien filtern und separat verifizieren kann?


btw:
Ich benutze zwar seit Jahren MD5 zum Verifizieren, aber ich hatte trotz erfolgreicher Verifizierung ein paar CRC-Fehler. Daher tippe ich auf gekippte Bits in der Datei. Oder kann es sein, dass mir eine erfolgreiche Verifizierung angezeigt wird, aber dennoch falsch geschrieben wird? (zb, wenn man keinen ECC-RAM etc benutzt)

 

[Digi-Quick]

Wenn dir deine Daten lieb sind, nutze ECC Speicher, zusätzlich kann man ein Dateisystem nutzen, welches Prüfsummen und Selbstheilung bietet.
ZFS oder BTRFS (seit 2013 als stable angesehen).

http://www.hardwareluxx.de/communit...kup-und-warum-eigentlich-ecc-ram-1111362.html
http://www.hardwareluxx.de/community/f101/zfs-stammtisch-570052.html

 

[Holt]

Bit in Datein kippen nicht einfach, die HDDs haben eine ECC hinter jedem physikalischen Sektor, wenn der nicht passt gibt die HDD statt korrupter Daten eben einen Lesefehler aus und man bekommt einen schwebenden Sektor in den S.M.A.R.T. Werten hinterlegt. Die Übertragung per SATA wird mit einer CRC32 pro FIS mit maximal 8192Byte Nutzdaten gesichert, wenn es ein Fehler auftritt, wird die Übertragung wiederholt, was dann als Ultra-DMA-CRC Fehler in den S.M.A.R.T. Werten erscheint und bei einer CRC32 auf 8k ist die Wahrscheinlichkeit eines unerkannten Fehler bei etwa 1:10^40, was bei 8k einem Datenvolumen entspricht welches weit über dem aller jemals produzierten HDDs liegt.

Risiken sind eher die internen Datenpfade, da haben i.d.R. nur Enterprise HDDs einen Schutz vor gekippten Bits und einige Consumer HDDs haben auch wenigstens eine Erkennung, die dann am S.M.A.R.T. Attribut Ende-zu-Ende Fehler zu erkennen ist, meist sind es Fehler im Cache RAM. Das gilt auch für die Host Controller und deren Puffer, da haben besseren Lösungen auch die Puffer per ECC geschützt und dann blieben noch FW Bugs bei der Platte oder dem Host Controller.

Das weitaus größte Risiko ist das RAM dese Rechners selbst, denn da werden alle Daten zwischengespeichert und RAM Fehler werden nur bei ECC RAM (und selbstverständlich einem passendem System welches diese auch unterstützt, ist hängen die zusätzlichen Bits nutzlos in der Luft) erkannt und je nach Lösung und Anzahl der Bits auch korrigiert. Sonst bemerkt man sie erst an den Folgen, wie Abstürzen, wobei die viel seltener sind als viele glauben weil eben nur ein winziger Teil des RAMs wirklich von kritischen Routinen und Daten belegt wird und eben vor allem korrupte Dateien. Wer sich vor korrupten Dateien schützen will, nimmt also ECC RAM und dazu einen Xeon statt eines i5 oder i7 und ein Board mit einem C Chipsatz, statt eines B, H oder Z.

 

[Snoopy69]

Der Z-Chipsatz ist ja mom. der Stärkste für i7-CPUs...
Was genau unterscheidet den C-Chipsatz vom Z?

Und könnte man ein MB mit C-Chipsatz genauso gut zum Zocken verwenden, wie MBs mit Z?

Welches System (Xeon, MB und ECC-RAM) würdest du empfehlen?
Die CPU könnte ich gerade noch so raussuchen, aber bei den C-Chipsätzen und ECC-RAMs wird es schwierig.

 

[Holt]

Die Mainboards mit C-Chipsätzen findest Du unter Intel Xeon bei Gaizhals und auch einige X99er Boards unterstützen mit einem Xeon E5 dann ECC-RAM, einfach mal in der Auswahl unter Besonderheiten die ECC Unterstüzung auswählen.

Als ECC RAM solltest Du Unbufferd ECC RAM nehmen, dass passt überall (Reg-ECC und LRDIMM nur im S.2011-3).

Der C236 kann übrigens mehr als der Z170, der hat nämlich 8 statt nur 6 SATA Ports und ebenfalls 20 PCIe Lanes. Übertakten geht halt nicht, aber das steht ja auch im Widerspruch zu den Anforderungen an eine Plattform die vor allem sicheren und stabilen Betrieb gewährleisten soll.

 

[Zer0brain]

Es gibt ein Programm mit dem Namen "ExactFile" - das dürfte das Problem lösen....