Wie Bitfehler auf SSD erkennen?

N

NVMe1.4

Guest
Hier wird viel über die SMART-Werte geschrieben. Denkt denn außer mir niemand darüber nach, wie man seitens des Dateisystems im Betriebssystem verfälschte Daten- und Metadatenbits erkennen könnte? Die SSDs tun das ja mehr oder weniger alle intern in der Firmware. Ohne das wären ja viele SSDs vielleicht nur wenige Wochen haltbar - wenn überhaupt.

Es geht mir darum, dass ich frühzeitig weiß, welche Datei betroffen wäre, bevor der Fehler auch im Backup von dieser Datei ist.

Um chkdsk ist wohl still geworden?
chkdsk windows

Vor 20 Jahren hatte mir chkdsk mal einen defekten Block gemeldet und ich hatte damals sogar ein Kommando gefunden, das die Datei nennt, zu der dieser Block gerade gehört. In den Windowsforen hatte ich über Kommandows, die Dateien des Betriebssystems Windows prüfen gelesen, aber wohl nur die von Microsoft, KEINE Nutzerdaten.
sfc scannow

Ich bin extra zu Linux mit dem Dateisystem BTRFS gewechselt, weil man dort auf Kommando fast alle Bits aud dem Datenträger prüfen kann. Leider geht das nur auf der Kommandozeile (außer bei Suse-Linux). Und das kann für mich zu kompliziert werden, weil Btrfs noch mehr Firlefanz (Snapshots) mit sich herum schleppt. Für jemand, der einen PC nur nutzen möchte und nicht als Beruf oder Lebensaufgabe betrachtet, ist Linux zu kompliziert.

Jedenfalls scheint (wegen des Aufwandes?) das Interesse an BTRFS nur sehr gering zu sein. Microsoft entwickelt ja schon seit über 10 Jahren ein ähnliches Dateisystem ReFS. Aber nicht für die Systempartition. (Und es gibt Dummköpfe, die unbedingt bei 4TB alles in einer Partition halten wollen... Andererseit ist bei Linux wohl genau das Gegenteil üblich. Und dann habe ich Schwierigkeiten mit mount.)

Ich frage mich, ob sich mein Aufwand mit BTFS und Linux lohnt, oder ob ich mich um haltbare SSDs bemühe und es eventuell einmal in 10 Jahren darauf ankommen lasse, wieder voll auf Windows setze und dann irgendwann dumm aus der Wäsche gucke.

Nebenbei: Als ich auf den jetzigen PC (gebraucht) gewechselt bin, hatte sich chkdsk mehrmals gemeldet. Das waren aber unsaubere oder wackelige Kontakte. Und @Holt hatte mir zu H2testw geraten.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
ich habe mit Linux 0 Probleme, läuft einfach.

Simpler als Windows 11 für mich inzwischen.

BTRFS nur im NAS
 
Danke. Ich hatte jetzt über 10 Jahre Linux Ubuntu. Wenn nach einem Upgrade Firefox ohne Hinweis als Snap geliefert wird und der System-Load-Indicator nicht mehr funktioniert... Und der Speicherbedarf bzw. der Teitbedarf für manche Aktionen doppelt so hoch ist und man erst ein paar Stunden grübeln muss, um auf die Snapshots zu kommen... Die deinstallierten Pakete apt-btrfs... und snapper wurden automatisch wieder installiert.

Hast Du dafür ein Web-Frontend im Browser? Dann hat das doch wahrscheinlich auch eine grafische Oberfläche für BTRFS?

Windows 11 wird ja schon als Chaos bezeichnet. Aber die Unterstützung wäre wohl besser. Man kennt es ja nun schon 30 Jahre. Im Moment fahre ich voll zweigleisig.

Da ich nur wegen Bitfehlern zu BTRFS und Linux gekommen bin, setze ich jetzt voll auf hochwertige Datenträger. Du wirst ja im NAS auch keinen Allerweltskram haben.

NAS ist bei mir nicht notwendig. Ich werde ein RAID1 über USB nehmen. Das ist wohl auch etwas flotter. Mit einem NAS bin ich mal gegen die Wand gefahren, weil das nur ein veraltetes, unsicheres Protokoll SMB1 konnte, was vom OS nicht mehr unterstützt wurde:

 
Achtung bei Raid1, wenn dann direkt in BTRFS oder ZFS machen.
Dann kann das Filesystem den Bitrot nicht nur erkennen, sondern auch korrigieren!
Wenn das Raid1 ueber lvm/md/"hardware-controller" gemacht wird, geht das nicht. Weil der Raid Controller/MD/LVM ja ueberhaupt nicht mitbekommt, dass hier Bitrot vorliegt. Geschweige denn weiss, welch der 2 Festplatten nun Bitrot haette.

Meine Loesung fuer das Problem -> ich benutze fuer alles BTRFS.
Egal ob root, homes, daten oder backup partitionen. Snapshots sind cool, aber fast etwas overkill.
Ausser fuer Gaming ... Windows 11 mit NTFS. Aber da ist mir egal wenn was hops geht.

Allerdings benutze ich hauptsaechlich Linux, weil ich faul bin. Windows performant, optimal und komfortabel am Laufen zu halten, finde ich eindeutig schwieriger!
 
Achtung bei Raid1,
Danke! Du kennst dich aus.
Das Teilchen kommt diese Woche: FANTEC 1826 QB-X2US3R, Schwarz ... Was das überhaupt kann?

Ich dachte RAI1 hat extra Prüfbits, die dann sagen was richtig und was falsch ist? Sonst wäre ja die Spiegelung ziemlich sinnlos. Nichts ist perfekt. Da hilft dann wohl nur redundante Speicherung an verschiedenen Orten?

(Ich habe inzwischen dermaßen viele "datenfreie Datenträger". Totaler Overkill... *kopfkratz*.)

Tja, angeblich hat Linux mehr Tools/Anwendungsprogramme als Windows, aber viele Köche... Gibt es z.B. Samsung Magician für Ubuntu?

OT
Die Betriebssysteme sind wohl auch sehr stark mit Ideologie behaftet: Windows für Dummköpfe oder Kapitalistenschweine, Linux für intelligente, freie Aktivisten und Kommunisten und Apple für versnobte Angeber. . :ROFLMAO: OmG! Dort, wo es wirklich drauf ankommt, laufen ganz andere Systeme und Hardware. Ich bin mal mit einem Kurier gefahren und habe mich gewundert, was der wohin transportiert hat...
 
Ich dachte RAI1 hat extra Prüfbits, die dann sagen was richtig und was falsch ist? Sonst wäre ja die Spiegelung ziemlich sinnlos. Nichts ist perfekt.
Im Prinzip nicht, die speichern die 512 Byte auf beide Platten und das wars.
Wenn du dann diesen Block liest, wird er von einer Platte gelesen, und sofern die Festplatte keinen Fehler meldet, geht der Raid Controller (oder Software Raid) davon aus, dass es korrekt ist.
Bei Silent Bitrot erkennt also niemand etwas. Wenn ein richtiger Lesefehler vorliegt, den die Platte auch als einen solchen erkennt, wird das dem Raid Controller natuerlich mitgeteilt.
Ergo bei einem echten Festplatten Ausfall, oder erkannten Lesefehlern, hilft dir aktuell Raid1 natuerlich weiter. Nur Silent Bit Rot wird nicht erkannt.

In den 90ern und 2000ern gabs bei Enterprise Raid Controllern und Enterprise Festplatten durchaus die Moeglichkeit Silent Bitrot zu erkennen.
Da hat die Festplatte 520 Byte Bloecke gehabt, und konnte damit die standard 512 Byte Daten + 8 Byte interne Pruefsumme speichern. Ergo konnte die Festplatte zuverlaessig erkennen, ob die 512 Byte mit der gespeicherten Pruefsumme zusammenpassten. Wenn nicht, wurde dem Raid Controller ein Lesefehler gemeldet, und der konnte anhand der Raid Paritaet den Fehler korrigieren.

Da hilft dann wohl nur redundante Speicherung an verschiedenen Orten?
Einfach Raid1 in BTRFS benutzen, und ~1x pro Monat ein Scrub laufen lassen.
Natuerlich auch offline Backups machen. Idealerweise einfach 2x externe HDDs kaufen, und z.b. abwechselnd drauf backupen, und in einem anderen Haushalt lagern.

Tja, angeblich hat Linux mehr Tools/Anwendungsprogramme als Windows, aber viele Köche... Gibt es z.B. Samsung Magician für Ubuntu?
Wuesste ich keine, da reichen doch die smartmontools.

Die wichtigsten Dinge fuer btrfs:
1x im Monat scrubben
z.b. mit dem crontab eintrag:
25 2 1 * * /bin/btrfs scrub start -B /daten

und 1x pro tag checken ob es irgendwelche Fehler gab
z.b. mit diesem crontab eintrag:
5 2 * * * btrfs device stats /daten |grep dev | grep -vE ' 0$'

Beide Crontab Eintraege generieren keinen Output wenn alles passt.
Sollte irgendwo ein Fehler auftauchen, generieren sie Output, und schicken dir eine Email. (sofern das Linux anstaendig konfiguriert wurde)
 
Zuletzt bearbeitet:
Windows 11 ist für mich von der Bedienung deutlich umständlicher als Windows 10 (was ich vorher genutzt habe) und ich mochte sogar Win8 und Win Vista.

Was muss ich bei BTRFS denn groß machen? Außer regelmäßig einen Scrub laufen lassen, was aber zeitgesteuert passiert.

Ansonsten sind meine Daten 100% Backup auf ein 2tes NAS (dieses nur ext4) und die wichtigsten nochmal auf einem 3ten NAS und auf 2 rotierende externe Festplatten.

im NAS hab ich halt NAS Festplatten. Ansonsten ist für mich da die Marke 2 ranging.


Meine Linux bekommt keinerlei übermäßiege Pflege (mit Windows hatte ich mehr zu tun), und da du Magican erwähnst, das ist einer der Gründe wieso ich ein externes Windows habe, für Firmware updates. Wird ca. 1 mal im Monat gestartet.

Bit Fehler hatte ich nebenbei in über 22 Jahren die ich mit PC´s zu tun hatte noch nicht.
 
Bit Fehler hatte ich nebenbei in über 22 Jahren die ich mit PC´s zu tun hatte noch nicht.
Das ist schon rein statistisch unmoeglich.
Du hast vielleicht nie irgendwelche Auswirkungen bemerkt, aber Bitrot hattest du definitiv.
Wenn es in irgendeiner Logfile oder Video vorkommt, bemerkst du es nicht.

Ich hatte es in ~30 Jahren zumindest einmal bemerkt, bei meiner Fotosammlung.
Eines von 10.000en Bildern war korrupt, und natuerlich auch im Backup korrupt weil sie ja "fehlerfrei" gelesen wurde. (Raid5, XFS)
Wahrscheinlich hatte ich zig weitere male Bitrot, aber halt nie bemerkt.
 
Weil der Raid Controller/MD/LVM ja ueberhaupt nicht mitbekommt, dass hier Bitrot vorliegt. Geschweige denn weiss, welch der 2 Festplatten nun Bitrot haette.
Keine, denn Bitrot kommt in aller Regel nicht von den Platten, sondern wenn, dann erst später! Jede HDD und SSD schreibt hinter jeden Sektor bzw. jede NAND Page eine eigene ECC, womit sie beim Lesen die Daten auf Bitfehler prüft diese entweder auch korrigieren kann oder, ggf, nach Versuchen wie bei HDDs mit Wiederholten Leseversuchen, meldet sie dann einen Lesefehler statt korrupte Daten zurückzuliefern. Nur wenn die FW der Platte fehlerhaft ist, liefern sie also korrupte Daten und sind selbst die Ursache von Silent Data Corruption. Bei SAS Platten kann es anderes sein, die werden oft vom Controller auf 520 oder 524Byte pro Sektor formatiert, der SAS RAID Controller legt da dann seine eigene Prüfsumme ab und konfiguriert die Platten so, dass sie die Rohdaten liefern und übernimmt die ECC selbst. Wenn der einen FW Fehler hat, dann kann also auch der RAID Controller die Ursache für Silent Data Corruption sein.

Wenn du dann diesen Block liest, wird er von einer Platte gelesen, und sofern die Festplatte keinen Fehler meldet, geht der Raid Controller (oder Software Raid) davon aus, dass es korrekt ist.
Das ist es dann ja auch und wird aus Performancegründen gemacht.

Bei Silent Bitrot erkennt also niemand etwas. Wenn ein richtiger Lesefehler vorliegt, den die Platte auch als einen solchen erkennt, wird das dem Raid Controller natuerlich mitgeteilt.
Ergo bei einem echten Festplatten Ausfall, oder erkannten Lesefehlern, hilft dir aktuell Raid1 natuerlich weiter. Nur Silent Bit Rot wird nicht erkannt.
Die Frage ist ja eben, wo die Datenkorrupion auftritt, bei den meisten dürfte dies das RAM des Rechners sein, weil sie kein ECC RAM nutzen. Es können auch die internen Datenpfade auf HDDs, SSDs oder dem Host Controller sein, wobei die gute Modelle und vor allem Enterprise Modelle dagegen geschützt sind. Selbst bei SATA ist die Datenübertragung mit einer CRC32 für maximal 8192 Byte Nutzdaten geschützt und wird im Fehlerfall wiederholt. FW oder auch Treiber Fehler bleiben also für Systeme mit ECC RAM eine häufige Ursache, es gab sogar einen Bug im Linux Kernel bei Queued TRIM der für Datenkorruption gesorgt hatte:

Sowas erkennt man natürlich nur über Prüfsummen, z.B. eben mit einem Filesystem mit Prüfsummen, wo es dann automatisch ist.

Wobei SW auch anderweitig für Datenkorruption sorgen kann, denn die Lesefehler werden ja an die SW weitergereicht, die den Lesevorgang angefordert hat und diese hat entsprechend darauf zu reagieren. Ein Mediaplayer wird diese Lesefehler wahrscheinlich ignorieren und versuchen die nächste Cluster zu lesen, denn ein kurz eingefrorenes Bild oder einen kleinen Tonaussetzer, dürfte weniger stören als den Rest des Videos nicht sehen zu können, weshalb die ATA Streaming Befehlserweiterung auch so ist wie sie ist, aber kein System nutzt diese speziellen Befehle für die Speicherung normaler Dateien und damit ist diese für das Thema hier irrelevant. Programme zum Kopieren von Dateien sollten aber bei einem Lesefehler entsprechend reagieren, also den Kopiervorgang für diese Datei abbrechen und die angefangene Zieldatei löschen, denn sonst hat man eine korrupte (bzw. eben inkomplette, was ja auch eine korrupte ist) Datei im Zielordner stehen, die der User dann aus dem Backup wiederherstellen muss, womit auch der User eine Quelle für Data Corruption sein kann. Dies ist er auch, wenn er ein Unstoppalbe Kopierprogramm nimmt, also eines welches wie ein Mediaplayer Lesefehler ignoriert und versucht trotzdem noch so viel von der Datei zu kopieren wie lesbar ist und je nachdem wie die Ausgabe bzw. das Log des Programms ist und was der User damit macht, ist es dann eben Silent oder nicht Silent Data Corruption.
 
Danke @Holt !

Bitfehler sind für mich "gegen die Berufsehre". So etwas führt ja manchmal zu ewigem Rätselraten. Dafür bin ich zu alt. Über die Samsungs kann ich mich nicht beklagen. Aber sicher ist sicher... Also habe ich mir gerade heute so eine "Brotbüchse" von Fantek für zwei 3,5 Zoll HDDs abgeholt, die auch Raid1 können soll: FANTEC 1826 QB-X2US3R

Irgendwie hatte ich schon beim Auspacken kein gutes Gefühl. Schon die Bedienungsanleitung ist nicht schön. Dann lese ich dass für Raid1 2 Mal das gleiche Modell vom gleichen Hersteller... Das Ding hat ~ 67€ gekostet. Da werde ich doch nicht auf Verdacht zwei gute HDD für ca. 200€ kaufen. GsD! Die HDD2 zeigt in jedem Modus eine rode LED HDDx. Das Ding wurde mir bei Saturn überreicht. Im Internet bestellt. Hat man dann Widerruf? Ich hatte mal was mit Mathe. Die Wahrscheinlichkeit sinkt im Raid1, dass beide Datenträger gleichzeitig den Geist aufgeben, verdoppelt sich aber auf einen bestimmten Zeitrum gerechnet, dass eine von beiden defekt wird. Und so eine alberne Schachtel für das Raid erhöht das Risiko für das gesamte System ganz erheblich. Also ist solch ein Raid1 wohl Unsinn. Wer keine Arbeit hat...

(Und dann sehe ich, dass Windows 11 komischer Weise drei Treiber (Realtek und Intel) installieren wollte: Wiederholen, Wiederholen, Wiederholen,... Ich bin etwas frustriert.)

Vielleicht packe ich wieder für Backups diese neue Seagate HDD direkt in die Workstation.
Beitrag automatisch zusammengeführt:

Was haltet Ihr davon: CoreParts CPSSD-M.2SATA-512GB Internes Solid State Drive M.2 Serial ATA III SLC

Die Firma kenne ich nicht. Steckplatz wäre in der WS.
 
Zuletzt bearbeitet:
Echtes SLC NAND wird schon lange nicht mehr gefertigt, mit Ausnahme von Samsungs Z-NAND, aber das ist so teuer, dass es keine 512GB für so 100€ damit geben wird. Diese SSD dürfte also TLC oder QLC NAND im Pseudo-SLC Modus nutzen.
 
(Und dann sehe ich, dass Windows 11 komischer Weise drei Treiber (Realtek und Intel) installieren wollte: Wiederholen, Wiederholen, Wiederholen,... Ich bin etwas frustriert.)
Völlig normal, hab ich seit Windows 11 immer drinne, sogar auf einem kompletten AMD Rechner, OK vill ist der Netzwerk NIC Intel, das weiß ich grad nicht
 
OT
seit Windows 11 immer drinne,
Verrückt: gestern 10 Mal versucht, das weg zu bekommen, Realtek Audio im Gerätemanager entfernt usw. Nichts half. Heute ist es von selbst weg.

Aber... probiere mal CCleaner:
Da ist auch links eine Funktion für Treiber. Die zeigt bei mir etliche Ungereimtheiten: Gleiche Version, aber unterschiedliche Erscheinungsdatümer. Windows ist damit überfordert. Ich würde mir aber überlegen, ob...

Zum Thema: Diese Raidbüchse ist zurück zum Händler. Vielleicht sollte man als Heimanwender überlegen, ob Raid1 in so einer billigen... Besser ist es, wenn man auf ZUVERLÄSSIGE SSDs setzt und extern am USB die beste rotierende Festplatte, die sich finden lässt, für echte Backups nimmt. Vielleicht auch zwei im Wechsel.
 
Zuletzt bearbeitet:
meine Win11 installation ist nur für bios Updates, also mir da völlig egal was mitstartet ;)

zum CCleaner, dieser kommt mir nicht auf den PC, habe damit in der Vergangenheit mal sehr schlechte Erfahrung gemacht (System schrott).
 
Den CCleaner muss man eben mit Bedacht einsetzen und ihm die Reinigung der Registrierung verbieten. Damit fahre ich schon viele Jahre recht gut...
 
Es war wohl ein Fehler von MS bei etlichen Anwendern. Den CCleaner nutze ich fast nur zum Anzeigen. Der hatte auch etwas bei diesen Treibern "gesehen".
Beitrag automatisch zusammengeführt:

Ich hatte das schon einmal irgendwo verlinkt: "Windows 11 erhält ReFS: Microsoft bereitet Update auf das robuste Dateisystem vor"

Die wichtigsten Dinge fuer btrfs:
1x im Monat scrubben
z.b. mit dem crontab eintrag:
25 2 1 * * /bin/btrfs scrub start -B /daten

und 1x pro tag checken ob es irgendwelche Fehler gab
z.b. mit diesem crontab eintrag:
5 2 * * * btrfs device stats /daten |grep dev | grep -vE ' 0$'
Vielen Dank! Leider gehe ich auf die "Ende 70" zu. Da hat man es nicht mehr so mit der Kommandozeile und mit cron usw., abgesehen von >btrfs scrub dreimal täglich. Nach einer Woche wäre es mir zu spät. Und wie auch schon gesagt, auf den Unsinn mit Sbapshots "verzichte" ich gerne. Die Firma Suse hat ja nicht ohne Grund Yast erfunden. Leider hatte ich da gleich am Anfang bei etwas Anderem Kernel Panik.

Wie heißen die Betatester bei Windows bloß.... Ach, "Insider". :) :) :) Die werde ich mal nach REFS fragen. ;) Kann mir nicht vorstellen, dass M$ normale Menschen auf der Kommandozeile verhungern lässt. Die wollen doch Geld verdienen. ;)
 
Zuletzt bearbeitet:
Den CCleaner muss man eben mit Bedacht einsetzen und ihm die Reinigung der Registrierung verbieten. Damit fahre ich schon viele Jahre recht gut...
So unterschiedlich können Erfahrungen sein, Beim ersten Test vor Jahren, wurde der CCleaner extra für Registry Reinigung empfohlen.

Bin aber echt froh den Windows Mist Privat nur noch so wenieg nutzen zu müssem. Fehler nach der Installation waren normal. In Foren wurde ich belächelt ich könne Windows nicht installieren. Mir wurden Tools empfohlen (unter anderem CCleaner, also 2ter Versuch). Der hats aber auch nur verschlimmbessert.
Seit dem nutze ich solche Tools nicht mehr. Und ändere soweit möglich sachen lieber per Hand.
 
Fehler nach der Installation waren normal.
Dann stimmt manchmal was mit der HW nicht oder das BIOS ist veraltet, weswegen Fehlerbehebungen nicht greifen. Gibt viele Ursachen, aber deswegen gibt es Foren wie dieses....

Beim ersten Test vor Jahren, wurde der CCleaner extra für Registry Reinigung empfohlen.
Früher wurde auch das Defragmentieren der Registrierung (oder auch USB Sticks) empfohlen, aber das ist in Zeiten von SSD´s überflüssig. Mittlerweile hat MS das mit den Sticks auch eingesehen und stellt diese Funktion (glaube seit Windows 8 :unsure: ) nicht mehr zur Verfügung...
 
Verschiedene PC´s, verschiedene Hardware.

Für andere PC´s installiert nie nen Problem, für mich selbst immer Probleme. Vill. achte ich auf manche sachen auch einfach zu sehr.

Klar hat sich vieles geändert, musste die registry in den letzten Jahren (Linux erst seit ca. 1 Jahr) auch nur einmal in die Registry bewusst eingreifen. (Abstand Pictogramme auf dem Desktop, ist mir in Standard Konfig viel zu groß)

Defrag:
SSD´s sag ich mal leider weil ich 2 SSD´s habe denen das gut tuen würde. So muss ich externe tools für Nutzen
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh