Datengrab übertragungsprobleme ( Freenas 9.3 / Rockstor )

[exelzur]

Hallo Zusammen

habe folgendes Problem.

Mein Datengrab ist ein self-made NAS mit "standard" Komponenten. Cpu g530 mit einem HBA M1015. Daran 8 Platten. Mehrere WD greens aber noch 2 andere Hersteller.
Die Platten sind nicht mehr ganz frisch. Beim Smart test habe ich 2 mit Reallocated Sectors gefunden aber mit "nur" 12 Events. Eine mit einem IDE LBA Error?

Folgendes Problem:

Wenn ich auf das Grab kopiere, läuft das stabil mit ~80Mb/s , wenn ich eine 5 Gb Datei kopiere, bricht nach 50% der Vorgang auf 500 kb/s ein und braucht 2 Min um dann mit 80 MB/s weiter zu machen.

Ziehe ich etwas aus dem Grab keine Probleme.

Habe die "schlechten" Platten 3-4 mal extended Smart test unterzogen. Alles bestanden. Gerade läuft ein Memtest durch.

habt ihr eine Idee wo ich suchen kann? Freenas kann ich zwar gut einstellen aber bin doch eher der Windows user.

 

[MicroCane]

wieviel Ram hat das FreeNas System?

 

[exelzur]

12 Gb Ram.

Habe gerade die Realtek karte rausgenommen und auf die Dualport Intel nic alles umgestellt.

Iperf -c gibt Server <-> Client +800 Mbytes und 700 Mbit/sec

Leider immer noch der fehler

 

[Digi-Quick]

mach mal ein ZFS Scrub - sofern du ZFS nutzt
Vom verhalten her würde ich ganz klar sagen, daß da mind. eine Platte nicht sauber mitspielt.
Das Syslog gibt evtl aufschlussreiche infos

Leider hat FreeNAS (oder NAS4Free) keine "intgrierten" Benchmark wie z.B. Napp-It mit Bonnie

 

[exelzur]

Scrub läuft jetzt, hatte eben eine Platte im verdacht, eine der Greens, aber nachdem ich mal die Bay getauscht habe scheint es zu gehen. Aber vertraue da irgendwie nicht wirklich.

Wie würdet ihr die Platten testen?

 

[Digi-Quick]

Du hast ein Backup der Daten?

Dann könnste du 1 Platte ausbauen , damit ist das Das ZFS erstmal degraded (sofern du Mirroroder Raidzx hast)

Die Platte könntest du dan an eine anderen OPPC auf "Herz & Niren" testen
- 1x kompletter readbench mit HD-Tune, gibt es da Einbrüche (natürlich mit einer aktuellen Version)
- 1x kompletter writebench mit HD-Tune, gibt es da Einbrüche
und/oder
- 1x mit h2wtest testen
h2wtest sagt dir ob alles korrekt geschrieben und gelesen wurde, aber nicht ob da irgendwo Die Perfomance in die Knie geht, weil da ein/mehrere Sektoren schwächeln.

Und natürlich immer die Smartwerte im Blick halten.

Wenn HDD für OK befunden wieder ins NAS damit und resilvern lassen

wenn Resilver fertig, nächste HDD

Oder das ZFS gleich ganz auflösen, dann kannste mehrere HDDs parallel testen.

Anmerkung: die Greens sind denkbar ungünstig für ein NAS, darüber solltest du dir im klaren sein.
Nicht nur daß die Platten als "single Disk" in einem Gehäuse gedacht sind.
Da die Greens - soweit ich es verstanden habe - ein eigenständiges "Powermanagement" haben, stehen die nicht vollständig unter der "Kontrolle" des Betriebssystems. Zumindest den "Unload" solltest du deaktivieren oder zumindest auf einen unkritischen Wert setzen (geht wenn ich mich recht entsinne mit WD-IDLE)
http://www.hardwareluxx.de/community/f15/wd-idle-tool-fuer-2tb-wd-861350.html

 

[exelzur]

Habe mir erstmal 2 x 2 TB Seagate NAS platten besorgt.

Werde diese testen und dann jede einzelne Platte prüfen und dann den RaidZ2 neu aufbauen.

Die Greens wurden gekauft als keiner das wusste , seit langem die ersten ernsthaften probleme...

 

[sandreas]

2 x 2 TB Seagate NAS

Hier, das könnte für dich interessant sein: https://www.backblaze.com/blog/hard-drive-reliability-stats-q1-2016/


Hatte genau das selbe Problem wie du, Performanceeinbruch in Zeitintervallen, da ist definitiv eine Platte nicht ganz sauber... nach dem Tausch meiner Platte läuft alles wieder rund (>100MB /s lesen und schreiben) mit einem HP N54L

 

[exelzur]

Also die 2 TB taucht bei Backblaze schon garnicht mehr auf ;D.

Wird ne lange nacht erstmal die daten frisch backupen und dann alle platten testen XD

 

[sandreas]

Normalerweise solltest du mit smartctl den Quickcheck machen können und sehen, ob was faul ist...

FreeBSD Online - Monitor your hard drive errors in FreeBSD

Installieren brauchste das nicht, das ist bei freenas dabei.

Am wichtigsten ist eigentlich (/dev/ada0 jeweils durch die Platte bei dir ersetzen).:

# detailed report (wird normalerweise durch den short check erstellt, den FreeNAS regelmäßig automatisch macht) ==> hier siehst du, wenn was nicht stimmt.
 smartctl -a /dev/ada0

So sollte das Ergebnis etwa aussehen (keine Errors, keine Warnings)

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%      1237         -
# 2  Short offline       Completed without error       00%      1234         -
# 3  Short offline       Completed without error       00%      1233         -
# 4  Short offline       Completed without error       00%      1231         -
# 5  Short offline       Completed without error       00%      1230         -
# 6  Short offline       Completed without error       00%      1227         -
# 7  Short offline       Completed without error       00%      1225         -
# 8  Short offline       Completed without error       00%      1224         -
# 9  Short offline       Completed without error       00%      1223         -
#10  Short offline       Completed without error       00%      1222         -
#11  Short offline       Completed without error       00%      1219         -
#12  Short offline       Completed without error       00%      1218         -
#13  Short offline       Completed without error       00%      1217         -
#14  Short offline       Completed without error       00%      1216         -
#15  Short offline       Completed without error       00%      1215         -
#16  Short offline       Completed without error       00%      1213         -
#17  Short offline       Completed without error       00%      1212         -
#18  Short offline       Completed without error       00%      1210         -
#19  Short offline       Completed without error       00%      1209         -
#20  Short offline       Completed without error       00%      1208         -
#21  Short offline       Completed without error       00%      1207         -

Folgende Befehle sind nützlich:

# zpool status anzeigen
zpool status

# devices anzeigen
camcontrol devlist

# partitionen anzeigen (für smartctl)
ls /dev/ada?

#Check if a hard drive is healthy:
smartctl -H /dev/ada0 


# detailed report ==> hier siehst du, wenn was nicht stimmt.
 smartctl -a /dev/ada0

# short test (macht freenas normalerweise automatisch regelmäßig)
smartctl -t short /dev/ada0

Falls dabei nix raus kommt, kannste den Long-Test machen, aber normalerweise reicht der short-test:

# long test (dauert ewig)
smartctl -t long /dev/ada0

 

[exelzur]

Alle platten haben long test durch 1 platte hat nen lba error irgendwas .

werde alle "auslösen" und benchmarken. Smart Werte sind nur "hinweise". Hatte schon platten mit top smart werten aber waren "IDE" dead.

 

[exelzur]

Festplatten tests des grauens XD

Hmm Kabel alle ordentlich wo sie hingehören:


1 Festplatte WD20EARX-00PASB0:

2 Festplatte WD20EARX-008FB0

3 Festplatte WD20EARS-00MVWB0

4 Festplatte HDT721010SLA360

5 Festplatte ST31000528AS

6 Festplatte WD20EARX-00PASB0 -2

*ob mein Esata Kabel defekt ist ? so viele CRC errors...*
*oder doch einer der Bays?*

 

[exelzur]

7 Festplatte WD20EARS-00MVWB0 -2

8 Festplatte WD20EARX-00PASB0 -3

So alle getestet, was sind eure empfehlung welche würdet ihr in den tot "abschreiben"

 

[exelzur]

*leider recht ungeduldig*

falls jemand was zu den werten sagen kann würde ich das sehr dankend annehmen.

 

[besterino]

Was willst Du hören? Keine Ahnung was bei Dir da los ist. Ich würde im Zweifel alle mit Fehlern oder Warnungen aussortieren, wenn ich nicht eine (andere) Ursache ausfindig machen kann, die sich als harmlos erweist und abstellen lässt.

Das ist nun keine Raketentechnik, und auf den Schluss kannst Du auch selbst kommen. Hier einen auf ungeduldig zu machen und Hilfe "einzufordern" ist meistens nicht der vielversprechendeste Weg.

 

[fsironman]

Die Festplatten haben zwar den einen anderen unschönen smart wert aber jetzt nicht unbedingt besorgniserregend (abgesehen davon das es WD greens sind)

Kannst du das im ersten Post beschrieben Verhalten präzisieren?
Tritt das nur über smb? auf. Was wenn du lokal direkt was kopierts?

BSD kenne ich mich nicht wirklich aus aber gibts bestimmt auch ein Syslog etc. das eventuell Fehler auswirft?

 

[exelzur]

Habe jetzt auf rockstor gewechselt und bin begeistert, habe die 1tb platten rausgeschmissen und kabel auf sitz getestet. Raid6 angelegt und läuft. 8x 2tb platten. Werde jetzt erstmal ausgibig testen.

 

[gea]

Rockstor, ist das nicht Linux + btrfs und das auf Software Raid-6 ????
Ich würde das nicht gerade als eine zum bisherigen ZFS überlegene Lösung sehen.
Synology macht das zwar genauso ist aber auch da eigentlich Murks.

Hauptnachteile zu ZFS Raid-Z2
- Prüfsummen, aber keine Reparaturmöglichkeit
- write hole Probleme bei Raid-6

 

[exelzur]

CentOS mit btrfs, richtig und ein Software Raid6,

Will um Himmelswillen das nicht als "überlegen" bezeichnen. Gea was ist mit "write Hole" gemeint?

Naja Data Scrubing beherrscht das System ja auch.

Und ich muss sagen das ich ein sehr neues, nettes Gui habe wo ich die Smart werte locker im Blick habe.

Bei Freenas muss man es ja quasi im Shell machen und das nervt mich, keine zeit dauerhaft im Shell zu arbeiten.

 

[gea]

write hole problem=Möglichkeit dass das Raid und oder das Dateisystem bei einem Absturz beim Schreiben kaputt geht "Write hole" phenomenon in RAID5, RAID6, RAID1, and other arrays.

ZFS beseitigt das Problem mit ZFS Raid auf dem CopyOnWrite Dateisystem.

Datascrubbing auf btrfs findet dank Prüfsummen jeden Fehler, kann ihn aber nicht reparieren.
Dazu müsste btrfs Zugriff auf die einzelnen Platten haben - die hat aber nur das Raid-6 und das weiss nichts von diesen Fehlern. Da hilft dann nur ein Backup.....

 

[exelzur]

...hatte mich so gefreut , okay hängt eh eine UPS dran extra für "Strom" differenzen.

Gibt es den ein OS mit ZFS und guter GUI, will mich auch gerne einarbeiten, aber nicht 2 wochen brauchen nur für die Shell.
Bin halt etwas Windows geplagt... ( Will endlich Linux und nativen Game Support )

 

[besterino]

Gibt es den ein OS mit ZFS und guter GUI, will mich auch gerne einarbeiten, aber nicht 2 wochen brauchen nur für die Shell.
Bin halt etwas Windows geplagt... ( Will endlich Linux und nativen Game Support )

Was meinst Du denn mit "nativen Game Support"?

Sonst: Solarish + Napp-it von Gea halt. Bisserl Eingewöhnung braucht man vielleicht - je nachdem, was man erreichen will. Aber dann lübbet halt einfach...

 

[gea]

Du kannst ja mein napp-it probieren.
Das läuft auf Solaris/OmniOS (Wo ZFS herkommt)
http://www.napp-it.org/doc/downloads/napp-it.pdf

andere Optionen
NexentaStor (auch Solaris fork)
Nas4free (auch BSD, Alternative zu FreeNas)

 

[exelzur]

Was meinst Du denn mit "nativen Game Support"?

Sonst: Solarish + Napp-it von Gea halt. Bisserl Eingewöhnung braucht man vielleicht - je nachdem, was man erreichen will. Aber dann lübbet halt einfach...

Nativ meine ich quasi wie windows, installieren und starten und gut, bei den Tripple A titeln ist ja linux support nicht vorhanden oder mit massiven umwegen.


Werde dann wohl auf OmniOs setzten und geas napp-it aber muss mich erstmal einlesen.

 

[exelzur]

So wenn ich das von gea richtig verstehe, empfiehlt sich omnios mit napp-it, ist das Monitoring nur in der Pro oder geht es dort um "erweitertes" monitoring?

Von der Sache her habe ich ja 8x 2 TB, was für Raidz2 ja "verschnitt" technisch unglücklich ist. was wäre die Empfehlung zur der Angelegenheit?

 

[gea]

Disk iostat, arcstat, zilstar oder smartvalues sind auch in der freien Version.
Die Pro bringt dann noch Echtzeitgrafiken und eine schnellere Gui durch Hintergrundprozesse.

Bei 8 Platten und z2 verliert man wohl ca 1/2 Platte.
Man hat damit immer noch ca 3TB mehr als mit 6 Platten

 

[exelzur]

Danke erstmal für den input, habe jetzt erstmal nas4free am laufen und teste es gerade

 

[Fusseltuch]

Rockstor macht kein Softwareraid via dmraid sondern nutzt die Funktion von btrfs, ähnlich einem raidz-pool. btrfs kümmert sich um das ganze RAID-Gedöns. Bis hierhin erscheint es also als gute Lösung. Die Crux kommt nun aber: der RAID5/6-Code von btrfs ist Mist, um es mal vorsichtig zu formulieren. Unter Umständen fliegt dir bei einem Rebuild das ganze RAID um die Ohren und es werden funktionierende Daten dank eines Bugs in den Prüfsummen mit defekten Daten überschrieben... Wenn Rockstor mit btrfs, dann aktuell nur als Raid1 oder Raid10, welches sehr zuverlässig funktioniert.