[Sammelthread] Adaptec RAID 6405/6445/6805

[Whistl0r]

Hmm - nö ... ist das mit den 8MB wichtig? Was bewirkt das? Daß der anstatt 1MB Blöcke 8MB Blöcke zum Lesen/Schreiben verwendet?

HD Tune ist ja ein Programm, was rein die sequentielle Leistung messen kann. Desto größer hier die Chunks sind, umso performanter läuft alles. Das stabilisiert dann vorallem die Kurve.

Im Vergleich zu ATTO greift es direkt auf die Blöcke zu, weswegen der Cache keine Rolle spielt. Daher empfehle ich auch immer noch mit ATTO zu testen (hier kannst du auch mal mit der Queue experimentieren - gut möglich das Q8 bei nur 4 Platten sich negativ auswirkt), um Ergebnisse aus der Praxis zu haben.

Habe im Storage Manager alle Logs durchgesehen ... da sind keine Fehler zu finden. SMART Status der Platten ist überall OK - 0 Errors - negotiated Speed 6.00GB/s und Power Saving - Never (Power State - Full rpm)

Ein "Aborted Command" wäre alleine kein Ausfallgrund, weswegen S.MA.R.T nicht warnt (erst wenn SMART einen Ausfallgrund sieht, springt die Gesamt-Anzeige um). Du müsstest jetzt prüfen welches Attribut dies bei deiner Platte ist und selber ablesen.

Und für ein detailliertes Log empfehle ich in ASM das Support-Archiv zu erzeugen. Dies beinhaltet dann ein Eventlog, wo wirklich alles drinnen verzeichnet ist...

So - also das Raid5 Build/Verify hat gestern 1,5 Std. gedauert.
Hier sehen die Ergebnisse OK aus:

Yep, kein Vergleich zu vorher. Allerdings für 4 Platten finde ich es dann doch enttäuschend:

Die Platten liefern im Max. 200-210 MB/s, im Durchschnitt 160-170 MB/s. Die 500er Marke sollte da also machbar sein.

Somit ist da auch das Schreiben schneller als das Lesen - so wie bei Euch. Eigenartig ...

Bei dir finde ich es jetzt nicht direkt eigenartig:

Es ist eine SAS-Festplatte - da gibt es zwischen Read/Write eigentlich keine Unterschiede. Den bei dir ausgewiesenen Unterschied finde ich maginal, sollte eigentlich auf die unruige Kurve zurück zuführen sein.

Könnte halt nur allgemein besser sein.

Magst du mal überprüfen, ob die Karte tatsächlich mit 8x läuft?

Und auch eigenartig daß die Raid5 Werte Schreiben besser sind als die Raid0 bzw. 10 Werte bei mir. Naja - der Controller gibt sich einfach nicht mit weniger als Raid5 zu frieden und ist einfach zu schnell für ein lumpiges Raid 0 bzw. 10

Bei der Anzahl an Platten muss ein RAID 5 im Write schneller als ein RAID 10 sein. Vereinfacht hast du ja beim RAID 5 die Leistung von 3 Platten, während es bei einem RAID 10 nur 2 sind. Ein pures RAID 0 muss allerdings dieses RAID 5 dann doch deutlich mit mindestens 100MB/s schlagen - da werkeln dann ja alle 4 Platten.

Was machen eigentlich deine IOPS? Die dürften Dank SAS und 15k durch die Decke gehen (kannst du in HD Tune messen).

 

[dv2130n]

... Bei der Anzahl an Platten muss ein RAID 5 im Write schneller als ein RAID 10 sein...

das stimmt nur für sequentielle Zugriffe, bei short random access ist ein raid-10 schneller als ein raid-5 mit gleicher totaler plattenzahl

...Vereinfacht hast du ja beim RAID 5 die Leistung von 3 Platten, während es bei einem RAID 10 nur 2 sind...

das ist so nicht richtig, auch nicht "vereinfacht" gesagt
raid-5 verteilt sowohl die paritätsdaten als auch die nutzdaten über alle 4 platten, anforderungen des host sprechen daher alle 4 platten an, und nicht nur 3

nur wenn es darum geht, etwas über die speicher effizienz von raid-5 zu sagen, kann man sich so ausdrücken, dass "effektiv" nur 3 platten speicherleistungen erbringen, da die paritätsinformationen den umfang von 1 platte haben.
Aber man sollte der deutlichkeit halber besser sagen, dass ein 4-array raid-5 im umfang von 3 platten Nutzdaten speichern kann (und im umfang von 1 platte Paritätsdaten speichert)

...Ein pures RAID 0 muss allerdings dieses RAID 5 dann doch deutlich mit mindestens 100MB/s schlagen - da werkeln dann ja alle 4 Platten...

das ist nicht zwingend so, und dem liegt auch offenbar das missverständnis zugrunde, dass allein aus dem striping von platten geschwindigkeit resultiere;
das ist keineswegs so, ein gestriptes 4-array, bei dessen Ansprechen die Zahl der host commandos nicht ausreicht, um Zugriffe auf alle Platten resultieren zu lassen, kann sich performancemäßig verhalten wie 2 Platten oder gar nur
eine Platte
Ein raid-0 (und sogar ein raid-10) wird lesend nicht sehr verschieden von einem raid-5 performen, in allen fällen arbeiten bei ausreichender queue tiefe 4 platten (und lesend erfolgt ja keine raid-5 berechnung, es gibt nur die block redirection wegen striping wie bei raid-0)
schreibend dagegen ist das raid-5 array im Nachteil, denn ein Schreib ommando vom host muss raid-5 in 4 IOs auflösen (zwei reads und zwei writes) (was natürlich nichts mit der anzahl von 4 platten unseres gedachten raid-5 zu tun hat, sondern mit der natur des raid-5 codes)

mich würden eher die vorgenommenen cache einstellungen des controllers interessieren, auch der Füllstand der Platten,
sind die eigentlich fabrikneu?

 

[Whistl0r]

das stimmt nur für sequentielle Zugriffe, bei short random access ist ein raid-10 schneller als ein raid-5 mit gleicher totaler plattenzahl

Jo, überhaupt kein Widerspruch. Aber wir sprachen ja im Kontext von HD Tune bzw. ATTO, was nur sequentielle Zugriffe misst.

das ist so nicht richtig, auch nicht "vereinfacht" gesagt
raid-5 verteilt sowohl die paritätsdaten als auch die nutzdaten über alle 4 platten, anforderungen des host sprechen daher alle 4 platten an, und nicht nur 3

Technisch hast du Recht. Ich sprach aber absichtlich von 3 statt 4 Platten, da beim Lesen eben nur von 3 Platten gelesen wird, die 4 hat jeweils die Paritätsdaten des Blocks. Natürlich spielt sie schon mit rein, d.h.

Block1: D1 D2 D3
Block2: D4 D1 D2
Block3: D3 D4 D1
Block4: D2 D3 D4
...

aber beim direkten Zugriff sind jeweils nur 3 Laufwerke involviert, weswegen ich es nicht falsch finde vereinfacht auch nur von 3 zu sprechen. So kann ich eben 3xREAD Performance eines LWs rechnen... dann habe ich ein solides Minimum.

das ist nicht zwingend so, und dem liegt auch offenbar das missverständnis zugrunde, dass allein aus dem striping von platten geschwindigkeit resultiere;
das ist keineswegs so, ein gestriptes 4-array, bei dessen Ansprechen die Zahl der host commandos nicht ausreicht, um Zugriffe auf alle Platten resultieren zu lassen, kann sich performancemäßig verhalten wie 2 Platten oder gar nur
eine Platte

Richtiger Hinweis, aber in besagten Tests ist dieser Fall ausgeschlossen...

Und wegen der Befehlsanzahl: Daher mein Hinweis bzgl. der Queue in ATTO (hier wäre es relevant).

Ein raid-0 (und sogar ein raid-10) wird lesend nicht sehr verschieden von einem raid-5 performen, in allen fällen arbeiten bei ausreichender queue tiefe 4 platten (und lesend erfolgt ja keine raid-5 berechnung, es gibt nur die block redirection wegen striping wie bei raid-0)
schreibend dagegen ist das raid-5 array im Nachteil, denn ein Schreib ommando vom host muss raid-5 in 4 IOs auflösen (zwei reads und zwei writes) (was natürlich nichts mit der anzahl von 4 platten unseres gedachten raid-5 zu tun hat, sondern mit der natur des raid-5 codes)

Auch kein Widerspruch...

 

[Bucho]

...

Ein "Aborted Command" wäre alleine kein Ausfallgrund, weswegen S.MA.R.T nicht warnt (erst wenn SMART einen Ausfallgrund sieht, springt die Gesamt-Anzeige um). Du müsstest jetzt prüfen welches Attribut dies bei deiner Platte ist und selber ablesen.

Und für ein detailliertes Log empfehle ich in ASM das Support-Archiv zu erzeugen. Dies beinhaltet dann ein Eventlog, wo wirklich alles drinnen verzeichnet ist...

Werd' mal in dem Log nachsehen bzw. es aktivieren.

...
Magst du mal überprüfen, ob die Karte tatsächlich mit 8x läuft?
...

Wie mach ich das am besten?
Die Karte steckt in einem PCI-E 16x 2.0 (der auch echt 16x hat)

...
Was machen eigentlich deine IOPS? Die dürften Dank SAS und 15k durch die Decke gehen (kannst du in HD Tune messen).

Werde ich auch gleich mal testen ...

...
mich würden eher die vorgenommenen cache einstellungen des controllers interessieren, auch der Füllstand der Platten,
sind die eigentlich fabrikneu?

Cache Einstellungen?
Naja es geht ja nur bei Read: Enabled / Disabled
Und bei Write: Enabled / Enabled with ZMM / Disabled

Bei meinen ersten Tests habe ich immer einmal mit Write Enabled und Write Enabled + ZMM getestet. Ergab aber so gut wie keine Unterschiede deswegen habe ich die letzten Tests immer mit ZMM gemacht.

Und im Status bei den Platten steht: Write Back
(was lt. meinem bescheidenen Wissen soviel wie Cache Enabled bedeutet und Write Through eben Disabled)

Und die Platten sind ganz neu - derzeit auch noch nichts drauf da ich mich eben noch mit den Raid Modi spiele.

 

[dv2130n]

naja, war nur ne anregung, mein problem ist es ja nicht,
ich würde da nichts unversucht lassen, bei dem schnittigen controller und den heissen platten
wär sonst schade um die schönen ressourcen

hast du denn ne vorstellung, was man eigentlich an Leistung erwarten kann von dem equipment?

read cache sollte eingeschaltet werden, wenn workloads sequentiell sind (laut handbuch)
und ausgeschaltet werden, wenn die lasten überwiegend zufällige zugriffe sind oder wenn
die IO-Anforderungen des OS kleiner sind als die eingestellte stripe size

wie wurde eigentlich initialisiert?

andererseits:
da eine einzelplatte, wie ich sehe (in post 146), in deinen system ja bereits ein transferraten-problem hat, kann das array auch nicht das optimum zustande bringen
also sollten Umstände und Einstellungen, die das array betreffen, eher ohne bedeutung für dieses ergebnis sein, es sei denn, es handelte sich teilweise um solche Umstände und einstellungen, die auch den test der einzelplatte
betreffen
(wie genau, unter welchen vorkehrungen, wurde die einzelplatte eigentlich getestet?, hast du im controller ein simple volume über der platte errichtet?)
infrage kämen die anbindung an den host (wie whistl0r schon meinte),
aber selbst wenn der elektrische x16 slot nur mit x1 liefe, würde die bandbreite (selbst nur einer richtung, und benches testen üblicherweise auch nur in eine richtung) eines in x1 betriebenen slots mehr als ausreichen
infrage kommt ferner die anbindung der platten an den controller, also kabel, backplate als mögliche fehlerquelle

 

[Ranger_84]

Hat einer von euch schonmal sein Raid erweitert wo schon daten drauf waren ? Das dauert bei mir richtig ewig ;(

 

[dv2130n]

Hat einer von euch schonmal sein Raid erweitert wo schon daten drauf waren ? Das dauert bei mir richtig ewig ;(

ist zwar eine option, die controller anbieten, aber kann erstens ne ganze weile dauern und zweitens kann auch, ohne jetzt die pferde scheu machen zu wollen, einiges schiefgehen
dabei werden nämlich die platten außergewöhnlich belastet, und dabei hat schon so manche hdd, die das nicht so gut abkann, den letzten pups gelassen

das sollte man nur wagen, wenn man eine kopie von den daten hat
und wenn man schon eine kopie hat, ist es sicherer, das raid zu löschen und ein neues raid-array mit mehr platten einzurichten ...

 

[Ranger_84]

ja sicherungskopie habe ich. Naja kann das nicht mehr abbrechen einfach mal laufen lassen

---------- Beitrag hinzugefügt um 22:58 ---------- Vorheriger Beitrag war um 22:57 ----------

Seid heute morgen 12 uhr dran und erst 5%

 

[Ranger_84]

Weiß einer wie ich die Raid Erweiterung abbrechen kann und lieber das Raid neu erstellen kann ?

 

[Schnittendieb]

Hey Leute,

ist es bei Adaptec möglich über 2 (((identische))) Controller ein Raid (z.B. 2x 6805 oder 6805 + 6405) laufen zu lassen? Sollte ja gehen, da es ja auch mit Expander-Karten in den Specs beschrieben wird?.

Hat jemand von Euch Erfahrungen mit 8x 5K3000 2TB im Raid5 und wie die sich generell so am Adaptec machen? Evtl. ein paar Benches.
Und ganz wichtig: kann man an der Adaptec 6er Reihe die SMART Werte, z.B. mit gsmartctrl auslesen?

Danke.

 

[Bucho]

@dv2130n

Sooo ... hab' nun ein wenig weitergetestet und das Problem mit den miesen Schreibwerten gefunden. Dein Hinweis mit dem "wie wurde initialisiert" war wohl der Auslöser.
Bei meinen ersten Tests (Single, Raid0, Raid10) hatte ich die Raid Initialisierung immer im Controller BIOS gemacht. Hab' jedoch extra drauf geachtet daß die Einstellungen möglichst Default bleiben und halt der Cache immer brav aktiv ist.

Beim Raid5 habe ich die Initialisierung im Windows im Adaptec Storage Manager gemacht.
Habe jetzt auch noch mal eine Platte im Windows als Single Volume erstellt und getestet - siehe da - keine Probleme mehr.
Neue Tests der Single Platte (Cache ON - ZMM ON):

Und weil ja die Frage bzgl. den IOPS war:


Dann noch die RAID5 (mit 4 Platten) IOPS:


Und nochmal seq. Read/Write Werte eines Raid0 (4 Platten) im ASM erstellt:


Die Single Werte ganz oben dürften so ganz okay sein - zumindest die Lesewerte finde ich für die Platte auch so im Inet:
http://www.cbbimg.com/out.php/i52147_HDTsingle.png
Ist die gleiche Platte an einem Dell Perc6/i Controller.
Write Werte finde ich auf die schnelle keinen Screen im Inet von der Platte.

Kommt dann schon auch hin bei meinem Raid0 bzw. Raid5. Wenn ich die Single Werte (avg. Read ~ 165MB/s, Write ~ 100-110MB/s) x 4 beim Raid0 rechne komme ich ziemlich genau auf die Werte in meinem Bench.
Beim Raid5 ist das ja nicht ganz so zu rechnen - sprich bei 4 Platten sollte die Read Performance zwischen 3-4x liegen und die Write Performance so um die 3x (je nach Controller und Einstellungen des Arrays etc.). Da liege ich beim Read etwa auf 3x und beim Write ebenfalls. Find ich ganz okay.

Und bzgl. "Aborted Commands" etc. ... wenn man im Adaptec Storage Manager auf die einzelnen Platten rechts-klickt und auf "View Statistics Data" geht bekommt man eine Tabelle mit allen möglichen Errors angezeigt - u.A. auch gleich als ersten Punkt "Aborted Commands".
Alle Errors auf allen Platten stehen da bei mir auf 0 - sprich alles OK in der Kiste

@Schnittendieb
Sorry - habe nur einen Controller - somit weiß ich nicht ob man Arrays auch über zwei Controller machen kann. Ich glaube aber schon.

GSmartControl kann die SMART Werte der Platten nicht auslesen. Er bekommt nur die Info daß SMART aktiv ist und OK. Aber die einzelnen Werte sieht man leider nicht. Da muss man sich mit dem Adaptec Storage Manager und dessen Infos zufrieden geben.

 

[aandre]

Hallo, hab mir den 6805 gekauft und wollte mir ein raid6 mit 8 platten aufbauen.
Das ganze soll unter FreeNAS (FreeBSD) laufen.

Soweit klappt alles, nur meine Platte gehen einfach nicht aus!

Obwohl ich im "Array Configuration Utility" (Strg-A) eingestellt habe das die Platten nach 3 Minuten aus gehen sollen, passiert nichts, sie laufen einfach weiter!

Wenn ich z.B. ins BIOS des Bords gehe und da warte, gehen sie auch nicht aus. Selbst wenn ich im "Array Configuration Utility" warte gehen sie nicht aus.

Wenn ich aber die beiliegende DVD boote und ins ASM gehe, und da einfach 3 Minuten warte, gehen die Festplatten aus.

Und in FreeNAS gehen sie auch nicht aus! Kann mir bitte jemand einen Tipp geben was ich noch tun kann.

Die Festplatten sind "Samsung HD155UI".

 

[oggear51]

@aandre

das liegt am background cons. check war bei mir auch der fall.

so ne andere frage mal, kann man sich in den storage manager auch ohne das man dem sys ein passwort gegeben hat einlogen?
Wenn ich kein passwort eingebe komme ich nur als gast rein und ich kann nichts machen

 

[Whistl0r]

kann man sich in den storage manager auch ohne das man dem sys ein passwort gegeben hat einlogen?
Wenn ich kein passwort eingebe komme ich nur als gast rein und ich kann nichts machen

Nein, die Authentifizierung ist nicht abschaltbar.

Prinzipiell könntest du aber einen zusätzlichen Administratoren-Benutzeraccount erstellen - mit einem einfachen Benutzernamen und Kennwort (letzteres ist wichtig: ASM funktioniert nicht mit Nutzern ohne Kennwort). Beachte aber, dass dieser Account dann dein gesamtes System gefährden kann...

 

[oggear51]

seit einiger zeit kommen immer diese 3 fehlermeldungen

Task Scheduler: Task 1 failed to start at the scheduled start time..
Task Scheduler: Task 1 must be manually rescheduled using the Task Manager..
Task Scheduler: Task scheduling is disabled. You must enable task scheduling for your scheduled tasks to execute..

warum kann ich das einfach nicht löschen vom task scheduler,
er will dauernd meine spare HDD kontrollieren aber ich hab garkeine,
weiss jemand da weiter?

 

[Whistl0r]

Edit:
Du meinst Task 1 "Test all spare disks for errors."?

Die kann man nicht löschen. Wenn dich das stört, modifiziere sie so, dass sie nicht wiederholt wird. Dann hast du Ruhe.

 

[oggear51]

ich kann mit diesem task überhaupt nichts einstellen,
wie kann ich das denn einstellen?

 

[Whistl0r]

Also wenn ich den auswähle, kann ich per Modify rein... du nicht?

 

[oggear51]

modify geht aber ich kann nicht auf ok drücken das ist grau,
egal was ich mache

 

[Whistl0r]

Funktioniert hier prima:

 

[oggear51]

bei mir will es einfach nicht

 

[Whistl0r]

Vermutung:
Du hast ja die Tage auch wegen dem Benutzer gefragt... meldest du dich zufälligerweise mit einem Benutzer ohne Kennwort an?

 

[oggear51]

nene hab jetzt wieder ein password,
laut dem event log hat das ganze am 18.08 angefangen
ohne das ich irgendwas verstellt habe

 

[Whistl0r]

Also wenn du in ASM keine Veränderungen vornehmen kannst liegt das in der Regel daran, dass der Nutzer mit dem du in ASM angemeldet bist dazu nicht berechtigt ist.

Das ist dann der Fall, wenn der Nutzer kein lokaler Administrator ist.

Auch Benutzer der Administratorengruppe ohne Kennwort scheiden aus.

Mal schauen, spätestens am 08.10 läuft die Task auch bei mir, evtl. kann ich sie danach auch nicht mehr verändern... weil failed?!

 

[oggear51]

das geht mir tierisch auf den keks weil ich dauernd emails bekomme mit einer warnung,
ich versuch das mal mit einem anderen rechner.

edit: geht ebenfalls nicht

 

[Whistl0r]

Was genau sind das für Mails? Worüber informieren sie?

 

[oggear51]

das sind die warnungen die ich im post 165 gepostet hab,
ich habs so eingerichtet das wenn es ein problem gibt das ich an die
angegebene email adresse informiert werde.

und der sieht das task problem als ne warnung und bekomme dauernd emails beim hochfahren des servers

edit: meine post 165

 

[oggear51]

ich weiss nicht ob es euch schon aufgefallen ist aber die Hitachi Deskstar 5K3000 2000GB (HDS5C3020ALA632) HDDs sind seit juli in der compatibility liste drin

 

[andichen]

Ich weiß nicht, obs Sies wussten... Hrhr, danke für den Tipp. Wahrscheinlich verfolgen die von Adaptec diesen Thread und wenns kein Gemecker gibt, kommt die Platte eben in die Liste...

 

[oggear51]

nur die temps werden nicht richtig ausgelesen, deshalb habe ich adaptec mal deswegen angesprochen