[Sammelthread] AMCC 3ware 9650SE PCI-e RAID-Controller (+ Kurz-Review)

[Deejay2k1]

Hast du die Controller-Einstellungen + Raid Einstellungen (StorSave, Write Cache, etc. pp.) mal überprüft? War das Raid schon fertig initialisiert?
Evtl. mal mit CLI die Controller + Raid Einstellungen überprüfen und ändern. (z.B. HDD Cache ist vl. deaktiviert)

Hi.

Folgende Einstellungen habe ich derzeit aktiviert:

Bild: 3ware-settingspqim.png - abload.de

Das mit dem CLI muss ich mir noch genau anschauen wie die Befehle gehen für die Abfrage, da ich bis jetzt alles über die GUI gemacht habe. Das Raid war schon fertig initialisiert.

---------- Beitrag hinzugefügt um 09:42 ---------- Vorheriger Beitrag war um 09:39 ----------

Definiere 3 parallele Schreibzugriffe oder wie, das klappt nie sonderlich, wirf mal ATTO und Crystaldiskmark an.

Es waren 3 Sata-HDDs am Mainborad angeschlossen um einige Daten auf das Raid-6 zu schreiben. Werde mal später noch ATTO und Crystaldiskmark starten wenn ich zu hause bin. Habe bis jetzt nur HDTach und HDTune getestet, welche hier im Thread in den ersten Seiten als nicht zu empfehlen kommentiert ist da diese Programme mit HW-Raids verfälschte Werte anzeigen.

 

[Schnittendieb]

stell mal StorSave auf Performance und teste nochmal. Letzte F/W hast du auch drauf?

check mal mit cli (0= dein Controller)
- "/c0 show all" ... kannst dann mal nen Bildschuss
- "/c0 show forcedrivecacheon" <-- hier müsste enable o.ä. erscheinen
du kannst auch mal die einzelnen Platten anschauen mit:
- "/c0/px show all" <-- das x steht für den jeweiligen Port/Platte

Falls du dich zum CLI belesen willst bitte hier.
und hier gibt es die Anleitung, wie man die Platten unabhängig vom OS mittels dem Controller schlafen legt (zwischen 30-120min einstellbar?..glaub ich)

 

[Deejay2k1]

So habe nun Crystaldiskbenchmak laufen lassen und Atto.

1. Crystaldiskbenchmark

Image - TinyPic - Free Image Hosting, Photo Sharing & Video Hosting

2. Atto

Image - TinyPic - Free Image Hosting, Photo Sharing & Video Hosting

Habe bei den Test Storagesave auf Performance eingestellt.

3. c0 show all

Image - TinyPic - Free Image Hosting, Photo Sharing & Video Hosting

//Bcube-PC> /c0 show forcedrivecacheon
/c0 Force Drive Cache On = OFF

Werde später die Doku durchlesen zwecks drivecache einschalten. Sind die Werte aus Atto und CrystalDiskMark in Ordnung?

 

[Schnittendieb]

sieht alles gut aus.

den Drive Cache wird ich mal aktivieren und nochmals testen. Aber wie gesagt, die Werte sehen normal aus.

/c0 set forcedrivecacheon=on (ausschalten geht dann mit off)

hier hast du zum Vergleich ein paar Tests mit 8x 5K3000 im Raid5 an einem 9650se-8lpml

Spoiler

 

[WoozyMan]

3ware 9690SA 4I + Samsung F3R Raid5

Hallo werte RAIDer,

ein kurzer Erfahrungsbericht wie diese Paarung bei mit funktionierte.

Ich habe mir 4+1 Samsung F3R (HE103SJ) wegen 24/7 Eignung und eben dem günstigen Preis gekauft. Einbau in eine SATAII/SAS Backplane, Anschluss ,Raiderstellung und Initializierung alles kein Problem.

Allerdings ist mir schon in den ersten 24h mit diversen (enttäuschenden) Performancetests die erste Platte aus dem Raid 5 geflogen. Rebuild gestartet, hat auch funktioniert, aber nach dem nächsten Systemstart ist die HDD wieder rausgeflogen. Ab da an half auch kein Rebuild mehr - der Controller wollte die Platte nicht mehr annehmen. Ansonsten lief die Platte noch wunderbar, also HDD mit ESTOOL von Samsung geprüft und tatsächlich was gefunden: "Code: AJ29 - RAM-Error".
Ärgerlich aber Pech kann man ja mal haben.

Also Ersatz-HDD eingebaut und ein Rebuild gefahren - ca 3,5h. Erstmal alles wunderbar, aber Performance auf einem P45 Board war einfach mies - Schreibraten von max 80-100 MB/s. Da war eine Single-HDD am onboard Controller schneller. Zum Test habe ich den Raid-Controller samt Backplane in meinen Rechner mit P67 Board + Core I5 2500k eingebaut. Die Performance war auf dem "neuen" Board wesentlich besser - Schreibraten von über 350 MB/s waren der Schnitt (getestet mit HDTune, Atto, H2testw).

Allerdings ist mir bei jedem Umbau des 3ware Controllers in einen anderen PC und bei jedem 4-5 Neustart eine Platte aus dem Raid 5 geflogen(!), was immer wieder ein dreineinhalb stündiges Rebuild nach sich zog! Ich dachte schon, dass evtl ein Port der Backplane defekt wäre, da mir anfangs immer HDDs am Port2 abhanden gekommen sind. Habe dann die Platten mal "durchgeshuffled" nach 3 "Verlusten" an Port 2 und siehe, da von da an hatte ich auch an den anderen Ports Probleme. Es war nicht immer ein und dieselbe HDD - da hab ich aufgepasst. ;-)

Nach 5 Tagen mit 7 Rebuilds stand für mich fest mit den Samsung F3R läuft es nicht!

In diesem Testzeitraum hab ich natürlich viel mehr Neustarts als normal gemacht - es waren so ca 20-30, aber trotzdem darf da so oft keine Platte aus dem Raid fliegen!
Mir kam auch der Gedanke, dass der Controller einen Schlag weg haben könnte, also habe ich als Gegentest 4 SAS Hitachi Ultrastar 15K600 300GB an den 3ware angeschlossen und wieder etliche Neustarts durchgeführt und in einen anderen Rechner eingebaut. Das Raid 5 war "rockstable" wie man so schön sagt. Kein einziger Raid-Degrade bei gleichem Testszenario. So soll es auch sein.

Derzeit hängen 4 x 1TB WD RE4 (WD1003FBYX) am 3ware 9690SA und bilden ein Raid 5. Neuer Versuch, da ich doch etwas Storage benötige. Die Wahl fiel jetzt auf die WDs, da ich zufällig beim surfen nach Infos für den 3ware auf eine Seite gestoßen bin, wo komplette Raidsysteme unter anderem mit dem 9690SA + WD RE4 verkauft werden. Die Kombination sollte dann hoffentlich funktionieren. Ich werde euch demnächst berichten wie es mit den WDs läuft.

MfG
Woozy

 

[orpheus88]

Die WD REs stehen auch auf der Kompatibilitätsliste in der 1/2TB-Version, das die F3R bei dir solche Probleme machen wundert mich allerdings, hast du die aktuellste (Beta-)Firmware (von LSI-Seite) drauf.

 

[WoozyMan]

Firmware: FH9X 4.10.00.021
Driver: 3.00.04.070
BIOS: BE9X 4.08.00.003

Der Verify der 4 x 1TB WD Platten hat irgendwas zwischen 3,5h und 4h gebraucht. Eben grad kam ich erstmal dazu einen ersten Benchmark (ATTO) laufen zu lassen und irgendwas stimmt überhaupt (noch) nicht!

Readwerte top - Schreibwerte Megaflop!

Schreibcache ist auch aktiviert.

Da ich jetzt leider keine Zeit mehr habe, würde ich morgen ein paar Screenshots von der Controller Config machen.

Allerdings ist der Controller jetzt in einem ganz anderen System verbaut mit Opteron 4180 auf einem ASUS KMCA-D8. Eigentlich sollte jetzt mal alles superflott laufen.

MfG
Woozy

 

[WoozyMan]

Hallo miteinander,

erstmal kurz das System genannt:
Opteron 4180 + ASUS KMCA-D8
2x4GB Kingston 1333 ECC
2x320GB (Raid1 onboard Ctrlr) WD AAKS als Sytemlaufwerk mit Server 2008 R2
2x1TB (Raid0 onboard Ctrlr) Samsung F3 (nur für Testzwecke - Kopierspeed)
3ware 9690SA-4I + 4x 1 TB WD RE4

System ist neu aufgesetzt nur mit Treibern fürs Board und den 3ware Controller.

Hier die Settings des Controllers übers cli:

/c0 Driver Version = 3.00.04.070
/c0 Model = 9690SA-4I
/c0 Available Memory = 448MB
/c0 Firmware Version = FH9X 4.10.00.021
/c0 Bios Version = BE9X 4.08.00.003
/c0 Boot Loader Version = BL9X 3.08.00.001
/c0 Serial Number = L340525B0490548
/c0 PCB Version = Rev 044
/c0 PCHIP Version = 2.00
/c0 ACHIP Version = 1.31A6
/c0 Controller Phys = 8
/c0 Connections = 4 of 80
/c0 Drives = 4 of 80
/c0 Units = 1 of 80
/c0 Active Drives = 4 of 80
/c0 Active Units = 1 of 20
/c0 Max Drives Per Unit = 20
/c0 Total Optimal Units = 1
/c0 Not Optimal Units = 0
/c0 Disk Spinup Policy = 1
/c0 Spinup Stagger Time Policy (sec) = 1
/c0 Auto-Carving Policy = off
/c0 Auto-Carving Size = 2048 GB
/c0 Auto-Rebuild Policy = on
/c0 Rebuild Mode = Adaptive
/c0 Rebuild Rate = 3
/c0 Verify Mode = Adaptive
/c0 Verify Rate = 3
/c0 Controller Bus Type = PCIe
/c0 Controller Bus Width = 8 lanes
/c0 Controller Bus Speed = 2.5 Gbps/lane

Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-5 OK - - 256K 2793.94 RiW ON

VPort Status Unit Size Type Phy Encl-Slot Model
------------------------------------------------------------------------------
p0 OK u0 931.51 GB SATA 0 - WDC WD1003FBYX-01Y7
p1 OK u0 931.51 GB SATA 1 - WDC WD1003FBYX-01Y7
p2 OK u0 931.51 GB SATA 2 - WDC WD1003FBYX-01Y7
p3 OK u0 931.51 GB SATA 3 - WDC WD1003FBYX-01Y7

/c0 Force Drive Cache On = ON (manuell eingestellt)

Fehlermeldungen beim Kopieren (Iso-Files) von einem Raid0 (2x Samsung F3 1TB) am onboard Controller - Kopiervorgang hat nicht funktioniert:
Sep 16, 2011 04:52:38PM (0x04:0x005F): Cache synchronization failed; some data lost: unit=0
Sep 16, 2011 04:52:38PM (0x04:0x0039): Buffer ECC error corrected: address=0x36E420

ATTO - 3ware



ATTO - Raid0 Samsungs


/c0/px show all (die HDDs sehen noch tip top aus)


/c0 show alarms (Die Fehlermeldungen kamen alle als ich versucht habe Daten vom Raid0 (onboard) aufs Raid5 (3ware) zu kopieren.)


Ich bin grad etwas ratlos, vorallem weil mir grad die Zeit fehlt systematisch alles zu prüfen. Wenn ich Zeit hätte, würde ich den Controller einfach nochmal in meinen Intel i5 mit P67 Board einbauen und sehen, ob es dort läuft. Die Controller-Settings müssten ja beibehalten werden.

Vielleicht könnt ihr mir den ein oder anderen Tipp geben, was ich ändern könnte bzw findet ihr meinen gravierenden Config-Fault?!

MfG
Woozy

 

[Schnittendieb]

Ich würde dir raten, deine Probleme mal dem 3ware Support zu schildern. Dir wird da sicher schnell geholfen.

Vorher kannst du jedoch noch versuchen, ob das Deaktivieren von "queuing" was bringt. (eher unwahrscheinlich...aber mal testen)

 

[napomat]

Kann man auch irgendwo finden was der 3ware 9650SE-8ML an Strom "verbraucht"?

würde mich doch mal interesssieren..

 

[FNBalu]

Kann man auch irgendwo finden was der 3ware 9650SE-8ML an Strom "verbraucht"?

würde mich doch mal interesssieren..

Schau mal hier http://www.3ware.com/products/pdf/82911-AMCC-9650SE-Ger.pdf

Dort dann mehr oder weniger rechts unten.
Dies wird aber maximal sein mit Volldampf auf allen Ports mit viel Rechnerei

 

[napomat]

Cool, danke!

Doch so wenig, ich hätte mit erheblich mehr gerechnet..

 

[FNBalu]

Wenig ist was anderes wenn er 24/7 läuft.
5€ mtl

Hier ein Lutscher, da ein Eis und es sind 10€ weg

 

[Deejay2k1]

Ich hätte mal eine Frage zum Controller. Derzeit habe ich ein Unit mit 9 x 2 TB erstellt und Daten drauf. Da vorige Woche mein neuer Wechselrahmen eingetroffen ist konnte ich nun auch die 10te 2TB Hdd einbauen und anschliessen. Kann mir wer verraten wie ich diese nun in das bestehende Raid-6 hinzufüge?

Edit: Fehler gefunden. Das Raid war im Verifying und daher konnte ich die Platte nicht dazu migrieren. Solved...

 

[Brudertac]

Hallo zusammen,

ich teste das gute Stück gerade in einem HP N36L ProLiant Server und bin an sich ganz angetan

ABER:
Der Server fährt Nachts automatisch in den Ruhezustand. Und dies veranlasst
den Raid Controller anscheinend jedesmal anschließend ein Verify des Raid5 zu starten.

Ist das bekannt. D.h. lieber keinen Ruhezustand benutzen oder kann ich da noch
in andere Richtungen forschen?

Der neueste Treiber/Firmware ist drauf - ich hab 3TB Platten drin und brauch den sowieso...

beste Grüße
Brudertac

 

[srynoname]

ich hätte nen OVP 9650se-4lpml als retail abzugeben, zudem die passende BBU, ebenfalls noch OVP. Link siehe meine Signatur.

 

[srynoname]

ich habe mal noch einige fragen zum controller:
1) raid 5 mit 3 HDDs mit 7200rpm - hat das jemand so laufen? was erreicht ihr da so?
2) storsave auf performance soll ja nicht so sicher sein, aber warum? habe eine BBU und damit ist der cache doch abgesichert?
3) welche stripe size nutzt ihr für raid 5? habt ihr mal benchmarks mit unterschiedlichen stripe sizes gemacht? [das manual empfiehlt im allgemeinen 64 KB]

schonmal danke

 

[DaReal]

Habe den gleichen Controller ...

Läuft derzeit in meinem N36L ...
Wenn ich ein Raid5 Array mit vier WD10EACS erstelle dann schmiert kurz nach erstellen Windows ab und das System bootet neu, hängt sich dann jedoch wieder kurz nach dem Login auf ... habe vorhin die neueste Firmware draufgespielt.

Windows Server 2008 R2 + 3DM² ...

 

[srynoname]

hast du auch passend den neuen treiber installiert?

 

[DaReal]

hab erste den Treiber installiert, dann 3DM², dann per 3DM² die neueste Firmware aufgespielt ... sollte ich den Treiber erneut aufspielen?

 

[srynoname]

ne, so ist das schon richtig, erst den neuen treiber, dann die neue firmware. was sagt denn 3DM2 unter monitor - alarms?

 

[DaReal]

Also die einzigen Fehler die als ERROR drin stehen "Drive power on reset detected: port=2port=2"

Und das ganze nochmal mit Port 0 ...


Habe mal den Errorlog com Controller gezogen:
http://dareal.info/errorlog_0.dat

Vllt. hilfts ja ...

 

[srynoname]

hmm schau mal ob die in der ziemlich guten hilfe des controllers (z.b. von 3DM2 aus verfügbar) getails dazu findest, ansonsten mal den lsi support anschreiben.

 

[DaReal]

Also der Raid-Modus is wohl furz egal ... wenn ich ein Raid erstelle und sich 3DM² refresht im Browser hab ich nen Freeze, kurz danach startet der Microserver neu ...


Okay, ich glaube ich habe den Fehler gefunden
Firmwareupdate hat wohl nicht hingehauen vorhin ... somit war immernoch ne steinalte FW drauf (3.00 xxx)


ES LÄUFT
TOP

 

[susannnnne]

hmm sollte es mich irritieren das der 3ware 9650se

Hitachi HDS722020ALA330s
statt 7200rpm nur 4500rpm anzeigt?





Leider ist es auch die die bisher schon 2x aus dem Raid gedropped ist... sich aber immer wieder einbinden liess....

 

[Alex2108]

Hallo susannnnne,

normal ist das eigentlich nicht. Ich habe 4 x Hitachi 5K3000 an diesem Controller im RAID5 und es werden bei jeder Festplatte die korrekten Daten angezeigt. Auch hatte ich bisher nicht einen einzigen Drop aus dem Verbund.
Ich vermute, da da irgendetwas mit der besagten HDD nicht in Ordnung ist.

 

[Mete888]

Moin susannnnne

Ich würde mal versuchen die Disk direkt an den PC zu hängen, und die S.M.A.R.T. Werte mal zu überprüfen...

Gruss Mete

 

[AgentFrost]

Hat mal jemand die Karte in einem nur mit PCI-e 1x angebundenen Slot betrieben ?
Geht das überhaubt ? Genug Performance hat der Port ja ansich.

- 250/500MB/s

Habe den 4LPML seit nun 3,5 Jahren stabil @ Raid 5 mit 4x 500GB WD RE-HDD's laufen
Und bin immernoch begeistert.

Jedoch hat das Board was ich avisiert habe im dritten Slot standardmäßig nur eine PCI-e Lane. (Die restlichen Lanes würde ich ansich auch benötigen)

Grüße

 

[DaReal]

Kann man die BBU vom 9690SA-4I auch am 9650SE-4LPML nutzen? Mechanisch passt die Steckkarte und auch die BBU an den Controller ... aber bei LSI/3ware haben die zwei unterschiedliche Kitnummern (BBU 03 und 04), aber ich gehe mal davon aus, dass beim 9690SA-4I nur diese zus. Slotblende als Halterung für die Batterie dabei ist.

 

[FNBalu]

Ob die passen weiss ich nicht, ich kann aber sagen, dass die eine für die huckepackmontage auf dem controller war und die andere kam an ein slotblech und wurde mit einem Kabel verbunden