[Sammelthread] AMCC 3ware 9650SE PCI-e RAID-Controller (+ Kurz-Review)

[DoubleJ]

Ich habe zwei WD10EACS (3 Platter) im RAID1 laufen. Bisher ohne Fehlfunktion. Codeset 9.5.1.1.

 

[drdope]

Ich habe zwei WD10EACS (3 Platter) im RAID1 laufen. Bisher ohne Fehlfunktion. Codeset 9.5.1.1.

Thx!
Wie alt sind die HDDs?
Könntest du mal schauen welche Firmware deine HDDs haben?
Gibs irgend ne Möglichkeit die 3-Platter von der 4-Platter Version (vor dem Kauf) zu unterscheiden?

 

[Fubbel]

Hallo,

da meine Raid5 Performance nicht sonderlich gut war/ist, habe ich mal ein Raid 0 mit 3 HDD's erstellt.
Die einzelne Seagate habe ich mal einzeln am onboard Controller getestet.

Getestet habe ich hauptsächlich mit hdtune.
Jetzt musste ich feststellen das die einzelne Seagate 500GB 7200.11 auch so schon recht schnell ist.
max: ca. 105mb/s
min: ca. 55mb/s
avg: ca. 85mb/s

mein raid5 mit 4 hdds ist da eigentlich nicht schneller....
eigentlich habe ich hier einen performance vorteil erwartet. liege ich hier falsch??

zum testen habe ich am gestrigen abend mal ein raid0 aufgesetzt, wie gesagt mit 3 hdd's.
nun zum testen bin ich nicht wirklich gekommen, da erstmal ein verify wegen unclean shutdown lief. jetzt sehe ich nun folgendes....

ERROR	   :  Dec 10, 2008 06:36:31 PM: Controller 0: Drive power on reset detected: port=2port=2 
ERROR	   :  Dec 10, 2008 04:05:26 PM: Controller 0: Drive power on reset detected: port=1port=1 
ERROR	   :  Dec 10, 2008 11:58:55 AM: Controller 0: Drive power on reset detected: port=2port=2 
ERROR	   :  Dec 10, 2008 09:48:00 AM: Controller 0: Drive power on reset detected: port=1port=1 
ERROR	   :  Dec 10, 2008 05:31:18 AM: Controller 0: Drive power on reset detected: port=2port=2 
ERROR	   :  Dec 10, 2008 04:10:37 AM: Controller 0: Drive power on reset detected: port=1port=1 
WARNING :  Dec 09, 2008 10:16:42 PM: Controller 0: Unclean shutdown detected: unit=0

Die HDD's liefen zuvor schon am onoard intel Raid, auch mit Raid5. Die Benches waren hier eigentlich in etwa genauso wie sie mit dem 3ware im raid5 sind. Der 3ware ist sogar leicht schlechter. Da der onboard Raid mit den hdd's erst 5wochen alt war und ich zuvor jede hdd überprüft hatte, habe ich mir das beim einbau des 3ware controllers erspart....
beim raid5 am 3ware ist dieses allerdings nicht aufgetreten...

was soll ich nun aber von dem ganzen halten? normal ist das ja nicht. wie kann ich am besten vorgehen?
könnte dies auch mit der eher schlechten raid5 performance zusammenhängen?

mit dem raid5 hatte ich auch mal daten in eine ramdisk kopiert. 3gb am stück. vista zeigte hier knapp 110mb/s, was ich bei den recht schneller hdd's eigentlich auch nicht den bringer finde.

danke für eure ideen/tipps.

gruss

 

[DerXero]

Ich habe zwei WD10EACS (3 Platter) im RAID1 laufen. Bisher ohne Fehlfunktion. Codeset 9.5.1.1.

Das würde mich auch sehr interessieren! Wär cool, wenn du dazu mal etwas posten könntest.

Hat schonmal jemand was von den 1500er Seagate am 9650SE gehört? Muss leider jetzt auch langsam mal aufrüsten...

 

[DoubleJ]

Thx!
Wie alt sind die HDDs?

Im September gekauft.

Könntest du mal schauen welche Firmware deine HDDs haben?

01.01.A01 / 00D6B0

Gibs irgend ne Möglichkeit die 3-Platter von der 4-Platter Version (vor dem Kauf) zu unterscheiden?

Ja, erweiterte Bezeichnung bei der 3-Platter ist .."D6B"..

 

[drdope]

Danke!
Jetzt wirds immer verwirrender für mich...

In der 3Ware Kompatibilitätsliste von Juni 2008, wird die HDD mit der Firmware 01.01.B01 gelistet, was für mich aktueller klingt.
Hab bisher angenommen, die Dropouts die mein Kollege hatte lagen evtl. an der alten Firmware...

 

[Fubbel]

Hi,

so nachdem ich die letzten Tage mit testen verbracht habe muss ich nun doch nochmals eine Frage stellen.
Mein Problem mit den Timeouts haben sich erledigt....
Eine HDD ist mittlerweile abgeraucht.

Ich sehe hier gepostete Werte von HDTune, die doch stellenweise sehr hoch liegen. Diese Werte kann ich mir mit einem 64k File eigentlich nicht erklären. Kann es sein das diese User größere Testfiles verwendet haben? Anderst kann ich mir das wirklich nicht erklären. Habe nun viel mit HDTune und iometer in verschiedenen Konfigurationen getestet.
Was ich hinterher möchte ist ein Raid 5...
Die Werte von iometer und hdtune sind sich ähnlich, aber (logischerweise) nicht gleich.

Ich ziehe hier mal Werte von iometer ran.
Raid 5, 64k Stripe, StorSave Performance, Write Cache und NCQ Enabled. no read ahead
4x Seagate 500GB 7200.11 (3x ST3500620AS, 1x ST3500820AS)

4MB Testfile, 1 outstanding I/O, 100% read/seq. --> 251mb/s
4MB Testfile, 1 outstanding I/O, 100% write/seq. --> 330mb/s
ohne write cache irgendwo bei 10-11 mb/s, warum auch immer so schlecht....

4MB Testfile, 1 outstanding I/O, 100% read/random --> 72mb/s
4MB Testfile, 1 outstanding I/O, 100% write/random --> 110mb/s

64kb Testfile, 1 outstanding I/O, 100% read/seq. --> 84mb/s
64kb Testfile, 1 outstanding I/O, 100% write/seq. --> 225mb/s
ohne write cache: 6mb/s

64kb Testfile, 1 outstanding I/O, 100% read/random --> 7mb/s
64kb Testfile, 1 outstanding I/O, 100% write/random --> 11mb/s
ohne write cache: 3mb/s

Meiner Meinung nach handelt es sich hier um "richtige" Werte bei 64kb Testfile. Größere Files ergeben natürlich einen besseren Wert.

Daher würde ich ganz gerne wissen wie 64kb bei anderen Usern aussieht. Da ich der festen Überzeugung bin, das einige Screenshots hier nicht mit 64kb getestet wurden.
Desweiteren würde ich gerne wissen warum die Writes ohne Cache so extrem weit unten liegen, das würde ja heißsen wenn der Cache voll ist, dümpelt das mit nur wenigen mb/s vor sich hin. Ist das bei einem Raid 5 normal? Finde die Werte schon extrem niedrig.

gruss

 

[susannnnne]

mach mal einen iomix bench... und 100% write sowie read - habe vergleichswerte hier...

 

[Fubbel]

Hi,

hab mir das iomix mal runtergeladen.
leider hab ich nicht ganz verstanden was du genau meinst.
die einzelnen tests ändern und dann bei jedem einmal 100% read und einmal 100% write machen? oder hab ich das falsch verstanden.

hab das mal so durchlaufen lassen wie das file kommt.

IOps: 289.773.180
Read IOps: 118.423.354
Write IOps: 171.349.825
MBps: 5.214.336
Read MBps: 3.686.625
Write MBps: 1.527.711
Trans. per Second: 289.773.180
Read I/Os: 98372
Write I/Os: 142337

bezüglich des write caches hab ich mal noch etwas rumprobiert. ohne write cache sind die transfers sehr niedrig, in etwa wie oben genannt. Mit dem write cache aktiviert sind sie schneller. nun habe ich mit dem cache mal mehrere gigabyte auf dem raid kopiert. ca 110mb/s. lief auch bis zum ende konstant so durch.
demnach stimmt meine these das wenn der write cache voll ist die transferrate abfällt nicht. ich frage mich nur wieso das dann so ist? schreibt er mit write cache auch schneller auf die hdd's als ohne? kann ich mir ja fast nicht vorstellen. beo 30gb am stück muss der schreib cache ja irgendwann voll werden und die transferrate hätte einbrechen sollen, was sie aber nicht tut bzw. getan hat. Hat da vllt jemand weiterführende Infos dazu? Würde mich rein vom Verständnis mal interrisieren.

gruss

 

[drdope]

Hab gestern was beunruhigendes in der 3Ware KB gefunden...

The 3ware 7000, 8000, 9500S, 9550SX(U), 9590SE, 9650SE, 9690SA series controllers can support disk drives of up to 2 TBytes maximum in capacity. That is to say, the limit of the size of an individual disk drive within an array is 2 TBytes maximum.

--> http://www.3ware.com/KB/article.aspx?id=11680

Nur 2TB/HDD max? Das ist imho absolut übelst, grade weils sämtliche Controller der 9xxx Serie betrifft...

Zumal es von 3Ware auch keinen Controller zu geben scheint, der größere HDD-Kapazitäten verpacken kann, was hinsichtlich der Migration auf nen anderen 3Ware Controller def. von Vorteil wäre.

Wäre interessant zu wissen, ob das eine Limitation der Hardware oder der Firmware ist (letzteres ließe ja hoffen).

An das 2TB Limit/HDD werden wir ja 2009 def. noch dran kommen.
Bei 2x 8x2TB ist bei mir dann def. Schluß (= 2x 12,74TB netto).
Und nu?

 

[susannnnne]

denke das die da schon dran arbeiten werden - sollte sich wohl mit ein paar updates beheben lassen - zumindest für die neues serien...

 

[drdope]

Die Hoffnung stirbt zuletzt...

Ich mal mal nen Support Ticket by 3Ware gelöst und nachgefragt ob es sich bei der 2TB/HDD Geschichte um ein Hardware oder Firmware Problem handelt.
Mal schauen was die Antworten...

 

[drdope]

Request:- 21st December 2008 at 6:19
"The 3ware 7000, 8000, 9500S, 9550SX(U), 9590SE, 9650SE, 9690SA series controllers can support disk drives of up to 2 TBytes maximum in capacity."
--> http://www.3ware.com/KB/article.aspx?id=11680

Is the max. drive size of 2TB per hdd a limitation of the hardware itself or just the firmware?

Response:- 22nd December 2008 at 13:17 Raj

Hello xxx,

Yes, the details present in the Kb Article 1168o is true. And further moving this drive size support of 2TB per hdd is the limitation of hardware itself.

Thanks,
AMCC Technical Support,
Raj.

Also ist bei mir bei 2x 8x2TB im Raid5 Schluß....
(ca. 26,07 TiB netto Kapazität)

 

[James_br0wn]

aaargh...

da will wohl jemand neue controller unters volk bringen

*ärgerlich*

 

[DoubleJ]

Lasst doch erstmal Harddisks >2TB verfügbar sein.
Außerdem ist die Frage, ob es bei anderen Herstellern anders aussieht oder ob alle an diesem Problem leiden.

 

[TheSane]

Das Problem ist dich noch nicht mal akut. Der Controller ist ja schon mehr als 3 Jahre alt, da gab es noch nicht mal 1TB Platten.

 

[drdope]

Lasst doch erstmal Harddisks >2TB verfügbar sein.
Außerdem ist die Frage, ob es bei anderen Herstellern anders aussieht oder ob alle an diesem Problem leiden.

Das wäre als nächstes zu eruieren, wie schauts z.B. bei Areca, LSI und Co aus um...

Das Problem ist dich noch nicht mal akut. Der Controller ist ja schon mehr als 3 Jahre alt, da gab es noch nicht mal 1TB Platten.

Ich finds def. Erwähnenwert, zumal es ja nicht nur meinen "älteren" 9590SE betrifft sondern sämtliche aktuell verfügbaren 3Ware Controller.
Ich wäre ziemlich angepisst, würd ich mir jetzt nen aktuellen 3Ware kaufen und müßte dann feststellen das ich in ner Upgradefalle hänge, --> die 2TB HDDs stehen ja schon in den Startlöchern.

Der erste Schritt ein potentielles Problem zu umgehen, ist ja zu wissen, das es existiert...


Wenn man sich vorher informiert, hat man halt weniger Streß, siehe z.B. die 2TB/MBR/GPT Problematik unter Windows XP
--> http://www.forumdeluxx.de/forum/showpost.php?p=7328780&postcount=19

War vollkommen absehbar und trotzdem gibts jetzt zig Threads dazu, von Leuten, die es leider erst bemerken, wenn sie den ganzen Kram schon zu Hause haben.

 

[DerXero]

hat von euch schon mal jemand seine Kiste mit dem Controller in S3 geschickt?
Mein Server will nicht wieder ordentlich aufwachen und verdächtige den Controller

 

[susannnnne]

hust - S3? wasn das? die kisten haben 24/7 online zu sein

andere Sache:

hat schon mal jemand die 103UI - die green variante an dem 9650se betrieben?

 

[DoubleJ]

hat von euch schon mal jemand seine Kiste mit dem Controller in S3 geschickt?
Mein Server will nicht wieder ordentlich aufwachen und verdächtige den Controller

Was heißt du verdächtigst ihn? Wenn du ihn rausziehst*, funktionierts?

(*Vorausgesetzt, es läuft nicht das OS drauf.)

 

[DerXero]

das wollte ich noch nicht testen, weil die Karre in der Ecke steht. Hätte vorher am liebsten gehört, dass es bei euch geht, bevor ich in die Ecke krieche

Werd ich dann morgen mal testen...

 

[DerXero]

Alles klar...
nach einigen Testversuchen --> es geht generell nicht. Wie gut, dass ich den Server eh ersetzen wollte

Wär trotzdem mal cool zu wissen, ob S3 mit dem Controller läuft. Hat das einer mal gemacht?

 

[Elessar]

Zurzeit betreibe ich 2 Western Digital RaptorX im Raid0 und 4 Samsung HD501LJ im Raid10. Alles mit meinem OnBoard Controller ICH9P. Das Raid0 ist für das Betriebssystem und die Programme. Es wird täglich auf das Raid10 gesichert. Zusätzlich sichere ich einmal pro Woche das komplette Sytem auf eine externe Platte.

1. Frage: Würde mein System durch den Einbau eines 9650SE schneller?

2. Frage: Wenn ich den 9650SE einbaue und die beiden Raptoren rausschmeiße und zwei weitere Samsungs für ein Raid50 einsetze, wie könnte es dann aussehen?

Hintergrund der ganzen Sache: Ich traue den Onboard-Controlern nicht über den Weg. Spätestens beim nächsten Mainboard geht der Ärger los.

 

[DonStratus]

Hi Zusammen,

weiß jemand was es mit dem Rapid RAID Recovery genau auf sich hat ? Bin der englischen Sprache nicht sooooo mächtig als das ich genau verstehen würde was in der Hilfe vom Controller steht, bzw. dessen genaue Funktionweise

 

[susannnnne]

@elessar:

1. schneller wobei? denke das sich da nicht viel tun wird - da du schon hohe transferraten mit deinem setup fährst.

2. nicht anders

vertrauen ist gut- backups sind besser

PS:

Will jemand seinen 9650se 8/16/24 Port Controller vll. verkaufen?

 

[DoubleJ]

Hi Zusammen,

weiß jemand was es mit dem Rapid RAID Recovery genau auf sich hat ?

Kurz geht es darum, dass ein rebuild nicht mehr so lange dauert, weil nurnoch die Bereiche bearbeitet werden, die sich verändert haben und daher bei einem Stromausfall o.ä. inkonsistent sein könnten. Unterliegt aber einigen Einschränkungen (muss von anfang an aktiviert sein, geht nicht mit jedem Dateisystem).

 

[DonStratus]

Danke erst mal für Deine Erklärung.

Kurz gesagt; ist empfehlenswert wenn man eh grad ein neues Raid aufsetzt ?

 

[xlslx]

Habe auch seid längerem einen 9650SE-4LPML und Vista x64 SP1 und immernoch die beta 3.08.00.22. Kann ich nach aktualisierung auf die neusten treiber und 3dm und cli der 9.5.1.1 die firmware updaten via boot-cd ohne das meine daten verloren gehe oder lieber frisches raid aufsetzen?

 

[DonStratus]

Also 3Ware empfiehlt vor dem Update ein Backup zu machen. Bei mir gings jedoch (Gottseidank) ohne Datenverlust vonstatten. Wäre auch relativ kompliziert gewesen ein Backup zu fahren bei mir mit dem 9650SE-12ML. Wo soll ich 12 TB hinsichern

 

[xlslx]

Hat 3Ware mir auch empfohlen. Bei mir wärens nur max. 1TB....und vielleicht kommt noch n viertes Drive mit dazu sodass ich das Array sowieso neu builden müsste....

also driver 3dm2 usw ging problemlos zu updaten.... aber speed is halt zumindest bei hdtune lahm (average von 80MB/s mit 3 Seagate ST3500620AS (LC11 firmware)) beim RAID-5 mit 64kb Stripe (raid mit BBU) und allen performance optimierungen aktiv....

gruß