[Sammelthread] AMCC 3ware 9650SE PCI-e RAID-Controller (+ Kurz-Review)

[Monarch]

Ich hab auch mal zwei Fragen:

1.
Also neulich hatte ich mit einer WD10EADS auch Timeout-Probleme, hat zwar immer wieder versucht ein Rebuild zu fahren, aber nach 10-30 Minuten jeweils wieder ein Timeout. Das RAID lief bis dorthin ca. 1 Jahr störungsfrei.
Habe die Platte dann gegen eine neue WD1001FALS, die ich gerade frisch aus einer Reklamation zur Hand hatte, ersetzt. Seither keine RAID-Fehler mehr. Die EADS habe ich anschließend mit dem WD-Tool überprüft, aber es wurden keine Fehler gefunden... was würdet ihr nun machen, Reklamation bei WD(wohl aussichtslos ohne Diagnose?), Platte in Müll werfen, oder es nochmal mit ihr probieren?

2.
Habe vor zwei Monaten folgende Alarme erhalten (RAID war zu dem Moment unter Volllast):
Nov 01, 2009 10:16:04PM (0x04:0x0001): Controller reset occurred: resets=2
Nov 01, 2009 10:16:04PM (0x04:0x0001): Controller reset occurred: resets=1
Nov 01, 2009 10:16:04PM (0x04:0x005E): Cache synchronization completed: unit=0

Was ist davon zu halten? Die Alarme haben nur INFO-Level.

mfg
Monarch

P.S. Werde die nächsten Monate aber ohnehin mal die Platten tauschen gegen WD20EADS...

 

[the6thday]

was würdet ihr nun machen, Reklamation bei WD(wohl aussichtslos ohne Diagnose?), Platte in Müll werfen, oder es nochmal mit ihr probieren?

Ich würde die Platte zu WD in RMA schicken, WD ist da eigentlich sehr Kulant, wir haben in der Firma schon ähnliche sachen problemlos getauscht bekommen...

 

[Kampfwurst_Hugo]

ich bekomme dann einfach eine Warnung angezeigt. Und beim OK steht ein * was soviel heist wie eine Platte hat ein Problem.

Meine Frage ist ob das Raid 6 da durch beinträchtigt wird??

 

[Dops]

Servus,
ich habe ne Kompatibilitätsfrage zum 9650 und auch zum 9550:

Laufen die Controller auf einem Tyan Toledo 3210 (S5211)? In der Kompatibilitätsliste auf 3ware.com taucht das Board leider nicht auf.

 

[DoubleJ]

Wie immer: Solange es niemanden gibt, der diese Kombi schon ausprobier hat, kann das niemand mit Gewissheit sagen. Auf den wenigsten Boards funktioniert der Controller allerdings nicht, ich habe damals auch blind gekauft.

 

[DerXero]

Seit ein paar Tagen habe ich ein paar Probleme und ich hoffe ihr könnt mir helfen.
An meinem 9650SE hängen 5 WD 1,5TB GP's. Das lief bisher ganz wunderbar, bis jetzt vor ein paar Tagen dauernd das Array degraded und dann gar nicht mehr verfügbar ist. Will ich mittels tw_cli oder 3dm2 sehen was ist hängt sich entweder tw_cli auf oder 3md2 lädt sich tot. Nach einem Kaltstart ist das Array wieder erreichbar und startet ein recht langsames Rebuild. Nach ein paar Stunden, bevor das Rebuild fertiggestellt wurde, ist das Array wieder weg.

Wie ich gerade sehe sagt mir der Log nun netterweise, dass eine Platte defekt sei. Also mal ne neue ordern. Schade

Jan 04, 2010 09:00.00AM  	(0x04:0x0043): Backup DCB read error detected: port=6, error=0x202
  	Jan 04, 2010 07:40.17AM 	(0x04:0x0026): Drive ECC error reported: port=6
  	Jan 04, 2010 12:10.23AM 	(0x04:0x003B): Rebuild paused: unit=0
  	Jan 04, 2010 12:10.23AM 	(0x04:0x0004): Rebuild failed: unit=0
  	Jan 04, 2010 12:10.23AM 	(0x04:0x002D): Source drive error occurred: port=6, unit=0
  	Jan 04, 2010 12:10.23AM 	(0x04:0x0026): Drive ECC error reported: port=6, unit=0
  	Jan 04, 2010 12:01.35AM 	(0x04:0x000B): Rebuild started: unit=0
  	Jan 03, 2010 08:56.09PM 	(0x04:0x003B): Rebuild paused: unit=0
  	Jan 03, 2010 08:56.09PM 	(0x04:0x0004): Rebuild failed: unit=0
  	Jan 03, 2010 08:56.09PM 	(0x04:0x002D): Source drive error occurred: port=6, unit=0
  	Jan 03, 2010 08:56.09PM 	(0x04:0x0026): Drive ECC error reported: port=6, unit=0
  	Jan 03, 2010 05:23.53PM 	(0x04:0x000B): Rebuild started: unit=0
  	Jan 03, 2010 05:22.23PM 	(0x04:0x0008): Unclean shutdown detected: unit=0
  	Jan 03, 2010 05:22.23PM 	(0x04:0x005F): Cache synchronization failed; some data lost: unit=0
  	Jan 03, 2010 05:22.23PM 	(0x04:0x0043): Backup DCB read error detected: port=6, error=0x202
  	Jan 03, 2010 03:14.24PM 	(0x04:0x0043): Backup DCB read error detected: port=6, error=0x202
  	Jan 03, 2010 01:17.32PM 	(0x04:0x0043): Backup DCB read error detected: port=6, error=0x202
  	Jan 02, 2010 06:02.53PM 	(0x04:0x005F): Cache synchronization failed; some data lost: unit=0
  	Dec 15, 2009 07:43.42PM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9D976800
  	Dec 15, 2009 08:03.20AM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9DBB1A00
  	Dec 13, 2009 03:01.22AM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9D8523F0
  	Dec 13, 2009 03:01.22AM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9D8523A2
  	Dec 13, 2009 03:01.22AM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9D8523E5
  	Dec 12, 2009 07:35.59PM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9D60505C
  	Dec 12, 2009 07:35.41PM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9D609602
  	Dec 10, 2009 03:25.39PM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9C133201
  	Dec 08, 2009 04:19.37AM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9C240726
  	Dec 04, 2009 09:24.46AM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9CBA2D94
  	Dec 04, 2009 08:15.54AM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9CB9A580
  	Dec 01, 2009 02:17.52PM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9C49F500
  	Dec 01, 2009 03:20.24AM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9C13B580
  	Dec 01, 2009 03:18.14AM 	(0x04:0x0023): Sector repair completed: port=6, LBA=0x9C11ED09

Scheint eindeutig, oder?

Edit: Nur interessant, dass sich die Platte immerhin einen Monat mit den Sektoren gehalten hat.
Edit2: RMA ist somit raus.

 

[DerXero]

Moin Moin!

Ich hab jetzt die neue Platte von WD hier. Hab dann wie beim letzten Crash die Platte einfach getauscht und wollte nun damit das Rebuild starten. Dummerweise gibt mir das Webinterface direkt ne Fehlermeldung, dass das Rebuild failed.
Auch über das Bios bekomme ich kein Rebuild hin.

Kennt jemand von euch noch nen Trick, dass ich den Controller davon überzeugen kann die Platte ins Array aufzunehmen?

Und ja, es ist genau die gleiche Platte, nur ne andere Seriennummer

Hoffe ihr könnt mir helfen.

 

[koopa_troopa]

Gibt es die Möglichkeit 2 RAID-Level auf dem 3WARE 9650SE 8-Port zu installieren?
z.B. 2 Platten im RAID 0 (System) und 4 Platten im RAID5 (Datenspeicher).

 

[orpheus88]

Natürlich beherrscht der 3ware mehrere RAID-Volumes.

 

[koopa_troopa]

@orpheus88: Das er mehrere beherrscht ist klar, aber meine Frage war ob man mehrere gleichzeitig einrichten kann oder meinst du das?

Um meine Frage nochmal zu verdeutlichen:
SATA-Port1+2 = RAID0
SATA-Port3+4+5+6 = RAID5

 

[Snipa]

natürlich kann man mehrere gleichzeitig einrichten, wie man auch gleichzeitig verifizieren und rebuilden kann

als ich mit dem neuen System angefangen hab, hatte ich 4x2TB Raid5 und 5x1.5TB Raid5 gemacht und das lief schön gleichzeitig. ersteres war nach 8-9h fertig (WD Green Power) und letzteres (Seagate 7200.11) nach etwa 5-6h, ohne dass es sich gegenseitig behindert hat.

 

[koopa_troopa]

Sehr schön, vielen dank für die Info. Das ist natürlich ein Traum das beides möglich ist.

 

[PalinkatoR]

die SuFu hat nichts schlüssiges ergeben, von daher hier direkt die Frage:

hat einer von euch am 9650er schon 2TB HDDs im RAID5 betrieben bzw es versucht und wenn ja, erfolgreich?

 

[SBUser]

2Tb Platten habe ich selber noch nicht verwendet. Bis 2 Tb sollte aber gehen. Steht ja so in den Spezifikationen. (Ich meine auch gelesen zu haben, dass einige hier 2 Tb Platten verwenden)

Zurzeit habe ich aber selber ein kleines Problem, dass ich nicht so ganz identifizieren kann. Hoffe ihr könnt mir helfen.

Wenn ich einen erhöhten zugriff auf mein Raid 5 (siehe sig) habe, kommt es teilweise zu 2-4 sekunden aussetzen, wenn ich z.b. gleichzeitig eine Datei umbenenen will oder eine Datei verschiebe. Das darf doch bei so einem controller eigentlich nicht passieren, oder irre ich mich da.

Konkretes Beispiel: Habe mit einer Softwar was gelesen um es auf einen entfernten Rechner zu schicken und gleichzeitig mit einem anderen Programm etwas auf die Platte geschrieben. Dann kam es zum oben beschriebenen Problem. Dabei war die Cpu nur zu 20% ausgelastet und der Ram noch zu 50% frei. Achja das ganze ist mit truecrypt als container verschlüsselt.

Edit:
habe das Problem auch wenn kein zugriff Stattfindet. Ich hoffe ihr habt einen Rat für mich.

 

[Snipa]

hat einer von euch am 9650er schon 2TB HDDs im RAID5 betrieben bzw es versucht und wenn ja, erfolgreich?

ich hab folgende Platten seit November in 2 Raid5 Units:
ganz normale WD Green Power EADS 2TB und Seagate Barracuda 7200.11 1.5TB

die Platten waren vor November alle >halbes Jahr normal im Desktop-Einsatz.

 

[Snipa]

ach ja ... nur so aus Neugier:

wenn man Raids aus normalen Desktop-Platten erstellt (siehe Anhang im Post drüber) und den PC auch nur 1 mal pro Tag einschaltet, um 6-10h was zu machen (meistens idle. paarmal pro Monat läuft Kiste auch 2-3 Tage durch) ... wie häufig/regelmässig ist ein Verify nötig? gibts irgendwelche Empfehlungen von erfahrenen Usern?

 

[orpheus88]

Ich glaub die meisten hier machen mit Desktop-Platten gar kein Verify weil der da gerne mal Probleme hat.

 

[SBUser]

kann nur bestätigen was orpheus88 sagt. Bei mir gab es anfangs mit einer Platte immer Probleme bei einem verify. Somit musste ich fast jede Woche den Rechner einmal aufmachen und die Platte abstöpseln und wieder dran hängen.

Nun mache ich wenn es hoch kommt vielleicht alle 4-6 Monate eins. Somit habe ich ruhe, und den Festplatten bzw. dem Raid hat das bis jetzt auch nicht geschadet.

Achja, falls wer mit Desktop Platten Probleme hat: Bei mir hat bei der einen Platte, die öfters beim Verify sowie bei längerer Last mal ausgefallen ist, ein herabsetzen der "Link Control" von 3,0 Gbps auf 1,5 Gbps geholfen. Die anderen Laufen weiter auf auto, also auf 3 Gbps.

Edit: Mein Problem von oben hat sich übrigens erledigt. Dachte es liegt am Raid oder Controller. Dem war aber nicht so. Scheinbar hatte sich der Explorer-Prozess aufgehangen. Nach dem ich den Prozess komplett gekillt hatte (also nicht nur das Explorerfenster schließen), lief alles wieder

 

[DoubleJ]

Ich glaub die meisten hier machen mit Desktop-Platten gar kein Verify weil der da gerne mal Probleme hat.

Kann ich absolut nicht bestätigen. Ich habe drei WD10EACS und jeden Sonntag startet Auto-Verify und läuft einwandfrei durch

 

[orpheus88]

Gestern festgestellt das die Preise für den 3ware 9690SA-8I ganz schön angezogen wurden ich hab für meinen Ende September noch 290€ bezahlt und geändert habe sie an dem Controller doch nix.

 

[H_M_Murdock]

Langsam wirds eigentlich Zeit für neue Modelle die dann Platten > 2 TB unterstützen und SAS 2 / SATA 3 unterstützen.
Allerdings läuft das ja jetzt seit ner Weile bei LSI, is eh die Frage was die draus machen.

 

[orpheus88]

Gibts es eigentlich Erfahrungen mit SAS-Expandern (und dem 3ware) ?

Ich brauch zwar derzeit keine zusätzliche Kapazität, aber in einem halben Jahr sieht das sicherlich wieder anders aus. Von dem was ich bisher gefunden hab gefallen mir die Intel Expander-Backplanes am besten. Von Chenbro gibts auch recht interessante, allerdings haben die immer bloß einen Mini-SAS-Eingang.
Intel Hot Swap Wechselrahmen 6x SAS/SATA (AXX6DRV3GEXP) (auch erhältlich für 4 Festplatten)
Allerdings habe ich bisher nichts zur Kompabilität zum Controller gefunden und zuverlässige Größen-Angaben genausowenig.

Hab mir jetzt mal so ein Intel Dingens mit 4 Slots bestellt und das läuft allem Anschein nach ganz gut (derzeit nur mit einem von 2 "SAS"-Anschlüssen verbunden).
Habe dafür einfach eine Platte, aus meinem RAID-5, abgesteckt, in die Backplane verfrachtet und zusätzlich noch neue um zu sehen ob es auch mit mehr Platten läuft (mehr als ich an die 8 Standard-Ports anschließen könnte).
Die hat er alle ordentlich erkannt und HotSwap funktioniert auch.

Von den Ausmaßen her ist er etwas kleiner als ein Standard-4in3-Gehäuse und verfügt über keinen eigenen Lüfter.
Die SAS-Anschlüsse sind vom Format her wie SATA-Ports sodass man da ein normales SFF8087-SATA-Fwd-Breakout-Cable anschließen kann (es liegen auch 2 Kabel bei allerdings haben die auf beiden Seiten Anschlüsse im SATA-Format).

Bildchens (mit meiner Super Handy-Cam )
von vorn im Vergleich mit einem Aqua-Computer HDD-Cooler Aquadrive X4

Im 3DM2 bestückt mit 2 Platten angeschlossen über einen SAS/SATA-Port

Lese-/Schreib-Aktivitäts-LED hat er auch (ohne extra Kabel)

von oben im Vergleich mit einem Aqua-Computer HDD-Cooler Aquadrive X4

 

[Snipa]

zZ bin ich irgendwie dran, zum ersten mal überhaupt, ein Raid5 zu erweitern an meinem 9650er. eins der Raids ist Raid5 aus 5stk Barracuda 7200.11 1.5TB ---> 5,45TiB

Samstag 3 Uhr morgens hab ich MIGRATING gestartet. um Mitternacht Sonntag auf Montag war Migrieren fertig und es lief automatisch Initialisieren an. da dachte ich: ok, wenn ich heute von der Arbeit nachhause komme, isses durch. als ich 20 Uhr zuhause war, war Initialisieren wohl durch gewesen und alle Units waren am VERIFYING, obwohl nach Scheduling kein Verify dran ist heute (ich habs gestern extra von Montag auf Dienstag umgestellt).

jetzt ist das Verifizieren auf 50% oder so und mein "SeaRAID", wie ichs nenne, hat immer noch 5.45TiB im Arbeitsplatz statt 6.82TiB (7.5TB). werd ich nach dem Verify endlich was von der 6. 1.5TB-Platte merken oder gibts noch mehr Überraschungen? oder hätte es schon nach dem Initialisieren "fertig" sein sollen?

 

[orpheus88]

Migration vergrößert nur die "Festplatte" nicht aber die Partition(en) und die sieht man schließlich im Arbeitsplatz. Wirf mal nen Blick in die Datenträgerverwaltung da sollte die neue Größe stehen.

 

[Snipa]

habs mittlerweile selber gemerkt. als Verify fertig wurde vor paar Minuten, hab ich reingeguckt und siehe da, 1397GB nicht zugeordnet. naja, Grundkentnisse über PCs sind ja vorhanden, jedoch hab ich noch nie was "vergrössert" und drum hab ich halt nicht automatisch an sowas gedacht

schnell mal 5.2TB Daten evakuieren, 6TB Partition löschen, 7.5TB formatieren und Daten wieder zurückschaufeln

 

[DoubleJ]

Vista und 7 können Partitionen doch auch nachträglich vergrößern.

 

[orpheus88]

Vista und 7

Aaah viel zu bunt Mit TC können die das aber glaub ich auch nicht.

 

[koopa_troopa]

@orpheus88 (Frage 1):
Hast du das Intel Hot-Swap Gerät nur zur Demonstration aus dem Gehäuse genommen oder passt bzw. kann man es nicht in den 5.25" Schächten verschrauben?

@orpheus88 (Frage 2):
Wie wirkt sich die ganze Geschichte mit dem Wechselrahmen auf die Geschwindigkeit aus? Es müsste doch eigentlich ein Flaschenhals entstehen?

@Snipa:
Ich will nicht klugscheißen aber wäre es nicht besser gewesen nach deiner "Evakuierung" einen LVM (Logical Volume Manager) einzurichten oder hast du es getan? Damit könnte man das Problem des "Evakuierens" nämlich umgehen.

 

[orpheus88]

Also bzgl. Frage 1 das hab ich gestern (mittlerweile vorgestern) bekommen und zuerst einfach kurz zum testen daneben gestellt und angeschlossen. Es passt in 5.25"-Slots ist aber zu schmal und verschrauben kann man es schon deshalb nicht weil es für ein spezielles Intel Server Gehäuse gedacht ist. Man bekommt relativ problemlos noch einen 120er Lüfter daneben wenn man ihn in 5.25"-Slots nutzt.
Zu Frage 2: Das Case kann/wird mit zwei SAS-Anschlüssen versorgt und kann 4 Platten aufnehmen wären also etwa 150MB pro Platte an Bandbreite, für HHDs ist das mMn völlig ausreichend. Ich habe derzeit 4HDDs aus meinem 8HHD-RAID5 in dem Case und es mit zwei SAS-Ports angeschlossen, aber habe im Vergleich zu vorher keine nennenswerten Unterschiede feststellen können. Ist immernoch genauso CPU-limitiert wie vorher (durch TC auffem kleinen DualCore).

Meines Wissens nach haben alle SAS-Controller mit über 8 Ports das Flaschenhals-Problem bei denen ist der/die Expander bloß schon auf dem Controller-Board mit drauf, aber letzten Endes sind die Controller mit mehr Ports ohnehin durch den PCIe-Slot limitiert der meist nur mit 8*2.5G läuft.


Kurz zur Verdeutlichung wie das bei mir jetzt eingebaut:
ja wo isser denn

mit Kühlung davor

da is noch ordentlich Platz


Die blinkende orange LED(s) kommt(/kommen) wenn man bei einer (oder mehreren) HDDs die im Expander stecken den Identify-Haken setzt.

 

[Snoopy69]

Hat jmd zufällig auch Raid 6 mit 4TB netto?
Ich würde gerne einen Vergleich starten wie lange ein Rebuild bei einer abgezogenen HDD dauert.

Falls jmd Lust hat - ich bin dabei...