[Sammelthread] AMCC 3ware 9650SE PCI-e RAID-Controller (+ Kurz-Review)

[Snipa]

Verdammt ... seit gestern funktioniert mein Controller nur noch zur Hälfte. Das alte Problem, was ich für ein Netzteil- und Stromproblem hielt, ist wieder da. Es findet nur noch die Platten an den Ports 1-8. Etwa 30 mal neu booten nützte nichts, egal ob durch Reset oder Power Off durch Gedrücktlassen des Buttons. Habe schon alle 7 HDDs am MoBo und alle optionalen Lüfter vom Strom genommen, sowie die beiden potenziell betroffenen SFF-8087-Kabel ersetzt.

Ist mein Controller kaputt?

Ich sehe zZ nur noch 2 Lösungen:
-Kurzfristig mit Screenshots rausfinden, welche Platten in welchem RAID sind (2x RAID6 mit je 7 HDDs und noch 2 Single Disks) und nur noch 1 RAID und 1 Single Disk auf einmal in Betrieb nehmen.
-Langfristig neuen Controller besorgen

 

[EselMetaller]

Ich würde an Deiner Stelle mal:
1. herausfinden, welches die 8 HDDs sind, die erkannt werden
2. die beiden dazugehörigen Multilane-Kabel an die Controller Anschlüsse für die Ports 9-12 und 13-16 anschliessen

- wenn die HDDs dort erkannt werden weisst Du automatisch, dass es ein Stromproblem bei den anderen HDDs gibt (wackelige Molex Steckerchen / Netzteilkabel, ...)
- wenn das nicht funktioniert sind wohl die entsprechenden Controllerports kaputt

 

[susannnnne]

@Snipa.... bei ebay gibts grad die 24m8 für ca. 160 euro...

 

[GameCollector]

Entweder ein Kabel, Port oder Netzteilproblem. Versuch mal durchzutesten was dir möglich ist.

 

[Snipa]

Habe weitere Tests gemacht.
Kabel sind es nicht (SFF-8087 umgesteckt)
Strom isses offensichtlich auch nicht.

Fazit: es liegt wirklich an Port 3 und 4 (Phy 8-15) auf dem Controller. Früher fand es die auch ab und zu nicht und ich habe den Bootvorgang neu gestartet und es fand dann alle Platten. Ich ging von Überlastung des Netzteils aus und habe vor einem Jahr erstmals in den Settings beim Staggered Spinup reingeschaut. Da war 1s eingestellt und ich habe auf 3s geändert. Dann ging es wieder ganz gut bis gestern. Jetzt findet es nur noch Platten an Phy 0 bis 7, egal wie und wieviel mal ich neu boote

susannnne: danke, aber etwas mit Garantie und Support wäre mir lieber

 

[susannnnne]

garantie und support... aehm.. für 160€ .... da kosten ja die kabel regulär mehr

 

[GameCollector]

kannst ja mal Lötpunkte der Platine mit einem Fön etwas anwärmen (also die um die Ports) und dann nochmal testen ob was erkannt wird.
Dann weisst du ziemlich genau, dass du einen neuen Controller brauchen wirst.

 

[dany28]

Die Frage gehört zwar nicht ganz in den Thread, aber ich hoffe mal auf Hilfe. Wir haben hier einen etwas älteren Server in dem ein alter Rocketraid 1820 seinen Dienst verrichtete. Dieser gab seinen Geist auf und wurd, nmangels schneller Beschaffungsmöglichkeit durch einen 3ware 9550SXU-8L (PCI-X) ersetzt. Wechsel hat super geklappt und nun laufen fünf Seagate 80GB als Raif fünf und eine Platte schlummert als Spare im System.

Interessanterweise mach das System alle zwei Tage einen Verify, der jedesmal ohne Fehler beendet wird und eigentlich auch ohne erkennbaren Fehler ausgelöst wird. Gerade wieder:

Nov 05, 2014 12:01:10AM - Controller 0 NFORMATION - Verify started: unit=0

Nov 05, 2014 12:37:24AM - Controller 0 INFORMATION - Verify completed: unit=0

Jemand eine Idee, warum der Controller so reagieren könnte?

lg

Dany

 

[Maniac81]

Ich hab mir einen 24M8 aus der Bucht geschossen. Sollte ich zwingend noch eine BBU kaufen, oder reicht hier die USV (APC USV Back UPS Pro 1500) aus?

 

[GameCollector]

@dany28
Ist normal.
Musste im Webinterface deaktivieren oder legst halt das Verify auf Sonntagnacht o.a.

@Maniac81
Ja USV geht auch. Musst dich dann halt entscheiden ob du den Write Cache aktivierst oder aus lässt (musst dann ggf. das Performance Profil wählen),
sonst lässt er den Write Cache nicht aktivieren. Ohne Write Cache haste halt nur ca. 20MB/s Schreibrate.

 

[EselMetaller]

Sollte ich zwingend noch eine BBU kaufen, oder reicht hier die USV (APC USV Back UPS Pro 1500) aus?

Eine USV schützt nur bei einem Stromausfall, jedoch nicht bei einem Systemcrash.
Die BBU des Controllers hält die Daten, die sich zum Zeitpunkt eines Ausfalls im Cachespeicher des Controllers befinden, "am Leben" sodass sie beim nächsten ordentlichen Start auf die HDDs geschrieben werden können.

Für die 9650er Serie sind die BBUs nicht so teuer, daher rate ich auf jeden Fall dazu.
Tipp: es gibt zwei Varianten, ein Modul zum direkten Aufstecken auf den Controller und eines welches auf einer Erweiterungskarte sitzt und durch ein Kabel mit dem Controller verbunden ist.
Zweitere Variante lässt dem Controller mehr Luft was ganz gut ist, denn der Minikühler wird im Betrieb (ohne extra Kühlung) auch so schon verdammt heiss.

 

[GameCollector]

@EselMetaller
das stimmt natürlich. Habe deswegen auch BBU und USV im Einsatz.

 

[Maniac81]

Danke für die Info. Dann muss noch eine BBU her.

 

[HardwareFreaky]

hab mal ne frage.
ist staggered Spin Up standart Aktiviert oder muss ich erst ohne HDDs Starten und es Aktivieren.
Frag da mein Thin-ITX Board es evtl. nicht Verkraftet wenn es ohne startet.

 

[EselMetaller]

hab mal ne frage.
ist staggered Spin Up standart Aktiviert oder muss ich erst ohne HDDs Starten und es Aktivieren.

die HDDs müssen das Feature unterstützen

You can set the number of drives that will spin up at the same time and the
delay time between drive group spinups. Three policy settings let you set the
number of drives that will spin up at the same time and set the delay between
drive groups that spin up at one time.
Not all drives support staggered spinup. If you enable staggered spinup and
have drives that do not support it, the setting will be ignored. You can change
these settings in 3BM or using the CLI

Frag da mein Thin-ITX Board es evtl. nicht Verkraftet wenn es ohne startet.

im Datenblatt der HDDs sollte auch irgendwo der Startup-Stromverbrauch stehen.
Bei 3,5" HDDs sind das idR ~15 Watt um den großen Daumen rum.
Ältere HDDs und Server HDDs ziehen nochmal deutlich mehr.

Mit einem 16er Array aus Samsung Spinpoint 500GB Platten hatte ich mir "damals" mal (ohne staggered Spinup) ein 1KW Netzteil geschossen

 

[Digi-Quick]

JEIN!
SATA Platten unterstützen Staggered Spinup von Haus aus, wenn Sie den "richtigen" Stromstecker bekommen, bei dem PIN 11 unbeschaltet ist (was vermutlich bei keinem Netzteil der Fall sein dürfte und erst durch den Einsatz von einer entsprechenden Backplane möglich ist.

weiitere Infos hier:
http://www.hardwareluxx.de/communit...nierung-bei-30-hdds-1005041.html#post22472542

 

[yetisports]

Kurze Frage: Kann man bei Migration den Rechner auch mal herunterfahren, sodass es dann beim Neustart von alleine fortgesetzt wird? Bei Verify geht es ja so.

 

[Jamma]

Ja kann man, habs bei mir vor ein paar Monaten (im September) gemacht und mein Raid 5 von 3 auf 4 Platten erweitert und migriert.
Dabei hatte ich den PC zwischenzeitlich auch mal aus, das klappt also, solltest aber trotzdem auf jeden Fall ein Backup der Daten haben!

 

[kekz_]

Hallo zusammen,

ich nutze seit einigen Jahren einen 3Ware 9650SE-8LPML mit 6x Hitachi HDS5C3020ALA632 (2TB) im Raid5. Nachdem die Garantie der Laufwerke inzwischen abgelaufen ist und eines in letzter Zeit durch fehlerhafte Sektoren und Geräusche negativ in Erscheinung tritt, möchte ich gern den Plattensatz austauschen.
Mit der 4.10.00.027 Firmware werden ja offenbar diverse Platten größer 2TB unterstützt. Ich plane zunächst 4x4TB HDDs einzusetzen.

Bloß welche?
Mit den 4K Sektoren scheint der 9650 ja klar zu kommen. Ich vermute wegen der 512 Emulation? Legt man diese zuvor über nen Jumper fest?
Gibt es Erfahrungswerte, welche 4TB Platten gut funktionieren oder auch gar nicht oder nur mäßig gut funktionieren?
Gibt es weitere Kriterien zu beachten, die das neue Laufwerk erfüllen muss?

Danke vorab.

 

[GameCollector]

@kekz_
Emuliert heisst, es sind die normalen HDDs die du kennst.

Die nativen 4kn Platten sind bis jetzt nur diese hier:
http://geizhals.de/?cat=hde7s&xf=10...6Gb/s~3772_3.5~1654_4KB+Sektoren+nativ#xf_top

@topic
habe in meinem 9650SE Array seit einiger Zeit probleme mit einer Platte (hatte 3 Rebuilds in den letzten 4 Monaten).
Wie ist das mit einem Verify, bringt das was oder prüft der nur auf Dateiebene oder Parität (bei Raid5)?
Nuja hab mal ein Verfiy gestartet, steht aber nun schon einige Sekunden auf "paused". Jemand eine Ahnung, was da los sein könnte?

 

[susannnnne]

@kekz_: siehe oben.... wd red 6tb und die hitachis 4tb nas... laufen problemlos...

 

[GameCollector]

Zur Info: Verify abbrechen und noch einmal starten, hat geholfen.

 

[yetisports]

Hab einen Raid6-Verbund mit 8 Platten. Da ich ein paar Platten davon demnächst in einen 5-Slot-Wechselrahmen von RaidSonic umziehe, da diese bisher nur notdürftig im Gehäuse liegen, stellt sich mir die Frage, ob man genau darauf achten muss, welche Platte an welchem Port war. Oder wird die Unit am Controller erkannt, solange wieder alle Platten angeschlossen sind und die Portwahl ist egal?

Array Roaming. The process of from a controller and putting it back
either on the same controller, or a different controller, and having the unit
recognized as a unit. You can attach the disks to different ports without
harm to the data.

Die Beschreibung aus dem User Manual verstehe ich zumindest so, dass die Reihenfolge egal ist. Würden bei einer anderen Reihenfolge die Daten umsortiert werden? Das würde ich ja eher vermeiden wollen und mir dann lieber die Reihenfolge merken.


EDIT: Habe nun mal einfach testweise das Sata-Kabel zweier HDDs vertauscht. Reihenfolge ist nun nicht mehr 4,5,...,10,11 sondern 4,5...9,11,10. Wird also erkannt, so wie ich es erhofft habe. Ist es egal wieviele Kabel/Ports ich tauschen würde oder hängt das vom Raid-Level oder so ab?

 

[EselMetaller]

Reihenfolge ist egal, der Controller erkennt automatisch die Reihenfolge der HDDs und, bei einem Controllertausch, auch das korrekte Raid Array Setup (Raid 5, 6, ..., Stripsize etc.).
Sehr praktisch das

 

[yetisports]

Super Sache . Wobei ich ja dann doch so ein kleiner Perfektionist bin und mich jetzt stört dass die Reihenfolge nicht durchgehend aufsteigend ist. xD
Aber dennoch gut zu wissen.

 

[XN04113]

die 6TB WD60EFRX laufen ja scheinbar problemlos, wie sieht es denn mit den neuen 8TB Seagate aus, die wären Preis/TB sehr interessant ?

 

[Romsky]

Reihenfolge ist egal, der Controller erkennt automatisch die Reihenfolge der HDDs und, bei einem Controllertausch, auch das korrekte Raid Array Setup (Raid 5, 6, ..., Stripsize etc.).
Sehr praktisch das

So viel zur Theorie. Manchmal klappt dies aber leider nicht.

 

[GameCollector]

@XN04113
Wenn du die "8TB Archive meinst" davon würde ich abraten.
1. für Coldstorage
2. nicht RAID geeignet
3. Es sind SMR Krüppel Shingled magnetic recording - Wikipedia, the free encyclopedia

 

[yetisports]

Wie oft führt ihr Verify aus? Ich habe bisher die Standardeinstellung mit der wöchentlichen Überprüfung gelassen, frage mich aber, ob es nicht der Langlebigkeit der HDDs zugute kommt, es nur alle 2 oder 4 Wochen zu machen. Die - in meinem Fall - 8 Platten (Raid6) stehen ja sonst für einen halben Tag unter Dauerbelastung (Verify-Speed auf Maximum).

Hinweis: Die Platten schalten sich nach 15-minütiger Nichtnutzung ab und fahren nur wieder hoch, wenn ich darauf auf meine Multimedia-Daten zugreifen möchte. Im Tagesschnitt arbeiten die Platten also deutlich unter 5 Stunden.

Durch diese Verifizierungs-Tests wurden eben schon dutzende TB im Raid gelesen, obwohl ich dieses Raid erst einen Monat in dieser Form eingerichtet habe. Letztendlich macht die Verifizierung bisher deutlich über 90% des Lesevolumens aus.

 

[EselMetaller]

Frage an die Profis:

ich bastel gerade an meiner Datengrab-Dauerbaustelle und komme nicht weiter.

Setup:
- 9650SE-24M8 als Datengrab (Raid vom alten Server her übernommen, da ist alles eingerichtet und läuft)
neu: 9650SE-2LP für die Boot-HDD und optisches Laufwerk. da das Tyan OEM Board keine onboard SATA Anschlüsse hat.


Wie bekomme ich es nun hin, dass vom 2LP gebootet werden kann?

Problem 1: im Mainboard BIOS unter Bootoptionen zeigt er mir 1x "3ware" an, nicht beide Controller
Problem 2: im 3ware BIOS werden beide Controller angezeigt, aber ich finde keine Optionen, um die einzelne HDD am 2LP Controller als Bootlaufwerk zu markieren o.ä. zudem folgendes Bild im Biosbereich des 2LP:



Hat jemand einen Tipp, wie ich vorgehen kann?