[Sammelthread] AMCC 3ware 9650SE PCI-e RAID-Controller (+ Kurz-Review)

[DoubleJ]

Hm, also ich setze fürs RAID immernoch auf 1 TB Laufwerke und habe auf absehbare Zeit auch nicht vor das zu ändern. Und selbst wenn, wäre der nächste Schritt wohl eher 1,5 TB pro Platte.

Laufwerke >2 TB wurden außerdem noch nichtmal angekündigt.

Ich habe nichts dagegen wenn man ein bisschen in die Zukunft plant (mache ich auch), aber an manchen Stellen kann man es auch übertreiben
Ob diese Grenze eine Rolle spielt, sollte jeder für sich selbst entscheiden.

Vielen dürfte es bei einem RAID wohl auch eher um die Datenverfügbarkeit und bei einem Hardware-Controller um die Geschwindigkeit gehen als darum, stets die größten Laufwerke dranzuhängen.

 

[Der Iltis]

Für nen RAID 10 ist nen dedizierter Controller eigentlich fast Overkill, dafür brauchts imho kein Controller mit XOR; ich würd das eher über nen Softraid regeln.

Kannst du mir das ein bissle näher erklären ?
Ich hab da nicht so viel ahnung.

Ich dachte halt, da ich nem raid 5 irgendwie nicht ganz traue, ist raid 10 kompromis aus hoher Sicherheit und Geschwindigkeit.

btw. hat jmd. Erfahrung bei nicht Server Mobo's, da meins so eines ist, und mir jmd. gesagt hat das es da auf dem PCIe Slot zo Probs kommen kann (erkennung).

gruß Iltis

 

[orpheus88]

Also ich hab nen Asus P5Q-EM was ein HTPC-Board mit Onboard-Grafik ist und im einzigen Full-Size-PCIe-Port läuft (und funktioniert) der Controller. Du kannst ja mal auf der 3ware-Seite in die MB-Kompabilitätsliste kucken ob deins da steht (meins steht da auch nicht), aber im allgemeinen gibts mit den 3wares weniger Probleme als mit nem Perc5i oder ähnlichem.

 

[orpheus88]

Ich hatte gestern die glorreiche Idee mein RAID-5 von 6 Festplatten auf 8 Stück zu migrieren das dauert auch nur etwas über 40min.....
...pro Prozent-Punkt. Am 09.11.2009 21:22 isser fertig wenn Excel richtig gerechnet hat.

 

[underclocker2k4]

Ja und? Ist doch normal. Weißt du was der da zusammenrechnen muß?
(Man kann eigentlich froh sein, dass Controller das heutzutage können. Ne RAID Erweiterung war nen früher nen Krampf.)

 

[orpheus88]

Bei sowas wäre es eigentlich wieder cool wenn er die CPU mit benutzen würde, da könnte man wenigstens Einfluss nehmen wie lange er braucht, aber so rechnet er stur alles alleine und läuft über 3 Tage lang am Stück und verbraucht Strom und lässt mich nicht an meine Daten (ich komme schon dran, aber dann gehts gar nicht voran). Aber naja macht man ja glücklicherweise nicht so oft.

 

[Fubbel]

Hallo Leute,

habe seit neuem den 3ware 9690-8i. Dazu ein P5Q Deluxe Board.
Hat von euch jemand auch eine solche Kombi? bzw. setzt einen anderen 3ware auf dem P5Q Deluxe ein?

Das P5Q Deluxe besitzt 3 PCI-Express x16 Slots. Ich muss sagen mittlerweile bin ich froh das ich das Deluxe habe mit 3 x16 slots.
Im ersten hab ich die GraKa drin. Zum Test war dies eine X500 oder X550. Nicht mehr ganz sicher. Der 3ware Controller läuft in dieser Kombi allerdings nicht im zweiten PCI-Express Slot.
Im dritten PCI-Express slot läuft der Controller. Allerdings auch nur auf 4 Lanes statt auf 8.
Weitere Array Tests habe ich bisher nicht durchgeführt.... Also derzeit nur geschaut das ich ins 3ware Bios komme.

Hätte den Controller eigentlich gern im zweiten Pci-Express slot auf 8 Lanes laufen. Dieser slot ist allerdings (wie so oft) für Crossfire gedacht.
Besteht die Möglichkeit das es mit einer Crossfire fähigen Grafikkarte funktioniert? Oder eventuell mit einer Nvidia Karte?

Achja sobald der Controller im zweiten PCI-Express Slot hängt habe ich kein Grafiksignal mehr auf dem Monitor. Irgendwie sieht es so aus wie wenn das Board richtig hochfährt, allerdings lässt es sich durch einmal drücken den Power Knopfes nicht ausschalten. Daher nehme ich mal stark an das die MB Platine nicht richtig hochfährt oder eventuell die GraKa nicht mehr erkennt. Oder aber den Controller irgendwie als Graka einsetzen will...

Jemand eine Idee? Oder kennt jemand schon das Problem?

danke für euere Anregungen.

mfg

 

[orpheus88]

Also ich hab ein P5Q-EM (G45 also Onboard-Grafik) mit einem x16 Slot und 2*x1er. Mit meinem alter x1-RAID-Controller hatte ich auch arge Probleme den in den x1-Slots einzusetzen (kein Boot oder mittendrin aufgehangen) der lief nur im x16-Slot und in dem hab ich jetzt auch meinen 3ware laufen (keine Probleme soweit).

Du könntest mal versuchen die Grafikkarte im dritten Slot laufen zu lassen und den Controller dann in 1 oder 2. Eine andere Grafikkarte wird an dem Problem nichts ändern das ist ein Board-Problem.

 

[Fubbel]

danke für deine Antwort.
hab das gestern probiert. Leider ohne Erfolg.

Die GraKa läuft in keinem anderen x16 Slot. Das Gerät lässt sich zwar mit einmal drücken ausschalten allerdings habe ich kein Signal auf dem Monitor. Schade eigentlich.
Sobald ich meinen alten Server mal abschalte hole ich dort die X800 raus und probiere das ganze mal mit dieser.

 

[Der Iltis]

Hallo,

wollte nur mal bescheid sagen, das der Einbau und Inbetiebnahme SUPER geklappt haben. Hab mir allerdings den 8 Port Controller geholt .

Hab jetzt allerdings das problem das ich nach dem verschlüsseln ders 3,6 TB Raids mit truecript, das Device nicht mounten kann ubuntu meckert dann rumm von wegen Kernel bla blub und max 2TB. (sorry bin gerade nicht zu hause und hab die meldung nu nicht vor mir ^^)
Ich kann mir schon vorstellen das das eventuell an der GUID (GPT) partitions- tabelle liegt nur hab ich keine ahnung wie ich die bei / vor der verschlüsselung mit truecript einstelle.
Vor der Verschlüsselung in der Datenträgerverwaltung hat nichts gebracht und hinterher gehts nimmer da ich das laufwerk auch unmounted nicht einbinden kann.

Hoffe jmd kann mir helfen.

 

[orpheus88]

Also unter XP64 musst(/solltest) du so vorgehen:
- in der Datenträgerverwaltung initialisieren
-- auf GPT konvertieren
-- eine Partition erstellen (ohne Datei-System und ohne Laufwerksbuchstaben)
- in Truecrypt die Partition komplett formatieren
-- warten
-- fertsch und freuen

GPT müsste Ubuntu aber eigentlich auch beherschen.

 

[orpheus88]

Gibts es eigentlich Erfahrungen mit SAS-Expandern (und dem 3ware) ?

Ich brauch zwar derzeit keine zusätzliche Kapazität, aber in einem halben Jahr sieht das sicherlich wieder anders aus. Von dem was ich bisher gefunden hab gefallen mir die Intel Expander-Backplanes am besten. Von Chenbro gibts auch recht interessante, allerdings haben die immer bloß einen Mini-SAS-Eingang.
Intel Hot Swap Wechselrahmen 6x SAS/SATA (AXX6DRV3GEXP) (auch erhältlich für 4 Festplatten)
Allerdings habe ich bisher nichts zur Kompabilität zum Controller gefunden und zuverlässige Größen-Angaben genausowenig.

 

[Pitt]

Mit SAS Expandern hab ich keine Erfahrung.

Ich habe mit meinem 3ware 9650SE-8LPML ziemliche Probleme, seit ich eine BBU installiert habe. Die Platine der BBU verdeckt den Kühler,
zwischen Platine und Kühler sind noch ca. 3mm Platz.
Somit muss ich mit einem 80er Krawall Lüfter genau in den Spalt blasen, da der Controller sonst zu warm wird und Platten droppt.

Wie könnte ich das lösen?

 

[orpheus88]

Welche BBU hast du denn 3 oder 4 ? (deine Karte steht bei beiden)
Die BBU-4 hat ein Kabel und eine Karte/Slotblech womit man sie recht flexibel platzieren kann (sorry hab selber keine kenne nur das Bild), aber auch für die BBU-3 gibts diese Karte zum nachrüsten (laut 3ware-Web-Shop).

 

[Fubbel]

Hi,

konnte mir leider kein richtiges Bild des Intel Teils machen. Ist das nen Hotswap Rahmen oder wirklich auch gleich ein Expander??

Meine Kenntnisse beziehen sich auf den 9690SA Controller.
Soweit ich weiß und wie mir das vor ca. 3 Wochen vom 3ware Support mitgeteilt wurde unterstützt 3ware wohl nur SAS HDD's über den Expander und keine SATA.
Wundern tut mich allerdings das in der Drive Compatibility List eine WD mit SATA Schnittstelle drin ist die eine Markierung trägt. Unten wird erklärt das eine bestimmte Firmware verwendet werden muss für ein Expander. Keine Ahnung so recht was da nun stimmt. Ich glaube erst dran wenn das jemand explizit getestet hat das SATA mit Expandern läuft.
Achja manche Expander unterstützen wohl nur SAS. Man muss wohl darauf achten das der Expander SAS und SATA macht. Ob es da nochmals Probleme mit HDD's geben kann keine Ahnung.
Habe recht neu einen 9690SA Controller. Die HDD's laufen in einem SAS/SATA HotSwap Rahmen. Ziemlich praktisch das Teil. Ist ein 3 Port der 2 5 1/4 Zoll belegt. Gibt den auch als 4 Port. Belegt dann allerdings 3 Schächte. Hab derzeit 2 von den 3er verbaut. Falls ich noch einen brauche baue ich den ein. Preislich macht es fast nichts aus ob 2x 4 Port oder 3x 3 Port. Laut ist der Rahmen aber. Vom Lüfter her mein ich.

Bezüglich der BBU. Generell wird es schon empfohlen die BBU mit der extra Slotblende festzumachen. Würde ich auch jedem empfehlen. Die BBU an den Controller zu klippen hat mir noch nie gefallen. In einem 19 Zoll Gehäuse bei dem sowieso zig Lüfter laufen und mit 3000rpm oder mehr drehen ist es recht egal wie die BBU verbaut wird. Da zirkuliert ja genug Luft.

Bezüglich meines Problems mit dem P5Q Deluxe habe ich keine Möglichkeit gefunden den Controller im ersten oder zweiten Grafikslot zu betreiben. Der läuft nur im dritten Slot und somit auf 4 Lanes. Habe es statt mit der X550 mit einer X800 und einer Geforce 9500 probiert. Jede Möglichkeit mit Slot (Controller und Grafik in jedem Slot getestet) ausgeschöpft. Werde den Controller somit auf 4 Lanes betreiben.

Habe hier bei mir ein Debian 5 lenny laufen. habe ebenfalls eine 2,7 TB Partition. Als GPT ging das. Anderst habe ich es erst gar nicht probiert. fdisk schlug bei mir allerdings fehl. Partition war immer nur 2 TB groß. Hab es zum Schluss mit parted gelöst.

Habe an dem 9690SA Controller WD Caviar Green Power WD10EADS laufen. Mir scheint es allerdings fast so als ob diese nicht recht laufen wollen auf dem Controller. Hab bei WD mal eine Support Anfrage zwecks Erfahrungswerte und eventuellem FW Update angefragt.
Muss das ganze aber noch weiter testen und werde nochmals bescheid geben ob die Greens sauber laufen. Vorerst sollten User die das lesen aber erstmal keine Greens verwenden.

Achja was mir gerade einfällt. Wer ein Raid6 möchte. Normalerweise braucht man hierfür 4 HDD's. Beim 3ware Controller braucht man allerdings 5 HDD's dafür. Auch laut Support. Mit 4 HDD's konnte ich aber auch kein Raid6 anlegen. Mit der 5ten konnte ich das bisher noch nicht testen.

mfg

@Pitt
Eventuell kannst du die BBU einfach wo anderst festmachen? Ohne das Slotteil. Ist ja egal wo und wie die BBU festgenmacht ist. Wenn die mit Kabelbindern am Gehäuse oder wo anderst hängt ist das der BBU ja egal. Nur das Kabel muss halt noch reichen.....
Ganz generell würde ich aber keinem empfehlen einen 3ware komplett passiv zu betrieben. Den 9650 und den 9690 nicht.
Meinen 9650 bestrahle ich mit einem 120er Lüfter von der Seite. Dümpelt mit 600rpm rum. Macht aber schon recht viel aus von der Temperatur.
Der 9690 wird heißer. Der ist genau über dem Netzteil bei mir (NT ist unten verbaut.). Da der größere Kühlkörper vom NT aber nicht mehr richtig gekühlt wird habe ich einen 40x40 Lüfter darauf angebracht. Irgend so ein billig Teil was ich gefunden habe. 12V macht Krach, Controller dafür aber super kühl. 7V würden auch reichen. Bei 5V ist der Lüfter nicht mehr angelaufen.

 

[orpheus88]

Ich hab bei mir nen runtergeregelten 120er YateLoon in der Seitenwand der auf den 9690 pustet und das scheint mehr als ausreichend zu sein. Warum er für RAID6 jetzt 5 PLatten braucht hm wer weiß vielleciht denken sie das die Leute mit 4 Platten auch einfach RAID10 oder so nutzen.

Also das Intel Teil hat definitiv nen SAS-Expander drin der hat auch nur 2 SAS/SATA-Anschlüsse an der Rückseite, allerdings sind das halt keine 5.25"-Teile sondern für ein spezielles Server-Case gedacht, deshalb hatte ich wegen der Größe gefragt.

 

[orpheus88]

Ich versuch seit 2/3 Tagen einen manuelles Verify meines RAID-5 duchzuführen, allerdings kommt dann immer bei 74% die Meldung (bei den Alarms)

INFO : Nov 28, 2009 07:41:48 AM: Controller 0: Verify paused: unit=0
ERROR : Nov 28, 2009 07:41:48 AM: Controller 0: Verify failed: unit=0
INFO : Nov 28, 2009 02:16:05 AM: Controller 0: Verify started: unit=0

und im Unit-Status steht die ganze Zeit

VERIFYING 74% (active)

Laut Hilfe zu Verify failed

When a verify fails, redundant units will automatically resynchronize user data through a background initialization. The initialize will not erase user data, but will recalculate and rewrite user parity data.

Also ich seh da nix von Background Initialization und dem Stromverbrauch nach zu urteilen sind die Platten auch nicht am arbeiten.


Gelegentlich bekomme ich auch während der Verify-Prozess läuft

WARNING : Nov 27, 2009 09:16:14 PM: Controller 0: Sector repair completed: phy=1, LBA=0x81E76080

bisher immer bei der gleiche Platte, aber heute auch mal von ner anderen. In den SMART-Daten haben aber alle Platten 0 wiederzugewiesene Sektoren (die haben auch e5rst 250-450 Betriebsstunden).

 

[susannnnne]

@pitt:

bbu mit ner usv ersetzen...

 

[Fubbel]

@orpheus88
hmm komisches Problem. Würde ich direkt mal bei 3ware anfragen.
Kann es eventuell sein das deine HDD's mit dem Controller zusammen nicht richtig laufen?
Ich hatte auf einem Server 2003 Standard mal das Problem das bei verify immer 0% stand und der auch keinen Verify mehr gemacht hat. Da kam allerdings nicht die Fehlermeldung im Log. Updates für den Server und neuen Treiber für den 3ware haben das Problem damals behoben. Das war aber auch nen 2 Port 8006 PCI-X Series Controller.

Ich selbst mirgriere grad mein Raid5 auf Raid6. Mit den WD Caviar Greens. Einee HDD hat er bereits rausgeworfen. Migriert aber fröhlich weiter. Vermutlich wir das Raid dann hinterher ein degraded Raid6 sein. Die HDD die er rauswirft war zuvor in meinem externen Gehäuse. Vllt hat diese ja wirklich einen defekt. Werde berichten ob die Greens bei mir sauber laufen. migrate wird aber noch dauern. Hat nach 24h ca. 25% geschafft

mfg

 

[orpheus88]

Welche Greens nutzt du?
ja das migrieren zieht sich echt hin

 

[orpheus88]

Die Platte bei der der Controller ab und zu den Sector Repair gemeldet hat hab ich jetzt mal rausgenommen und lowlevelformatiert.
Danach hab ich die Platte wieder reingesteckt habe und den Rebuild angestoßen und tada bei 76% ist das Rebuild failed und pausiert
Habs dann nochmal mit aktiviertem Hardware ECC gestartet (also die Option bei der etwaige Fehler beim Rebuilden ignoriert und naja failed und paused bei 84%

 

[SBUser]

hatte bei mir ein ähnliches Problem. Bei meinem Raid5 hat erdamals im Verify bzw. kurz danach immer eine Platte rausgeschmissen und das obwohl die laut smart vollkommen ok ist. Auch formatieren hat da nichts geholfen.
Meine konsequenz war: Ich habe einfach das auto verify abgestellt und das problem darauf zurück geführt, dass es sich bei meinen Platten um keine echten Raidplatten handelt und die Platte somit wohl zu lange für den Controller braucht bzw. nicht schnell genug auf repair anfragen reagiert. Naja und was soll ich sagen toitoitoi bis jetzt laufen die Platten seit ca. 4 Monaten ohne Probleme.

Das dies sicher nicht die optimale lösung ist, weiß ich auch. Aber da ich eh ein Backup habe, ist mir das verify nicht ganz so wichtig.

 

[orpheus88]

Hab jetzt mal die fragliche Platte ganz aus dem RAID rausgenommen und das Rebuild mit einer meiner alten Seagates gestartet und es ist komplett durchgelaufen. Da nachfolgende Verify lief ebenfalls ohne Probleme.

Ansonsten liefen die Samsungs ja auch alle ordentlich aber nach 2 Rebuilds (durch eine Samsung die kaputt angekommen ist und ausgetaucht wurde) und der Migration von 6 auf 8 Platten dachte ich mir wäre ein Verify vielleicht nicht verkehrt. Werd ich die Samsung wohl einschicken/umtauschen müssen.

 

[Fubbel]

Hi,

habe die WD Caviar Green. WD10EADS glaube mit 32MB Cache. Müsst ich schauen wegen der Cache Größe.
Raid hat er komplett migriert und ich habe nochmals 2 mal Verify angestoßen. Ging ohne Probleme. Das Raid ist derzeit aber degraded da beim migrieren ja eine Platte rausgeworfen wurde. Denke mal das die einen defekt hat. Bin aber bisher nicht dazu gekommen diese zu prüfen.

Also das ist mittlerweile mein 2ter 3ware Controller für den privaten Einsatz. Der andere ist ein 9650 Series 4 Port Controller. An dem habe ich 4x 500GB Seagate Barracuda (Auch Desktop HDD's). Den Controller habe ich seit ca. 1,5 -2 Jahre und der macht jede Woche einmal einen Verify. Hatte bisher keine HDD die rausgworfen wurde die nicht auch wirklich defekt war.
Kenne das Problem allerdings das dies mit non-RE HDD's passieren kann.

Meine 9690 und WD Kombi habe ich noch nicht so lang. Würde nach meinen bisherigen Tests aber sagen das diese auch problemlos laufen werden. Bisher war es immer die gleiche HDD die rausgeworfen wurde. Anfangs hatte ich so meine Zweifel mit einem Defekt. Denke aber das diese wohl nicht ganz ok ist, da es auch immer nur die war bisher.

Samsung kann man auch direkt zu denen schicken normalerweise. Geht auch recht schnell. Konnte mich bisher nicht beklagen.

mfg

 

[SBUser]

Mag sein, komisch ist halt nur, dass bei mir ohne verify seid 4 monaten nichts mehr war. Und vorher hat sich eine platte öfters mal verabschiedet, bzw. wurd rausgeworfen und gleich nachdem ich sie ab und wieder angesteckt habe neu erkannt und ich konnte ein rebuild machen.

 

[TheSane]

Hat jemand bereits mal Samsung F2 1,5TB Platten im Raid ausprobiert an dem 3Ware 9650er Controller? Habe derzeit noch dei F1 1TBler dran, muss aber wegen Platzmangel aufrüsten. Danke fürs Feedback.

 

[USS Enterprise]

Hi,

Ich hab derzeit Probleme mit dem Raid Controler seit ich das letzte Firmware Upgrade aufgespielt habe häufen sich bei mir (0x04:0x0023): Sector repair completed: port=3, LBA=0x77CDFD19 worauf natürlich weis dann das folgt (0x04:0x0002): Degraded unit: unit=0, port=3 folgt.

Rebuild und alles andere läuft danach fehlerfrei duch die Überprüfungen danach zeigen auch keine Fehler nur das Problem tritt bei mir in den letzten 7 Tagen schon das zweite mal auf bei verschiedenen Platten weswegen ich etwas das Firmware Update als Problem vermute.

Hat jemand ähnliche erfahrungen gemacht? bzw ist es Problematisch wieder auf eine ältere Firmware zurück zu gehen?


@orpheus88 das VERIFYING 74% (active) hängt bei mir auch ewig bei 74 % allerdigns springt es von 0 auf 74 und macht dann ewig nicht weiter schließt dann aber erfolgreich ab welche Firmware hast du derzeit drauf?

 

[orpheus88]

Die aktuelleste Firmware für den 9690.

Bei mir lag das Problem wohl an einer der Samsung-Platten seit ich die eine rausgenommen hab und mit ner alten Seagate rebuilded läuft alles problemlos (auch Verify).

 

[Kampfwurst_Hugo]

Hallo

Ich habe einen 3ware 9690SA und bei mir kommt immer wieder mal die Meldung ( Warnung )das eine Platte ein Problem hat. ( Timeout )

Habe die Platte schon gegen eine neue ausgetauscht aber da passiert das gleiche. Habe auch schon ein anderes Model eingebaut.

Habe ein Raid 6 mit der 2 F1 Samsung Platten, 3 Segate und einer F3 Samsung Platte. Ich kann mit dem Timeout leben so lange das kein Problem mit der Sicherheit des Raid 6 gibt.

MFG Christoph

 

[orpheus88]

Ja das sind halt keine RAID-Platten das passiert schon mal, aber nach ner kurzen Suche findet er sie im Allgemeinen wieder.