[Sammelthread] AMCC 3ware 9650SE PCI-e RAID-Controller (+ Kurz-Review)

[6sic6]

Beim Autocarving macht der 2TB Blöcke, musst du abschalten.

Ahh super jetzt klappts....muss Ich sonst noch was Einstellen...wenn Ich schon dabei bin...
Im Windows muss Ich doch jetzt "nur" noch "Neues einfaches Volume..." anlegen und gut ist oder !?

Mfg
6Sic6

 

[Kampfwurst_Hugo]

ich habe den 9690SA mit 5x 3TB WD Red im Raid 6 und bei mir läuft das Raid nur schnell wenn ich NCQ deaktiviere. Keine Ahnung wieso. Mit NCQ komme ich auf ca 50MB/s lesen ohne geht es bis auf 300MB/s.

 

[Daemoon]

Hallo zusammen, seit Wochen lese ich jetzt schon im Forum und in diesem Tread. Erstmal dickes Lob was ihr hier schon zusammen getragen habt. Ich hab mir auch deswegen einen 3ware 9650se-8lpml geholt. Bestückt habe ich den kleinen mit 8 mal 4TB Platten von Seagate. Das ganze läuft auch super, Raid 5 und Raid 6 Performance ist super. Lesen und Schreiben zwischen 400 und 500 MB/s.
Nach dem ich den Controller umfangreich getestet habe und mich damit vertraut gemacht habe, wollte ich das RAID TrueCrypt verschlüsseln und Nutzdaten aufspielen. Leider bricht mir die Schreibrate auf etwa 5MB/s ein. Die CPU sollte laut Benchmark von TC rund 220 MB/s schaffen. Lösche ich das TC Volumen wieder sind die alten Schreibwerte wieder da. Es muss also ein Software oder Einstellungsfehler meinerseits sein. Versucht habe ich die Stripe Size zu ändern. Dazu habe ich die 64K und die 256K initialisieren lassen und dann jeweils die Clustergröße beim Formatieren mit TC angepasst. Die Unterschiede waren messbar, aber ich kam mit keiner Einstellung über 10 MB/s. Leider konnte mir auch der Support von LSI nicht helfe, die meinten, der Controller arbeitet ordentlich, das ist ein Softwareproblem mit TC und wollten mir einen MEGAraid verkaufen. Ach die Einstellung Queueing hab ich auch gespielt, ohne Änderung.
Hat jmd von euch Erfahrung mit dem Controller und TC? Oder eine Idee an was es liegen könnte?

 

[GameCollector]

@Daemoon
Hast du schonmal NCQ deaktiviert/aktiviert? Damit mal rumspielen.

Den LSI Support kannst du bei 3ware vergessen. Die haben es halt dazu gekauft und machen scheinbar nur das nötigste.
Hatte einen 9650SE 4port und einen 8port eingeschickt (wurde mir so vom Support geraten nach Mitteilung der SN).
Der 8port war gerade ein paar Tage aus der Garantiezeit raus.
Habe nur den 4port zurückerhalten und der 8port... das ändert sich jeden Tag,
erst ist er nicht auffindbar, dann doch, dann handelt es sich angeblich um ein ganz anderes Modell,
dann soll ich nochmal Versandkosten bezahlen usw. usw.
geht schon seit 6-8Wochen der Emailverkehr, bisher ohne richtiges Ergebnis.

 

[Daemoon]

@GameCollector meinst du mit NCQ (Native Command Queuing) das "Queuing" unter "Unit Policies (Controller ID 0)"? Wenn ich den Haken lösche oder wieder setzte beeinflusst das den Durchsatz nur marginal.

Im ersten Bild hab ich mit ATTO gemessen (das wurde mir von LSI empfohlen). Die Platte stellt sich gut an. Danach TrueCrypt drauf und siehe da Bild 2 gemessen:

Die Read Performance bricht erwartungsgemäß auf den Wert ein, den die CPU maximal bringt. Bei der Write Performance hätte ich im Verhältnis ähnliches erwartet. Das ist übel.

Das ist auch nicht ohne, Hardware verlieren,... im Unternehmen ich hatte erstmal einen guten Eindruck, haben telefonisch den Fall aufgenommen und dann halt gemeint, der Controller arbeitet laut Logfiles ordentlich. Kann ich irgendwie verstehen, dass sie das abwälzen wollen. Entweder wie du sagst, wegen Zukauf keine Ahnung vom Produkt, oder wollen einfach schnell Fallzahlen bringen. Ich hoff mal du bekommst deinen Controller wieder.

 

[GameCollector]

Ich hab den Controller gerade nicht zur Hand (Remoteserver sozusagen). Meinte native command queuing ja, wie es beim 9650 heisst kann ich gerade nicht sagen.

Mein Eindruck vom Support war ansonsten auch ganz gut, nur scheinbar können die halt nur ihre starren abläufe abarbeiten und ansonsten nicht flexibel reagieren.
Ich hab jetzt schon wieder 1-2 Tage nichts gehört, ich werd ihnen morgen abend eine Frist setzen und dann geht die Sache zum Anwalt.
Aber danke für deine Anteilnahme

Nochmal zu deinem Problem.
Welche Firmware hast du drauf?

 

[Daemoon]

Firmware FE9X 4.10.00.027 und Treiber 3.00.05.058.

Ich hab gerade noch einen interessanten Test gemacht. Bild 1 zeigt die Platte wieder in normalem Zustand:

Jetzt einen TC Container aufgesetzt und den Test wiederholt:

Siehe da es geht. Was ist an einer Partition anders als an einem Container? Das hab ich noch nicht ganz verstanden... jmd ne Idee?

 

[Kampfwurst_Hugo]

vieleicht stimmt das Alignment der Festplatte nicht mehr. Wenn du einen Container anlegst bleibt immer noch das Alignment von NTFS erhalten.

 

[Daemoon]

Ich hab das mal nachgelesen, das Alignment dürfte beim Kopieren großer Datenmengen keine Rolle spielen, also wenn ich es richtig verstanden habe. Leider konnte ich noch keine Lösung finden. Ich werde mal noch ein anderen Typ Raid als 5 und 6 versuchen, ob der Controller überhaupt mit TC klar kommt. Den Controller zu tauschen wäre auch noch eine Option, aber ich glaube nicht, dass das was bringt. Ich meld mich wenn ich ein Lsg habe.

 

[Dual-O]

Hi,

ich habe auch ein RAID5 mit 4x 4TB WD Green und TC
Hab das komplette RAID ist verschlüsselt ... 300MB/s lesen und schrieben!
Vergleich mal deine Einstellungen:

Hier meine Konfig (als Vergleich)
Intel i3 4130T (AES-IN)
Asus H81I-Plus
4GB Kingston RAM

9650SE-4LPML
3DM2 version 2.11.00.021
API version 2.08.00.027
Firmware: FE9X 4.10.00.027





Gruß
Oli

 

[rasensteine]

Hallo und Guten Abend,
ich hatte bezügliches meines Problems hier vor einem Jahr schon einmal gepostet. Leider bin ich noch nicht wirklich weiter gekommen.
So gehe ich nochmals ausführlich darauf ein.

2010 habe ich mir einen neuen PC gebaut.
Motherboard – MSI H55-GD65, CPU i5-661, Graka 9800 gt, 1 TB Start HDD, Raidkarte 9690-8i mit 5 Samsung 1 TB HDD als Raid6, Netzteil Arlt 650 Watt. Windows 7 mit SP1.
Raidkarte Treiber 3.00.05.056, FW 4.10.00.027, 3Dm2 Version 2.11.00.021 und API 2.08.00.027. Der PC war genutzt für Videoschnitt.
Den Raid 6 habe ich 2 Jahre später erweitert auf 6 HDD durch eine WD 1 TB. Alles lief ohne Probleme und ohne Aussetzer.
Letztes Jahr gab es einen neuen PC für Videoschnitt und der I5 wurde umgebaut als Backup Rechner. Bei Ebay habe ich eine gebrauchte 9690-8i ersteigert.
Der Rechner wird nun als Backupstation verwendet mit Raid 6. Dazu kamen 8x 2TB Platten zum Einsatz. Die da wären 6x Seagate ST2000DM001 mit 2 TB , 2x WD Red 2 TB.
Dann fingen die Probleme an. Der Rechner lief nie längere Zeit ohne Rebuild.
Es stiegen in wechslender Reihenfolge Port 4, Port 5, Port6, Port 2 aus mit der Folge eines Rebuilds.
Was bei der Menge immer ca. 1 Tag beansprucht. Der Rechner läuft pro Woche ca. 2 Stunden zum Aufspielen von Daten.
Und wenn dann ca. 1x alle 2 Wochen Rebuild kommt, nicht lustig.
Als erste Maßnahme habe ich die HDDs getauscht.Die Red flogen raus und wurden durch Seagate ersetzt.
Das half nichts. Eine Seagate wurde getauscht, da bei PCHealth nur 96% angezeigt wurde.
Eine andere Seagate habe ich gegen eine ältere Hitachi 2 TB getauscht.
Im Weiteren habe ich die Raid Karte gewechselt (Habe noch 2x 9690-8i am Laufen).
Dann die SATA Kabel getauscht und zu guter Letzt das Netzteil gewechselt. Aktuell ist es ein Seasonic mit 520 Watt.
Dann habe ich die Graka ausgebaut und den Slot gewechselt. Der Rechner läuft mit der internen i5 Graka.
Dies alles führte nun dazu, dass ich der Fehler auf Port 5 konzentriert. Dort habe ich mittlerweile 3 verschiedene HDD’s eingebaut, leider ohne dauerhaften Erfolg.
Jetzt weiß ich nicht wirklich mehr weiter. Es kann sein, das Teil läuft jetzt 2-3 Wochen, dann steigt es wieder aus.
Hatte damals Kontakt mit 3Ware und denen eine Testdatei mit dem Testtool geschickt. Der Support meinte nur, es wäre alles ok.

Hat jemand eine Idee, wie man den Fehler weiter eingrenzen kann oder woran es liege könnte?
Anbei Screenshots des Raid und die letzte Error Log Dat.
Schonmal besten Dank vorab für Hilfe.
Anhang anzeigen errorlog_0.txt

 

[GameCollector]

Schwer dazu überhaupt was zu sagen. Hast ja schon viel hinter dir.
Was ich tun würde:
Du schreibst es fingen die Probleme mit den Seagate HDDs an.
Wenn du die Möglichkeit hast mal andere Platten zu testen, würde ich das tun.
z.B. laufen bei vielen die WD Red sauber an den 3wares.

Also wo genau passieren die Rebuilds/welche Platte kickt er kurzzeitig aus dem Raid?
Nur die Seagates? Oder auch damals die WD Red, bzw jetzt auch die Hitachi?

 

[rasensteine]

Er hat die Red wie auch die Seagate kurz gekickt. Nur die Hitachi lief ohne Probleme. Der Kleine Haken an der Hitachi ist, dass diese 2 Jahren 24/7 gelaufen ist.
Die anderen nicht. (Neuware). Leider ließ sich kein Muster erkennen, warum und weshalb er die Sachen rauswarf.

Schwer dazu überhaupt was zu sagen. Hast ja schon viel hinter dir.
Was ich tun würde:
Du schreibst es fingen die Probleme mit den Seagate HDDs an.
Wenn du die Möglichkeit hast mal andere Platten zu testen, würde ich das tun.
z.B. laufen bei vielen die WD Red sauber an den 3wares.

Also wo genau passieren die Rebuilds/welche Platte kickt er kurzzeitig aus dem Raid?
Nur die Seagates? Oder auch damals die WD Red, bzw jetzt auch die Hitachi?

 

[GameCollector]

Ich kenn das von einem RAID1 (vor einigen Jahren, dort habe ich die Platten getauscht) von 2x Seagate auf 2x WD1000FYPS.
Lief sofort, sonst war nach ca. zwei Tagen immer das Raid Degraded und er war am Rebuilden.
Ausserdem von einem Adaptec 3805 mit 8x3TB WD Red (RAID6). Dort hatte ich das gleiche wie du.
Habe dann den Controller ausgetauscht und die beiden Storages gemirrored
(Areca 1261ML und 3ware 9650SE-24m8 jeweils mit 8x3TB WD Red).
Seitdem läuft es wunderbar.

Da du nur 8x zwei TB Platten hast könntest du es ja mal mit einem M1015 oder Dell Perc versuchen (oder oder oder).
Die sind ja recht billig zu bekommen. Nur würde ich die Daten vorher einmal woanders sichern,
alles neu einrichten und dann die Daten zurückschieben.
Ich weiss, kostet alles Zeit und Geld. Aber irgendwann muss mal solche miesen Fehler mal abschütteln.

 

[rasensteine]

Ich habe das gleiche System mit der 9690 + 8x 2TB auf einem älteren Rechner mit einem E8400 CPU laufen und seit 5 Jahren keine Probleme.
Das ist ansich mein erstes Backup. Auf der Problemmaschine ist das 2. Backup.

Vor einem Raidkarten Tausch war die Alternative auf 7x 3TB Red umzusteigen. 2x Stück hätte ich schon da.
Werde mal auf Ebay suchen. Eher eine Perc 5 oder Perc 6?

Ich kenn das von einem RAID1 (vor einigen Jahren, dort habe ich die Platten getauscht) von 2x Seagate auf 2x WD1000FYPS.
Lief sofort, sonst war nach ca. zwei Tagen immer das Raid Degraded und er war am Rebuilden.
Ausserdem von einem Adaptec 3805 mit 8x3TB WD Red (RAID6). Dort hatte ich das gleiche wie du.
Habe dann den Controller ausgetauscht und die beiden Storages gemirrored
(Areca 1261ML und 3ware 9650SE-24m8 jeweils mit 8x3TB WD Red).
Seitdem läuft es wunderbar.

Da du nur 8x zwei TB Platten hast könntest du es ja mal mit einem M1015 oder Dell Perc versuchen (oder oder oder).
Die sind ja recht billig zu bekommen. Nur würde ich die Daten vorher einmal woanders sichern,
alles neu einrichten und dann die Daten zurückschieben.
Ich weiss, kostet alles Zeit und Geld. Aber irgendwann muss mal solche miesen Fehler mal abschütteln.

 

[Snipa]

Bei Consumerplatten und grossen Arrays empfiehlt es sich generell wegen der "1 in 10^14 URE-Problematik" auf ein RAID6 statt 5 zu setzen. Schau mal nach, ob einer der Percs überhaupt RAID6 unterstützt.

 

[Daemoon]

Hallo alle zusammen, mein Problem scheint behoben. Hier ne kurze Erklärung was ich gemacht hab. Lösungsansatz stammt aus dem True Crypt Forum. Also Bild 1 nochmal ein Bench mit dem Raid einer TC Partition und den mießen Werten:



Die Einstellung im Gerätemanager hab ich gesetzt:



und hatte danach, diese Werte:



Die Werte liegen deutlich unter denen von Dual-o, das liegt einfach an meiner schwächeren CPU. Laut TC Bench kann die E6400 nicht mehr als die fast erreichten 200 MB im AES.

Vielen Dank an der Stelle nochmal an alle.

 

[GameCollector]

Beim Perc 5 ist 2TB pro Platte maximum. Es gibt hier auch nen Thread über die Percs, da bist du dann besser aufgehoben als hier (vermutlich).

 

[rasensteine]

Perc5 können kein Raid5, Perc6 dagegen schon. Die haben haben aber dafür nur 256 MB Speicher.
Die H700 als Nachfolger sind dann wieder sehr teuer. Wie wäre es mit der 9750?

Beim Perc 5 ist 2TB pro Platte maximum. Es gibt hier auch nen Thread über die Percs, da bist du dann besser aufgehoben als hier (vermutlich).

- - - Updated - - -

Wenn ich den auf 8x 3 TB umsteigen Raid 6 sowieso, wie erheblich ist die "1 in 10^14 URE-Problematik" dann Real?
Jeden 2.Tag ein Rebuild? Was machen die großen Firmen, wo es dann um Peta Byte geht?
Denn ob 10^15 oder 10^16 das ist dann auch nicht mehr das Ding würde ich schätzen, da die Datenmenge doch erheblich größer ist.
Und wenn ich ein 16x 3 TB Teil machen, was dann??

Bei Consumerplatten und grossen Arrays empfiehlt es sich generell wegen der "1 in 10^14 URE-Problematik" auf ein RAID6 statt 5 zu setzen. Schau mal nach, ob einer der Percs überhaupt RAID6 unterstützt.

 

[Digi-Quick]

Perc5 können kein Raid5, Perc6 dagegen schon.

Raid 6

 

[GameCollector]

Also ich hab keine Rebuildprobleme mit meinem 8x3TB WD Red.
Wenn du dich etwas einliest in die URE Problemmatik, dann wirst du sehen, dass es in der Praxis, nicht ganz
so übel ist, da die Hersteller der Platten meistens maximal Werte angeben.
Der 9650SE kann ja auch Verifys machen, das geht (auch bei 8x3TB) relativ schnell (einige Stunden).

 

[Kampfwurst_Hugo]

habe 5x3TB WD Red und ebenfals keine Probleme. Davor hatte ich 7x Samsung F1 für 4 Jahr am Laufen. Ebenfals keine Probleme. Habe aber das Verify deaktiviert.

 

[DonSalvatore]

Eine kurze Frage:

Ich bin am überlegen meine alte Controllerkarte zu entsorgen (PCI) und habe heute ein Angebot für die "LSI 3ware 9650SE-2LP" für ca. 70€ gesehen. Lohnt sich der Kauf? Leider kann ich keine Informationen darüber finden, ob auch Platten in der Größenordnung von 3 TB unterstützt werden.

Wäre cool, wenn jemand ein kurzes Statement oder Erfahrungswerte austauschen würde.

 

[GameCollector]

ja 3tb geht. Aber du kannst du 2 Festplatten anschliessen = Nur Raid 1+0

Die Karte 9650SE-2LP geht bei ebay aber für 5-10euro weg.

 

[DonSalvatore]

ja 3tb geht. Aber du kannst du 2 Festplatten anschliessen = Nur Raid 1+0

Die Karte 9650SE-2LP geht bei ebay aber für 5-10euro weg.

Danke für den Tipp. Da selbige bei GH rund 199€ kostet und die nächsten von dem Hersteller erst bei 300+ € starten, dachte ich, dass 50€ schon ein interessanter Preis sind. Taugt die Karte denn sonst? Ich habe auch nur vor 2 Platten anzuklemmen, deshalb passt die Karte eigentlich perfekt.

 

[Snipa]

willst du denn überhaupt ein RAID machen? wenn du kein RAID machen willst, kannst du auch einfach einen HBA (Host Bus Adapter) für 2-4 Platten kaufen. HBA sind billiger als Raidcontroller. ist wie wenn man Platten am MoBo anschliesst.

 

[DonSalvatore]

willst du denn überhaupt ein RAID machen? wenn du kein RAID machen willst, kannst du auch einfach einen HBA (Host Bus Adapter) für 2-4 Platten kaufen. HBA sind billiger als Raidcontroller. ist wie wenn man Platten am MoBo anschliesst.

Ja, soll ein RAID 1 werden. Genauer gesagt möchte ich meine "alte" Promise Fasttrak TX2300 in Rente schicken und bin auf der Suche nach einem Nachfolger. Die oben genannte Karte scheint mir dafür durchaus geeignet.

 

[Alex2108]

Hallo alle zusammen, mein Problem scheint behoben. Hier ne kurze Erklärung was ich gemacht hab. Lösungsansatz stammt aus dem True Crypt Forum. Also Bild 1 nochmal ein Bench mit dem Raid einer TC Partition und den mießen Werten:

Anhang anzeigen 268663

Die Einstellung im Gerätemanager hab ich gesetzt:

Anhang anzeigen 268664

und hatte danach, diese Werte:

Anhang anzeigen 268665

Die Werte liegen deutlich unter denen von Dual-o, das liegt einfach an meiner schwächeren CPU. Laut TC Bench kann die E6400 nicht mehr als die fast erreichten 200 MB im AES.

Vielen Dank an der Stelle nochmal an alle.

Gewaltiger Unterschied !

 

[nlc0]

Hallo alle zusammen, mein Problem scheint behoben. Hier ne kurze Erklärung was ich gemacht hab. Lösungsansatz stammt aus dem True Crypt Forum. Also Bild 1 nochmal ein Bench mit dem Raid einer TC Partition und den mießen Werten:

Anhang anzeigen 268663

Die Einstellung im Gerätemanager hab ich gesetzt:

Anhang anzeigen 268664

und hatte danach, diese Werte:

Anhang anzeigen 268665

Die Werte liegen deutlich unter denen von Dual-o, das liegt einfach an meiner schwächeren CPU. Laut TC Bench kann die E6400 nicht mehr als die fast erreichten 200 MB im AES.

Vielen Dank an der Stelle nochmal an alle.

Einen schönen dank an dich, das hat auch mein Problem mit dem Raid5 5x 3TB WD Red + TC gelöst.

 

[Kampfwurst_Hugo]

kann man eigentlich SAS und Sata Platten gemischt am Controller betreiben?

z.B ein Raid 6 aus 5 Sata Platten und ein Raid 1 aus 2 SAS Platten?