LSI MegaRaid und Dell Perc5/i SAS/SATA PCIe [4]

[Zidane]

z.b so wie diese hier

Meines habe ich noch nicht erhalten, sollte aber morgen eintreffen ....

 

[SamsungFreak]

Ok warte jetzt mal ab bis ich den von Ebay bekomme....mal sehen vielleicht geht der wie Tekkno_Frank es mir gesagt hat!

 

[arcademaster]

Hallo alle zusammen!

Habe auch vor mir demnächst einen PERC5 zuzulegen. Habe da eine Frage zu Mainboardkompatibilität/Anschluss. Bei einer eBay Auktion eines Perc5 steht extra dabei "Bitte prüfen Sie vorab ob Ihr Motherboard einen vollwertigen PCIe Slot besitzt, preisgünstige Boards sind nur mit Grafikkarten-Slots (PEG) ausgestattet.".

Heisst das in x16 Slots funktioniert der Controller nicht? Ich habe auf meinem Asus M3A76-CM ausser einem x16 Slot nur noch einen 1x Slot. Da ich die Onboard Grafik nutze wollte ich eigentlich den 16er slot benutzen da ich immer gelesen habe das PCIe Slots abwärtskompatibel sind.

 

[BlackGhost]

Da ist immer ein wenig Glück mit im Spiel.
Viele Boards funktionieren wenn man den PIN-Mod vollzieht.

Manche Hersteller sehen den PCIe16 Slot aber "nur" als Grafik Slot an und so funktionieren viele PCIe (RAID) Karten nicht.
Auch kann es passieren, dass das Board die interne Grafik abschaltet, weil eine Karte im PCIe16 Slot steckt, auch wenn diese gar keine Grafikkarte ist.

 

[Hampti]

Hat jemand einen Tip für mich wie ich die Platten am Besten konfiguriere.
Setup:
4*2TB Seagate 5400.12 sollen im Raid 5 laufen.
Daten die drauf kommen sich Hauptsächlich TV-Serien und Fotos. Also Daten zwischen 4MB und 500MB. Welche Stripe Size wäre dafür am Besten?
Aja und eine Frage noch zur Initialisierung. Ist das notwendig und reicht auch eine schnellinitialisierung?
Und welche Einstellungen sind erwähnenswert? Verwende ne BBU.

 

[Schlingel_INV]

ich würd im grunde immer 64 stripe nehmen. unterschiede sind eh minimal. dazu wite cache on und falls bbu WB-modus. er macht auch beim schnellinit im anschluss nen backgorund-init was ca. genauso lange dauert wie nen consitency check

 

[Hampti]

Aber init gehört gemacht?

 

[Hampti]

Sagt mal noch was. Wenn ich vom Dell Storage Manager die StartupUI betätige kommt danach eine Anfrage bezüglich Benutzername und PW...dann vergehen ca. 5 sekunden und dann kommt nochmals die Anfrage. Wenn ich dann nochmals den Benutzernamen eingebe dann popt endlich der Manager auf aber doppelt. Nur in der ersten Ausgabe kann ich nichts verstellen aber in der zweiten schon. Habe das von Anfang und hat mich nie gestört aber jetzt wärs schon an der Zeit da mal etwas zu ändern.

 

[pajaa]

So, das Upgrade ist vollzogen und nach 10 Stunden Rumgeschreibe auf dem Array ist keine der F4 mit 2TB aus dem Array geflogen. Ich gehe davon aus, daß die 512b-Emulation da keinen kleinen Anteil dran hat.
Das müsste sich so auch auf den Dell Perc 6 beziehen lassen, da da ja auch ein LSISAS1078 drauf ist.

 

[neldar]

Ich habe seit gestern 4 Samsung HD203WI im betrieb.
Wenn ich jede der HDDs einzeln in ein Raid0 packe bekomme ich die gute Lese- und Schreibwerte. (lesen über 100 MB/s, schreiben um 70 bis 90 MB/s)

Aber sobald ich damit ein Raid5 erstelle, habe ich unterirdisch schlechte Lesewerte (40-60mb/s), die Schreib werte sind bei, nicht so ganz erwartet, über 200 mb/s.
Kennt jemand das Problem und weiß eine Lösung?

Wenn ich die testblockgröße in hdtune erhöhe, ab 1mb, dann erreiche ich die werte die man erwarten kann, so 200 bis 250 MB/s im lesen.

Meine bisherigen testsetups:
64kStripe
Diskcache enabled
Cached IO
WB

 

[SamsungFreak]

Ich habe seit gestern 4 Samsung HD203WI im betrieb.
Wenn ich jede der HDDs einzeln in ein Raid0 packe bekomme ich die gute Lese- und Schreibwerte. (lesen über 100 MB/s, schreiben um 70 bis 90 MB/s)

Aber sobald ich damit ein Raid5 erstelle, habe ich unterirdisch schlechte Lesewerte (40-60mb/s), die Schreib werte sind bei, nicht so ganz erwartet, über 200 mb/s.
Kennt jemand das Problem und weiß eine Lösung?

Wenn ich ich testblockgröße in hdtune erhöhe, ab 1mb, dann erreiche ich die werte die man erwarten kann, so 200 bis 250 MB/s im lesen.

Meine bisherigen testsetups:
64kStripe
Diskcache enabled
Cached IO
WB

Genau das gleiche hatte ich auch! Dank tekko_frank habe ich das Problem gefunden. Es lag an HDTUNE...nimm mal ein anderen Benchmark und probieres es nochmal

Welches OS? Welches Firmware? Welche Treiber?

 

[neldar]

Genau das gleiche hatte ich auch! Dank tekko_frank habe ich das Problem gefunden. Es lag an HDTUNE...nimm mal ein anderen Benchmark und probieres es nochmal

Welches OS? Welches Firmware? Welche Treiber?

Os: Windows 7 + XP
Treiber: build-in + LSi aktuell
fw: LSi aktuell


Ich hatte schon den Verdacht, dass Samsung bei neuen Revisionen intern auf 4k-Sektoren umgeschaltet hat und es nicht veröffentlicht hat.

Naja ich werd mal weiter testen, welche Revision haben deine Platten?
Meine sind rev3.

 

[SamsungFreak]

Hast du mal ein anderes Benchmark Tool getestet? CrystalDiskInfo

Revision kann ich dir auch nicht sagen hatte aber das gleiche Problem mit HDTUne. Hatt mir angezeigt das ich zwischen 50 und 60 MB lesen kann und 150 schreiben auf dem Raid5 auf dem Raid0 und 1 war es normal mit dem lesen mit HDTUNE 200MB. Probier es mal mit CrystalDiskInfo!

 

[neldar]

Ich teste jetzt mit CDM3.
Hab hier schon kabel getauscht, die festplattenausrichtung geprüft (mit wasserwaage, kein scherz ).
Die revision kann man mit Megaraid rausfinden, direkt die erste Seite auf die Festplatte klicken und dann steht das da in den Infos.

Edit:
Es ändert sich nichts, cdm3 zeigt das gleiche.
Ich teste jetzt mit dd...

---------- Beitrag hinzugefügt um 13:47 ---------- Vorheriger Beitrag war um 12:55 ----------

So auch der test mit dd hat gezeigt, dass das Array nur mit 40 mb/s gelesen wird und der Schreibwert bei 80-90 mb/s liegt.

Ich versuche es nu nochmal mit einem raid10.

---------- Beitrag hinzugefügt um 14:09 ---------- Vorheriger Beitrag war um 12:55 ----------

Das Raid10 funktioniert einwandfrei, Werte im grünen Bereich, Lesen/Schreiben beides bei 150 bis 200mb/s.

Könnten die Leute die HD203WI haben und keine Probleme damit haben, bitte nachgucken welche Revision in Megaraid anzeigt wird?

---------- Beitrag hinzugefügt um 16:44 ---------- Vorheriger Beitrag war um 12:55 ----------

Mal eine Frage am Rande (, könnte vllt was damit zu tun haben):
Ein degraded Raid5 am Perc hat keinen Einfluss auf ein anderes Raid 5, oder?

 

[SamsungFreak]

Kommt drauf an wieviel gelesen und geschrieben wird auf dem anderen "kaputten" Raid5. Aber denke nicht denn das Raid10 hat ja gute Werte. Also mit Crystal disk 3 hast du es getestet ja?

Meine 4 Samsung Festplatten HD203WI haben die Revision 0003 und keine 4k

Ich setzte Windows Server 2008 ein mit den LSI Treibern 2.20.0.32

64 Blockgröße
DiskCache on
WriteBack on

WriteBack ist aber aktiviert oder?

 

[neldar]

Welche fw hast du drauf?
hast du cached io oder direct?

Irgendwelche speziellen Vorkehrung, irgendwie alignment geändert, oder sowas?

 

[SamsungFreak]

1. 0072 Dell Firmware
2. Cached IO
3. Voll initialisiert

 

[neldar]

Read policy?

edit: worüber hast du erstellt?
MRM oder Bootmenü?

 

[SamsungFreak]

Adaptive Read Ahead

Hast du auf WriteBack? Und hast du eine BBU dran?

 

[neldar]

Ja, beides. Ich betreib den Perc schon eine Weile.
Ist das erstmal, dass sowas Komisches autaucht.

 

[SamsungFreak]

Ja genau das Problem hatte ich auch. Welche Treiber und FW verwendest du? LSI oder Dell? Die genaue Version!! OS x86 oder x64?

 

[neldar]

os: win7 32bit pro
fw: 7.0.1-0075 LSI
Treiber: win7 built-in (4.5.0.64 LSI)

ich werde mal die fw auf dell wechseln.

 

[SamsungFreak]

Also ich habe wie gesagt die neuste Dell FW und die neusten LSI Treiber aber schau mal hier -> http://www.hardwareluxx.de/community/14561864-post1.html

Da steht ja was mit Arrays über 4TB mit der LSI FW

 

[DerRob]

Mal eine Frage am Rande (, könnte vllt was damit zu tun haben):
Ein degraded Raid5 am Perc hat keinen Einfluss auf ein anderes Raid 5, oder?

Komt drauf an, wenn das RAID nur degraded ist, sollte es eigentlich keine Auswirkungen haben, wenn aber gerade ein Rebuild läuft, kann der Controller natürlich etwas ausgelastet sein. Die Rechenleistung für ein 2. Raid5 könnte dann schon etwas knapper sein (ein Raid0/1 ist kaum rechenlastig, das dürfte nicht groß betroffen sein).

 

[neldar]

Also ich habe wie gesagt die neuste Dell FW und die neusten LSI Treiber aber schau mal hier -> http://www.hardwareluxx.de/community/14561864-post1.html

Da steht ja was mit Arrays über 4TB mit der LSI FW

ja, das war mir schon bekannt, aber ich hab schon damals der sache nicht getraut.
Nur ein person und die angebliche e-mail korrespondenz wurde nie veröffentlicht.

Komt drauf an, wenn das RAID nur degraded ist, sollte es eigentlich keine Auswirkungen haben, wenn aber gerade ein Rebuild läuft, kann der Controller natürlich etwas ausgelastet sein. Die Rechenleistung für ein 2. Raid5 könnte dann schon etwas knapper sein (ein Raid0/1 ist kaum rechenlastig, das dürfte nicht groß betroffen sein).

Absichtlich degraded, damit ich einen Port freibekomme.
Und deshalb ist auch kein Rebuild im Gange, danke genau das was ich wissen wollte.


Falls jemand eine gute Anleitung inkl. Download sucht, wie man den Megaraid storage manager unter Ubuntu zum Laufen bekommt:
[ubuntu] dell perc 5/i - megaraid storage manager - Page 3 - Ubuntu Forums

 

[SamsungFreak]

Also mh...du hast es auch mit dem anderen Benchmark getestet? Hast mein PN bekommen?

 

[neldar]

Also mh...du hast es auch mit dem anderen Benchmark getestet? Hast mein PN bekommen?

Jo, danke für das Angebot, ist aber nicht mehr notwendig.
Ich habe jetzt die 72er Dell fw drauf und die Performance ist wie erwartet.
Jedenfalls unter Linux, Windows habe ich nicht getestet, werde ich wahrscheinlich auch nicht mehr... mir gefällt Ubuntu 10.10.

 

[neldar]

So nachdem die Platten nun die Nacht über durchgearbeitet haben und alles kopiert ist, wollte ich mich bei André_Neustadt und DerRob für ihre Hilfe bedanken.


Dann möchte ich noch kurz beschreiben, wie man von der 7.0.1-0075 LSI-Firmware auf 72er Dell-Firmware wechselt, ohne seine Daten bzw. Arrays zu verlieren.
Das sollte eigentlich auch in umgekehrter Richtung, also Perc-Fw -> LSI-Fw, funktionieren und natürlich auch mit beliebigen Fw Versionen.


Man braucht dazu einen Usbstick (min. 4 GB) oder halt etwas Anderes von dem man booten kann, denn der Perc ist während der Operation nicht verfügbar.

1. mit UNetbootin das Ubuntu 10.10 Desktop i386 ISO auf den Usbstick kopieren
2. von dem Usbstick booten und im Bootloader auswählen, dass man Ubuntu testen möchte, dadurch startet das Ubuntu-Live-Image
3. den MSM (x86, 32bit) wie hier beschrieben installieren: [ubuntu] dell perc 5/i - megaraid storage manager - Page 3 - Ubuntu Forums
4. die aktuelle config sichern
5. die neue Perc Fw einspielen
6. neustarten und die Meldung des Perc über die verlorenen Config abnicken, aber nicht in das Perc Managment-Menü gehen
7. wieder vom Usbtick starten, wie oben
8. mit dem MSM unter Ubuntu die config wieder zurück auf den Perc schieben
9. neustarten -> fertig

Generell würde ich empfehlen die config vom Perc nach jeder Änderung, die längerfristig benutzt werden soll, abzuspeichern und an einem sicheren Ort zu hinterlegen. (Nicht! auf einem Array das am Perc angeschlossen ist )

 

[scars]

Ich bin gerade dabei meinen 9260 einzurichten...

Allerdings bin ich mir bei der Konfiguration noch nicht so ganz sicher.

Strip Size: Was ist hier angebracht?

Auf dem Array liegen Dateien zum Großteil Dateien 100MB - 10GB.

Write Policy:

- Always Write Back => Sobald die Daten im Cache des Controllers sind kommt die Bestätigung das die Daten verarbeitet wurden, beim Stromausfall sind die Daten im Cache dahin.

- Write Through => Erst wenn die Daten auch auf der Platte liegen erfolgt die Bestätigung dass die Daten verarbeitet wurden.

- Write Back with BBU => Sobald die Daten im Cache des Controllers sind kommt die Bestätigung das die Daten verarbeitet wurden. Bei Stromausfall sind die Daten im Cache und werden durchs BBU gehalten.

BBU hab ich keins, also wähl ich hier Always Write Back zwecks Speed, da ich eine USV hab kann ich auf die BBU verzichten, habe lediglich das Risiko dass das Netzteil hops geht.

IO Policy :
Ich zitier hier mal die Anleitung:

- Direct: In direct I/O mode, reads are not buffered in cache memory. Data is
transferred to the cache and the host concurrently. If the same data block is read again, it comes from cache memory. This is the default.

=> Lesezugriffe werden nicht im Cache zwischengespeichert. Daten gehen parallell an den Cache und den Host. Wenn der selbe Datenblock nochmal gelesen wird, kommt er vom Cache.

- Cached: In cached I/O mode, all reads are buffered in cache memory.

=> Alle Zugriffe werden im Cache zwischengespeichert.

Ich hab ehrlich gesagt keinen blassen Schimmer, was genau das bedeuten soll.

Disk Cache Policy:

Enable: Aktivier den Drive cache.
Disable: Deaktiviert den Drive cache.
NoChange: Lässt ihn so wie er ist.

Hier gehts wohl um den Cache der Festplatte selber?
Was macht hier sinn und wie wirkt sich das aus?

gruß & Danke schonmal...

 

[neldar]

Stripesize:
Kommt drauf an was die durchschnittliche erwartet I/O Größe ist, wenn du 100 mb große Daten hast, aber nur 16kb Bereiche daraus lesen und schreiben willst dann solltest du auch nur 16 kb stripe size wählen. Aber ich gehe mal davon aus, dass du die Dateien sequenziell im Ganzen lesen/schreiben willst, dann solltest du 64+ nehmen.

WB nur mit BBU oder USV, du nimmst also "always WB", weil USV.

IO:
cached: es wird erst in den Cache gelesen und dann erst an den Host weitergegeben, böse falle - kann die Latenz erhöhen.
Nimm am Besten direct, wenn du dir nicht sicher bist.

Disk cache: sollte man immer auf enabled stellen, damit die Festplatten interne Zugriffsoptimierungen nutzen können.