HP P421 Controller Performance im Keller - HP MSA70 & D2700

[Gelöschtes Mitglied 191350]

Hallo zusammen...

ist habe da eine Glaubensfrage

Vor mir steht ein HP DL360e Gen8 mit E5 Xeon und 24GB Ram... darin ist ein HP P421 welcher zwei externe MiniSAS Anschlüsse hat.
Zudem hängen an diesem Server 2x HP MSA70 und 1x HP D2700 ... jeweils mit 25 x 500GB 7,2krpm SAS HDDs (3Gbit/s)... mit redundanter Anbindung.

Jedes Enclosure besteht aus einem RAID6 mit jeweils einer Hotspare also 24 + 1...

Ergo sieht das ganze so aus...

Controller P1 -> Enclosure1 -> Enclosure2 -> Enclosure3 -> Controller P2

Die HP Software freut sich über die Redundanz.

Wenn ich nun mit CristalDiskMark teste komme ich etwa auf 1200MB/s (was ja auch in etwa dem Maximum der Externen SAS Schnittstelle der MSA entspricht)
Ebenso wenn ich mit ATTO Benchmark teste, gibt er mir etwa den selben Wert aus...

Wenn ich nun von einem Enclosure auf ein anderes kopiere komme ich auf lächerliche 40-50MB/s
Kopiere ich von einem Enclosure auf den Server: 75-90MB/s
Interne HDDs Server (4x7,2k im RAID5 anderer Controller) -> Enclosure: 75-90MB/s

Das Caching auf dem Controller ist wie folgt eingestellt:
25% Read / 75% Write für alle LUNs
HDD Cache ist deaktiviert
Controller Cache wird verwendet
Strip Size ist auf 256k eingestellt

Controller hängt auf einem PCIe 2.0 x4, welcher allerdings 2000MB/s machen sollte, dürfte nicht der Flaschenhals sein

Habe das Ganze auch schon ohne den redundanten Weg getestet, was keinerlei Besserung gebracht hat...

Meine Frage nun: Sind die HDDs wirklich so langsam ? Mir gehen langsam die Ideen aus... Kann mir einfach nicht vorstellen, dass etwas SO langsam sein kann

 

[gamefreaktegel]

Ich würde da auch etwas mehr erwarten...

Welches OS kommt denn zum Einsatz?
Hast Du mal mit der HP SPP die Firmware- und Treiber-Stände auf den aktuellen Stand gebracht?
Was wird denn kopiert? 1 große Datei oder eher viele kleine Dateien?

 

[Holt]

Wie groß sind denn die Dateien die Du kopierst? Außerdem muss beim Umgang mit echten Dateien auch noch die Verwaltung der Metadaten und Directories erfolgen, was immer einige weitere kurze Zugriffe bedeutet und bei kurzen Zugriffen sind solche RAID lesend nicht schneller als Einzelplatte und schreiben wegen der Write Penalty bei RAIDs mit Parity (wie RAID5 und RAID 6) eben noch viel langsamer.

Poste doch mal den Screenshots von CristalDiskMark und ATTO, obwohl die Benchmarks wohl mehr oder weniger nur vom Cache des Controllers bedient werden, da zumindest in der Standardeinstellung nur über einen kleinen Adressraum gebencht wird.

- - - Updated - - -

Du kannst ja mit diesem Tool auch mal die Lesegeschwindigkeit bestehender Dateien benchen, dann kannst Du das für die gleiche Datei wiederholen und sieht, wie viel der Cache da ausmacht.

 

[Gelöschtes Mitglied 191350]

Ich würde da auch etwas mehr erwarten...

Welches OS kommt denn zum Einsatz?
Hast Du mal mit der HP SPP die Firmware- und Treiber-Stände auf den aktuellen Stand gebracht?
Was wird denn kopiert? 1 große Datei oder eher viele kleine Dateien?

Derzeit läuft ein Windows 2012 x64 auf der Kiste...

Firmware von den MSAs sind up2date... die vom Controller sollte nicht allzu alt sein, muss ich aber checken.

Ich habe für die Kopier-Tests ne 25GB große Backup-File genommen, also ein

Wie groß sind denn die Dateien die Du kopierst? Außerdem muss beim Umgang mit echten Dateien auch noch die Verwaltung der Metadaten und Directories erfolgen, was immer einige weitere kurze Zugriffe bedeutet und bei kurzen Zugriffen sind solche RAID lesend nicht schneller als Einzelplatte und schreiben wegen der Write Penalty bei RAIDs mit Parity (wie RAID5 und RAID 6) eben noch viel langsamer.

Poste doch mal den Screenshots von CristalDiskMark und ATTO, obwohl die Benchmarks wohl mehr oder weniger nur vom Cache des Controllers bedient werden, da zumindest in der Standardeinstellung nur über einen kleinen Adressraum gebencht wird.

- - - Updated - - -

Du kannst ja mit diesem Tool auch mal die Lesegeschwindigkeit bestehender Dateien benchen, dann kannst Du das für die gleiche Datei wiederholen und sieht, wie viel der Cache da ausmacht.

Naja ich sehe schon ein, dass man bei einem RAID6 bei einer geringen Anzahl von Platten durchaus erstmal Performance-Einbußen hinnehmen musst... allerdings reden wir von 24 HDDs im RAID6 ...

Ich habe zuhause ebenfalls ein RAID6 mit 16 x 7,2k HDDs an einem Adaptec Controller und erziele gute 600-700MB/s ... bei einem zur Hälfte gefüllten Volumen.

Klar, kann ich auf jeden Fall machen ... hatte dafür die Zielgröße auch auf 2GB hochgestellt beim ATTO ... kann aber noch mal prüfen

Oder könnte man sich vorstellen, dass es mit der Kaskadierung zusammen hängt ? da die 3 Disk-Enclosures hintereinander hängen ?

Tool, kannte ich noch nicht.. muss ich mir ebenfalls anschauen

 

[Holt]

Nochmal: Wie großen waren die realen Files? Vergiss die Write Penalty nicht, die ist bei 24 Platten im RAID natürlich nicht zu verachten, bei 256k Stripsize sind das 22*256k= 5632k pro Stripe. Die Kaskadierung verbessert die Performance hallt auch nicht.

 

[Gelöschtes Mitglied 191350]

Nochmal: Wie großen waren die realen Files? Vergiss die Write Penalty nicht, die ist bei 24 Platten im RAID natürlich nicht zu verachten, bei 256k Stripsize sind das 22*256k= 5632k pro Stripe. Die Kaskadierung verbessert die Performance hallt auch nicht.

Die realen Files sind alle groß... es handelt sich um ein Backup2Disk System... die kleinsten Dateien sind um die 2-3GB und gehen bis 2-3TB

Stripe Größen auf dem einen Enclosure
Strip-Größe/Volle Stripe-Größe 256 KiB / 4352 KiB
bzw. 2x die folgenden ...
Strip-Größe/Volle Stripe-Größe 256 KiB / 5632 KiB

unterschied kommt durch die Hot-Spares...

wie folgt...

Laufwerk Q - MSA70

Laufwerk V - MSA70

Laufwerk X - D2700

Firmware (Enclosures / Controller) sind up2date...

Im ATTO Benchmark gibt es einen Haken, dass der Cache deaktiviert werden soll... "Force Write Access" ... naja zumindest behauptet er es...