HP SmartCache (SAAP)

[tcg]

Hi,

Ich habe eine Verständnisfrage an die HP / SmartArray / SmartCache Profis hier...

Mein kleiner HomeServer ist quasi fast perfekt, aber ...

Hier erstmal die wichtigen Komponenten zu meinem Problem (wie auch in meiner Signatur zu sehen):
*) HP MicroServer Gen8 (Bios 16/07/2015, iLO Advanced 2.42)
*) HP P420/2GB (Firmware 7.02) incl. SAAP 2.0 (also SmartCache)
*) 4*5TB Seagate Enterprise Capacity
*) 4*500GB Samsung 850 EVO

Die 4 HDs sind in einem Raid5 an Port2 des P420, die 4 SSDs sind an Port1.
Am ODD Port hängt noch eine SSD als Swap/Cache/Log Laufwerk für ESXi, aber das ist ja hier für dieses Problem egal…

Jetzt würde ich gerne die SSDs als SmartCache für die HDs benutzen, traue mich aber nicht !
Ich hatte schon einen Versuch mit 1 alten SSD gemacht, als Ergebnis kam raus: wenn die SSD stirbt (oder wie ich es getestet habe, abgezogen wird) meldet der Controller alles sei kaputt ! Ich habe dann schnell die SSD wieder angeklemmt, dann war alles wieder gut 

Jetzt werde ich aber aus der Fehlermeldung nicht schlau:


Meint die Meldung „Raid-5“ (also die Datenplatten) sind kaputt ??? Das wäre fatal !
Oder das „Raid-0“ (also der Cache)… Das wäre ja fast egal !

Im Dokument „4AA5-1706ENW.pdf“ zum SmartCache steht auch: nur Raid-0 ist für ein Cache-Array möglich, das wäre dann ja irgendwas zwischen super-fatal bis gnadenlos blöd ein SmartCache einzusetzen !
Daher vermute ich dass HPE mit der Fehlermeldung eher das Cache-Array meint.
Erst ein Raid 5 oder 6 oder 10 bauen, und dann die Sicherheit mit einem Raid 0 wieder kaputt machen, so blöd kann HPE nicht sein, bisher war ich eigentlich immer sehr begeistert !
In diesem Dokument steht auch dass der SmartCache nur Write-Through und kein Write-Back sein kann, daher kann das ja eigentlich die HDs nicht gefährden…

Ich möchte es halt gerade mal nicht ausprobieren, die HDs sind recht voll, da ist ein komplettes Backup recht aufwändig. Von den wichtigen Sachen habe ich natürlich ein Backup aber nicht von allem (Bitte keine „Raid ist kein Backup“ Meldungen jetzt, das ist klar).

Kennt sich hier jemand mit SmartCache aus und kann mir Tips geben ?
Wie geschrieben, ich vermute dass der Raid-0-Cache die Datensicherheit nicht gefährdet, aber ich bekomme es nicht richtig raus / ergoogelt…
Wenn mir das jemand mit Sicherheit bestätigen kann bin ich glücklich !

 

[tcg]

Hmm,
ich habe das ganze Wochenende über versucht HP Manuals zu bekommen und zu lesen. Die HP/E Seiten sind ja echt grauselig !!!!
Immerhin habe ich im "HPE Smart Storage Administrator User Guide" folgendes gefunden (ganz klein in einem Screenshot):
Specifying the write-back cache write policy when using a RAID 0 cache volume could result in data loss in the event of failure of the cache volume.
Sieht ja schonmal ganz gut aus, mit dem P420 geht ja eh nur write-through
Nur: bin ich das jetzt auf der sicheren Seite ? Was passiert wenn eine SSD kaputt geht (oder bei Stromausfall) ? Sind die Daten des Raid5 HD-Arrays gefährdet ?
Ich bin ja schon echt überrascht dass eine Firma wie HP sich da so totschweigt !!!
Das ist doch eine ganz relevante Information !!
Eigentlich der Unterschied zwischen Spielzeug und professionell einsetzbar !

 

[tcg]

Ist HP SmartCache so exotisch dass das hier noch nie irgendjemand probiert hat ??? Uiuiui ! Dann sollte ich die Finger weg lassen !
Sogar in der HP-Community weiss keiner was :-(

Weil, wenn es jemand hat, dann garantiert auch mit dem Wissen (woher auch immer) dass dadurch nichts kaputt geht

Wenn man für viel Geld extra teure Enterprise Platten kauft, die dann auch noch Raided um sicherer zu werden, so einen Schnickschnak wie "Akku für den Controller-Cache" kauft, dann noch eine USV anschließt um bei Stromausfällen den HD internen Cache noch flushen zu können (also das was ich alles gemacht habe) ist es ja blöde ein Raid-0 zum Cachen zu nehmen wenn das nicht sicher ist, dann ist ja alles für die Katz...
Ich würde halt schon gerne wissen was da genau passiert... Ich sichere ja nicht alles 5 fach ab um dann alles durch ein Raid-0 zu gefährden !

Dummerweise komme ich bei HPE auch nicht weiter :-(
Die Seiten von denen sind sowas von blöde !
Da ich ja ein SAAP mit 1 Jahr Support habe wollte ich HPE jetzt mal die Frage stellen, aber ich komm bei denen einfach nicht so weit dass ich ein Ticket aufmachen kann.
Die Firma ist (zumindest der Webauftritt) sowas von peinlich :-(

 

[Rallito]

Hallo, spannendes Thema!
Ich würde die wichtigen Raid Carrier rausziehen und mit der alten Platte noch etwas
weitertesten.
Solange Du den SmartCache vom logischen Laufwerk/Array wieder lösen kannst und
danach keine Fehlermeldung mehr erscheint muß die Fehlermeldung ja auf den SmartCache
bezogen sein.

Gruß
Rallito

- - - Updated - - -

Was kostet die Lizenz eigentlich?

 

[crazyk]

Ich würde mir auch alte SATA-Test-Platten (<100GB) für wenige EUROs besorgen und das ganze mal richtig testen.

-->Was passiert wenn....

 

[tcg]

Hallo, spannendes Thema!

Allerdings

Was kostet die Lizenz eigentlich?

Normal so ca. 300€, bei ebay (mit etwas Geduld) habe ich ca. 80€ bezahlt...
Naja, plus nochmal die 4 SSDs ;-)

Ich würde mir auch alte SATA-Test-Platten (<100GB) für wenige EUROs besorgen und das ganze mal richtig testen.
-->Was passiert wenn....

Hab ich mir auch schon gedacht, die Platten liegen schon bereit
Momentan habe ich noch keine Zeit, aber evtl. ab nächstem Wochenende (ist ja ein langes, hurrraaa !)

Falls es interessiert kann ich auch Benchmarks posten (ohne & mit Cache)...

 

[Rallito]

Hallo,
ein paar Benchmarks wären schön. Meine Tests zeigen für jedwede SSD unterirdische
Performance am P420. Lediglich am B120i im AHCI Modus laufen die SSD's so wie gewohnt
(ist ja im Grunde auch ein Standard Intel Controller).

Ob Samsung 850 Pro oder HP S3500 hat in den Benchmarks keinen Unterschied gemacht.
Die Samsung gibt nach den letzten Updates keine Fehlermeldung mehr und unterstützt
sogar den Smart Carrier incl. Temperaturweiterreichung. Die Seagate ES.3 SAS
unterstützt auch alles, gibt aber keine Temperatur weiter.

Laut HP haben die schlechten Benchmarkwerte ja nichts zu bedeuten, da die realen
Zugriffe deutlich komplexer sind (Steht irgendwo in den Dokumenten der Smartcache
Seite).

Wenn ich dann noch lese das gerade der 2 Gb Cache des P420 schnell abraucht
bin ich langsam bedient. Wäre aber auch kein Wunder bei den Temperaturen ohne
aktive Kühlung.

---------------------------------

Zurück zum Thema.

Ich denke eine Festplatte als Raid 0 reicht für Deine Tests. Ob ein Raid 0 mit vier SSD's
für den Smartcache sinnvoll ist glaube ich eher nicht. Mit der Anzahl der SSD's erhöht
sich die Reaktionszeit ja deutlich, so dass vermutlich maximal zwei SSD's besser sind.

MfG
Rallito

(Ich habe einen ML350e Gen8, daher die SmartCarrier)

 

[tcg]

Hi,
ein paar bench-werte kann ich schon liefern...
allerdings noch ohne smart-cache, den habe ich noch nicht scharf.
ich migrate die strip-size von 512k auf 256k, und das dauert 3-4 tage full-time ! solange das läuft kann kein cache (das 2gb modul wie auch smart) benutzt werden...

alle tests in einer win-7 vm unter esxi6u2, volume ist eager-zeroed (das macht sehr viel aus, lazy-disks sind deutlich langsamer !)...
werte sind von crystakdiskmark 5.1.2-x64, ich habe mir aber nur die seq-read-write gemerkt und nicht die iops :-(

*) Raid5 mit 4HDs: ca. 600MB/sec read, bis 660MB/sec write (also wirklich sehr schnell für "spinning-rust")
*) Raid0 mit 4SSDs: ca. 2100MB/sec read, 2000MB/sec write (sehr cool !)
*) Raid5 mit 4SSDs: ca. 1400MB/sec read, 300MB/sec write (deutlich langsamer als mit HDs !)

einen ganz kurzen test mit einer alten SSD als smart-cache haben gezeigt dass die iops sehr drastisch besser geworden sind (auf dem Raid5 HD array), ich weiss aber nicht mehr die genaue zahl.

ich kann also nicht sagen dass ssds am p420 (mit fw 6.68 bzw 7.02 jetzt) nicht performant wären !
zumindest nicht immer nicht, ein Raid0 mit 2GB/sec lesen wir auch schreiben ist schon enorm genial.
und wenn dass dan auch noch die HDs cached, naja, bin mal gespannt ;-)

warum ich den smart-cache als Raid0 laufen lassen will ?
Naja, ich habe einen Gen8 Controller, und da geht halt genau nur das: Raid0 und WriteThrough !! schade !!
Bei Gen9 Controllern geht auch z.b. Raid10 oder Raid5 und auch WriteBack !
Ich hatte auch schon einen P440/4GB hier bin aber dran verzweifelt den in den Gen8-MicroServer einzubauen, habe ihn daher wieder verkauft :-(

wenn smart-cache mal getestet ist und läuft kann ich mehr info geben...

hmmm, was meinst du mit "cache modul raucht ab" ???? hilfe !!!
ich habe de nen 4x4cm lüfter drauf gerichtet, ich hoffe das hilft etwas ! vorher hatte mir iLO >>90°C beim p420 gemeldet...

und noch ne kleinigkeit warum ausgerechnet 4 500er SSDs:
HP sagt 5-10% der HDs sollen als cache bereit stehen, bei 20TB HD sind 2TB SSD also perfekt.
Ausserdem sagt HP: pro TB cache braucht man 1 GB cache, bei 2TB cache ist also 2GB ram perfekt.
dass es 4 500er SSDs geworden sind, naja, hätte auch 2 1TB drives kaufen können, richtig,... aber, verspielt wie ich bin dachte ich 4*vmax ist besser als 2*vmax ;-)
was zu prüfen ist !

 

[LichtiF]

Nur mal so eine Frage für was soll das am Schluss denn genutzt werden ?


Gesendet von meinem Nexus 9 mit Tapatalk

 

[tcg]

Genutzt ??? Wieso ??
Der Weg ist doch das Ziel
Naja, ursprünglich als kleines NAS, und jetzt zum Spaß !
Ist evtl. etwas oversized.... Gebe ich zu.... Sozusagen statt Midlife-Krisen-Auto

 

[LichtiF]

Ok also typisch Hardwareluxx Da bin ich froh das ich für solche Spielereien keine Zeit habe. Hoffe mal das ich über die ganzen Feiertage mal mein Homelab fertig bekomme.

Gesendet von meinem Nexus 9 mit Tapatalk

 

[tcg]

Jupp, macht halt Spass
War schon immer mein Hobby, schon damals wie ich eine ST296N (die ich noch habe !) in meinen A2000 eingebaut habe...
Eigentlich sogar schon vorher, kennst du noch Speeddos ?

 

[Rallito]

Hallo,
habe gerade nochmal einen Benchmark laufen lassen Physical Write Cache: off Cache 10/90 r/w:
Crystal 5, 5 x 16 GB

HDD Raid 1+0 4 x ES.3 1TB SAS
425 603
5.3 91
291 149
0,83 92

850 Pro am B120i AHCI Write Cache on
564 535
244,5 246
544 520
36 93

850 Pro P420 Smartpath Write cache off
513 212
240 16,92
537,5 138,8
31,18 1,50

Bei mir sieht die SSD am P420 deutlich schlechter aus als am B120i im AHCI Mode.

Welche Settings hast Du denn am P420?

MfG
Rallito

 

[tcg]

Uiui, eigentlich die vorgegebenen Settings.
Smartpath an, alle Caches an, 256k Strips, nix besonderes...
Sind auch nur EVOs, also nicht mal PROs.
Was einen sehr großen Unterschied gemacht hat war das Cachen der SSDs an sich anzuschalten !
Probier das doch mal aus !
Ohne Cache ist die Write-Performance total eingebrochen ...

 

[Rallito]

Hast Du den Hardware Cache der SSD's und der HDD's angeschaltet?
Der Hardwarecache kann ja nur für alle Geräte gleichzeitig am P420 - eIn- oder
ausgeschaltet werden.
Damit würdest Du doch das eigentliche Sicherheitskonzept des Controllers
zunichte machen, welches defaultmäßig den Schreibcache ausschaltet.

MfG
Rallito

 

[tcg]

Alle Caches ein !
Sonst bricht die Performance komplett ein !
Und als "Absicherung" eine USV davor !
Naja, "da wird schon nix passieren" ;-)

 

[Rallito]

Solange der Cache der Festplatten aktiviert bleibt hast Du ein unsicheres System.
Da nützt weder die BBU noch die USV etwas. Zumal das Netzteil ja auch nicht
redundant ist.
Bei reinen SSD Systemen mit Kondensatoren die den Writecache schützen oder
Controllern mit Write Journal dürfte das ganze wieder anders aussehen.

Ich bin mir unsicher ob per Kommandozeile der Schreibcache einzelner logischer
Laufwerke am P420 aktiviert/deaktiviert werden kann.

MfG
Rallito

 

[tcg]

"unsicher" ist relativ:
1) habe ich durch write-cache-lost probleme in den letzten 30 jahren nix verloren, die statistik sagt also in den nächsten 30 jahren auch nicht ;-)
2) habe ich eh ein backup von allem
den punkt sehe ich wohl, es ist mit klar wo da die gefahr lauert, aber das ist ein risiko das ich eingehe, sonst isses mir wirklich zu langsam :-(
in systemen für kunden wäre das anders, aber das ist ja nur ne spielerei für mich !

 

[Rallito]

Na dann bin ich mal gespannt was Du aus dem Maggiewürfel noch rausquetschen
kannst.

 

[tcg]

Ich glaube nix mehr, das sieht für mich gerade sehr nach Limit aus...
Ich habe jetzt schon Probleme: ich bekomme momentan das Gehäuse nicht richtig zu (9 "Platten" sind halt viel für den Kleinen !), ich habe sogar die SSDs abgesägt ;-)
Ich glaube da muß ich mal nen Foto posten, das glaubt mir sonst keiner !!

Aber jetzt ist die HW komplett, jetzt fange ich mal mit der SW an !
ESXi ist ein sehr interessantes Thema habe ich gemerkt, und wenn die VMs jetzt so richtig flutschen mach das auch so richtig Spaß ;-)

 

[tcg]

So, erste Tests habe ich gemacht und muss sagen: SmartCache ist ganz grosser Mist !

Hier nochmal die Eckdaten:
*) Raid5 mit 4HDs: ca. 600MB/sec read, bis 660MB/sec write
*) Raid0 mit 4SSDs: ca. 2100MB/sec read, 2000MB/sec write
Also beides für sich seeeeeehr gute Werte !!!

Wenn man nun das "Raid0 über das Raid5 legt" würde man ja erwarten dass das ganze noch deutlich besser abschneidet ?!?
Naja !!!

*) SmartCache: ca. 800MB/sec read, 150MB/sec write

Das ganze ist also total bescheuert und anstatt 300€ auszugeben sollte man eher 300€ bekommen !!!

Ich werde das nochmal mit/ohne Cache und mit/ohne SmartPath testen, aber ich bin echt sehr skeptisch !
Sieht mir nach einem Fehlkauf aus :-(
Braucht zufälligerweise jemand eine SmartCache Lizenz ? Ich habe die halt schon bei HPE registriert, wie auch immer die dann zu verkaufen wäre ?!?

 

[LichtiF]

*grins* tja das ist ja blöd ...

Ja Speeddos sagt mir noch was habe aber mit Commodore nicht viel gemacht außer gespielt

Kenne da eher sowas wie Windows NT mit 42 Disketten installieren usw.

 

[tcg]

Tja, ich mach mal ein HPE Support Ticket auf, ich habe ja 1y Support dazu gekauft

Auf/mit dem C64 habe ich mein erstes (kleines) Geld verdient... Heul... Gute alte Zeit !

Jaja NT 3.51 mit Disketten Das war lustig !

 

[Largrande]

@ tcg du bist ein Spinner ! Im Positiven echte interessant freu mich hier mit lesen zu dürfen.

 

[tcg]

Hehe ! Vorsicht ! ;-)

Hast du auch ein SmartArray mit UnsmartCache ?
Dann könnten wir ja eine Interessensgemeinschaft gründen und ein Gemeinschaftsticket aufmachen ?!?

Ich finde das echt etwas unbefriedigend und vor allem unerklärlich !
Dass die Write-Speed nicht schneller wird ist mit Write-Through ja klar, aber dass die dann um Faktor 4 einbricht ist ein No-Go !!!
Ich hätte erwartet dass die Geschwindigkeit ca. 1%-3% einbricht und, klar, die Latency (minimal) ansteigt, aber dafür das Lesen extrem beschleunigt wird. Wenn ich ne VM mit einer virtuellen 100GB Platte habe muß die ja irgendwann zu 100% im 2TB Cache sein, und da das SSD-Raid0 ja (getestet !!!) >2.1GB/Sec macht wäre er zu erwarten dass das dann heftig schnell wird. Die gemessenen 800MB/sec beim Lesen sind mir auch deutlich zu langsam !
Die IOs sind minimal besser geworden, aber auch nur die lesenden !

Btw. mir ist da noch was aufgefallen:

Es wird max. 1TB SmartCache unterstützt, d.h. das 2. TB ist für'n A***H ! Das stand nirgends in der Doku !!
Wie oben schon geschrieben:
> HP sagt 5-10% der HDs sollen als Cache bereit stehen, bei 20TB HD sind 2TB SSD also perfekt.
> Ausserdem sagt HP: pro TB cache braucht man 1 GB cache, bei 2TB cache ist also 2GB ram perfekt.
Das ist also nicht so ganz richtig, SmartCache ist also nur für 10TB sinnvoll.

Jetzt würde mich natürlich noch interessieren ob das 2. TB dann wenigstens fürs OverProvisioning genommen wird oder ganz umsonst rum dümpelt :-(

Ich bin immer mal wieder sehr angetan von HP(E), und dann wieder mal gar nicht...
Es ist auch nicht trivial ein Ticket auf zu machen, bisher habe ich es nicht geschafft !

Eine weitere Info:
4 SSDs im Raid-0: sauschnell !!!
4 SSDs im Raid-0 als Cache: gähn !!!
4 SSDs im Raid-5: auch gähn !!! Da bricht Schreiben auch auf ca. 300MB/sec ein, also halb so schnell wie meine HDs !!!

 

[Largrande]

Leider nein, habe kein SmartArray würde bei meinen Netzwerk auch keine sinn mache. Es Sind fast nur Wlan Geräte.
Da bring es mir nix wenn die Platten mit xxx hundert MB/GB lesen/ schreiben das Nadelöhr aber die Endgeräte sind.

Ist aber trotzdem höchst Interessant das hier zu verfolgen.

GGf mal eine Test im kleinen machen sprich 1 oder 2 SSD im Raid o als Cache mir scheint es so, als sei der P420 mit 4SSD und den "nur 2GB" überlastet.

PS. Ja HP hat eine der schlechtesten Website die es gibt, das ist der reinste Müll !

 

[tcg]

Naja, bringen tut es nix wenn man (Netzwerk-)Clients dran hängt.
Aber das Arbeiten auf einer VM darf gerne beliebig schnell sein, auch wenn das über Wlan passiert
(Mit meinem Laptop bin ich auch per Wlan dran.)

Ich werden mal hin und her spielen, immerhin kann man ja anscheinend unter ESXi das ganze online konfigurieren:

hpssacli ctrl all show ssdinfo detail
hpssacli ctrl all show ssdinfo summary
hpssacli ctrl slot=0 ssdpd all show detail
hpssacli ctrl slot=0 modify dwc=enable
hpssacli ctrl slot=0 modify dwc=disable
hpssacli ctrl slot=0 array a modify ssdsmartpath=enable
hpssacli ctrl slot=0 array a modify ssdsmartpath=disable
hpssacli ctrl slot=0 logicaldrive 1 modify arrayaccelerator=enable
hpssacli ctrl slot=0 logicaldrive 1 modify arrayaccelerator=disable
hpssacli ctrl slot=0 create type=ldcache drives=1e:1:10 datald=1
...

 

[Largrande]

Naja, bringen tut es nix wenn man (Netzwerk-)Clients dran hängt.
Aber das Arbeiten auf einer VM darf gerne beliebig schnell sein, auch wenn das über Wlan passiert
(Mit meinem Laptop bin ich auch per Wlan dran.)

Ich werden mal hin und her spielen, immerhin kann man ja anscheinend unter ESXi das ganze online konfigurieren:

hpssacli ctrl all show ssdinfo detail
hpssacli ctrl all show ssdinfo summary
hpssacli ctrl slot=0 ssdpd all show detail
hpssacli ctrl slot=0 modify dwc=enable
hpssacli ctrl slot=0 modify dwc=disable
hpssacli ctrl slot=0 array a modify ssdsmartpath=enable
hpssacli ctrl slot=0 array a modify ssdsmartpath=disable
hpssacli ctrl slot=0 logicaldrive 1 modify arrayaccelerator=enable
hpssacli ctrl slot=0 logicaldrive 1 modify arrayaccelerator=disable
hpssacli ctrl slot=0 create type=ldcache drives=1e:1:10 datald=1
...

Ja schon, mir reicht es da aber die SSD als Boot-Laufwerk für die VM'S zu benutzen. Schmeiß doch mal ein paar Bilder hoch wie die Klein Giftzwerg so aussieht mit ähm 9 Platten !?

 

[tcg]

naja, die abgesägten ssds sind nur noch plättchen
jupp, ich mach heute abend mal bilder...

 

[tcg]

hier mal eine kurze impression

"eingebaut" (naja)


und von vorne


ich bin irgendwie kein bastler :-(