Verzweiflung pur: HDD Performance Probleme mit HP DL380 G6

F

FirstS0ul

Profi
Thread Starter
Mitglied seit
19.06.2017
Beiträge
37
Moin,

so langsam falle ich von meiner Kompetenz ab... Ich weiß einfach nicht weiter. Jetzt bin ich auf eure Hilfe angewiesen.
Ich habe massive Performance Probleme in meinem HP DL380 G6.
Die Hardware liste ich unten auf.

Als OS läuft ESXi 6.0U3 (HP Version), aktuellste Treiber und Updates. Meine VMs sind teilweise ultra langsam. Besonders wenn ich ein Filebackup von meiner NAS VM auf meinen Backup Server kopiere. Er hat jetzt gerade mal 800GB in 48 Stunden geschafft. 1Gbit Netzwerk! Ich habe schon alles gecheckt. Netzwerkprobleme sind auszuschließen.
Ein HDD Test über die ESXi Shell nach diesem Tipp: Geschwindigkeitstest Schreibgeschwindigkeit Storage - SAN oder Festplatte - unter VMware ESX oder ESXi – znilwiki
hat folgendes erbracht:

mit dem P410i 1GB FBWC Controller:
Write: 67 MByte/s
R/W: 33,9 MByte/s

mit dem P420 1GB FBWC Controller:
Write: 29,34 MByte/s
R/W: 16,49 MByte/s

Der Cache ist bei beiden mit Write 75% / Read 25% konfiguriert.

Ich habe nun Drei Möglichkeiten, woran es liegen kann:

1) HDDs --> Zu langsam
2) RAID Controller --> Zu langsam/alt/was auch immer
3) RAID Level = 5 --> RAID5 doch zu langsam?

Folgendes habe ich getestet:

Zu 1) Aktuell kein Geld für andere Festplatten
Zu 2) Habe es mit dem P420 getestet. Sogar schlechtere Ergebnisse
Zu 3) Zwei Platten dazu und RAID50 testen oder Vier HDDs dazu und RAID10 testen?

Alternativ:
Zwei Festplatten im RAID1 an den P410i für die VMs
Vier Festplatten im RAID5 an den P420 und direkt an die NAS VM per PCI Passthrough anbinden
Was aber mit den beiden SAS Kabeln in dem SSF Case nicht geht.... Muss ein zweites Case her.

Was meint ihr?

Meine Hardware:
HP DL380 G6
2x Intel(R) Xeon(R) CPU L5640 @ 2.27GHz
64GB ECC RAM
HP P410i 1GB FBWC RAID Controller
Zum Test: HP P410 1GB FBWC RAID Controller
1Gbit onBoard Ethernet Adapter
6x HGST Travelstar Z5K1 HTS541010B7E610 - Festplatte - 1TB - 5400 U/min ---> RAID5
OS: ESXi 6.0U3 (HP Version)

Backupserver:
HP Microserver N54L
AMD Turion Neo N54L @ 2.00 GHz
8GB RAM
HP P410 1GB FBWC RAID Controller
1GBit Intel CT Desktop Ethernet
2x TOSHIBA MD04ACA4 - Festplatte - 4TB - 7200 U/min ---> RAID1
1x WDC WD10EAVS-00D + 1x Hitachi HDT72101 - Festplatte - 1TB - 7200 U/min ---> RAID1
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Write Back oder Write through bei den Controllern eingestellt, mit BBU sollte man immer WB einstellen?

Ein Raid 5 aus 6 HDDs ist im übrigen nicht empfohlen, da es Performance kostet. man nimmt da immer 2^n +1 Platten (3,5,9) > in deinem Fall bau das Raid5 mal aus 5 HDDs und vergleiche die Performance!

Davon abgesehen sind Notebookplatten mit 5400 U/min bei weitem keine Performancewunder.

Raid 10 aus 10 HDDs solltest du dir wirklich überlegen (5 Mirror gestriped) - es darf nur eine beliebige HDD ausfallen. Das selbe gilt auch für Raid 50 oder 01 ( 2x5HDDs gestriped und die Stripes gespiegelt).
 
Digi-Quick schrieb:
Write Back oder Write through bei den Controllern eingestellt, mit BBU sollte man immer WB einstellen?
Zum Vergrößern anklicken....
Hier mal ein Auszug von der HPSSA CLI, sollte eig. richtig sein:

Code: 
Smart Array P410i in Slot 0 (Embedded)
   Bus Interface: PCI
   Slot: 0
   Serial Number: XXXXXXXXXXXXXX
   Cache Serial Number: XXXXXXXXXXXXXXXX
   Controller Status: OK
   Hardware Revision: C
   Firmware Version: 6.64-0
   Rebuild Priority: Medium
   Expand Priority: Medium
   Surface Scan Delay: 15 secs
   Surface Scan Mode: Idle
   Parallel Surface Scan Supported: No
   Queue Depth: Automatic
   Monitor and Performance Delay: 60  min
   Elevator Sort: Enabled
   Degraded Performance Optimization: Disabled
   Wait for Cache Room: Disabled
   Surface Analysis Inconsistency Notification: Disabled
   Post Prompt Timeout: 0 secs
   Cache Board Present: True
   Cache Status: OK
   Cache Ratio: 25% Read / 75% Write
   Drive Write Cache: Disabled
   Total Cache Size: 1.0
   Total Cache Memory Available: 0.9
   No-Battery Write Cache: Disabled
   Cache Backup Power Source: Capacitors
   Battery/Capacitor Count: 1
   Battery/Capacitor Status: OK
   SATA NCQ Supported: True
   Number of Ports: 2 Internal only
   Encryption: Not Set
   Driver Name: HPE HPSA
   Driver Version: 6.0.0.132-1OEM
   PCI Address (Domain:Bus:Device.Function): 0000:04:00.0
   Port Max Phy Rate Limiting Supported: False
   Host Serial Number: XXXXXXXXXXXXXX
   Sanitize Erase Supported: False
   Primary Boot Volume: None
   Secondary Boot Volume: None

Digi-Quick schrieb:
Ein Raid 5 aus 6 HDDs ist im übrigen nicht empfohlen, da es Performance kostet. man nimmt da immer 2^n +1 Platten (3,5,9) > in deinem Fall bau das Raid5 mal aus 5 HDDs und vergleiche die Performance!
Zum Vergrößern anklicken....
Leider nicht möglich :-( Die Platten sind "voll". Ich brauche 5TB.

Digi-Quick schrieb:
Davon abgesehen sind Notebookplatten mit 5400 U/min bei weitem keine Performancewunder.
Zum Vergrößern anklicken....
Das stimmt. Laut einigen Tests gibt es nicht wirklich einen Unterschied bei HDDs und SATAII... Aber auch die PLatten austauschen wäre ein Verlust, da diese erst einen Monat alt sind und zurückgeben ist nicht...

Digi-Quick schrieb:
Raid 10 aus 10 HDDs solltest du dir wirklich überlegen (5 Mirror gestriped) - es darf nur eine beliebige HDD ausfallen. Das selbe gilt auch für Raid 50 oder 01 ( 2x5HDDs gestriped und die Stripes gespiegelt).
Zum Vergrößern anklicken....
Puh. Dazu brauche ich noch einen HDD Case und den SAS Expander. Dazu die Platten wäre ich bei ca. 260€. Das ist aktuell nicht drin.
Sorry für die doofe frage... Aber wie würde ich das Konfigurieren. Schlägt der RAID Controller das ganze vor? Muss ich bei einem RAID10 einfach 5x ein RAID1 erstellen und dann ein RAID0 aus den Logischem Volumen?

Ansonsten:
Noch jemand Ideen?
 
Zuletzt bearbeitet:
Drive Write Cache: Disabled
solltest du einschalten, da ohne Diskcache kein NCQ, keine Burst-Writes etc.!

Die Controllercache Policy ist leider nicht ersichtlich, einzig "No-Battery Write Cache: Disabled" weist darauf hin, daß bei leerer oder nicht vorhandener Batterie der Schreibcache entweder komplett abgeschlatet ist oder auf WT gestelt wird. Man könnte daraufhin annehmen, daß die standardpolicy Write Back ist, sicher ist daß leider nicht.

Aber mal doof angemerkt, der preisliche "Sweetpoint" für HDDs liegt bei 3&4 TB HDDs, mir unverständlich, wie man da auf teure Notebookplatten mit deutlich geringerer Kapazität geht:

6x HGST Travelstar Z5K1 1TB, SATA 6Gb/s (HTS541010B7E610/1W10028) ab 41,33 de (2018) | heise online Preisvergleich / Deutschland kosten rund 250 € (41 €/TB)
Nutzkapazität = 5 TB

3x Toshiba DT01ACA 3TB, SATA 6Gb/s (DT01ACA300) ab 62,85 de (2018) | heise online Preisvergleich / Deutschland kosten kosten rund 190 € (21 €/TB)
5x Toshiba DT01ACA 2TB, SATA 6Gb/s (DT01ACA200) ab 52,77 de (2018) | heise online Preisvergleich / Deutschland kosten kosten rund 260 € (26 €/TB)
Nutzkapazität = 6 TB bei höherer Performance
 
Zuletzt bearbeitet:
@digi: bringt halt nichts, wenn das case nur 2.5 Zoll kann ;)

@te: du hast ja ein Backup von den ganzen daten, oder? Lösch doch mal das Raid, boote dann mal eine Linux live und teste die Platten einzeln durch. Evtl ist da einfach nur ein faules Ei dabei (es reicht ja schon ein Kabelproblem). Dann kannst du auch mal noch ein software raid anlegen und schauen, wie das performed.
 
Zuletzt bearbeitet:
Gebrauchte HP 900GB SAS Festplatten liegen im gleichen preislichen Bereich wie die neuen Notebookplatten. Wenn man die genommen hätte müsste man nicht über die Performance klagen.
 
Aber selbst die Notebook Platten sollten etwas schneller sein. Ich mein 67mb/s ist jetzt nicht wirklich viel, die Platten machen wohl in diversen Benchmarks immerhin 90.
Und wenn man dann mal die 800gb/48 Stunden runter bricht, sind das 16gb/Stunde oder unter 5mb in der Sekunde. Klingt nicht so gut...
 
Erstmal vielen Dank für die Hilfe und die guten Tipps. Und das Verständnis! Nicht so wie in einem anderen Serverforum... Die sich eig. nur damit beschäftigen.
Ich erwähne kurz, dass ich Fachinformatiker bin und ich aktuelle Systeme für VMWare und Co aufbaue und betreibe, deswegen zweifel ich so an meiner Kompetenz. In 10 Jahren Berufserfahrung ist das zum erstmal aufgetaucht... Und ich hatte schon wesentlich schlechtere Hardware.
Aber kommen wir nun zu meinem Problem:
Ich werde alle eure Tipps beherzigen, den ich ich bin jetzt flexibel.
Ich konnte mir 4x 4TB 3,5 Zoll 7200 RPM Platten leihen. Diese hängen nun an dem P420 als RAID10. (Sieht abenteuerlich aus :-D) Diese stellen dem ESXi einen Datastore zu Verfügung. Ich ziehe gerade die NAS VM darüber. Das läuft jetzt etwa 20 Stunden. Und ist fast fertig.
Dann kann ich mit den internen Platten etwas spielen.

@Digi-Quick
Drive Write Cache einschalten? Ich dachte das wird nicht empholen. Es kommt sogar eine Warnung im Controller BIOS.
No-Battery Write Cache macht schon sinn. Das werde ich dann mal einschalten. Aber ich habe Super Caps dran, da sollte nicht viel schiefgehen ;-)
Ja. Ich kann leider nur 2,5" HDDs nutzen. Umbau auf LFF ist unwirtschaftlich. Und ich find ekein 19 Zoll SAS Gehäuse. Das wäre noch eine alternative.

@deveth0
Ja. Normalerweise habe ich ein Backup, aber das waren die 800GB von ca. 3TB in den 48 Stunden... Das war nicht tragbar. Aber nun habe ich ja eine Lösung mit dem anderen RAID Controller. Zum testen. Damit kann ich auch in Ruhe ein Backup machen und trotzdem mit meinen internen Platten im RAID spielen.
Das mit dem Live Linux ist eine gute Idee. Hast du da mal einen Tipp für mich. Mich welchem Tool oder Befehl ich die HDDs ambesten einzeln testen kann?

@katzenhai
Ich find nur welche für 110€ das Stück. Also doppelt so teuer.

Allgemein:
Meine Platten sind nich unbedacht gewählt. Die sollten eig. gut laufen! Sobald die VMs verschoben sind, werde ich ein RAID50 testen. Dann einen RAID10. Evtl. reicht mir der RAID50 schon.
Die NAS VM muss ich nur Convertieren, damit ich die VMDK kleiner bekomme. DAnn wenn ich ein gutes Ergebnis gefunden habe.
Wenn dann wieder alle VMS umgezogen sind, werde ich den P420 in den Dauereinsatz bringen. Der ist ja schon etwas Leistungsstärker.
 
Zuletzt bearbeitet:
Hdparm sollte da eigentlich reichen, ansonsten bonnie. Wichtig: ohne Cache testen (hdparm mit --direct starten)
 
Also Cache ausbauen oder deaktivieren?
Das alles werde ich als letztes in Betracht ziehen, wenn ich die anderen RAID Level getestet habe, weil das kann ich alles Online machen.
 
Nein, erstmal lesen, was ich geschrieben habe...

Wenn du hdparm mit --direct startest, dann umgeht es den drive Cache (nicht den vom raid Controller afaik).
Da musst du nichts ausbauen oder ähnliches.
Ich gehe nicht davon aus, dass die Raidlevel viel helfen, da kannst du gerne soviel Zeit rein versenken wie du willst, aber wenn du nicht weißt, ob alle Platten passen hilft es nichts...
 
Zuletzt bearbeitet:
Ok. Danke. Ich werde es sehen. Die RAID Level erstellen und testen kostet kaum Zeit das geht fix.
 
Öhm doofe Frage: du wartest mit den Benchmarks dann aber schon darauf, dass das Raid fertig aufgebaut/synchronisiert ist, oder? Bei solchen Platten sollte das mit Daten ja doch einige Stunden dauern.
 
hab den thread nur überflogen, allerdings ist deine festplattenwahl ist eine schlechte. mehrere festplatten die schwingung und vibration erzeugen und nicht dafür ausgelegt sind diese zu korririegeren. ich würde dringend raten nicht mehr als 1 zu benutzen. ansosnten ist eine mögliche fehlerquelle schon quasi vorher bestimmt. könnte im übrigen auch ein grund sein warum du nur so wenig durchsatz hast.

ps.: der backup server ist aber auch nicht grad das performance wunder.
 
Zuletzt bearbeitet:
@deveth0
Natrülich. Sollte aber fix gehen, da keine Daten drauf sein werden. Ich ziehe ja alles rum.

@wohtan
Eine HDD? oO
Interessant das viele die HDDs schlecht machen, ist auch okay. Aber mal keine brauchbare alternative vorschlagen...
Der Backupserver braucht auch keine Performance. Das reicht. Der war schon öfters im Einsatz und hat voll ausgereicht für Backups.
 
FirstS0ul schrieb:
@Digi-Quick
Drive Write Cache einschalten? Ich dachte das wird nicht empholen. Es kommt sogar eine Warnung im Controller BIOS.
Zum Vergrößern anklicken....

Es gibt ja 3 Cache policiys.
Write Through: Daten werden zwar gecached aber sofort geschrieben >> Schreiben hat Vorrang
Write Back: Daten werden gecached und weggeschrieben, wenn grad nix zu tun ist >> Lesen hat Vorrang
Disabled : Daten werden direkt geschrieben, jeder Sektor wird einzeln aber sofort geschrieben, die HDD ist erst wieder ansprechbar, wenn die Daten geschrieben sind
Keine Burst Writes möglich, NCQ ebenfalls nicht, da hierfür der HDD Cache benötigt wird.

Disk Write Cache enabled auf WT ist i.d.R. die richtige Strategie, wenn Perfoprmance im Vordergrund steht.
Disk Write Cache disabled erhöht geringfügig die Sicherheit beim Schreiben zu Lasten der Performance.
 
ah okay. Danke!
Soweit ich das sehen kann kann der P410/420 nur "An" oder "Aus". Wenn man sich mal so durchs Netz liest, dann wird von Disk Write Cache enabled dringend abgeraten... Da wohl dann der RAID Cache nicht mehr viel sinn machen würde, wenn ich das richtig verstanden habe.
Oder sollte das nur aus sein, wenn kein Cache verbaut ist?

Hier z.B.
Quelle: Cache Einstellungen von RAID Controllern und Festplatten – Thomas-Krenn-Wiki
Für einen sicheren Betrieb können u.a. folgende Grundregeln herangezogen werden:

1. Bei der Verwendung eines Caches im RAID-Controller diesen Cache-Inhalt durch eine BBU/BBM schützen. Der Zustand des Akkus soll regelmäßig überprüft werden. Meist müssen die Akkus alle 2-3 Jahre erneuert werden. Weiters ist zu beachten, dass eine BBU/BBM den Cache-Inhalt meist nur bis zu 72 Stunden sichern kann. Bei einem Stromausfall über mehrere Tage kann der Akku leer laufen, und somit der Cache-Inhalt verloren gehen. Bei Controllern mit Zero Maintenance Cache Protection (ZMCP) wird der Cache Inhalt automatisch dauerhaft gesichert.

2.Der Cache auf den Festplatten kann im Normalfall nicht durch eine BBU/BBM gesichert werden. Daher diesen Cache deaktivieren.
Anmerkung: 3ware bietet bei manchen RAID-Controllern ein proprietäres write journal, das diese Cache-Inhalte schützt - bei der Konfiguration des Storsave Parameters auf Protection oder Balanced (im letzten Fall nur bei vorhandener BBU). Die genaue Funktionsweise ist nicht dokumentiert, da aber bei einem Stromausfall nach unseren Tests die Daten damit geschützt sind, müssen die Inhalte des Festplatten-Caches in irgendeiner Form ebenfalls im Cache des RAID Controllers (der durch die BBU geschützt wird) abgelegt sein.
Zum Vergrößern anklicken....
 
Zuletzt bearbeitet:
FirstS0ul schrieb:
...
Was aber mit den beiden SAS Kabeln in dem SSF Case nicht geht.... Muss ein zweites Case her.
Zum Vergrößern anklicken....

Ich habs nur kurz überflogen, aber: was funktioniert mit den 2 Controllern und dem 1 SFF-Case nicht?

da jedes SAS-Kabel genau 4 Platten bedient, müsstes Du nur gucken, welche Platten, an welchem Port hängen! - Dann kannst Du 4 Platten an den internen Controller mit 1 SAS-Kabel und die andern 4 mit dem 2ten SAS-Kabel an den zusatzkontroller durchreichen ;) - nur eine mischung 6/2 geht nicht.

ansonsten kannste ja auch 1 SSD mit entsprechend größe an den SATA-Port vom MB hängen, anstelle des Optischen Laufwerks -> dann kannst Du auch nur den internen Controller an die VM durchreichen.
 
Kurzes Update...
Mit den 7,2k 3,5" HDDs läuft es im RAID10 richtig gut. Wie erwartet.
Meine VMs konnte ich umziehen und das Backup lief auch fix durch.

Da jetzt die Erstellung des RAID50 bei leeren Festplatten schon über 48 Stunden dauert... Habe ich mich entschieden die Platten irgendwie zu verkaufen und mir 7,2k Platten zu holen.
Dann berichte ich wieder.
 
FirstS0ul schrieb:
ah okay. Danke!
Soweit ich das sehen kann kann der P410/420 nur "An" oder "Aus". Wenn man sich mal so durchs Netz liest, dann wird von Disk Write Cache enabled dringend abgeraten... Da wohl dann der RAID Cache nicht mehr viel sinn machen würde, wenn ich das richtig verstanden habe.
Oder sollte das nur aus sein, wenn kein Cache verbaut ist?

Hier z.B.
Quelle: Cache Einstellungen von RAID Controllern und Festplatten – Thomas-Krenn-Wiki
Zum Vergrößern anklicken....

Wie schon gesagt, diese zusätzliche Sicherheit kostet halt Performance.
wbei auch ein via BBU geschützter Controllercache kein konsitentes Dateisystem garantiert - z.B. das Write-Hole Poblem betrifft alle Raids.
Des weiteren müssen die zu schreibendan Daten bereits komplett in den Controllercache geschrieben sein, was auch nicht immer der Fall ist, das OS-Caching liegt ja auch noch davor.
 
Weiteres Update:
RAID50 war nach einer Woche endlich fertig. Ergbnis? Noch langsamer. Ganz schlimm.
Direkt RAID gelöscht und RAID10 erstellt. Initalisierung hat eine Minute gedauert. Das RAID10 ist doppelt so langsam wie das RAID5...
Also... Platten irgendwie loswerden und 7200er kaufen. Direkt an den P420 hängen. RAID10. Glücklich sein... Wenn das auch nicht klappt... Dann stimmt etwas gewaltig nicht. Die 3,5 Zoll Platten an dem P420 laufen richtig gut.
 
Hast du die Platten jetzt mal einzeln getestet?
 
Stimmt! Ganz vergessen. Das wäre eine Variante. Ich gebe den Controller mal per PCI Passthrough an eine VM und teste mal mit Ubuntu sollte doch gehen oder? Dann brauch stundenlang die FW nicht aus sein, da das ja eine VM ist.
 
Probier es, aber die Tests gehen eigentlich ratz fatz, boote lieber nativ kurz ein Linux.
 
2018-08-06-photo-0095.jpg

Hier die Ergebnisse... Soweit gut.
Ich teste nun nochmal RAID5 mit 5 HDDs.

Hat jemand noch eine Lösung?
Ich versuche gerade etwas GEld zusammen zukratzen und meinen Fehlkauf wieder gut zu machen. 7200er Platten sollen es werden. Mind 4TB Platz. Maximal 8 Platten. Wäre nur ein RAID10 sinnvoll, aber das teuerste. Alternativen?
 
wohtan schrieb:
...mehrere festplatten die schwingung und vibration erzeugen und nicht dafür ausgelegt sind diese zu korririegeren...
Zum Vergrößern anklicken....
Hier würde ich den Fehler sehen. Gerade Notebook Festplatten schalten sich gerne auch mal ab wenn es zu "Erschütterungen" oder auch Vibrationkommt -> schlechte Performance.

Lösung könnte auch eine gute Entkopplung sein, aber ~90mb/s ist auch nicht wirklich flink.

Diesmal auch vll drauf achten gescheite Platten zu kaufen, vielleicht tut es auch erstmal ein Raid1 mit SSD-Cache.
 
Zuletzt bearbeitet:
Und wie bekomme ich meine 4TB große VMDK auf ein RAID1 aus 1TB HDDs?

Ihr wisst das HP in den alten und aktuellen Servern normale 7200 RPM 2,5 Zoll HDDs verbaut?

Das mit den Schwingen und Vibrationen glaube ich nicht dran... HP hat das ja so entwickelt und gebaut. Ich habe auf der Arbeit zuhauf solche Geräte im Einsatz... keine Probleme.
 
Sry dachte du willst auch auf 3.5" HDD's gehen, wie die die du dir geliehen hast.
Bei 2.5" sieht es ja anders aus. Da ist ja bei max ~2TB Schluss solange man kein SMR nimmt. Aber auch in 2.5" gibts auch RED's, EXOS oder passende HSGT. Hier vll nicht so viel auf die Drehzahl sondern mehr auf die Spezifikation achten.

Gut, wenn du nicht dran glauben willst ist es deine Sache. Aber das Problem ist nicht dein HP sondern die Notebook Festplatten die das evtl. nicht mögen und so gebaut sind wenn vibrationen kommen den Kopf parken. Bau sei aus lege sie daneben, so kannst du das Testen bzw. Ausschließen.
Es gibt nicht ohne Grund spezifikation für Unterschiedliche Anzahl an Schächten: z.B Ironwolf vs Ironwolf Pro
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh