RAID6 VD erweiterung braucht ewig

[AssassinWarlord]

Servus, hat hier jemand erfahrungswerte, wielange es im schnitt dauert, wenn man ein HW RAID6 erweitert? Da macht er ja ein Rebuild...
System ist ein i5-12600K (E-Cores Bios-Seitig deaktiviert, C-States ebenfalls deaktiviert), Raidcontroller ein recht starker Broadcom 9560-16i welcher auf einem Z690 Board auch im ersten x16 Slot sitzt.
Angeschlossen waren bisher 6x 12TB TOSHIBA MG07ACA12TE
jetzt hab ich 2 weitere Platten dazu gebaut um damit die bestehende DriveGroup zu erweitern. Dazu macht der Raidcontroller ja ein Reconstruction - allerdings braucht er ca. 3 stunden für 1% Fortschrit, also das dauert Tage wenn nicht sogar Wochen eb der fertig ist. Er ist jetzt bei 31% Gesamtfortschritt, und das nach rund 3,5 Tage.

Verstehe nicht so recht, was da solange braucht, obwohl es doch schon der stärkste Raidcontroller ist den es gibt. Die Platten einzeln Lesen/Schreiben auch mit über 200MB/s.
Hab auch schon die Reconstrucion und Rebuild rate auf 100% hochgesetzt...
Firmware und Treiber des Broadcom ist aktuell, die SATA platten sind auch alle mit 6Gb/s angebunden.

was bremst hier?

 

[konfetti]

Was macht das Ding denn noch so nebenbei? - bzw. ist halt die Frage, wie der RAID-Controller das priorisiert.

Die Erweiterung unseres Backup-Servers damals von 4 auf 6TB (2 1TB SAS MDL-Platten dazu gesteckt) hatte auch rund 2 Tage gedauert und der Server an sich war nicht wirklich ausgelastet, hab sogar die Backupjobs temporär pausiert gehabt - dennoch fässt der ja den Datenbestand komplett an.

Auf dem anderen Server hab ich das dann einfacher gemacht - alte Raidgroup gelöscht, neue angelegt.

Der Tausch der Disks war ein ähnlich langes unterfangen - von 300GB SAS zu 600GB SAS Disks (eine nach der anderen) war ja auch jedesmal ein RAID-Rebuild -> je Disk ca. 18 Stunden.

Es bremst eben der Controller, wenn da vom OS her noch andere Dinge auf ihn zu kommen. - Je nachdem was Du machst, wäre da ein Software RAID nicht sinniger?

 

[AssassinWarlord]

nichts macht der Server, kein zugriff auf die platten oder dergleichen. Der hat die zeit nur für sich alleine - das ist es ja eben was mich da wundert warum das solange dauert
Rechnerrisch wird das noch bis nächsten Dienstag dauern, also in summe 10 Tage in etwa - das finde ich schon recht lange für den schnellsten raidcontroller den es aktuell gibt
Ich kann ja mal Broadcom anhauen, ob die mir sagen können, ob das Normal ist...

 

[Morpheuz]

Zeiten sind normal, da braucht man auch keinen Hersteller für nerven

 

[Eye-Q]

Naja, es müssen ja alle Datenblöcke gelesen und irgendwo zwischengespeichert, anschließend die zwei Paritäten neu berechnet und sowohl Daten- als auch Paritätsblöcke wieder geschrieben werden. HDDs sind schlecht darin, gleichzeitig zu lesen und zu schreiben, und da die Daten definitiv nicht in irgendwelche Caches passen, wird quasi direkt auf den drehenden Plattern gearbeitet. Die HDDs lesen und schreiben sequenziell mit 200 MB/s, aber das, was der RAID-Controller macht, ist definitiv kein sequenzielles Lesen oder Schreiben, sondern zufälliger Zugriff, und da sind HDDs nun mal extrem langsam. Wie groß ist die Blockgröße eingestellt? Wenn es 64 KB sind, dürften die Platten bei zufälligem Zugriff nicht mal 5 MB/s machen: https://en.wikipedia.org/wiki/IOPS#Mechanical_hard_drives

 

[AssassinWarlord]

Ja scheint wirklich normal zu sein, der Support hat mir diesbezüglich auch geantwortet...bei einem Raid5 Rebuild macht der Controller bei HDDs ca 1TB/40min lt. Support.
aber bei einem Raid6 ist das ganze ja aufwendiger - und ich habe direkt zwei Festplatten dazu gesteckt und nicht nur eine, also noch mehr Arbeit für das ganze.
StripeSize ist 256KB

 

[VolkerEigen]

Deshalb würde ich ein RAID 10 empfehlen!

 

[Ceiber3]

Brauchst aber doppelt so viele Platten.

 

[VolkerEigen]

Was ist wichtiger? Schnelle Verfügbarkeit oder günstig?

 

[Digi-Quick]

Raid 6 = 2-fache Redundanz >> Es dürfen 2 beliebige HDDs ausfallen
Raid10 = 1Fache Redundanz entsprechend Raid 5 >> Es darf nur 1 beliebige HDD ausfallen
Es darf im gleichen Stripe eine weitere HDD ausfallen, aber nicht im Spiegel

 

[Steggi]

Deshalb würde ich ein RAID 10 empfehlen!

Das muss auch nicht unbedingt viel schneller sein. Hatte neulich einen Kunden, dessen RAID 10 Erweiterung in seinem Dell Server fast ne Woche gebraucht hat. Allerdings bei normalem Tagesbetrieb.

Neben dem, was Eye-Q bereits gesagt hat, kommt noch hinzu, dass die Controller üblicherweise bei Erweiterungen und Rebuilds von Write-Back auf Write-Through umschalten. Der Cache der Festplatten selbst ist bei Hardware-RAIDs auch üblicherweise deaktiviert oder wird ausschließlich zum Lesen verwendet, da er im Gegensatz zum Cache des Controllers keine BBU hat.
Dementsprechend darf man keine Performancewunder erwarten.