[Sammelthread] Advanced Format - 4kB Sektoren bei HDDs

[andichen]

Also macht der Controller offensichtlich die richtige Ausrichtung (aktuelle FW ist drauf).

Der Controller hat doch damit gar nix zu tun. Das geschieht alles plattenintern. Wenn die Platte da mit reinen 4K-Sektoren daherkäme, wüsste der Controller gar nichts mit anzufangen. Der Haken ist dabei nur, dass es bei dieser platteninternen "Umschichtung" zu Verzögerungen kommen kann, die der Controller u.U. nicht toleriert.

Aber gut, dass an dieser Stelle auch mal ein Raid6 getestet wird. Mir hat dafür bisher immer eine Platte gefehlt. Bin auch gespannt, wie sich das verhält...

Bei mir läuft das Raid1 am LSI 9260 übrigens auch immernoch einwandfrei.

 

[august123]

ich wollte damit nur nochmals darauf hinweisen dass es mit meiner Konfiguration keine Probleme gibt und der 9260 läuft.
Also das Zusammenspiel von emulierten 512- Byte Sektoren und Controller passt mit den F4 Samsung Platten bei mir, und bei dir wohl auch mit den WD EARS
Ich frage mich nur, was dann bei scars das Problem war.

 

[andichen]

Jep, kann auch nicht nachvollziehen, woran das bei scars gelegen haben soll. Vielleicht haben da noch andere Dinge nicht gepasst. Hast du eigentlich ne BBU dran, august123?

Am Areca siehts mit den WD20EARS gegenwärtig auch gut aus. Initialisiert gerade...

 

[brockb6]

Emuliert heisst du has was gejumpert @ HD? @august?

 

[august123]

nein, bei F4 ist die 512byte- Emulation Standard.

 

[brockb6]

Ah achso das wusste ich nicht. Thx

 

[mueder joe]

@August123
Halt uns bitte auf dem Laufenden wenn etwas passiert...

 

[fdsonne]

Leute nur mal eine Verständnisfrage für mich...

Warum sollte das ganze in Zusammenhang mit Raidarrays Probleme bereiten?

Das Problem bei den 4kb Platten ist nicht die Hardware, sondern die Software...
Das heist, man richtet halt einfach die Partition die auf dem Raidarray liegt, so ein, das eben der Spaß aufeinander passt. Und schon sollten die Probleme gegessen sein.
Das Raidarray richtet die Blockgrößen im Raid selbst ja schon auf ein Vielfaches von 4kb aus, also besteht dahingehend kein Problem.
Ich verstehe dahingehend die Aufregung irgendwie nicht...
Oder kann mir wer genaueres erklären?


Im übrigen, noch ein Hinweis:
viele Seiten schreiben, es gibt keine so richtige Lösung für Windows XP oder älter was das Alignment angeht. Das stimmt so nicht...
Man kann beispielsweise mit einer Windows Server 2008 oder Windows Vista DVD (7 und Server 2008 R2 sollten auch gehen) in den Reperaturoptionen die Kommandozeile starten und dort über DISKPART die Partition mit dem richtigen Alignment vor der XP oder älter Installation anlegen. Ohne zu formatieren. Beim Setup wählt man einfach dann diese schon erstellte leere Partition aus und lässt diese mit dem richtigen Dateisystem formatieren. Das sollte normal auch für ältere Windows Versionen funktionieren. Linux ansich ist noch unkritischer, da man dort idR seit Ewigkeiten das Alignment verbiegen kann.

PS: übrigens, das Problem mit XP ist schon Ewigkeiten bekannt gerade im Serverumfeld (Datenbankumgebungen) achtet der Admin idR darauf, das die Partitionen auch bei Server Versionen älter 2008 richtig ausgerichtet sind um extreme Performanceprobleme zu vermeiden.

 

[underclocker2k4]

Das ist alles richtig, dennoch hilft das nicht sehr viel.

Der Controller sagt der HDD, ändere mit bitte mal den 6. 512kb sektor. (denn der Controller kennt nur 512kb Sektoren, weil seit ewigen Zeiten Standard)

Die HDD nimmt diesen Befehl an und ändert den 1. 4kb Sektor.
Controller-> HDD 7. 512kb Sektor -> wieder 1. 4kb Sektor auf der HDD
Controller-> HDD 8. 512kb Sektor -> wieder 1. 4kb Sektor auf der HDD
Controller-> HDD 9. 512kb Sektor -> 2. 4kb Sektor auf der HDD

Unterm strich mußt du also 8x den selben 4kb Sektor beschreiben, obwohl es für die HDD besser gewesen wäre, wenn der Controller ihr gesagt hätte, ändere mal den 1. 4kb Sektor. Das ganze schlägt sich theoretisch in einer 8-fachen Zugriffzeit und in 1/8 der Transferrate.

Die ganze stipesize,chunkzise und auch Alignment kommt da ja nochmal ontop.

Fakt ist, sämtliche Kontrollerhersteller sind aus alle Wolken gefallen, dass es auf ein Mal 4kb HDDs gibt. (war eigentlich schon über Jahre bekannt, dass das unausweichlich ist, ist wie mit dem Winterdienst, plötzlich war es Winter, keiner hat damit gerechnet)

 

[BlackGhost]

Man kann ja nicht wirklich nachvollziehen, wo der Controller mit dem Array auf der HDD anfängt. Das ist nicht zwangsweise ganz "vorne" bei der HDD (Sektor 0) sondern kann ja auch was krummes wie Sektor 63 sein (XP lässt grüßen).

Die anschließend erstellt Partition setzt ja nochmal eine Stufe höher auf dem Array.
Wenn der Controller schon das Array krumm auf den HDDs ansetzt, kann man auch mit richtigem Alignment der Partition nichts mehr reißen.

Ansonsten hast du natürlich recht, was XP betrifft .. im Prinzip ist das eigentlich kein Problem .. bzw. kann relativ leicht umgangen werden.

 

[underclocker2k4]

Ich find es in allererster Linie ein Armutszeugnis für die Controllerhersteller.

4kb HDDs sind jetzt wie alt? Ein Jahr ca. Seit dem hat es keiner fertig gebracht eine Update für ENTERPRISEController zu bringen. Das sind also keine 10$ Teile, die kosten Geld und da erwarte ich als Kunde einfach, dass man hier entsprechend Support hinterschiebt. Es passiert aber nix.

 

[fdsonne]

Mhhh klingt erstmal logisch, aber das würde auch bedeuten, das jegliche 4kb HDDs dieses acht fach mehr Zugriffe haben. Was sich direkt in acht fach geringerer Leistung wiederspiegelt. Und das scheint ja nicht zu sein...

Also scheint es zumindest nicht ganz so schlimm zu sein...
Die Frage ist auch, wie verhält sich das in einem Raidarray... fordert der Controller von jeder HDD in einem Raid 0 beispielsweise sektorweise die Daten an, oder geht das blockweise?

 

[underclocker2k4]

Das ist halt nur theoretisch betrachtet. Es werden ja keine einzelnen Sektoren angesprochen, sondern eben immer ganze Pakete, entsprechend der Blöcke ect., was ja einem mini seq. r/w gleich kommt.

Sprich, die lesen ja immer im "Dutzend", daher ist der Effekt im SingleDrive nicht so eklatant, sonst hätten sich die User schon "erkenntlich" gezeigt.

Im RAID ist das aber etwas anders. Hier wird eben, entsprechende der Stipesize kleinere Blöcke pro HDD verarbeitet werden. Sprich, wenn man zB 16sektoren als Block single hat, sind das ja 2x4kb Sektoren.
Wenn man jetzt mal die 16Sektoren auf zB 16HDDs verteilt, dann bekommt eine HDD wieder nur einen einzelnen 512kb Sektor ab und darf das dann intern hochrechnen.
Wenn man das jetzt im RAID weiterspinnt, kommt man irgendwann an den Punkt, wie die HDDs eben mehrfach den selben Sektor verarbeiten(sicherlich nicht 8x aber eben mehr wie 1x).

Konsequenz ist der Effekt, den ich vorhin als Hardcorefall dargelegt habe.
Es liegt also, einfach an der internen Verarbeitung der Controller, sowohl single als auch RAID.

Und die Enterprisecontrollerhersteller legen sich darauf fest, so lange es keine 4kb enterprise HDDs gibt, brauchen wir ja nix machen. Homeuserplatten werden dabei nicht beachtet und wir, die hier hauptsächlich eben homeuser HDDs mit neuerdings 4kb einsetzen dürfen also hoffen, dass sich die Hersteller irgendwann für eine Fw-Update hinreißen lassen.

EDIT:
Was man mal austesten müßte, wenn man im RAID alles genau so einstellt, dass es ausschließlich dazu kommen kann, dass die HDDs immer nen 4kb Block(oder ein Vielfaches davon) abbekommen.

 

[mueder joe]

Das ist halt nur theoretisch betrachtet.

Dabei fehlt in meinen Augen aber noch der Umstand dass die 4K HDDs ja alle noch 512 Byte Sektoren nach außen emulieren und damit der Controller garnicht wissen kann dass es eine 4K Platte ist und entsprechend handelt. Oder hab ich da nen Denkfehler?

Was man mal austesten müßte, wenn man im RAID alles genau so einstellt, dass es ausschließlich dazu kommen kann, dass die HDDs immer nen 4kb Block(oder ein Vielfaches davon) abbekommen.

Wie soll ich das Verstehen? Stripesize / Anzahl HDDs (ohne Redundanz) = ein Vielfaches von 4?

 

[underclocker2k4]

Klar melden die sich nach außen noch als 512er Platte, das wird dann der nächste Spaß.
(Intern arbeiten die Platten trotzdem mit 4kb und heben das alles intern um, was von Außen kommt. )
Aktuell können die Controller halt einfach net anders. Ist wohl eine politische Sache, warum man das net freigibt. Und wenn es das läuft, wie bekommt dann der RAIDController mit, dass er ne 4kb Platte hat, wenn sie sich mit 512 meldet.
Muß/darf/kann ich dann selber festlegen, was ich für ne HDD habe?

@2. Teil
Jo, denn dann müßte die HDD ja wieder mit 4kb häppche gefüttert werden und somit würde sie dann immer (8x 512 vom Controller aus) einen Sektor voll beschreiben.
(oder halt entsprechen x-fache Sektorenanzahl)

"Leider" habe ich im mom nur 512 HDDs hier, kanns also net testen. Wobei man sich dann erstmal nen Testszenario ausdenken müßte mit reprodzierbaren (negativen) Ergebnissen.

 

[andichen]

Hm...also wenn mir jemand sagen kann, wie ich den "GAU" simulieren kann, würde ich das Versuchskaninchen spielen... Für alles andere habe ich momentan leider nicht die Zeit. Ansonsten bin ich froh, dass es funktioniert und kümmere mich nicht weiter drum... Kann mir iwie auch nicht so recht vorstellen, dass man da so weit "eingreifen" kann, dass sich da was verschluckt. Denke mal, dass sich eine solche Sache bei mir in den letzten 10 Monaten, der Laufzeit des Raid1, schon ereignet haben müsste...

 

[underclocker2k4]

RAID1 ist unkritisch, da du quasi nur ne einzelne HDD hast und somit eigentlich nur in 4kb mit der Platte reden kannst. Problematisch wird es dann, wenn du zB 3kb senden würdest. Und das erreichst du nur in den höheren RAID Modi.

 

[andichen]

Hm...leider lief das Raid5 am LSI 9260 nicht so lange. Mal sehen, wies am Areca damit aussieht. Werds am WE mal fertig-initialisieren lassen und mal n paar Sachen schieben...

 

[underclocker2k4]

Mach das teil mal zur Hälte mit Müll voll, dann was löschen und wieder füllen und das nen paar mal.

Zwischendurch paar benches machen und schauen ob sich da was ändert. (wird es ja, aber wie stark ist die Frage)
Wieviele HDDs?

 

[mueder joe]

Klar melden die sich nach außen noch als 512er Platte, das wird dann der nächste Spaß.
(Intern arbeiten die Platten trotzdem mit 4kb und heben das alles intern um, was von Außen kommt. )

Da weiß ich aber immernoch nicht wo das Problem vom Controller liegt. Klar, eine miese Performance lässt sich damit erklären, aber doch nicht dass die 4K Platten reihenweiße aus dem RAID gekickt werden, wie Tekkno_Frank das hier schon verlinkt hat.

Edit:
http://www.hardwareluxx.de/community/15087438-post381.html
das z.b.

Jo, denn dann müßte die HDD ja wieder mit 4kb häppche gefüttert werden

Wird mit Sicherheit Lustig wenn man eine ungerade Anzahl Platten im Array hat.

 

[underclocker2k4]

Auch dazu gibt es Meinungen. Dass die HDDs stellenweise so lange brauchen um diese "Scheiße" umzusetzen, dass das dem RAID Controller zu lange dauert und der die HDD dropped.

Ist aber auch nur ne Vermutung, und dürfte sicherlich vor allem dann auftreten, wenn das alles so zerklüftet ist, dass man quasi ständig Randoms auf den Scheiben hat.

Das ist alles echt sehr schwierig das Thema und ich weiß genau wo die Leute sitzen, die das mit einem kleinen Lächeln ändern könnten.

 

[andichen]

Mach das teil mal zur Hälte mit Müll voll, dann was löschen und wieder füllen und das nen paar mal.

Zwischendurch paar benches machen und schauen ob sich da was ändert. (wird es ja, aber wie stark ist die Frage)
Wieviele HDDs?

Aye aye... Sind übrigens 3 HDDs, mehr kann ich leider gerade nicht "abzwacken", aber ist ja auch günstig wegen der ungeraden Zahl...

Also bisher hat sich meines Wissens nur der etwas ältere Adaptec 3405 net mit den EARS vertragen, also wo es gleich nach ein paar Stunden/Tagen Kicks gab.

 

[mueder joe]

Wie lang brauchen die Controller bis sie die Platte kicken? Waren das nicht 7s? Ich wüsst nicht was die intakte HDD so lange machen sollte, selbst im Worst Case.


Edit: was ist eigentlich mit den Onboard-Lösungen? Gibts Erfahrungen mit nem RAID5 am ICH10R?

 

[underclocker2k4]

Du hast ne gerade Anzahl (wobei gerade net entscheidend ist)

Du hast in nem 3er RAID nur 2 NutzHDDs und über diese liegt der stripe.

Wenn du jetzt die Formel von unserem müden Joe oben nimmst, dann kommste damit hin. Sprich du solltest nur stress mit dem Drop haben, wenn er denn auftritt.

Ich hab btw "auch" nen 31605, dem werd ich wohl bald mal nen paar 2TB an die Backe knallen "müssen", daher ist das Thema für mich insbesondere jetzt nen ganz großes Thema. 512er HDDs kosten einfach ne gute Ecke mehr Geld, besonders in den Größenordnungen.

EDIT:
@joe
Eigentlich mehr als die 7sec. Mit den 7secs beziehst du dich auf die TLER time der WDs?! (der Controller sollte nochmal nen Puffer drin haben)
Wie gesagt, es ist ne Vermutung, mir fehlen leider die genauen Einblicke in diese Dropproblematik.

 

[andichen]

Wie lang brauchen die Controller bis sie die Platte kicken? Waren das nicht 7s? Ich wüsst nicht was die intakte HDD so lange machen sollte, selbst im Worst Case.

Edit: was ist eigentlich mit den Onboard-Lösungen? Gibts Erfahrungen mit nem RAID5 am ICH10R?

Die "Kickzeit" ist wohl von Controller zu Controller verschieden afaik. Könnte mir vorstellen, dass es da günstig ist, wenn man einen hat, der nicht so schnell kickt, damit die Platte nochn bissl mehr Zeit zum Überlegen hat... Sowas steht natürlich nirgends...

Ansonsten kenne ich jemanden, der 3x 2TB F4-Samsungs am ICH10R (MSI H57) erfolgreich betreibt.

Joa, also warum die 512er im Verhältnis so viel mehr kosten, verstehe ich auch nicht. Müsste doch eigentlich eher umgekehrt sein. Meistens wollen die doch den alten Kram loswerden. Allerdings könnte ich mir denken, dass, sobald einer Controllerhersteller 4K-Support hat, die 512er-Platten dann von heute auf morgen um mind. 10 Euro fallen...

 

[mueder joe]

Ansonsten kenne ich jemanden, der 3x 2TB F4-Samsungs am ICH10R (MSI H57) erfolgreich betreibt.

Damit könnt ich auch leben. Auch wenn es nicht die schönste Lösung ist.

Joa, also warum die 512er im Verhältnis so viel mehr kosten, verstehe ich auch nicht. Müsste doch eigentlich eher umgekehrt sein. Meistens wollen die doch den alten Kram loswerden.

Es werden nur noch Restbestände sein und eine gewisse Nachfrage ist eben da.

@joe
Eigentlich mehr als die 7sec. Mit den 7secs beziehst du dich auf die TLER time der WDs?! (der Controller sollte nochmal nen Puffer drin haben)

Ja das kommt daher. Ich dachte nur dass die 7s aus nem bestimmten Grund gewählt sind. Aber egal.

 

[august123]

meine F4 im Raid6 verrichten bisher noch einwandfrei ihren Dienst, am füllen und leeren bin ich schon ne Ganze Weile (garnicht so einfach bei diesen Kapazitäten).
Konsistenz-Check lasse ich auch öfters drüber.
Bisher noch nix passiert und Performance nicht messbar verloren. Sobald ich ein halbwegs ordentliches Ergebnis habe gibts Werte und Screens.

 

[BlackGhost]

An welchem Controller hängen die Platten?

 

[august123]

LSI 9260 wie auf der vorigen Seite beschrieben

 

[andichen]

Damit könnt ich auch leben. Auch wenn es nicht die schönste Lösung ist.

Joa, habe ich auch schon für den Dauerläufer in Betracht gezogen. Sind immerhin auch ca. 20W, die der Controller alleine verbrutzelt. Ich muss mal schauen, wieviel eine Plattform mit C2D Mobile und dem Controller zieht. Werde da auch nomma abwägen müssen...

Es werden nur noch Restbestände sein und eine gewisse Nachfrage ist eben da.

Schon komisch... Glaub kaum, dass die noch von irgendwem gekauft werden, wenns quasi dasselbe für n 10er weniger gibt. Werden sicherlich nur noch diejenigen kaufen, die den Unterschied kennen bzw. sich nicht trauen... Muss ja doch irgendwie n Grund geben, warum die eine Sorte teurer/billiger ist...