ESXi schickt Daten ins Nirvana?

[screama]

Hallo zusammen!

Aktuell bin ich dabei ein neues Spielzeug einzurichten (ESXi 5.5). Der Server läuft und die VMs schnurren auf einer SSD nur so vor sich.
Es gab absolut keine Probleme......bis sich eine HDD (WD RED 2,5" 1TB, WD10JFCX) ins Gehäuse verirrt hat!

Die WD-RED ist ganz normal als VMFS-5 Datastore eingebunden. Aktuell befindet sich darauf eine 500GB VMDK (Thick Provisioning Lazy Zeroed), welche an eine VM angeschlossen ist.... und da begann der Spass bzw. die Kopfschmerzen.

Kurz und knapp: Die Performance der Platte ist grottenschlecht.... 40mb/s schreibend ist das höchste der Gefühle.

Folgendes wurde schon untersucht/probiert:
- Kontrolle Leistungsengpässe CPU/RAM -> Fehlanzeige
- Performancemessung mit Linux/Windows -> gleiches Problem
- Kopieren von SSD -> gleiches Problem
- Kopieren innerhalb VM -> gleiches Problem
- Kopieren von externer Platte -> gleiches Problem
- Test mit diversen Benchmarks -> gleiches Problem
- Probleme mit "Advanced Format" bzw. Alignment -> Platte meldet sich brav "Sector size 512 bytes". Laut msinfo32 passt das Partitionsstartoffset
- Einbinden der Platte per RDM -> Platte liefert volle Leistung
usw.

Schlussendlich zeigt sich mir folgendes Bild:
1) Per RDM liefert die Platte eine Schreibrate von ~100MB/s
2) Per VMDK liefert die Platte eine Schreibrate von ~40MB/s
aaaaber:
3) Laut Diagramm wird die VMDK mit ~80MB/s beschrieben!



Ich sehe ein, dass es zwischen VMDK und Raw Device Mapping einen Unterschied gibt, aber wo bitte geht die Hälfte der Schreibleistung hin?


Bitte seht mir nach wenn ich einige wichtige Details vergessen habe, aber nach mehreren Stunden Bastelei....

An was kann das bitte liegen? Was frisst hier die Leistung? In den Leistungsdiagrammen ist nichts weiteres ersichtlich.

 

[AliManali]

Hi

Habe ebenfalls WD-RED mit VMDK's drauf. Selbes Problem. Host ist wahlweise ESXi, bzw. Windows 7 mit VMware WS.

Ich nehme an, dass wenn Du die Platten per RDM einbindest, der Cache besser, bzw. überhaupt angesprochen wird.

Ich schiebe das mal auf die grottige Performance der WD-RED. Habe auf beiden Hosts noch WD RE4 Platten dran, ist ein Unterschied wie Tag und Nacht,...

 

[screama]

Neue Erkenntnis:
Wenn ich die Platte mit Thick-Provisioning Eager-Zeroed anlege läuft der selbe Benchmark mit ~80MB/s durch!

Erklärung aus einem Blog:

This is an important distinction because a regular thick disk will require a short pause as its data expands to zero out data on the array. This isn't the case in an eager zeroed disk, where the space on the array has already been provisioned and the data zeroed out.

Das Problem mit der langsamen Platte sollte sich also von selbst erledigen, wenn die Platte einmal komplett voll beschrieben (bzw. genullt) wurde!

Besonders interessant wird es, wenn man Platten nachträglich erweitert... diese werden nämlich nur mit Lazy-Zeroed erweitert!

Mit dem Befehl "vmkfstools -k /vmfs/volumes/blablabla/DISK.vmdk" kann man eine Lazy-Zeroed in eine Eagerly-Zeroed konvertieren.

 

[screama]

Also ich habe über Nacht jetzt eine 500GB VMDK mit "Thick-Provisioning Eager-Zeroed" erstellt und siehe da.... Schreibwerte von ~75MB/s!

Ich erkläre mir das mit der Abweichung (~40MB/s in VM, ~80MB/s laut Diagramm) folgendermaßen:
Die VM schreibt Daten auf die VMDK während der ESXi weiteren Speicherplatz zum Beschreiben vorbereitet. Durch Eager-Zeroed wird die Platte bereits beim Anlegen genullt und es muss nichts mehr vorbereitet werden.