Raid 6 Konfiguration für guten Read/Write Speed, dzt. zu langsam und unbefriedigend

[Gelöschtes Mitglied 135497]

Hallo zusammen,


ich möchte für meinen zentralen Datenspeicher ein Raid 6 einrichten, die Hardware ist bereits angeschafft.
Angefangen von der Mediathek bis hin zu all unseren Daten soll darauf gespeichert werden. Ca. 4 TB

Wichtig ist mir ein guter, vernünftiger und vor allem konstanter Read/Write Speed ist uns wichtig.
Das Gbit LAN muss nicht komplett ausgereitzt werden, darum geht es garnicht. Ein konstanter Speed zw 60-80 MByte/sec wären schon ok.

Schaffen tue ich es ebaer nicht, eine Film mit zB 12GB kann zügig auf den Server gelegt werden, jedoch kann die anfängliche Geschwindigkeit nicht über den ges. Kopiervorgang aufrecht erhalten werden.

Vor allem beim Lesen von kleineren Datenmengen kann der Speed auf 10-20 MByte/sec sinken.

Hier meine Hardware:

Raid Kontroller http://geizhals.at/lsi-megaraid-9260-8i-bulk-lsi00198-a491737.html?hloc=at
BBU http://geizhals.at/lsi-megaraid-lsiibbu07-lsi00161-a514612.html?hloc=at
8 x HDD http://geizhals.at/western-digital-av-25-1tb-wd10juct-a757613.html?hloc=at
MB http://geizhals.at/supermicro-x9scm-f-retail-mbd-x9scm-f-o-a645185.html?hloc=at
CPU http://geizhals.at/intel-xeon-e3-1260l-cm8062301061800-a646666.html
RAM http://geizhals.at/kingston-valueram-intel-dimm-kit-16gb-kvr13e9k2-16i-a777133.html?hloc=at

Der Systemaufbau sieht so aus, dass ein VMware Esxi 5 das Array in eine Windows Server 2008R2 VM durchreicht.
Das gesamte Array (siehe Screenshot) steht dem Server also exklusiv zur Verfügung. Das Array ist in mehrere Partitionen aufgeteilt welche mit der Rolle Dateidienste zur Verfügung gestellt werden.

Könnt ihr mir helfen die Performance zu verbessern - wo müsste ich schrauben, die hardware möchte ich nicht tauschen.

Danke
Gruß, Stefan

 

[Holt]

Lass doch mal einen Benchmark wie CrystalDiskMark auf dem Rechner unter Windows laufen, damit man sehen kann was das RAID überhaupt schafft. Wenn Du gleich die gesamte Kette von der Quelle bis zum Ziel betrachtest, wird es schwer die Ursache für die schlechte Performance zu finden, denn es kann viel sein, was da eine Rolle spielt.

 

[JohnnyBGoode]

Ich habe die Vermutung, dass es an der virtualisierten Netzwerkkarte liegen könnte. Oder ist die Netzwerkkarte des Hosts über VT-d direkt und nativ im Gastsystem?

Mal mit NetIO die virtualisierte Windows-Installation von außen ansprechen und schauen, welche Geschwindigkeit tatsächlich erreicht werden kann. NetIO muss dazu auf dem Server und dem Klienten ausgeführt werden.

Zu VMware:

Sind im Windows-Gastsystem die neuesten VMware Tools installiert?

Mal getestet, ob die Netzwerkgeschwindigkeit mit dem moderneren virtuellen 10 Gbit-Adapter besser wird? Dass im Host lediglich eine 1 Gbps-Karte ist, ist dabei egal.
Dazu die Virtuelle Maschine.vmx-Datei in einem Texteditor öffnen und folgende Zeile editieren:

Original:
ethernet0.virtualDev = "e1000e"

Ändern in:
ethernet0.virtualDev = "vmxnet3"

Beim Starten von Windows wird dann der Treiber für den geänderten Netzwerkadapter neu installiert, alle Einstellungen müssen dabei neu vorgenommen werden. Der vmxnet3-Treiber ist wesentlich performanter als der e1000e, der so etwas wie einen abgesicherten Kompatibilitätsmodus darstellt. Neu kommt Unterstützung für RSS und Jumbo Frames hinzu, was in Deinem Fall eventuell helfen könnte.

 

[Gelöschtes Mitglied 135497]

Lass doch mal einen Benchmark wie CrystalDiskMark auf dem Rechner unter Windows laufen, damit man sehen kann was das RAID überhaupt schafft. Wenn Du gleich die gesamte Kette von der Quelle bis zum Ziel betrachtest, wird es schwer die Ursache für die schlechte Performance zu finden, denn es kann viel sein, was da eine Rolle spielt.

OK, also das gesamte Raid Volume mit 5,586 TB habe ich in mehrere Volumes mit Freigaben unterteilt, siehe hier:


von zwei der Volumes, E und F habe ich jetzt beispielhaft mittels CrystalDiskMark die Benchmark ermittelt. ("DiskMark64.exe"direkt am virtualisierten Server ausgeführt)
.....

Die Ergebnisse kann ich nicht abschätzen, da ich sonst kein ähnliches System vorliegen habe.

- - - Updated - - -

Ich habe die Vermutung, dass es an der virtualisierten Netzwerkkarte liegen könnte. Oder ist die Netzwerkkarte des Hosts über VT-d direkt und nativ im Gastsystem?

Ja, die NIC ist virtualisiert, sie steht dem Gast System nicht nativ zur Verfügung - könnte ich aber leicht ändern...

Mal mit NetIO die virtualisierte Windows-Installation von außen ansprechen und schauen, welche Geschwindigkeit tatsächlich erreicht werden kann. NetIO muss dazu auf dem Server und dem Klienten ausgeführt werden.

Hier das Ergebnis

 

[JohnnyBGoode]

Dann mal den erwähnten vmxnet-Adapter testen!
Aber eine Netzwerkkarte wirklich durchreichen wäre immer die schnellere Lösung, da die Netzwerkleistung bei VMware leider eine große Bremse ist.

 

[Holt]

OK, also das gesamte Raid Volume mit 5,586 TB habe ich in mehrere Volumes mit Freigaben unterteilt

Das sieht mir nach einem schweren Fall fortgeschrittener Partitionitis aus, aber das muss ja jeder selbst wissen. Früher oder später wird dann der Platz auf einer Partition zu klein, dann wird versucht etwas zu verschieben, zu erweitern etc. und spätestens dann der Moment wo manche erst begreifen, warum RAIDs keine Backups ersetzen!

Google mal was Disk-Quotas sind!

von zwei der Volumes, E und F habe ich jetzt beispielhaft mittels CrystalDiskMark die Benchmark ermittelt.

Das sieht doch soweit gut aus, das RAID schafft bei ausreichend langen Zugriffen (also der Übertragung von großen Dateien) deutlich mehr als ein Gigabit Netzwerk übertragen kann.

Hier das Ergebnis

TX sieht gut aus, aber RX nicht, also je nachdem wo Du jetzt Client und Server ausgeführt hast, geht es in der einen Richtung wie zu langsam, sollte aber in der anderen Richtung passen.

 

[JohnnyBGoode]

Die asymmetrische Netzwerkleistung ist leider ziemlich typisch für die VMware-Netzwerkadapter, da lässt sich nicht allzu viel verändern ohne eine Netzwerkkarte nativ an eine VM durchzureichen.

 

[Holt]

Dann dürfte dort auch die Ursache für die bescheidene Performance liegen.

 

[Gelöschtes Mitglied 135497]

Die asymmetrische Netzwerkleistung ist leider ziemlich typisch für die VMware-Netzwerkadapter, da lässt sich nicht allzu viel verändern ohne eine Netzwerkkarte nativ an eine VM durchzureichen.

Dann dürfte dort auch die Ursache für die bescheidene Performance liegen.

daran arbeite ich gerade - ich dachte eigentlich das es problemlos sein müsste eine NIC durchzureichen - denkste....
das doing ist nicht das Prob sondern die Auswirkungen - der vm host ist dann nicht mehr erreichbar, es kommen Fehlermeldungen im Client, das System sofern erreichbar ist sehr träge und langsam.

habe das direkt i/o wieder deaktiviert und die VM an den vSwitch gehängt - alles wieder bestens....

Mag heute aber nicht mehr weitertun mich nervts...

 

[JohnnyBGoode]

Willkommen bei VMware.

Hast Du bereits beide einzelnen NICs beim Durchreichen getestet? Es könnte sein, dass NIC 1 Probleme bereitet, sei es die Firmware oder das UEFI des Mainboards und NIC 2 dagegen problemlos funktioniert.

Wenn ich es richtig sehe, handelt es bei den NICs des Mainboards um Konsumenten-Chips, denen einfach eine andere Product ID verpasst wurde, um sie als "Workstation Hardware" zu adeln, damit die Intel-Treiber ohne .ini-Modifikationen auch mit Server-Windows-Versionen zusammenarbeiten und nicht die Installation verweigern - die Hardwarebasis bleibt aber die gleiche und ist (eigentlich) nicht für Späße wie VT-d ausgelegt.

Auch laufen sie teilweise nicht so toll. Beispielsweise RSS dürfte praktisch nicht funktionieren, obwohl es in den Datenblättern und den Treibermenüs aufgeführt wird, da bin ich gerade im Klinsch mit Intel, wobei die den Stinkefinger bislang ohne Erklärung an Microsoft richten, ich also nicht sagen kann, ob Linux-basierte Systeme wie ESXi auch betroffen sind. Probleme bereiten Windows 7, 8.x und alle Server Varianten, die die gleiche Basis nutzen.

Sind bei dem Server bereits alle PCIe-Slots belegt? Eine I350-T2 gibt es relativ günstig öfters bei eBay und Netzwerkkarten bei Intel haben in der Regel eine lebenslange Garantie, die man einfach anhand der Seriennummer beanspruchen kann.

 

[Gelöschtes Mitglied 135497]

Ja, manchmal ist ESXi echt eine kleine Zicke

Ich bin von den onboard NIC´s abgekommen und habe mit jetzt eine Intel Server Dual Nic besorgt und diese mit Direct I/O durchgereicht. Sprich die Netzwerkanbindung des Servers läuft nicht mehr über dem VM Switch des Hosts.

Als NIC habe ich diese hier genommen: Intel PRO/1000 PT, 2x 1000Base-T, PCIe x4 (EXPI9402PT)

Daraufhin ein neues NetIO gemacht und siehe da, es sieht besser aus, was haltet ihr davon?

 

[JohnnyBGoode]

Das passt ja dafür, dass es ein zehn Jahre alter Chipsatz ist - ich hoffe, die Karte war sehr günstig, so dass der erhöhte Stromverbrauch nicht allzu negativ auswirkt.

Bleibt nur die allgemeine Unzufriedenheit (bei mir), dass sich auf dem Gebiet der Netzwerkverbindungen im privaten Umfeld im vergangenen Jahrzehnt so wenig bewegt hat und man nur mehr bekommt, wenn man Zusatzhardware im Preisbereich von kleinen PCs ankarrt.