Platten mit WHS laufen unter KVM zu langsam

[Leela]

Hallo erstmal - hoffe, ich bin hier im Unterforum richtig. Ich weiß, es geht primär um Hardware und mein Problem ist eher softwareseitig, vielleicht aber auch nicht! Im Grunde genommen ist es auch gar nicht mein Problem, sondern das meines Liebsten, also hoffe ich, ich krieg es noch auf die Reihe.

Mein Mann möchte gerne den Windows Home Server mit KVM zum Laufen bringen. Das heißt, zum Laufen hat er ihn schon gebracht, nur das Problem ist, dass die Lese- und Schreibrate der Festplatten extrem niedrig ist und das soll eigentlich nicht sein.

Zur Ausgangssituation: vorhanden sind ein AMD DualCore und drei 2TB Platten (SATAII) im Raid5 sowie eine SSD, auf der Debian läuft. Linux muss laufen, weil sein Asterisk damit läuft und er keine Neuinstallation von selbigem möchte, sondern die vorhandene Konfiguration beibehalten. KVM läift ebenfalls, aber wie gesagt, die Platten sind mit WHS arschlahm. Direkt unter Linux laufen sie aber flott. Andere Virtualisierungen hat er schon ausprobiert (VM-WareServer2, VirtualBox), aber war nicht so seins, die erfüllten nicht ihre Zwecke. Außerdem soll alles möglichst schlank und ohne Schnickschnack, grafische Oberflächen etc. laufen. Andere (Windows) Serversysteme hat er auch schon ausprobiert, aber die Verbesserung zum WHS war nur marginal und brachte auch nicht den gewünschten Erfolg.

Hat jemand eine Idee, woran die Plattengeschwindigkeit hapert und wenn ja, wie man dem Abhilfe schaffen kann? Wenn möglich, soll die aktuelle Software in genau dieser Kombination (Debian - KVM - WHS) beibehalten werden.

 

[biu]

Hallo,
Zum einen beißt sich der Whs mit Raid aber das is nun nicht unser Thema,
aber ein paar Fragen habe ich doch noch.
Wie viel RAM und welchen Raidcontroller ?
Also unter Debian als Hostsystem verwendest du KVM um WHS laufen zu lassen ja?
Und die 2TB Platten reichst du einfach "durch" zum Whs oder wie ?
Denn wenn sie in einem Raid5 sind denn sind es netto ~ 4 TB und WHS kann keine HDD´s mit Kapazität >2TB verwalten.

Screenshots sind auch gerne erwünscht oder konkrete angaben wie schnell er kopiert.
Und geht mal per Remote auf den WHS und kuckt ob der Demigrator läuft.

lg

 

[Leela]

Wie viel RAM und welchen Raidcontroller ?

2GB Ram insgesamt, davon 512MB für den WHS. Daran soll es aber nicht liegen, es wurde auch schon mit 768MB getestet und brachte nichts.
Softwareraid.

Also unter Debian als Hostsystem verwendest du KVM um WHS laufen zu lassen ja?

Genau.

Und die 2TB Platten reichst du einfach "durch" zum Whs oder wie ?

Nee, werden durch LVM verwaltet. Sind genau 2TB große Partitionen, deswegen gibt's da eigentlich auch keine Probleme bezüglich der limitierten Größenverwaltung vom WHS.

Und geht mal per Remote auf den WHS und kuckt ob der Demigrator läuft.

Ist aus.

Screenshots sind auch gerne erwünscht oder konkrete angaben wie schnell er kopiert.

Reiche ich heute Abend nach!

Das Problem ist, dass zur Zeit ein extra Server mit WHS läuft (separates Gehäuse). Quadcore, 8 Platten, Raidcontroller. Ist ja performancetechnisch alles super, aber den wollen wir ja abreißen, weil er viel zu viel Strom verbraucht. Deshalb haben wir jetzt unseren kleinen, hübschen Shuttle-PC hier stehen, worauf Asterisk läuft und der WHS auch noch mit drauf soll. Der WHS soll den ganzen Tag laufen und die Backups machen, was im Moment nicht geht, da wir durch den Stromverbrauch den Server nur anschalten, wenn er wirklich gebraucht wird.

Eventuell gibt es ja auch Alternativkonfigurationen oder Alternativhardware, die unser Problem beheben könnte?

 

[biu]

Probiere doch einfach mal die Platten an den WHS durchzureichen.
Ich weiß wenn es nicht klappt denn muss das Raid wieder aufgebaut werden und das ist ärgerlich, aber ein versuch wert.
Alternativ installiert den Whs doch einfach als Host und dann kannst du zb VMware Server installieren und darüber Linux nutzen ( denn einfach auf die SSD installieren)
Denn es gibt einfach ein Haufen Probleme mit Whs und Raid.
lg

 

[Lan]

Jetzt habe ich schon so viel Zeit in das Projekt investiert, dass meine Frau im Forum um Hilfe schreit...nicht schlecht.

Ich bin mittlerweile halbwegs davon berzeugt, dass KVM für Windows VMs einfach noch nicht das Wahre ist. Auf dem Host sieht die Performance so aus:

               ------Sequential Output------ --Sequential Input- --Random-
               -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
          Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
          8G   260  97 86140  37 49321  18  1215  96 146253  24 218.5  11
Latency        91557us     242ms    2721ms   15642us     116ms     522ms
               ------Sequential Create------ --------Random Create--------
               -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
         files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
            16 19068  51 +++++ +++ +++++ +++ 25856  71 +++++ +++ +++++ +++
Latency        12392us    2216us    1263us   21750us      77us     154us

Gemessen mit bonnie++ auf einem mit ext3 partitionierten LV mit iener Größe von 30 GB. Wie man sieht ist die Performance nicht sonderlich gut, aber auf jeden Fall ausreichend für einen Fileserver. Wenn ich direkt ber Samba Dateien auf ein LV schiebe, erreiche ich Geschwindigkeiten von ca. 30-40 MB/s, was vollkommen ok ist.

In der virtuellen Maschine sieht alles anders aus. Die Leseperformance ist laut HDTune mit ca. 75 MB/s lesend noch ausreichend. Schreibend komme ich in der VM aber nur auf ca. 15-20 MB/s. Und das ist halt etwas langsam.

Getestet habe ich bisher mit WHS, Server 2003 R2 und Server 2008. 2008 war dabei schneller als die Systeme der 2003er Generation. (Ca. 85 MB/s lesend, 30 MB/s schreibend).

Der einzige Grund, warum ich mir den WHS antue, ist das Client Backup. Ich habe bisher keine vergleichbare Lösung mit derart geringen Anforderungen gefunden. Ohne dieses Feature würde ich mir diesen Krampf nicht antun.

Die Verwaltung der HDDs will ich dem WHS nicht überlassen, weil dieser nur eine selektive Spiegelung der Daten unterstützt. Da mir alle meine Daten irgendwie am Herzen liegen, ist diese Methode wesentlich verschwenderischer als ein RAID5.

Der WHS kann leier nicht der Host sein, da das Linux System auch unsere Telefonanlage bildet und dafür auf zwei ISDN Karten zurückgreift, die ich wohl nicht an eine VM durchgereicht kriege...

Ich war schon so weit, das Ganze mal mit VMware Server 2 zu testen. Leider kann dieser im Gegensatz zu seinem Vorgänger keine Block Devices mehr als VDisk an den Gast durchreichen, was mich erstmal abgehalten hat.

Zur verwendeten Hardware:

Board Elitegroup A740GM-M
Festplatten 1 * Intel x25-V, 3 * WD WD20EADS Caviar Green
Netzteil Seasonic SS-350ET-F3 Low Noise
Kühler Cooler Master Vortex 752
CPU 4400+ G2 Brisbane


Näheres zur Konfiguration:

Die drei WD Platten bilden ein Software RAID5. Die Stripe Size beträge 256 kb.
Bei der erstellung der LVG habe ich auf Dinge wie Aligning geachtet. Ich habe auch auf den Gästen schon Partitionen mit einem Offset von 1024 Sektoren getestet, leider brachte dies nur Verbesserungen im Bereich von 2-3 MB/s.


Naja, vielleicht hat ja noch jemand eine Idee. Ich bin verzweifelt.

 

[biu]

Also ich bin mit meinem Latein nun auch langsam am Ende..
Warum eigentlich nicht die Freigaben unter linux machen und dem Whs "nur" ein Teil des Raids geben damit er die Backups draufmachen kann ?
Damit würden wir zwar nur die Sympthome bekämpfen aber was solls ^^

 

[Lan]

Mit dem Gedanken habe ich auch schon gespielt. Nur würde das Backup mit unter 20 MB/s natürlich auch recht lange dauern...

Mal schaun, vielleicht hat ja noch jemand eine schlaue Idee, oder es wird in der nächsten KVM Version besser. Ich hänge schon die ganze Zeit im KVM IRC Channel rum, es wird langsam etwas freakig.

 

[cuco]

sry doppelpost

 

[cuco]

auf den windows home server schreiben ist sehr langsam. ich hab das problem auch und meine HDDs sind ausreichend schnell und das netzwerk allemal.
von was für einem system aus schreibst du denn? linux oder windows?
in bin auf os x und da ist die schreib und leserate(ziehen) wenn ich auf den server zugreif erheblich langsamer als unter windows 7. win7 knackt beim ziehen locker die 100mb/s osx kommt maximal auf 70mb/s.

schreiben auf den WHS von ist unter OS X bei mir oft nur 20-30mb/sec drin. von der intel ssd und der seagate 7200 500gb.

 

[biu]

bis gestern hatte ich auch noch einen und hab mit 60+MB geschrieben

 

[Lan]

Meinst du mit mb/s MBit oder MByte? 100 MByte/s sieht für mich nach einem Messfehler aus.

1 GBit = 1024 MBit

1 MByte = 8 MBit

1024 / 8 = 128

128 MByte/s ist also das theoretische Maximum über 1 GBit Ethernet Verbindung. Dazu kommt allerdings noch der gesamte Protokoll Overhead. 100 MB/s dürftest du daher eigentlich nur mit absoluter Highend Hardware erreichen. (Jumbo Frames, Offload Engine usw.)

Dass dein OS X langsamer ist als Windows 7 könnte auch am fehlenden Tuning liegen. Hast du mal die Verbindung in beide Richtungen mit IPerf gemessen? Alternativ mit grafischer Oberfläche JPerf.

Teste vor allem mal mit einer unterschiedlichen TCP Window Size. Die Unterschiede sind erstaunlich.


Ich installiere gerade nochmal VMWare Server 2.0. Ich will jetzt doch mal wissen wie die Performance im Vergleich zu KVM aussieht.

Biu: Was ist deinem WHS widerfahren?

 

[biu]

Ich installiere gerade nochmal VMWare Server 2.0. Ich will jetzt doch mal wissen wie die Performance im Vergleich zu KVM aussieht.

Dabei muss ich doch mal glatt erwähnen das ich ein Fan von VMware bin x)
und ich dabei bisher nur gute Erfahrung gemacht habe (unter 2k3,2k8 und WHS )

 

[Lan]

Ich verdiene mit VMWare sogar meine Brötchen. Aber man will ja auch mal über den Tellerrand schauen.

 

[Leela]

Jetzt habe ich schon so viel Zeit in das Projekt investiert, dass meine Frau im Forum um Hilfe schreit...nicht schlecht.

Ah, ich sehe - der Herr hat übernommen. Dann kann ich mich ja ausklinken. Ein bißchen mehr Ahnung als ich hast du ja sowieso. Nur ein bißchen zwar, aber für diesen Thread wohl eher geeignet!

 

[biu]

Ich würde mein Server dafür geben wenn meine Frau hier mitreden könnte und dafür auch noch Interesse hätt

 

[Lan]

Keine Angst, meine hat auch nur ein überdurchschnittliches Gedächtnis und ein großes Mundwerk.

Back to Topic:

VMWare Server ist auch nicht wirklich schneller. Anfänglich sah es so aus, aber bei großen Dateien bricht die Leistung dann wieder ein. Ich vermute mal, der bemüht einfach nur einen größeren Cache.

So, genug für heute. morgen geht's weiter...

 

[Leela]

Jetzt lass mich doch auch mal so tun, als ob ich Ahnung hätte!

Also gut: ich nehm den Server von biu und ihr löst endlich das Problem, dann ist hier abends auch mal Ruhe!

p.s. ich soll aufhören mit dem Offtopic wurde mir gerade gesagt. Verdammt, seit wann bestimmt denn jetzt bei uns der Mann, was Sache ist?

Ich bin dann mal weg!

 

[gdfan]

Hallo,
Funktioniert das vllt so:
Du gibts die Festplatten als Laufwerk unter Linux frei, bindest sie in dem WHS ein und machst das Backup auf das Netzlaufwerk? vllt gibt das ja mehr Performance

 

[Lan]

Das geht leidermit dem WHS nicht. Der kann nur auf seinen lokalen Plattenpool sichern.

 

[Gohst_oc]

Ich kann auch eine sehr lange Leidensgeschichte @KVM und HDD Perfomance erzählen.

Also erst mal, was für ein Controller/BUS Typ wird verwendet?
Am besten ist eigentlich VirtIO, was aber unter Windows nur schwer zum laufen gebracht werden kann.

Es ist ab Win. Vista und höher unmöglich die Treiber vor der Installation zu ladenweil sie nicht digital Signiert sind.
Falls du aber eine virtuelle HDD verwendest (also ein Image), kannst du den Controller nachträglich löschen und neu generieren.

Also 1. Windows auf die Virtuelle RAW / vmdk / qcow2 Platte installieren (Bus normal als IDE erstellen)
2. Platte trennen und neu hinzufügen (typ VirtIO) und das Image zuweisen.

So konnte ich das von einem fertig installieren Windows machen.
Aber!!!!!! unbedingt den unsignierten Treiber zuerst installieren.
Nun ist die System-HDD über den VirtIO Bus angeschlossen.

So hat man dann eine gute Leistung da angeblich mehr oder weniger direkt durchgereicht wird.
Ich habs leider nicht geschafft, dies mit meinen Raid 5 Platten am teuren Raid-Controller zu machen.

Aber ein einfaches Volume (z.B Memory Stick oder einzelne HDD) konnte ich direkt über den VirtIO BUS zur Verfügung stellen.
Also direkt Zugriff auf die HDD.

Das geht dann schon schnell.

Was erreichst du für Schreibraten?

Ich habe mal unter Windows Server 2008 R2 gebencht.

Volume: Raid 5 (4x WD Green 1.5 TB) am 3Ware 9690SA-4I Controller + BBU.

Über den virtuellen IDE Controller:

 

[NiclasM]

Schonmal was anders als SMB Verwendet ? Z.B. FTP | NFS | SSH ( wird warsch langsamer sein )


Bei FTP & NFS könnte ich mir höhere Geschwindigkeiten vorstellen...

 

[Lan]

@Gohst_oc:

Ich benutzer ein Software RAID5 aus 3 WD Green Platten mit je 2 TB. Es werden LVM Volumes an die VM durchgereicht. Sowohl die Installation als auch der spätere Betrieb erfolgten mit Virtio. In der VM erreiche ich so ca. 70 MB/s lesend und 20 MB/s schreibend. Teste ich das gleiche Volume direkt von Host aus, erreiche ich ca. 200 MB/s lesend und 60-70 MB/s schreibend. Problematisch ist hier allein die Schreibleistung, weil sie keine Gigabit Leitung auslasten kann. Die meisten Tests habe ich mit Server 2003 bzw. WHS durchgeführt. Server 2008 war geringfügig (5 MB/s) schneller.


@NiclasM:

Die Netzwerkperformance ist ok (mit iperf gemessen). Ich könnte auch mit FTP oder so testen. Das bringt mir nur nicht viel, weil nicht vorhabe diese Protokolle später im Betrieb zu verwenden. Die Performanceprobleme sind zudem schon bei lokalen Tests also ohne Netzwerk bemerkbar.

Edit:

Ich habe jetzt mal eine Platte aus dem RAID entfernt und dem WHS direkt zugeordnet. Hier sehen die Ergebnisse schon viel freundlicher aus: 90 MB/s lesen, 75 MB/s schreiben. Ich spiele jetzt mit dem Gedanken, einfach alle 3 Platten an den WHS durchzureichen. Das einzige, das mich daran stört, ist die Anfälligkeit der Systemplatte. Es muss nur eine einzige Festplatte ausfallen und ich muss mich sofrt mit Desaster Recovery Szenarien beschäftigen. Dazu kommt, dass der Drive Extender vom WHS nur ein Spiegeln der Daten erlaubt. Dadurch verliere ich gegenüber RAID5 1 TB an Kapazität. RAID5 wäre also nach wie vor die bessere Lösung...

 

[Gohst_oc]

Ich finde WHS ist Blödsinn.

Tolle Datensicherheit bei zufälligem Verteilen der Daten auf alle angeschlossenen HDDs....

Und die eingeschränkten S/W Raids etc.
Da bastle ich lieber stundenlange an einem Windows rum oder versuche mich an Linux um ein geeignetes OS hinzubekommen.

 

[Lan]

Wenn du mir eine mit dem WHS Vergleichbare Backup Lösung nennst, kann ich auch gerne auf den WHS verzichten.

Zur Datensicherheit: Die Daten werden ja nicht nur auf alle Platten verteilt, sondern bei Bedarf auch gespiegelt. Das Betriebssystem befindet sich hingegen immer auf den ersten 20 GB der ersten Festplatte. Und da sehe ich die Schwachstelle. Fällt diese Platte aus, muss man die Kiste neu installieren...ziemlich bitter.

 

[ThomasK]

Vielleicht noch als mögliche Testkonfiguration: VMWARE Server 2.0 kann sehr wohl reale Platten (Raw Disk, Physical Disk) an virtuelle Machinen durchreichen. Er erlaubt nur im Gegensatz zum VMWARE Server 1.0 nicht mehr, das über die Oberfläche einzustellen.
Ich habe übrigens einen WHS im Einsatz, einen Acer H340. Performance über CIFS ca. 80 MB/s, da kann man nicht klagen.
Kannst du es nicht umdrehen, d.h. in der realen Maschine einen Windows Server laufen lassen (auch ein WHS sollte gehen, VMWARE läuft darauf) und in einer virtuellen Maschine dann Linux? Damit sollten die Performance Probleme doch weg sein, leider droht dann eine Neuinstallation.

Oh, ich habe gesehen: Du hast ISDN Karten, die du unter Linux brauchst. :-( Dann rate ich zur 2.Maschine, kauf dir etwas stromsparendes für den Telefon-Server und nimm die aktuelle Maschine als Fileserver.