VM's immages HDD'S und SSD Cache ?!

[OwenBurnett]

Ausgangs Situation: Mehrere VM's die sich die gleiche HDD teilen eine 1TB WD vRaptor.
Problem: Beim sichern der VM sattes ist die HDD ziemlich lange ziemlich beschäftigt.

Lösungsansazu: mein mobo (siehe sig) kan angeblich SSD caching.

Ist das was würde mit das in dem obigem Szenario Häfen?
Eine 1 TB SSD kaufen ist keine Option und eigentlich ist 1TB schon fast zu wenig.
Daher muss eine Lösung her die preiswert ist, eine sagen wir mal 128 GB SSD' evl sogar 2nd hand kostet angemessen wenig und wen das mit dem cachen gut geht dan ist es super.

Die frage wäre nur ob dieses SSD caching Feature auch ein ordentlicher writeback cache ist oder nur ein lese cache, letzteres wäre dan weggeschmissenes geld. Da ich was brauche was die massiv vielen schreib zugriffe schnell abfängt.

Oder was habt ihr sonst für ideen um mei problem zu lösen?

 

[fdsonne]

Das wird wohl nicht funktionieren...
Wenn mich nicht alles täuscht funkioniert der SSD Cache nur als Lesecache... Also die Daten, die angefordert werden landen im Cache -> und bleiben dort vorerst drin. Greifst du nochmal drauf zu, hast du den Cachespeed anstatt den Zugriffsspeed auf die HDD selbst.
Beim Schreiben funkioniert das aber wenn ich das recht in Erinnerung habe, nicht! -> berichtigt mich, wenn ich falsch liege.

Wenn du mehr Storageperformance willst, hilft wohl nur ein dickeres Storage
Kommt halt drauf an, was du da für Datenmengen umschubsen willst/musst.

PS: was meinst du mit beim sichern der VM!?
Die VM dürfte ja normal in Fileform auf dem Storage liegen... Sprich wenn du sicherst, kopierst du einmal die relevanten paar Files mit xxGB Größe weg/woanders hin, oder?
Wenn das der Fall ist, wäre es ggf. Ratsam das definitiv nicht mehrfach zu machen. Ein Kopiejob, der sequenziell die Files wegkopiert wäre wohl um längen schneller als das ganze mit zwei drei oder mehr Kopiejobs gleichzeitig zu machen. Denn bei gleichzeitig wird random gelesen/geschrieben -> was bei der HDD zu massiven Performanceverlust kommt.

 

[OwenBurnett]

Ne ich meine wen ich in der VM aus Pause drücke, dabei wird das ganze RAM der VM 4 GB oder 8 GB auf die HDD geschrieben.

Das ist leider manchmal echt langsam ka wieso, in TaskInfo sieht das so aus das die schreibrate gut anfängt und irgendwan auf 4 mb/s fällt und die hdd die ganze zeit rattert, evl ist das volume zu fragmentierrt aber bei NTFS solte das doch egal sein.

 

[mika2004]

Das NTFS nicht fragmeniert und das dieses keinen Einfluss auf die Geschwindigkeit hat, dieses Gerücht hält sich seit Windows NT.

Bevor ich aber rate und den falschen Tip gebe,

ist es richtig, dass Dein Rechner 8GB Speicher hat und die VM auch 8GB verwendet?

CU

 

[OwenBurnett]

ist es richtig, dass Dein Rechner 8GB Speicher hat und die VM auch 8GB verwendet?

Nein, Memory: 64 GB EDD DDR3

 

[mika2004]

dann übersetze mir mal bitte mobo

Ich hätte WS (=Workstation) besser verstanden.

Sollte VM und pagefile.sys auf dem gleichen Laufwerk sein, könnte ich das Verhalten verstehen.

CU

 

[Holt]

Wenn es nur darum geht, dann würde ich eine zweite HDD oder eine SSD für die Images des RAMs der VMs anschaffen. Wenn 1TB sowieso schon zu wenig ist, dann kaufe Dir dich eine HDD für jede VM, dann stören sich deren Plattenzugriffe wenigstens nicht mehr gegenseitig. Das SSD Cacheing wird Dir, wie schon geschrieben wurde, bei dem Problem wenig bis nichts bringen. Defragmentieren und der Verzicht auf die NTFS Datenkompression wären aber zunächste die ersten Schritte, denn bei NTFS leidet die Performance bei HDDs wie jedem Filesystem ohne automatische Defragmentierung auch, wenn Dateien fragmentiert sind. Das liegt schon an den ganzen Kopfbewegungen, die zum Ansteuern der einzelnen Fragmente nötig sind.

 

[OwenBurnett]

Also um jeder VM eine HDD zu spendieren dafür gibts zu viele, datei kompression ist aus.
hmm... was könnte ich sonst machen?

 

[Holt]

Parallele Zugriffe bremsen HDD übermäßig aus, weshalb es dann auch irgendwann egal sit, wie fragmentiert die Dateien sind, weil die Köpfe der Platten sich sowieso dauernd bewegen müssen. Mit der Raptor hast Du schon die der schnellste SATA HDD und damit kannst Du nur entweder auf eine SSDs wechseln, was Dir zu teuer ist, die Daten und damit die Zugriffe möglichst geschickt auf möglichst vielen HDDs verteilen oder mit der Performance leben die erreicht wird.

 

[olqs80]

Für einen SSD Schreibache nutze ich einen Lsi Controller mit Cachecade Funktion und zwei SSDs im Raid1. Ist für den Heimgebrauch aber keine günstige Lösung.

Da wär vielleicht die Auslagerung der Daten auf Linux NAS System mit bcache eine Möglichkeit. Keine Ahnung ob es für Windows auch Softwarelösungen gibt die Schreibcache bieten. Mit nur einer SSD als Schreibcache ist's aber fahrlässig, falls die SSD einen defekt hat sind sonst alle Daten weg

 

[Tzk]

Also um jeder VM eine HDD zu spendieren dafür gibts zu viele, datei kompression ist aus.
hmm... was könnte ich sonst machen?

Statt einer 1tb SSD vllt mehrere 256gb SSDs kaufen?

Ich würde einfach eine 256gb SSD kaufen und die am häufigsten gestoppten VMs dort lagern. Damit ist dort dann schonmal der Flaschenhals weg.
Die Restlichen würde ich auf der Rapor behalten und beizeiten auf zusätzliche SSDs auslagern.

Damit ist die Einmalinvestition nicht sooo hoch. Du erhälst außerdem insgesamt mehr Schreibrate, es kostet dafür etwas mahr als eine einzelne große SSD.

Parallele Zugriffe bremsen HDD übermäßig aus, weshalb es dann auch irgendwann egal ist, wie fragmentiert die Dateien sind, weil die Köpfe der Platten sich sowieso dauernd bewegen müssen.

Um das zu vermeiden würde ich die einzelnen VMs halt nacheinander pausieren und nicht gleichzeitig. Ist aber mehr ein Notbehelf als eine wirklich gute Lösung.

 

[Holt]

Statt einer 1tb SSD vllt mehrere 256gb SSDs kaufen?

Eine 1TB SSD ist ihm schon zu teuer, dabei gab es kürzlich die 1TB 840 Evo bei Amazon für 399€. Damit dürfte das Budget klar sein.

Bei einer SSD wäre es dann auch egal, ob eine 1TB oder 4 mit 256GB, denn parallele Zugriffe sind da nicht so das Problem und bremsen sich nicht so aus, wie bei HDDs.

Um das zu vermeiden würde ich die einzelnen VMs halt nacheinander pausieren und nicht gleichzeitig. Ist aber mehr ein Notbehelf als eine wirklich gute Lösung.

Wobei ihm dann eben immer die anderen Plattenzugriffe der VMs im Weg sein werden. Magnetische Platte vertragen eben parallele Zurgiffe nicht besonders gut, selbst so schnelle wie die Report sind da noch viel, viel langsamer als SSDs.

 

[fdsonne]

Um welche Virtualisierungslösung handelt es sich denn überhaupt?
Weil wenn das Problem nur beim Pausieren der VMs auftritt und auch die Last auf der HDD nicht nennenswert hoch ist, könnte auch irgendwas anderes das Problem sein.
Denn wenn du die VMs nacheinander pausierst sollte das durchaus mehr oder weniger fix pausieren...
Auch sind Fragmente idR kein Problem, da die Daten normal sequenziell geschrieben werden. Defrag kann aber definitiv nicht schaden

 

[Holt]

Es kann auch an der Fragmentierung der Dateien liegen, wie er selbst sagt:

evl ist das volume zu fragmentierrt aber bei NTFS solte das doch egal sein.

Nur unterschätzt er den Einfluss der Fragmentierung auf die Performance. Defragmentieren wäre der ersten Lösungsansatz, aber das wird nur was bringen, wenn die Dateien wirklich fragmentiert sind und wenn nicht zu viele parallele Zugriffe nebenbei stattfinden, denn dann hat man sowieso sehr viele Kopfbewegungen und in so einem Fall kommt es auch ein paar mehr wegen der Fragmentierung dann eben auch nicht mehr an.

 

[OwenBurnett]

Also es ist VMWare und laut windows ist die hdd kaum fragmentiert.
Was mich wundert ist das ich beim pausieren auch nur einer VM ein schreib Zugriff habe der so aussieht wie im Anhang, manchmal ist der "schwanz" auch mehre 10 sec lang, das ist großer mist.
In meinem alten sys hatte ich das gleiche verhalten :/

Cachecade klingt interessant, der supergau ist mir egal die VM's sind zum testen gedacht, sprich die sollten nicht öfter als 2x im Jahr im a*** sein alles was seltener crashed ist perfekt ok, da geht nichts verloren um was es schade wäre außer etwas zeit zum wieder Aufsätzen *g*

Was für einen controller brauche ich dafür habe hier noch ein nicht ganz so neuen intel 8 port kontroller der ist ja mit LSI baugleich, nur halt nicht ganz neu (SRCSATAWB).
Wen ich einen neuen brauche dann auch gleich 8 ports was wäre da preiswert was das Feature hat.

Das Budget ist nicht grundsätzlich limitiert, sondern nur prinzipiell sprich der preis verfall bei grosen SSD's für einbischen testen ist mit zu groß, bei raid controlern hingegen ist der preisverfahl um ne grösenordnung kleiner und das ist preiswert, auch wen es mehr kostet *g*

PS: Wie schon geschrieben ist mir 1 TB auch schon fast zu wenig, da bräuchte ich wen dan gleich 2 solche SSD's a.k.a. 1k€ das ist echt zu viel ein raid controller kostet mas 350 + kleine SSD *g* und dan kan ich auch 2 oder 4 raptoren anstöpseln

 

[olqs80]

Also die benötigten Softwarelizenzen wären je nach Controller LSI00290 bzw LSI00292. Für das Feature gibts auch 30 Tage Trial Keys, die du aber nach nem reboot wieder einspielen kannst. Bei einem reboot nach Ablauf der 30 Tage erkennt der Controller bis zum neu Einspielen des Keys keinerlei Konfig mehr. Einen weg zurück gibt es ohne kompletten Konfigreset nicht mehr. Den writeback Modus können mutige auch mit nur einer Caching Platte einschalten.
Unterstützt sollten alle Controller der Serien 9260,9270 und 9280 werden.

Die günstigsten Controller wären 9260-8i, 9261-8i bzw 9266-8i.

 

[OwenBurnett]

hmm.. fast 200€ für ein Software ist einfach nur pervers!
Wie ist das mit dem nach einem reboot einspielen?
Reicht es alle < 30 tage 1x zu rebooten und den key neu eingeben, oder was muss ich noch beachen?
Und woher weiß das teil das 30 tage um sind eine RTC wird ja wohl nicht onboard haben?

 

[mika2004]

Ich stelle die Frage mal anders,
ist es nicht möglich, Deine VMs mit weniger Speicher zu betreiben?

Ich hatte mal zwei VM, die 6GB / Win2008R2 und zig Snapshoots bei 600GB Festplatten in Splitmodus.
Das hat keinen Spaß mehr gemacht. Die Lösung war: den Speicher auf 2 GB zu senkten.
Die Performance für die Applikation hat sich dadurch nicht geändert.

Es gibt auch einen Schalter in den VM-Einstellungen, mit dem man festlegt, ob die laufenden VMs den Speicher auslagen dürfen.
Edit->Preferences->Memory

CU

 

[OwenBurnett]

Die vmware settings haben nicht geholfen.
Ich brauche bei einigen VM's mind 4 GB RAM, vs2012 ist ein echter Speicherfresser ...

Ich habe was interessantes gefunden: Disk Cache, Hybrid Disk Cache and RamDisk dafür kann man sicher auch leichter ein Schlüsselmacher finden als für ein Hardware Produkt.

 

[mika2004]

Damit habe ich auch schon mal gespielt.
Bei den letzten Versionen, die ich getestet habe, hat der Schlüssel/Crack unter W7/64 nicht funktioniert.
Und wenn Du Pech hast, fängst Du Dir bei der Suche nach diesen Helferlein böse Trojaner und Viren ein.

Wenn man 2 Raid Controller mit je 1GB Cache im Rechner hat, ist das auch nicht mehr so interessant.

 

[Holt]

1. Liest euch bitte noch mal die Forenregeln durch und ändert die Beiträge entsprechend:

(§ 5) Raubkopien und illegale Software:

Es ist im Forum nicht gestattet, nach Raubkopien, Cracks, Serials oder sonstiger illegal bezogener oder kopierter Software zu fragen, darüber zu diskutieren, Links anzubieten oder auf Downloads zu verlinken. Verstöße in dieser Form werden hart geahndet, die Threads werden kommentarlos gelöscht. Sollten wiederholt derartige Beiträge von einem User auftauchen, behalten wir uns eine sofortige Sperrung des Accounts vor.

2.) Wenn Du an Caching denkst dann würde ich Dir mal einen Blick auf die Digitus DS-30104-1 ans Herz legen. Die hat den Marvell 88SE9230 verbaut, der über zwei PCIe Lanes angebunden ist und Marvell HyperDuo Technology unterstützt. Über den gibt es einen Thread bei planet3dnow mit einigen Informationen zu dem Thema.

 

[olqs80]

Du musst nicht rebooten, solange der Server läuft funktioniert auch das Feature, wenn du aber neu startest wird überprüft ob der Zeitraum abgelaufen ist und du musst ggfs den Key einspielen.

Für ein kleines Setup sieht HyperDuo nicht schlecht aus. Danke Holt das kannte ich bisher nicht.

 

[Holt]

Komischerweise bewirbt Digitus den als SATA II und macht auch sonst um die Feature des verbauten Chips wenig Aufhebens. Das muss wohl einfach daran liegen, dass Digitus wohl auch einer der viele Importeure von HW ist und sich kaum mit dem auskennt, was sie da verkaufen. Hat hat wohl einfach jemand die Daten des Vorgängermodells DS-30104 (ohne die -1 hinten) überkommen, die ja den Marvell 88SX7042 verbaut hatte.

 

[OwenBurnett]

Hat das HyperDuo jetzt einen schreib Cache auf SSD?
Oder ist es wie das SSD cache meines mobos nur ein lesecache?

Ad SuperCache eine dauertest Version des Tools scheint das Problem zumindest ordentlcih verringert zu haben, 8 GB ram als cache + lazywrite auf 60sec ist genug um ein bis zwei VM standbys abzufangen. Und ja ich weis das wen mir windoof abschmiert während der 60 sec der VM zustand im a*** ist oder worst case die ganze Partition, aber wie gesagt das ist egal, solange es nicht zu oft passiert

PS: hier gibts ne seite die was zum cachecade zu sagen hat: http://mycusthelp.info/LSI/_cs/AnswerDetail.aspx?inc=8286
The key should only be used on non-production systems. Once enabled, even if the CacheCade volume is deleted and not used, after 30 days the data volume will be inaccessible unless the trial key is reentered (for 30 more days of eval) or CacheCade Pro 2.0 is purchased and a permanent key is entered.
Heist das man kann den key insgesamt nur 2x eingeben oder was sagt die Erfahrung kann man den wirklich so oft man will alle 30 tage eingeben?

 

[Holt]

Wenn man sich die Werte auf der Seite 3 des Marvell HyperDuo Technology Brief anschaut, dann sieht es zumindest sehr danach aus. Leider steht dort nicht, ob die Messungen im Safe Mode oder im Capacity Mode ermittelt wurden. Im Capacity Mode müssen dann natürlich zwangsläufig Schreibvorgänge auch auf die SSD erfolgen, da ja die SSD dann ein Teil der Gesamtkapazität ist.

 

[olqs80]

Der Absatz auf der Seite will nur deutlich machen das die Cache Aktivierung nicht rückgängig gemacht werden kann. Einmal auf einem VirtualDrive den SSD Cache aktiviert, dann reicht auch kein deaktivieren des Caches um den Test rückgängig zu machen, sondern der Raid Verbund muss komplett gelöscht und neu erstellt werden. Was eben bei einem Testsystem möglich sein sollte, bei einem produktiven eher ungut ist.

Das mit HyperDuo im Capacity Mode hab ich auch so verstanden. Wie hier automatisch verteilt wird ist aber nicht wirklich beschrieben. Ich hab im 3dcenter Thread von einer Software gelesen, bei der man in dem Bezug auch einiges einstellen kann.

 

[Holt]

Das mit HyperDuo im Capacity Mode hab ich auch so verstanden. Wie hier automatisch verteilt wird ist aber nicht wirklich beschrieben.

Wie das verteilt wird, dürfte vom Algorithmus abhängen und der ist ja wohl das Betriebsgeheimnis von Marvell. Den Capacity Mode würde ich auch nicht verwenden, das ist eine Art JBOD und damit sind die Daten bei Ausfall einer Platter vermutlich weitgehend unrettbar verloren.

 

[OwenBurnett]

hmm... weis nciht also für mich liestsich die beschreibung mit den "hot files" so als wen der nur das mirrort was oft gebraucht wird, vmware macht beim pausieren aber neue files d.h. das könte immer so zu sagen daneben gehen :/

 

[Holt]

Die erste Frage ist mal, ob überhaupt Schreibvorgänge gecacht werden, dann wenn ja, ob neue Dateien automatisch gecacht werden. Aber selbst wenn nicht, dann würde schon jeder Lesezugriffe der aus dem Cache kommt, eine Unterbrechung des Schreibvorgangs zum Lesen vermeiden und das Schreiben damit beschleunigen. Wenn Du sicher gehen willst, das wirklich auf eine SSD geschrieben wird, dann musst Du die Dateien auf einer SSD anlegen, denn bei den ganze Cache Lösungen ist das eigentlich nie 100%ig sicher.