Hyper-V - extreme Pingschwankungen und Performanceprobleme

[schoeller]

Hi,

Hallo,

wir nutzen bei uns in der Firma nen Windows Server 2008 R2 mit der Hyper-V Rolle.
Installiert haben wir darauf 4 virtuelle Maschinen.

Seit kurzem ist mir aufgefallen, dass wir ziemliche Performanceprobleme haben.

Beim Ping auf den Hyper-V Host bekomme ich folgendes zurück:

PING 192.168.10.80 (192.168.10.80): 56 data bytes
64 bytes from 192.168.10.80: icmp_seq=0 ttl=128 time=758.405 ms
64 bytes from 192.168.10.80: icmp_seq=1 ttl=128 time=0.420 ms
64 bytes from 192.168.10.80: icmp_seq=2 ttl=128 time=761.873 ms
64 bytes from 192.168.10.80: icmp_seq=3 ttl=128 time=0.376 ms
64 bytes from 192.168.10.80: icmp_seq=4 ttl=128 time=789.954 ms
64 bytes from 192.168.10.80: icmp_seq=5 ttl=128 time=0.318 ms

Das gleiche kommt auch bei den virtuellen Maschinen die drauf laufen. Ich kann nicht mehr genau sagen, wann und wie es dazu gekommen ist. Habe jetzt schon etwas im Internet recherchiert und hab fast überall gelesen, dass Einstellungen an der Netzwerkkarte vorgenommen werden sollen.

https://www.ntx.at/blog/Lists/Beitraege/Post.aspx?ID=133


Serverkomponenten:

OS: Windows Server 2008 R2 Enterprise
CPU: 2x Intel XEON E5645 6x 2.4GHz
Board: Intel S5520HCR
RAM: 40GB RAM DDR3 REG
NIC: 2x Intel® 82575EB
RAID Controller: Adaptec 5405
Für die Systeme nutzen wir RAID10. Dort liegt der Host und die VM's. Für die Daten nutzen wir RAID.

VMs:

1x Server 2003 Standard 32Bit - 3 GB - 2 CPU
1x Server 2003 Standard 32Bit - 3 GB - 4 CPU
1x Server 2003 SmallBusiness 32Bit - 4 GB - 2 CPU <-- (DC, DHCP, Exchange) soll abgeschafft/erneuert werden
1x Server 2008 Standard R2 - 18 GB - 4 CPU

Wichtig ist wahrscheinlich auch, dass der Server 2 NIC's hat aber nur eine genutzt wird. An der anderen ist nicht mal ein Kabel angeschlossen.
So sieht die Config im Hyper-V Manager aus:



Der Performance vom Server ist einfach nicht akzeptabel. Pingschwankungen sind das eine. Aber auch die Anwendungen, die auf den Servern liegen, arbeiten nicht flüssig.

Ping von Client zum Server:

PING 192.168.10.80 (192.168.10.80): 56 data bytes
64 bytes from 192.168.10.80: icmp_seq=0 ttl=128 time=758.405 ms
64 bytes from 192.168.10.80: icmp_seq=1 ttl=128 time=0.420 ms
64 bytes from 192.168.10.80: icmp_seq=2 ttl=128 time=761.873 ms
64 bytes from 192.168.10.80: icmp_seq=3 ttl=128 time=0.376 ms
64 bytes from 192.168.10.80: icmp_seq=4 ttl=128 time=789.954 ms
64 bytes from 192.168.10.80: icmp_seq=5 ttl=128 time=0.318 ms

Ping von Server zum Client:

Ping wird ausgeführt für 192.168.10.150 mit 32 Bytes Daten:
Antwort von 192.168.10.150: Bytes=32 Zeit<1ms TTL=128
Antwort von 192.168.10.150: Bytes=32 Zeit=858ms TTL=128
Antwort von 192.168.10.150: Bytes=32 Zeit<1ms TTL=128
Antwort von 192.168.10.150: Bytes=32 Zeit=910ms TTL=128

Ping von Host zur VM:

Ping wird ausgeführt für 192.168.10.150 mit 32 Bytes Daten:
Antwort von 192.168.10.150: Bytes=32 Zeit<1ms TTL=128
Antwort von 192.168.10.150: Bytes=32 Zeit=858ms TTL=128
Antwort von 192.168.10.150: Bytes=32 Zeit<1ms TTL=128
Antwort von 192.168.10.150: Bytes=32 Zeit=910ms TTL=128

Ping von VM zum Host:

Ping wird ausgeführt für 192.168.10.150 mit 32 Bytes Daten:
Antwort von 192.168.10.150: Bytes=32 Zeit<1ms TTL=128
Antwort von 192.168.10.150: Bytes=32 Zeit=858ms TTL=128
Antwort von 192.168.10.150: Bytes=32 Zeit<1ms TTL=128
Antwort von 192.168.10.150: Bytes=32 Zeit=910ms TTL=128

Ping zwischen 2 VM's:

Ping wird ausgeführt für 192.168.10.150 mit 32 Bytes Daten:
Antwort von 192.168.10.150: Bytes=32 Zeit<1ms TTL=128
Antwort von 192.168.10.150: Bytes=32 Zeit=858ms TTL=128
Antwort von 192.168.10.150: Bytes=32 Zeit<1ms TTL=128
Antwort von 192.168.10.150: Bytes=32 Zeit=910ms TTL=128

Selbst zwischen den Maschinen kommt es zu argen Schwanken, was ja nicht normal sein sollte.

netsh int tcp show global

Globale TCP-Parameter
----------------------------------------------
Empfangsseite : enabled
Chimney-Abladestatus : automatic
NetDMA-Status : enabled
Direkter Cachezugriff (DCA) : disabled
Autom. Abstimmungsgrad Empfangsfenster : normal
Add-On "Überlastungssteuerungsanbieter" : none
ECN-Funktion : disabled
RFC 1323-Zeitstempel : disabled

NetIO Daten:

UDP connection established.
Packet size 1k bytes: 54.43 MByte/s (4%) Tx, 1123.49 KByte/s (26%) Rx.
Packet size 2k bytes: 13.16 MByte/s (0%) Tx, 10.59 KByte/s (0%) Rx.
Packet size 4k bytes: 25.31 MByte/s (0%) Tx, 44.29 KByte/s (0%) Rx.
Packet size 8k bytes: 43.76 MByte/s (2%) Tx, 42.96 KByte/s (0%) Rx.
Packet size 16k bytes: 33.32 MByte/s (33%) Tx, 149.60 KByte/s (0%) Rx.
Packet size 32k bytes: 10.60 KByte/s (99%) Tx, 262.02 KByte/s (0%) Rx.
Done.

TCP connection established.
Packet size 1k bytes: 54.96 MByte/s Tx, 50.14 MByte/s Rx.
Packet size 2k bytes: 69.64 MByte/s Tx, 48.09 MByte/s Rx.
Packet size 4k bytes: 72.05 MByte/s Tx, 90.66 MByte/s Rx.
Packet size 8k bytes: 86.93 MByte/s Tx, 105.14 MByte/s Rx.
Packet size 16k bytes: 69.40 MByte/s Tx, 103.95 MByte/s Rx.
Packet size 32k bytes: 95.83 MByte/s Tx, 108.05 MByte/s Rx.
Done.

Info:
Der Hyper-V Server wurde der Domäne hinzugefügt. Der SBS (VM) ist der DC. Ist das überhaupt sinnvoll, dass der Hyper-V in der Domäne ist?
Nutze selber nur einen ESXi und da hatte ich solche Probleme noch nie.

Habe bei einer VM die virtuelle Netzwerkkarte umkonfiguriert und die Offload Einstellungen deaktiviert, jedoch ohne Besserung.

kurze Zusammenfassung:
- arge Performanceprobleme
- 2 NIC's Onboard aber #1 wird gar nicht genutzt (kein Netzwerkkabel) --> Host + 4 VM's laufen über NIC#2

 

[matthias80]

zu wenige nic´s ist genau das Problem.
der host sollte eine eigne haben!
und je nach last am besten auch jede VM!
einfach ne 4 Port Intel einsetzen und den hyper-v Switch entsprechend konfigurieren...

den host raus aus der Domäne!
auch sollte na kein anderer furz ausser der hyper-v rolle ausgeührt werden!

bin jetzt gerade nicht auf stand. gegenüber hyper-v 2012 r2 hat sich viel verbessert.
weiß jetzt nicht wie eine kernüberbuchung bzw. max Ausschöpfung läuft beim alten hyper-v...
aber der host sollte auch nen paar Ressourcen übrig haben. ram hat er ja. vielleicht der einen 4 vm noch nen kern abzwacken.
oder ist HT aktiviert?

und prüfe mal ob der host sich runtertaktet...
ggf. c6 und c7 im bios deaktivieren und in den host Energie Einstellungen Höchstleistung einstellen.

ps. welcher depp hat das verbrochen?

mfg
Matthias

 

[katzenhai]

Das mit unrealistischen Pingzeiten bei Hyper-V und alten Windowsbetriebssystemen ist bekannt.
Unrealistically Fast (or Negative) Ping Responses in Server 2003 Hyper-V Guests « Mat's Techblog

 

[timiner2mc]

Vor allem ist es schlecht, wenn der HV in einer Domäne läuft, dessen DC eine virtuelle Maschine auf dem HyperV ist.
so hat der HV ja nie die Möglichkeit, beim Start GPO-Updates zu laden, oder sonstwas.
Startet der HV also immer ohne jegliche Verbindung zum Domönencontroller?

 

[schoeller]

Es wurde halt einfach aufgesetzt ohne sich vorher richtig zu informieren.


Ja, der HV startet zuerst und danach erst die VM's (unter anderem auch der DC).
Ich nehme den Host dann aus der Domäne raus. Irgendwas, was man dabei beachten muss?

Installiert ist auf dem Host meines Wissens nur die HYV Rolle. Werde das ganze aber noch einmal prüfen.

Morgen werde ich dann die VM's runterfahren und auf dem Host die Treiber der NIC's aktualisieren.
Danach nehme ich NIC#1 in Betrieb und starte nacheinander die VM's und schaue nebenbei, wie sich die Pingzeiten verändern.

Also meint ihr, dass ich pro VM ein virtuelles Netzwerk anlegen soll?
Sonst noch andere Ideen?

 

[ott]

Moin,

schonmal daran gedacht die Netzwerktreiber auf dem Host zu aktualisieren?
Auch wenn es natürlich nicht optimal ist nur ein NIC zu verwenden, sollte es trotzdem nicht derartige Probleme geben.

Also Windows Updates, HYper-V Service Packs und Treiber überprüfen.

Gruß,
ott

 

[matthias80]

Brauchst nix zu beachten. Höchstens das du das lokale Administrator passwort hast. Treiber und sowas klar müssen auch aktuell sein. Ein virtueller switch mit einem Port für je eine vm. Ohne mehr Ports kannst du höchstens den host eine separate geben und den vm's den anderen. Aber das wäre ja keine wirkliche Verbesserung.

 

[schoeller]

Ich geb mal hier mein Feedback.

Habe alle VM's runtergefahren. Updates hab ich bei den 2003er VM's gar nicht mehr gemacht, da dies erstens den Rahmen gesprengt hätte und zweitens werden die 2003 dieses Jahr noch aus dem Verkehr gezogen und durch 2012 ersetzt. Die 2008er VM hab ich mit den neuesten Updates versorgt.

Also alle VM's runtergefahren und dann erstmal Service Pack 1 auf dem Host installiert. War noch nicht

Nach ca. 90 Minuten war der Host-Server dann wieder da. Bei den VM's schnell noch den automatischen Start rausgenommen und erstmal angepingt. Immer noch Schwankungen, obwohl keine VM an war.

Also hab ich die zweite Netzwerkkarte in Betrieb genommen und noch schnell eingerichtet. Nochmal paar Updates installiert und wieder reboot durchgeführt.

Nach dem Hochfahren wieder die Pingzeiten getestet.

NIC#1 (die neue): So wie es sein soll
NIC#2 (die mit den Problemen): So wie es sein soll

Hab dann VM für VM hochgefahren und Dauerping auf beide NICs durchgeführt. Bis jetzt keine Probleme


Der Host befindet sich immer noch in der Domäne. Den werde ich jedoch bald rausnehmen. Theoretisch dürfte dort ja nix passieren. Warte aber mal noch auf meinem Kollegen, ob dort irgendwas läuft, was ohne Domäne eventuell nicht mehr funktionieren wird. Problem dürfte glaube ich das Acronis für unser Backup sein.

Das läuft meines Wissens auf dem Host. Finde das eigentlich auch nicht Optimal. Wie löst ihr das?

 

[passat3233]

Da solltest du einmal in der Doku von Acronis schauen.
Bei vielen Backupprogrammen ist es so, das die nicht in einer VM installiert werden dürfen, weil die dann die VMs nicht sichern können.
Und die wollen auch auf einem Domänenmitglied installiert sein, weil sie sonst das AD nicht sichern können.
Wenn der DC auf einem Host, der Domänenmitglied ist, läuft, dann sollte im Netz noch ein zweiter DC vorhanden sein, der nicht auf diesem Host läuft und von dem sich der Host beim Start GPO-Updates etc. etc. holen kann.
Ich habe in meiner Firma 2 identische physikalische Maschinen.
Bei Wartungsarbeiten am Host verschiebe ich die darauf laufenden VMs im laufenden Betrieb auf den anderen Host.
Das geht unterbrechungsfrei und völlig problemlos.
Auf der einen Maschine läuft in einer VM der erste DC, auf der anderen Maschine in einer VM der zweite DC.
Jede VM hat übrigens eine eigene physikalische Netzwerkkarte, die Hosts ebenso.

 

[vBurak]

Meiner Ansicht nach ist es Schwachsinn einen Hyper-V Host aus einer Domäne zu entfernen. Das sollte man _ausschließlich_ machen wenn ein dedizierter Domain Controller im Netzwerk bereit steht und auf dem Hyper-V Host z.B. ein zusätzlicher zweiter DC läuft.

Die Replikation von VMs unter Hyper-V 3.0 mit Server 2012 und höher funktioniert nur wenn der Host in einer Domäne hinzugefügt ist.

Ich hatte längere Zeit auch einen Hyper-V Host außerhalb der Domäne und es war nervend, ständig eigene Passwörter und Richtlinien einzustellen.

 

[mhrpcler]

Auch wenn bei dem Server einiges von den sog. "Best Practices" von Microsoft abweicht, wurde der Knackpunkt mit den Netzwerkkarten bereits angegangen.
Es ist empfohlen das sog. Management-Netzwerk für die Parent Partition des Hyper-V separat zu halten und weitere Netz jeweils über eigene Karten anzuschließen.
Aber so heftige Probleme hätten eigentlich nicht auftreten sollen. Hier würde ich ggf. noch einmal die Einstellungen der Ursprünglichen Netzwerkkarte prüfen und auch schauen ob es Firmware- und Treiberupdates gibt.