ESXi 8.0U1 CPU Last seltsam hoch

[Ronin07]

Mir ist aufgefallen, dass mein Server mit ESXi seit dem Update auf 8.0U1 immer einen CPU-Kern auf Last zieht. Ich hab keine Ahnung, was das verursacht. Mit 8.0 vor-U1 war das nicht so, da waren alle Kerne schön ruhig, wenn die VMs nichts getan haben.



Mit den VMs kann das mMn nichts zu tun haben, weil das Verhalten auch bei heruntergefahrenen VMs auftritt.

Was ist das und wie werde ich das los?

Edit: Die wesentliche Hardware:
Mainboard: Intel S1200SPLR
CPU: Intel Xeon E3-1275 v6
RAM: 4x Kingston Server Premier 16GB DDR4-3200 ECC UDIMMs
Speicher-Subsystem: Fujitsu EP400i (Broadcom/Avago 9361-8i) mit Capacitor
6x Samsung SM863a 480GB SSDs für die VMs
9x WD Red (pro) 1TB 2.5 HDDs als Datengrab
Netzteil: Corsair SF450 Platinum

 

[Steggi]

Schalte bitte mal SSH ein, logge dich dann via Putty in den Host ein und schau dir mal die Ausgabe des Befehls esxtop an. Kannst auch gerne einen Screenshoot davon machen. Darauf sollte ersichtlich sein, welcher Prozess deine CPU auslastet.

 

[Ronin07]

esxtop

[root@localhost:~] esxtop
 8:02:12pm up 3 days  1:34, 772 worlds, 6 VMs, 20 vCPUs; CPU load average: 0.39, 0.35, 0.35
PCPU USED(%): 3.8 5.8 3.3 2.8 2.6 3.3 1.8  99 NUMA:  15 AVG:  15
PCPU UTIL(%): 4.5 6.5 3.9 3.3 3.1 3.8 3.8 100 NUMA:  16 AVG:  16
CORE UTIL(%): 9.9     6.4     6.2     100     NUMA:  30 AVG:  30

         ID         GID NAME             NWLD   %USED    %RUN    %SYS   %WAIT
      14384       14384 LSA.1050949         9   96.08   99.89    0.00  799.13
      20602       20602 Connector          12    7.93    9.20    0.04 1188.00
      17330       17330 Mailserver         15    6.36    7.08    0.02 1490.28
      18423       18423 Videoserver        15    3.87    4.35    0.03 1493.06
     193744      193744 esxtop.1077695      1    2.28    2.37    0.00   97.51
      19517       19517 Nextcloud          13    0.82    0.92    0.02 1296.87
       9866        9866 hostd.1050275      47    0.75    0.81    0.00 4693.69
      21695       21695 Abfallplaner       10    0.68    0.75    0.02  997.67
          1           1 system            338    0.59  672.45    0.00 32945.68
      16213       16213 Pi-hole            10    0.54    0.61    0.01  998.14
       4562        4562 envoy.1049480      17    0.17    0.19    0.00 1697.23
       4377        4377 sandboxd.104944    19    0.02    0.02    0.00 1897.14
       1138        1138 vmsyslogd.10488     6    0.02    0.02    0.00  599.06
         20          20 userworld           4    0.01    0.01    0.00  399.39
      13513       13513 vpxa.1050800       33    0.01    0.02    0.00 3296.34
     193606      193606 sshd.1077677        1    0.01    0.01    0.00   99.88
      22844       22844 hostd-probe.105     8    0.01    0.01    0.00  798.86
       6365        6365 hostdCgiServer.    12    0.01    0.01    0.00 1198.19
       2137        2137 net-lacp.104909     3    0.01    0.01    0.00  299.53
       3346        3346 ntpd.1049317        1    0.00    0.00    0.00   99.84
       6804        6804 sdrsInjector.10     1    0.00    0.00    0.00   99.87
      11175       11175 lighttpd.105049     1    0.00    0.00    0.00   99.89
       5201        5201 vmware-usbarbit     1    0.00    0.00    0.00   99.85
       6019        6019 rhttpproxy.1049    16    0.00    0.00    0.00 1597.62
      12866       12866 dcbd.1050712        1    0.00    0.00    0.00   99.89
       1671        1671 keypersist.1048     2    0.00    0.00    0.00  199.70
       4756        4756 swapobjd.104952     1    0.00    0.00    0.00   99.85
       4901        4901 ioFilterVPServe     2    0.00    0.00    0.00  199.70
      13376       13376 settingsd.10507     3    0.00    0.00    0.00  299.66
      12930       12930 nscd.1050720        6    0.00    0.00    0.00  599.32
         13          13 ft                  1    0.00    0.00    0.00   99.85
       2163        2163 busybox.1049110     1    0.00    0.00    0.00   99.85
       4353        4353 vdtc.1049443        8    0.00    0.00    0.00  798.79
       6414        6414 storageRM.10497     1    0.00    0.00    0.00   99.85
         12          12 drivers            14    0.00    0.00    0.00 1397.90
         17          17 virtscsi            2    0.00    0.00    0.00  199.70
         18          18 net                 5    0.00    0.00    0.00  499.25
         14          14 vmotion             1    0.00    0.00    0.00   99.85
        446         446 init.1048762        1    0.00    0.00    0.00   99.85
       1130        1130 vmsyslogd.10488     1    0.00    0.00    0.00   99.85
       1371        1371 sh.1048851          1    0.00    0.00    0.00   99.85
       1475        1475 sh.1048864          1    0.00    0.00    0.00   99.85
       1531        1531 vmkeventd.10488     1    0.00    0.00    0.00   99.85
       1581        1581 vobd.1048878       23    0.00    0.00    0.00 2296.47
       1663        1663 keypersist.1048     1    0.00    0.00    0.00   99.85
       1923        1923 vmkdevmgr.10490     1    0.00    0.00    0.00   99.85
       2065        2065 sh.1049089          1    0.00    0.00    0.00   99.85
       2250        2250 sh.1049133          1    0.00    0.00    0.00   99.85
       2322        2322 kmxa.1049142       14    0.00    0.00    0.00 1397.89
       2394        2394 busybox.1049182     1    0.00    0.00    0.00   99.85
       3266        3266 sh.1049307          1    0.00    0.00    0.00   99.85
       3835        3835 sh.1049379          1    0.00    0.00    0.00   99.84
       3964        3964 esxgdpd.1049395     5    0.00    0.00    0.00  499.22
       4192        4192 sh.1049423          1    0.00    0.00    0.00   99.84
       4208        4208 sh.1049425          1    0.00    0.00    0.00   99.85

Ich muss gestehen, ich bin überfragt.

 

[Steggi]

Ich muss gestehen, ich bin überfragt.

Kein Problem, ich kann damit schon was anfangen und damit du aus der Ausgabe auch schlau wirst, findest du hier die Erklärungen, was die jeweiligen Spalten bedeuten

ESXTOP Guide | virten.net

Interessant sind hier die Spalten %USED und %RUN.
%RUN hat insgesamt 800.00 --> 100 pro Thread mal 8 bei deiner CPU

Davon gehen 672.45 in den Systemprozess, der davon aber fast nichts nutzt, 0.59 %USED. Das sind deine 6,7 Threads, die grade idlen.
Ein ganzer Thread wird aber vom Prozess LSA.1050949 ausgelastet, was du in der Auflistung recht einfach erkennen solltest.

Dieser Prozess gehört zur Verwaltungssoftware für LSI Controller. Dein Fujitsu EP400i hat einen LSI SAS 3108 Chip verbaut. Du solltest also als nächstes mal die Logs checken, ob dort irgendwas auffälliges drin steht.

Hier noch etwas Lesestoff zur Verwaltung unter ESXi https://www.broadcom.com/support/kn...-megaraid-cont.-on-vmware-esxi-7.x-with-lsa--

 

[Ronin07]

findest du hier die Erklärungen, was die jeweiligen Spalten bedeuten

Danke, das hilft.

Du solltest also als nächstes mal die Logs checken, ob dort irgendwas auffälliges drin steht.

Äh, ja. Irgendwelche Fehler im Zusammenhang mit der LSA-Software spammen die syslog zu. Ein Auszug:

2023-06-06T16:55:10.970Z Er(11) LSA[1050949]: 5c512700 | Perf      : processing REST command='GET /1.0/servers/0/gen8/refresh'
2023-06-06T16:55:10.971Z Er(11) LSA[1050949]: 5c512700 | Perf      : #### Time taken by plugin GET /1.0/servers/0/gen8/refresh:  = 0 ms
2023-06-06T16:55:12.714Z Er(11) LSA[1050949]: 5c38f700 | Perf      : #### Time taken by plugin GET /1.0/servers/0/eventMonitoring/0:  = 0 ms
2023-06-06T16:55:12.714Z Er(11) LSA[1050949]: 5c38f700 | Perf      : processing REST command='GET /1.0/servers/0/eventMonitoring/0'
2023-06-06T16:56:07.715Z Er(11) LSA[1050949]: 5c38f700 | Perf      : #### Time taken by plugin GET /1.0/servers/0/eventMonitoring/0:  = 0 ms
2023-06-06T16:56:07.716Z Er(11) LSA[1050949]: 5c38f700 | Perf      : processing REST command='GET /1.0/servers/0/eventMonitoring/0'
2023-06-06T16:57:02.717Z Er(11) LSA[1050949]: 5c38f700 | Perf      : #### Time taken by plugin GET /1.0/servers/0/eventMonitoring/0:  = 0 ms
2023-06-06T16:57:02.717Z Er(11) LSA[1050949]: 5c38f700 | Perf      : processing REST command='GET /1.0/servers/0/eventMonitoring/0'
2023-06-06T16:57:57.718Z Er(11) LSA[1050949]: 5c38f700 | Perf      : #### Time taken by plugin GET /1.0/servers/0/eventMonitoring/0:  = 10000 ms
2023-06-06T16:57:57.719Z Er(11) LSA[1050949]: 5c38f700 | Perf      : processing REST command='GET /1.0/servers/0/eventMonitoring/0'
2023-06-06T16:58:10.972Z Er(11) LSA[1050949]: 5c512700 | Perf      : processing REST command='GET /1.0/servers/0/gen8/refresh'
2023-06-06T16:58:10.973Z Er(11) LSA[1050949]: 5c512700 | Perf      : #### Time taken by plugin GET /1.0/servers/0/gen8/refresh:  = 0 ms
2023-06-06T16:58:52.721Z Er(11) LSA[1050949]: 5c38f700 | Perf      : #### Time taken by plugin GET /1.0/servers/0/eventMonitoring/0:  = 0 ms
2023-06-06T16:58:52.722Z Er(11) LSA[1050949]: 5c38f700 | Perf      : processing REST command='GET /1.0/servers/0/eventMonitoring/0'
2023-06-06T16:59:47.722Z Er(11) LSA[1050949]: 5c38f700 | Perf      : #### Time taken by plugin GET /1.0/servers/0/eventMonitoring/0:  = 0 ms
2023-06-06T16:59:47.723Z Er(11) LSA[1050949]: 5c38f700 | Perf      : processing REST command='GET /1.0/servers/0/eventMonitoring/0'

Das wiederholt sich immer wieder, meistens mit 0ms, aber ab und an (nicht regelmäßig) mit 10000ms.
Ist das nur eine Warnung, dass ein Performance-Problem vorliegt?

Und das liest sich für mich wie ein Rechteproblem:

2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File stat(/opt/lwmd/vital/error.log) failed with error 2
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File /opt/lwmd/vital/error.log will not be persisted.
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File stat(/opt/lwmd/vital/access.log) failed with error 2
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File /opt/lwmd/vital/access.log will not be persisted.
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File stat(/opt/lwmd/vital/lsa.txt) failed with error 2
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File /opt/lwmd/vital/lsa.txt will not be persisted.
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File stat(/opt/lwmd/vital/LSA.conf) failed with error 2
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File /opt/lwmd/vital/LSA.conf will not be persisted.
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File stat(/opt/lwmd/vital/config-current.json) failed with error 2
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File /opt/lwmd/vital/config-current.json will not be persisted.
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File stat(/opt/lwmd/vital/key.store) failed with error 2
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File /opt/lwmd/vital/key.store will not be persisted.
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File stat(/opt/lwmd/vital/value.store) failed with error 2
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File /opt/lwmd/vital/value.store will not be persisted.
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File stat(/opt/lwmd/vital/smtpServer) failed with error 2
2023-06-06T17:01:00.818Z Er(11) backup-check[1085231]: File /opt/lwmd/vital/smtpServer will not be persisted.

Gern kann ich ein komplettes Logfile extrahieren. Aber das möchte ich ungern öffentlich machen. Ich weiß nicht, was da alles über die Maschine drin steht.

Hier noch etwas Lesestoff zur Verwaltung unter ESXi

Genau diese Lösung hatte ich mit ESXi7 laufen. Beim ESXi8 hatte ich das nicht zum Laufen gebracht. Die Plugins werden vom ESXi8 abgelehnt. Funktionierende hatte ich nicht gefunden.
Deshalb habe ich als Alternative LWA probiert. Läuft ja auch, das Ganze ist sogar ohne Software auf Client-Seite erreichbar. Halt mit dem Perf-Problem...

 

[Holt]

Zwar habe ich keine Ahnung von ESXi, aber etwas von Linux und ich würde erstmal schauen ob es diesen Pfad /opt/lwmd/vital/ überhaupt gibt und wenn ja, ob diese Dateien dort sind und das filesystem auf dem sie sind noch genug freien Platz hat.