DL380p ESXi 6.5.0 Update 2 einschlafende Netzwerkverbindung

[patknott]

Hallo zusammen,

ich habe folgendes Problem. Vielleicht kennt jemand eine Lösung.

HP DL380p mit 530FLR-SFP+ Adapter, hier "schläft" ab und an die 10GbE Verbindung ein, dann ist kein ping mehr möglich. Erst wenn ich das DAC Kabel ziehe und wieder stecke funktioniert alles.

Ich verwende einen Netgear Switch mit 2 Cisco DAC Kabeln einmal zu einer Mellanox Karte und der andere Link halt zu Port 1 des HP Servers. Treiber/Firmware/Ports/Kabel hab ich bereits geupdatet bzw. gewechselt.

Bios des Servers steht auf Dynamic Power Savings Mode. Macht es nun Sinn ein offizielles unterstütztes DAC Kabel oder SFP+ Module laut Quickspecs zu benutzen oder könnte der Fehler woanders liegen.

Im Logfile kommt eigentlich keine Meldung außer das, dass NFS Volume ausgefallen ist.

2019-12-09T12:23:12.605Z: [APDCorrelator] 242809959822us: [vob.storage.apd.start] Device or filesystem with identifier [5f81d786-817964b2] has entered the All Paths Down state.


.... folgende Einträge dann wenn ich das Kabel gezogen/gesteckt habe.

2019-12-09T16:28:47.335Z: [netCorrelator] 257543876568us: [vob.net.pg.uplink.transition.down] Uplink: vmnic0 is down. Affected portgroup: Transfer ROT. 1 uplinks up. Failed criteria: 128
2019-12-09T16:28:47.335Z: [netCorrelator] 257543876580us: [vob.net.pg.uplink.transition.down] Uplink: vmnic0 is down. Affected portgroup: Hotspot BLAU. 1 uplinks up. Failed criteria: 128
2019-12-09T16:28:47.335Z: [netCorrelator] 257543876600us: [vob.net.pg.uplink.transition.down] Uplink: vmnic0 is down. Affected portgroup: VM Network. 1 uplinks up. Failed criteria: 128
2019-12-09T16:28:47.335Z: [netCorrelator] 257543876606us: [vob.net.pg.uplink.transition.down] Uplink: vmnic0 is down. Affected portgroup: Management Network. 1 uplinks up. Failed criteria: 128
2019-12-09T16:28:47.335Z: [netCorrelator] 257543877294us: [vob.net.vmnic.linkstate.down] vmnic vmnic0 linkstate down

 

[katzenhai]

Für den Betrieb als Virtualisierer wird unabhängig vom verwendeten Produkt für HP Server das Abschalten vom Powermanagement empfohlen.
Siehe z.B.
BIOS Settings HP DL380 Gen10 for VMware vSphere ESXi
The Effects of HP Helge Klein

Den NICs von HP ist es meiner Erfahrung her egal, ob HP oder Fremthersteller DACs/SPFs verwendet werden, nur die Switche sind da wählerisch.

 

[patknott]

Für den Betrieb als Virtualisierer wird unabhängig vom verwendeten Produkt für HP Server das Abschalten vom Powermanagement empfohlen.
Siehe z.B.
BIOS Settings HP DL380 Gen10 for VMware vSphere ESXi
The Effects of HP Helge Klein

Den NICs von HP ist es meiner Erfahrung her egal, ob HP oder Fremthersteller DACs/SPFs verwendet werden, nur die Switche sind da wählerisch.

Den Switch kann ich eigentlich ausschließen, mit der Mellanox Karte gab es da bisher keine Probleme. Vor dem DL380p, hatte ich einen DL320e mit einer eigenen PCI-Express 10GbE Karte wo es auch nie ein Problem gab.

Ich habe für weitere Tests an vmnic0 nun ein SFP+ Multimode Modul mit einen kurzen Glasfaserkabel als Uplink gesteckt und an vmnic1 das Cisco DAC Kabel. Hatte heute auch schon eine Meldung...

2019-12-10T12:02:59.051Z: [netCorrelator] 328001362870us: [vob.net.vmnic.linkstate.down] vmnic vmnic1 linkstate down
2019-12-10T12:02:59.195Z: [netCorrelator] 328001506482us: [vob.net.vmnic.linkstate.up] vmnic vmnic1 linkstate up
2019-12-10T12:03:00.002Z: [netCorrelator] 328020428131us: [esx.problem.net.vmnic.linkstate.down] Physical NIC vmnic1 linkstate is down
2019-12-10T12:03:00.002Z: [netCorrelator] 328020428346us: [esx.clear.net.vmnic.linkstate.up] Physical NIC vmnic1 linkstate is up