Probleme nach BMC & BIOS Upgrade

[modify6802]

Hi,

gestern Abend hielt ich es für eine gute Idee, mein Server Mainboard Supermicro X11SCH-LN4F auf einen aktuellen Stand zu bringen.
Deshalb habe ich sowohl die BMC Firmware, als auch das BIOS neu geflasht.

Mir ist bewusst, dass dadurch alle Einstellungen verloren gegangen sind.
Ich bin sowohl das IPMI, als auch das BIOS durchgegangen und habe die wichtigsten Sachen eingestellt.

Leider startet der Server jetzt nicht mehr korrekt.
Auf der Kiste ist Proxmox installiert, das sich beim booten mit folgenden Meldungen bemerkbar macht:


Anschließend ist das Webinterface zwar erreichbar, aber die VMs starten nicht:
TASK ERROR: KVM virtualisation configured, but not available. Either disable in VM configuration or enable in BIOS.

Die Meldung ist eindeutig, also bin ich nochmal ins BIOS und habe geschaut, ob ich vielleicht vergessen habe, VTd/VTx zu aktivieren.
Nö - Ist definitiv aktiviert. Auch dmesg sieht in Ordnung aus:

[    0.158777] DMAR: IOMMU enabled
[    0.281735] DMAR: Host address width 39
[    0.281736] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[    0.281739] DMAR: dmar0: reg_base_addr fed91000 ver 1:0 cap d2008c40660462 ecap f050da
[    0.281740] DMAR: RMRR base: 0x0000008cf11000 end: 0x0000008d15afff
[    0.281742] DMAR-IR: IOAPIC id 2 under DRHD base  0xfed91000 IOMMU 0
[    0.281742] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
[    0.281743] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.284699] DMAR-IR: Enabled IRQ remapping in x2apic mode

Mein HBA ist, wie es sein soll, in einer eigenen IOMMU group, auch das konnte ich überprüfen.

Zudem fliege ich alle paar Minuten aus dem Webinterface und muss mich neu anmelden.
Vielleicht liegt das aber auch daran, dass ich mich mehrmals via SSH verbunden habe, das mache ich bei Proxmox sonst nicht so oft.

So. Jetzt weiß ich leider nicht wo ich als nächstes ansetzen soll?
Hat hier vielleicht irgendjemand eine Idee?

Den kompletten output von dmesg und syslog habe ich mal in den Anhang gepackt.
Nicht wundern, einige sehr redundante Teile habe ich rausgeschmissen, um euch nicht zu sehr zu quälen.

Meinen Feierabend wollte ich eigentlich anders verbringen, aber gut...
Ich wollte die Kiste eigentlich eh mal komplett platt machen und neu aufsetzen, aber aktuell ist der Zeitpunkt eher schlecht. (Weil keine Zeit)
Keine Angst - Backups sind natürlich vorhanden, nur halt nicht von Proxmox selbst.

 

[Supaman]

How to Fix Proxmox VE (PVE) keep asking/request login / PVE endless login/web gui login window (& PVE RRD error, statistics error/not updating etc.) > Blog-D without Nonsense

The Issue Proxmox VE (PVE) web gui keep asking/request for login Proxmox VE (PVE) web gui endless login Proxmox VE (PVE) web gui/login timeout quickly Proxmox VE (PVE) RRD Error, RRDC update error etc. Proxmox VE (PVE) RRD status/statistics showing year 1970, stuck at year 1970 Proxmox VE (PVE)...

dannyda.com

Vermutlich Zeitserver Problem.

 

[spyfly]

So. Jetzt weiß ich leider nicht wo ich als nächstes ansetzen soll?

Welche Proxmox Version verwendest du? Weil Kernel 5.4 ist schon seit ner Weile out-of-date, die aktuelle Proxmox Version nutzt den 5.15er Kernel. Ist Proxmox evt. mit einem veralteten Kernel gestartet?

Wenn das nicht weiterhilft kannst du auch versuchen den CMOS zu clearen und deine BIOS Einstellungen nochmal neu zu setzen.

 

[modify6802]

- Zeit im BIOS ist korrekt gesetzt und NTP funktioniert auch korrekt
- Proxmox 7.2 mit aktuellem Kernel. Ich habe darauf geachtet die richtige Version zu booten.
- Die BIOS Einstellungen habe ich bereits ein zweites mal gelöscht und osgar das BIOS nochmal neu geflasht.

Ich habe gestern die halbe Nacht rumgespielt und konnte den Fehler nicht identifizieren.
Die Kiste wurde jetzt komplett Platt gemacht und Proxmox neu installiert - Funktioniert wieder.
In dem Zuge auch gleich noch die Firewall Platt gemacht und auf pfSense umgestiegen.

Kompletter Reset - Fühlt sich irgendwie gut an. So ordentlich.
Naja, musste sowieso mal sein, also warum nicht gleich.

Danke euch trotzdem für eure Unterstützung.

Edit: Ups, ich habe gerade im dmesg gelesen, dass da tatsächlich der Kernel 5.4 versucht wird zu booten.
Das ist ja mal mehr als komisch, denn der Eintrag in GRUB hieß Proxmox 7.2 und davon habe ich die aktuellste Version ausgewählt.
Leider kann ich das jetzt nicht nochmal überprüfen, hätte mich interessiert wie das Zustande kam.
Beim neu installierten Proxmox ist die Kernel Version 5.15

 

[pumuckel]

lies mal die Readme in den Bios updates und frag dich ob du die Optionen gewählt hast

 

[modify6802]

Weder in den Release Notes, noch in der Readme steht etwas von irgendwelchen Optionen.
Was genau meinst du?

 

[Supaman]

Beim Bios Update hat man die Wahl, ob man die Settings behalten möchte,
oder zusammen mit dem Update alle Bios Einstellungen resetten möchte.

 

[modify6802]

Die Einstellungen wurde resettet, wie bereits im ersten Beitrag erwähnt.