Ein neuer Tag, neue Erkenntnisse:
Ich habe im ersten Schritt das BMC per "socflash" (beschrieben in den FAQ von AsRock Rack) auf die ältere Version 2.32.00 per USB-Stick (DOS) zurückgeflasht. Dieses läuft jetzt auch wieder einwandfrei.
Anschließend habe ich das BIOS-Update auf 4.26 per BMC durchgeführt:
Das BIOS (neueste Beta-Version 4.26) erkennt den Ryzen 5950X erfolgreich. Hinweis: mit dem Ryzen 2700X gibt es mit dem BIOS 4.20 oder 4.26 (Beta) kein Bild - wird also wie beschrieben wirklich nicht unterstützt.
ESXi 6.7 Update 2 bootet ebenfalls fehlerfrei.
Ein kurzer Blick auf das Gesamtsystem
Glücklicherweise mussten die Windows-VMs (Windows 10 Pro wie auch Windows Server 2016 und 2019) durch den CPU-Wechsel nicht erneut aktiviert werden.
Allerdings gab es anschließend unter Last (eine Video-VM mit 8 vCPUs kodiert per ffmpeg TV-Aufzeichnungen um) vermeintliche Abstürze. Der Server ließ sich allerdings noch per Konsole (KVM) steuern.
Erst bin ich von einem zu alten und schwachen Netzteil ausgegangen. Daraufhin gab es einen Tausch von 400W (Enermax) zu 600W (BeQuiet), was allerdings keinen Unterschied bewirkte.
Ursache gefunden: die DualPort PCIe 10Gbe (Base-T, Copper) mit altem Broadcom QLogic 57810-Chipsatz läuft nicht mehr stabil mit dem Ryzen 5000er (am sonstigen System hat sich nichts geändert, identischer ESXi 6.7U2) und verliert nach einiger Zeit einfach die Verbindung. Demgegenüber läuft der SAS2008-HBA im Paththrough weiterhin einwandfrei in seiner VM.
Temporäre Lösung: Verzicht auf 10Gbe und Nutzung der beiden OnBoard i210 GBe-Ports mit mehreren VLANs. Später kommt wieder eine 10GBe-Karte dazu (Intel X540-T2 oder X550-T2).
Danke für Eure Tipps, ich bin jetzt hier soweit wieder zufrieden mit dem schönen ASRock Rack X470D4U.