Im CCC musst Du das Pixelformat für Deine Display einstellen, falls sie es in den EDID Daten nicht übermittelt. Du hast dort 4 Auswahlen, musst eben testen welche gut ist.
Wenn das nicht hilft oder reicht, dann prüfe mit dem DXVA Checker oder direkt in der Registry ob der Wert für useBT601CSC =...