Möglich ist das. Es ist eine Frage der Treiber, ob und wie gut das funktioniert. Bei AMD-Grafikkarten kann es zum sog. reset-bug kommen. Im Zweifel wirst du es testen müssen, um Gewissheit zu haben.
Sofern der passthrough ansich klappt, kannst du dir mal Looking Glass [0] anschauen. Das greift...