Mal sehen ob ich dir helfen kann, hab es selbst wie folgt hinbekommen :
Du gehst unter Profile und markierst default 1, dann setzt du nen Haken bei "Automatische Voreinstellungen und klickst auf "Bedingungen für..." und stellst alles so ein wie hier zu sehen :
Bei "on Fourcc match" wählst du nacheinander h.264 und x264 aus.
Wichtig ist dass du das Kästchen zwischen den Auflösungen auf "und" änderst und den Haken bei "on decoder Match" rausmachst.
Das auf dem Bild ist mein Untouched Profil.
Für ein 720p Profil klickst du dann im Profil Tab auf "Neu", und gehst wieder so vor wie beim default Profil, nur dass du die Auflösung des Materials unter Movie Dimension genau spezifizieren musst. Bei vielen 720p MKV zb. 1280 x 544.
Dasselbe machst du für DVD´s, zusätzlich musst du noch unter "on FourCC Match" x264;h264 löschen und dort Mpeg einstellen, für Xvid dementsprechend dasselbe + der dementsprechenden Auflösung.
Du musst drauf achten dass die Werte die du bei movie Dimensions einstellst genau mit der Auflösung der entsprechenden Videos übereinstimmen und die Codecs in FFD Show freigeschaltet sind. Wenn du an einem Profil FFD Show einstellungen ändern willst musst du erst in den Profile Tab und dort dein Profil auswählen bzw. markieren. Sonst änderst du automatisch das default Profil.