Prueba primero con la opción en el apartado Playback, la opción Auto-Zoom, Auto Fit.
Reinicia el programa y prueba con algún vídeo.
Si no resulta, ve al mismo apartado y prueba ahora destildando la opción que antes habiamos probado, fullscreen resolution y buscas la que estés usando en este momento, ej. 1024x768 75Hz.
Te dejo una imagen de referencia.
Un saludo.