Pues no se que puede estar saliendo mal... Una cosa, cuando le pones nombre a la peli y le das a OK es normal que te diga que el archivo no existe, bastaría decir que cree un archivo nuevo, y sobre todo asegurarte de que el archivo original y el que tu estás haciendo no se llamen igual para no sobreescribir (aunque dudo que sea esto ya que uno es .ASF y otro es .MPG)
Lo único que podría decirte es que revises a fondo la configuración del TMPGEnc, especialmente la parte de VFAPI Plugin y que tengas la parte de Directshow con prioridad 3 o superior, si acaso ya lo tienes así ponle una más alta todavía (5 ó 6).
Si sigue sin ir siempre puedes probar con el Canopus Procoder, otro sencillo programa para hacer esto
Por cierto si te sigue dando errores mejor copiame el texto exacto del error, para así saber por donde anda el problema.
Suerte
