Hola
Fijate aqui:
www.mundodivx.com/mpeg/tmpgenc.php?p=2
Si estás usando el tmpgenc encoder (no el dvd author) para pasar los videos de AVI a MPG, ahí tienes una calculadora de efecto overscan que sirve precisamente para solucionar tu problema, sólo lee un poco toda la teoría y luego tienes la calculadora para la aplicación práctica

Es decir, la solución está al pasar los AVI a MPG, no al hacer la autoría con los MPG... de hecho una vez convertidos, podrás usar el programa que quieras ya que el efecto de los bordes lo habrás solucionado