Hola
Eso lo tienes que hacer antes de meterte con esos programas, concretamente al pasar los archivos que tengas a MPG (por ejemplo si partes de AVI). Es decir si estás pasando los AVI a MPG, es en ese paso donde se decide la calidad final. Si la calidad del MPEG-1 no la ves buena, prueba con un MPEG-2 formato CVD que es lo más aproximado a la calidad DVD aunque con la mitad de tamaño.
Saludos