Hola
Con la resolución de 720 horizontales y un bitrate de unos 2000 Kbps te debería quedar perfecto

Además, debería funcionar bien en los DVD de salón. Yo sí te recomendaría que usaras una configuración de XviD compatible, porque luego jode mucho bajarte una serie y que tu reproductor no la soporte
Por otro lado, para hacer pruebas de calidad tienes que coger más de 1 minuto, como mínimo 5 minutos y cuanto más mejor, porque si no el codec no tiene "tiempo" de adaptarse a las características del vídeo, quiero decir a adaptar el bitrate a las diferentes escenas. Si codificas un capítulo entero (21 min) con las mismas propiedades que ese trocito de 1 minuto que no quedaba bien, la calidad debería mejorar sustancialmente ya que el bitrate se distribuye mucho mejor
Otro detalle, ¿estás usando un DVD-ROM como fuente? Si es así, es incorrecto decir que es resolución HD de 720p

El 720p equivale a una resolución de 1280x720, es decir los 720p significan 720 líneas verticales (no horizontales) y progresivo (no entrelazado). Sólo aclarar el concepto...
Saludos