No sé que tutorial habrás visto, pero normalmente, salvo en ciertos casos particulares, no hace falta usar el virtualdub. ¿Me das la URL de lo que has leido?
Lo de la imagen es porque te faltan los codec o no has configurado bien el tmpgenc. Mirate este tutorial:
www.mundodivx.com/mpeg/tmpgenc.php Primero configura TMPGEnc y luego sigue los pasos tal cual. Mira que además hay un truco para saber si el VCD te va a salir bien, con video y con audio