Lo estás haciendo mal (estás dejando el video en Full Processing Mode y lo tienes que poner en Direct Stream Copy). Te paso esta url, es con el virtualdubmod (parecido al virtualdub, pero es muchísimo más completo y soporta formatos que el virtualdub normal no admite).
www.mundodivx.com/varios/dividiravi.php