Mi consejo es no usar el Nero para codificar, pq ahí es donde vienen los problemas... Usa otro programa como los sugeridos TMPGEnc o Canopus para pasar los AVI a MPG, y luego el Nero lo usas sólo para grabar el MPG ya codificado.
Concretamente el VCD estandar (¡ojo! E-S-T-A-N-D-A-R) se graba por minutos, de forma que entran tantos minutos de video como minutos tenga el CD. Si tú al Nero le dices que te codifique un video de 100 minutos, lógicamente después del largo proceso de codificación te dirá que no entra, pq supera la capacidad en minutos del CD. Por eso siempre conviene usar otro programa. En este caso concreto se podría hacer un CVCD, que es un VCD no estandar, y a base de disminuir bitrate y perder calidad vas a conseguir meter más minutos en un sólo disco. Aunque normalmente hasta 2 horas se pueden meter sin problemas en un solo CD, sin gran pérdida de calidad con respecto al VCD.
Por cierto que una pelicula sea DVDRIP no tiene nada que ver con el tamaño. El término DVDRIP sólo indica que la película ha sido ripeada de un DVD original, nada más, luego ocupará y durará lo que sea.
Saludos