Es que eso no son archivos de video

Vamos a ver, te confundes por el nombre del archivo. Un DVD siempre es igual, tiene unos archivos video_ts con extensión IFO, BUP y VOB, y luego archivos VTS_XX_X con las mismas extensiones.
Ahí va todo mezclado: video, audio, subtitulos, menús...
Para lo que yo te pido, debes seleccionar en el menú Mode la opción IFO, y luego marcar la pestaña Stream Processing.