En el After Effects hay un efecto que hace que los sólidos respondan al audio con movimiento, supongo que al obtener un valor por los decibeles se crea un random en base a las frecuencias y crea la animación en diferentes direcciones, supongo que si vinculas el valor random creado por el efecto al valor del efecto time remapping podrás crear ese efecto de mover el video en el valor de tiempo/velocidad en base a la respuesta del audio (dicho menos técnico, que el video se mueva con la música).
Pero la verdad no se con certeza si eso funcione
Así más fácil, ni idea con qué soft mágico se pueda.
Bienvenid@