En la documentacion de phpmotion encontraras todas las respuestas, pero de todas formas aqui te dejo algunos enlaces en el cual puedes descargar los archivos requeridos:
LAME MP3 Encoder Libogg Mencoder Flv2tool Libvorbis
Si pretendes instalarlo en tu maquina para realizar pruebas, pues te saldrá más economico comprar el servicio de un servidor dedicado, porque para PHPMotion tienes que comprar un codificador que tiene un precio de 99 U$D.
O mejor aún para ahorrar tiempo, existe el servicio de configuración.