No se exactamente como se usaria pero he visto en algunas paginas que utilizan
OpenCV Open Source Computer Vision. Es una libreria de C que te ayuda con la vision por computadora
Para ver algunos ejemplos entra en
www.youtube.com y busca OpenCV augmented reality