Bueno, lo unico que puedo decirte es que usan estos frameworks:
Prototype y Scriptaculos
Yo estuve buscando bastante porque me termine interesando yo en ese efecto,pero esta dificil, encontre muchos, pero no ese, obviamente ese codigo esta retocado, es cuestion de buscar y leer sobre estos frameworks e ir agregandole las cosas.
Fijate esta pagina:
http://javascriptimagegallery.com/sc...g-gallery.html
Saludos.