Aquí tienes un buen montón para que veas.
Buscadores (indexadores algunos) para una sola web .. tal vez alguno funcione para hacer busquedas en várias páginas/web's completas. Busca por "spider" o que tenga esa funcionalidad .. esos son los que siguen links y van indenxando todo lo que encuentra por el caminio ...
http://www.hotscripts.com/PHP/Script...nes/index.html
Y ..
API's e interfaces para usar los ya existentes motores de busqueda como google por ejemplo ...
http://www.hotscripts.com/PHP/Script...rch/index.html
Un saludo,