como funcionan los spider?

[yenerich]

Dicho de modo facil, lo que hace un buscador es visitar una pagina (por ejemplo esta), guarda en su base de datos el html y despues sigue cada uno de los links que ahi encuentra, repitiendo la operacion cada vez identica.
Si lo piensan bien, siguiendo esa estrategia pronto habran visitado la mayor parte de los sitios y tendran en la base de datos casi todos.
La parte compleja del algoritmo no es esa, sino como hacer las busquedas dentro de la base de datos y presentar primero los resultados mas 'relevantes', pero indexar paginas es relativamente simple.