En desarrollo web se publico como
rastrear a los robots de los buscadores
tambien existe un aplicacion en PHP que se llama
RoboStats que te rastrea muchos robots ademas de decirte que paginas fueron indexeadas, graficas con estadisticas, calendario, etc.
