Hola,
Cita:
Iniciado por oscarva Hola y hay alguna forma de hacer un pequeño robot para mi web, es decir, mi web genera muchisimas paginas dinamicas y utilizo el mod_rewrite para hacerlas mas amigables, pero me gustaria saber cuantas paginas exactas tiene mi web. es posible?
En
www.sf.net y en
www.freshmeat.net tienes una amplia variedad de robots, spiders y crawlers. Seria cuestion de encontrar uno al que puedas limitar su "territorio" de recorrido a tu dominio.
De todas formas, muchos de estos robots estan limitados a ciertos tipos de enlaces. Por ejemplo, muchos no siguen el action de los formularios, el flash se les atraganta, y los enlaces javascript (popups) tampoco suelen ser de su agrado. Asi que pueden no encontrar el 100% de tus URLs.
saludos.
PD: Pensaba que se llamaban spiders porque recorrian la web (spider-web: telaraña).