
14/02/2008, 16:56
|
 | | | Fecha de Ingreso: diciembre-2007
Mensajes: 973
Antigüedad: 17 años, 3 meses Puntos: 24 | |
Re: Robots, robots, robots El fichero robots.txt es una declaración de lo que te gustaría que hiciesen los robots (o spiders) que visitan tu web y no tiene que ver con la opcimización de tu web. Como mucho sirve para indicar que secciones no quieres que te busquen y/o con que frecuencia máxima quieres que lo hagan.
Aunque de ésto último no puedes fiarte demasiado. Por ejemplo, tengo una web con muchas páginas que a veces es visitada simultaneamente por varias instancias del spider de Yahoo, y aunque cada uno de ellos si que respeta el tiempo definido en el parámetro "Crawl-Delay" entre dos accesos consecutivos, como hay varios de ellos husmeando a la vez el resultado es que los accesos totales entre todos los spiders de Yahoo son más frecuentes de lo indicado. |