27/06/2012, 01:31
|
| | | Fecha de Ingreso: agosto-2010 Ubicación: Valencia / Madrid
Mensajes: 24
Antigüedad: 14 años, 4 meses Puntos: 8 | |
| Respuesta: 5.69 GB de trafico solo de buscadores?
Más abajo deberías tener el reporte desglosado por robots, para averiguar cual de ellos te hace ese consumo, ya que no queda claro que sea Google.
Algunos robots 'cabrones' entran a chuparse todo el site, por lo que es necesario bloquearlos.
En www.marketingonlinevalencia.com/robots.txt tenemos un listado bastante bueno de estos.
Por otro lado, modificar la velocidad de refresco de GoogleBot en Webmaster Central no sirve de nada, porque hace lo que le da la gana. Auqnue tienes más info en:
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=48620
Lo que sí funcionará sera: Crawl-delay: 21600
Con esto marca un retraso en el acceso a indexar la web de 1/4 de día (21600 = 60 x 60 x 6 horas) y el bot entrará como mucho 4 veces al día, pero eso solo si hace caso. Algunos bots pasan de esta directiva. |