Reducir la frecuencia en que google accede al sitio

[asdasd22]

Haciendo un análisis de un sitio que manejo noté que la mayoría de los accesos corresponden al bot de google. Ya puse el robots.txt de modo que solo se indexe lo escencial.
Hay alguna otra forma de hacer que google verifique la web con menos frecuencia? 1 sola vez al día o algo así? De momento tengo como 100 accesos en unas pocas horas.

[RBZ]

¿Estás dado de alta en Search Console (las antiguas Herramientas para Webmasters de Google)? Desde allí se puede limitar, aunque no es recomendable. Google entra más veces para no saturar el servidor de una sola vez.

[asdasd22]

Iniciado por RBZ

¿Estás dado de alta en Search Console (las antiguas Herramientas para Webmasters de Google)? Desde allí se puede limitar, aunque no es recomendable. Google entra más veces para no saturar el servidor de una sola vez.

Hola si, me voy a fijar ahi gracias.
Lo que pasa es que me está spammeando demasiado.

[Noewoman]

Una forma fácil para limitar el acceso de los bots a tu sitio es colocar un crawl-delay en el robots.txt indicando la frecuencia con la que quieres que entren a indexar en tu site. Puedes poner un tiempo o puedes crear otro comando indicando que entre a ciertas horas.

Espero que te sirva de ayuda :)

[Daniel Ulczyk]

Iniciado por Noewoman

Una forma fácil para limitar el acceso de los bots a tu sitio es colocar un crawl-delay en el robots.txt indicando la frecuencia con la que quieres que entren a indexar en tu site. Puedes poner un tiempo o puedes crear otro comando indicando que entre a ciertas horas.

Espero que te sirva de ayuda :)

Hola Noewoman

Lamentablemente no le va a servir de nada dicha recomendación; especialmente porque es una directiva que Google se la pasa por alto.

La mejor estrategia es limitar al crawler mediante Search Console. Pero esto es sobre una base de decisiones sólida; no estoy de acuerdo en limitar el rastreo si no existe una buena relación costo/beneficio ¿no es cierto?

[Amiancht]

En el sitemap podrías poner la frecuencia con la que sueles actualizar el contenido de cada página de tu sitio.
Aunque eso no te asegura completamente de que google respete esa frecuencia.

Por otro lado, 100 accesos en una hora es mucho. Aunque depende del número de páginas que tienes en tú sitio.

¿Dónde estas mirando eso? ¿log de accesos de apache? Debes entender que cuando alguien hace una petición http de una web, sea un usuario o robot, tiene que hacer todas las peticiones a cada uno de los recursos que hay en el html, por cada una de las hojas de estilo, por cada imagen que haya en esa página. Y eso hace que una única petición de una web, parezca como 10 o 20 accesos en el log de apache.

Tal vez, ves 100 accesos en el log, pero lo más seguro que no sean más de 10. Tambien decir que los robots de google no parece que cacheen las hojas de estilo, ni los scripts como haría cualquier navegador, por lo que sus visitas a nuestra web suelen ser así de vivas y llamativas.

Otra cosa, hay un crawler de google que se salta la directiva de
User-agent: *
Deberas añadir las mismas directivas que usas en ese para
User-agent: AdsBot-Google

Esté bot se salta todas las directivas del anterior, como si con él no fuera la cosa. Y si no le especificas directamente para él, te va a visitar páginas que tenias en el robot.txt que no quieres que indexen .

Por otro lado, deberías dejar que google indexara todo aquello que es público. Excepto los formularios de contacto y acceso. Entre otras cosas.
No tiene sentido limitar la indexación solo en el contenido principal de la web. Al menos no para mí.