Cita:
Iniciado por Noewoman 
Una forma fácil para limitar el acceso de los bots a tu sitio es colocar un crawl-delay en el robots.txt indicando la frecuencia con la que quieres que entren a indexar en tu site. Puedes poner un tiempo o puedes crear otro comando indicando que entre a ciertas horas.
Espero que te sirva de ayuda :)
Hola
Noewoman
Lamentablemente no le va a servir de nada dicha recomendación; especialmente porque es una directiva que Google se la pasa por alto.
La mejor estrategia es limitar al crawler mediante
Search Console. Pero esto es sobre una base de decisiones sólida; no estoy de acuerdo en limitar el rastreo si no existe una buena relación costo/beneficio ¿no es cierto?