1- Primero deberas identificar ese spider *boot, si no dispones de mas informacion que creo que en awstats si lo localizaras, buscalo por su ip. Despues simplemente le cierras la puerta.
Código HTML:
Ver originalUser-agent: spiderqueteestafastidiando
Disallow:
2- Creo que no me explique bien.. con el:
Lo que hacemos concretamente es que solo realizen una peticion cada 10s.
3- Debes saber que hay spiders que no respetan la indicacion --crawl-delay-- como porejemplo: 80legs. A esos si te estan fastidiando directamente los cierras.
4- Y si aun con todo esto ves que alguno se cuela y que no respeta ninguna de las directrizes....pues siempre queda el .htacces, ese no falla pero es mas engorroso. De esta forma le decimos a Apache que mande un error a el spider.
Código HTML:
Ver originalRewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Agente-robot-que-te-fastidia
RewriteRule .* – [F,L]
Espero que ahora lo tengas mas claro todo. Recuerda que las ordenes escritas en robots.txt, son solo indicativas por eso no todos los robots obedecen.
Un saludo.