Ver Mensaje Individual
  #4 (permalink)  
Antiguo 20/09/2014, 03:31
Avatar de lauser
lauser
Moderator Unix/Linux
 
Fecha de Ingreso: julio-2013
Ubicación: Odessa (Ukrania)
Mensajes: 3.278
Antigüedad: 11 años, 3 meses
Puntos: 401
Respuesta: Activar protección vs hot linking...?

1- Primero deberas identificar ese spider *boot, si no dispones de mas informacion que creo que en awstats si lo localizaras, buscalo por su ip. Despues simplemente le cierras la puerta.
Código HTML:
Ver original
  1. User-agent: spiderqueteestafastidiando
  2. Disallow:

2- Creo que no me explique bien.. con el:
Código HTML:
Ver original
  1. Crawl-delay: 10
Lo que hacemos concretamente es que solo realizen una peticion cada 10s.

3- Debes saber que hay spiders que no respetan la indicacion --crawl-delay-- como porejemplo: 80legs. A esos si te estan fastidiando directamente los cierras.
Código HTML:
Ver original
  1. User-agent: 008
  2. Disallow: /

4- Y si aun con todo esto ves que alguno se cuela y que no respeta ninguna de las directrizes....pues siempre queda el .htacces, ese no falla pero es mas engorroso. De esta forma le decimos a Apache que mande un error a el spider.
Código HTML:
Ver original
  1. RewriteEngine on
  2. RewriteCond %{HTTP_USER_AGENT} ^Agente-robot-que-te-fastidia
  3. RewriteRule .* – [F,L]

Espero que ahora lo tengas mas claro todo. Recuerda que las ordenes escritas en robots.txt, son solo indicativas por eso no todos los robots obedecen.
Un saludo.
__________________
Los usuarios que te responden, lo hacen altruistamente y sin ánimo de lucro con el único fin de ayudarte. Se paciente y agradecido.
-SOLOLINUX-