[SOLUCIONADO] Activar protección vs hot linking...?

[berkeleyPunk]

Hola, hola.

Más exactamente, la cuestión sería: Un robot (imagino) se está acabando mi ancho de banda, baja cientos de megas al día en imágenes. Por eso he activado la protección contra Hot linking dentro del cPanel de mi sitio web.

La cosa es que hay ciertos sitios que sí quiero que tengan acceso a mis imágenes, pero que ya no pueden debido a la protecciòn contra hot linking.

En el cPanel existe la opción de URLs para permitir acceso, en donde entiendo que se meten las urls de los sitios a los que no aplica la protección. Ya puse ahí las url´s de los sitios con derecho a mis imágenes, pero aún así estos sitios (permitidos) continuan viendo el error 403.

Alguna idea?

Saludos!

[lauser]

Porque no lo haces con robots.txt, aparte de denegar el que quieras puedes poner tiempo máximo que les permites rastrearte.

Código HTML:

User-agent: baiduspider
Disallow: 
User-agent: *
Disallow: 
Crawl-delay: 10
Disallow: /cgi-bin/
Disallow: /tucarpetaprivada/
Sitemap: http://www.tusitio.com/sitemap.xml
 

Por ejemplo... aqui denegamos a baidu y al resto solo le permitimos 10s.

[berkeleyPunk]

Iniciado por lauser

Porque no lo haces con robots.txt, aparte de denegar el que quieras puedes poner tiempo máximo que les permites rastrearte... Por ejemplo... aqui denegamos a baidu y al resto solo le permitimos 10s.

Gracias por responder, amigo lauser. Mira, aquí te muestro los detalles del cPanel sobre los robots en mi sitio.

Dos cosas más:

1. Cómo le haríamos para denegar el acceso al robot identificado como *bot
2. A qué te refieres con que al resto solo le permitimos 10s? Esto significa que si el robot entra a mi sitio, podrá bajar lo que guste en 10s?

Saludos!

[lauser]

1- Primero deberas identificar ese spider *boot, si no dispones de mas informacion que creo que en awstats si lo localizaras, buscalo por su ip. Despues simplemente le cierras la puerta.

Código HTML:

User-agent: spiderqueteestafastidiando
Disallow:
 

2- Creo que no me explique bien.. con el:

Código HTML:

Crawl-delay: 10
 

Lo que hacemos concretamente es que solo realizen una peticion cada 10s.

3- Debes saber que hay spiders que no respetan la indicacion --crawl-delay-- como porejemplo: 80legs. A esos si te estan fastidiando directamente los cierras.

Código HTML:

User-agent: 008
Disallow: /
 

4- Y si aun con todo esto ves que alguno se cuela y que no respeta ninguna de las directrizes....pues siempre queda el .htacces, ese no falla pero es mas engorroso. De esta forma le decimos a Apache que mande un error a el spider.

Código HTML:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Agente-robot-que-te-fastidia
RewriteRule .* – [F,L]
 

Espero que ahora lo tengas mas claro todo. Recuerda que las ordenes escritas en robots.txt, son solo indicativas por eso no todos los robots obedecen.
Un saludo.

[lauser]

lo edito.. por que se ha duplicado...perdon

[berkeleyPunk]

Ok, gracias, lauser, por la información que has proporcionado.

Pero googleando incansablemente encontré un post muy valioso. Realicé mil pruebas para saber cómo funcionaba exactamente, y logré encontrar cómo hacer, mediante el HTACCESS, la protección contra hot linking, y otorgar derechos sólo a ciertos sitios para que puedan linkear las imágenes de mi sitio.

Código HTACCESS:

RewriteEngine On
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?mi-sitio\.hol.es/ [NC]
RewriteCond %{HTTP_REFERER} !^http://sitio-distinto-con-derechos.hol.es/$ [NC]
RewriteCond %{HTTP_REFERER} !^http://sitio-distinto-con-derechos.hol.es/responsivo/$ [NC]
RewriteCond %{HTTP_REFERER} !^http://sitio-distinto-con-derechos.hol.es/responsivo/base/img/.*$ [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule .*\.(jpe?g|gif|bmp|png)$ http://i.imgur.com/qX4w7.gif [L]
 

• Para agregar un sitio que tenga acceso a nuestras imágenes, debe agregarse una línea RewriteCond con la URL a la que se asignará derecho.
• Los derechos pueden darse tanto a una carpeta en específico como a una carpeta y todas sus subcarpetas.
• La URL seguida de una simple diagonal indica que tal URL podrá jalar los recursos indicados (en este caso imágenes), pero no sus subcarpetas.
• La URL seguida de diagonal-punto-asterisco indica que tal URL y todas sus subcarpetas tienen derecho a jalar nuestras imágenes.
• La expresión [NC] significa No Case, es decir, que no se va a tomar en cuenta si las URL’s están escritas en mayúsculas o minúsculas.
• En la última línea está escrito: jpe?g, que significa jpg y jpeg.



Así, supongamos que nadie tenga acceso a nuestras imágenes, excepto los siguientes sitios:


instalaciones electricas
mantenimiento industrial
naves industriales
obra civil
proyecto llave en mano
sistemas contra incendios
subestaciones electricas
constructoras
hvac

barreras vehiculares
equipos de estacionamiento
estacionamientos automatizados

roi marketing digital
marketing digital
desarrollo web
agencia marketing digital

salones para eventos df
mexico hotels
mexico city hotels
hotel mexico
hotels in mexico city
hotel in mexico city
hoteles df centro
hoteles centro historico df
hoteles 5 estrellas
hotel df
hotel ciudad de mexico
hoteles con alberca df

Así, por ejemplo, sólo tendríamos que cambiar http://sitio-distinto-con-derechos.hol.es/ por http://balper.com.mx/

Saludos!