Foros del Web » Administración de Sistemas » Apache »

Impedir algunos programas de descarga web

Estas en el tema de Impedir algunos programas de descarga web en el foro de Apache en Foros del Web. Hola... Alguien tiene algun script o algo para agregar en el .htacces de mi web para impedir que descargen mi web a través de los ...
  #1 (permalink)  
Antiguo 08/01/2013, 14:09
Avatar de el_java  
Fecha de Ingreso: enero-2008
Mensajes: 185
Antigüedad: 16 años, 10 meses
Puntos: 3
Impedir algunos programas de descarga web

Hola...
Alguien tiene algun script o algo para agregar en el .htacces de mi web para impedir que descargen mi web a través de los programas mas comunes?

lo probe con el httrack y descarga mucho contenido...

se que es imposible impedir que descargen la web, pero el tema es hacerle la tarea mas dificil como los tipicos programas que se usarn para eso...

uso apache 2.2

Thnks...
__________________
La Mejor banda de Rock Chileno : Los Bunkers
  #2 (permalink)  
Antiguo 11/01/2013, 16:36
Avatar de emprear
Colaborador
 
Fecha de Ingreso: junio-2007
Ubicación: me mudé
Mensajes: 8.388
Antigüedad: 17 años, 4 meses
Puntos: 1567
Respuesta: Impedir algunos programas de descarga web

Crea en la raiz de tu web un archivo con el nombre robots.txt, y el siguiente contenido


Código txt:
Ver original
  1. User-agent: Teleport
  2. Disallow: /
  3.  
  4. User-agent: TeleportPro
  5. Disallow: /
  6.  
  7. User-agent: EmailCollector
  8. Disallow: /
  9.  
  10. User-agent: EmailSiphon
  11. Disallow: /
  12.  
  13. User-agent: WebBandit
  14. Disallow: /
  15.  
  16. User-agent: WebZIP
  17. Disallow: /
  18.  
  19. User-agent: WebReaper
  20. Disallow: /
  21.  
  22. User-agent: WebStripper
  23. Disallow: /
  24.  
  25. User-agent: Web Downloader
  26. Disallow: /
  27.  
  28. User-agent: WebCopier
  29. Disallow: /
  30.  
  31. User-agent: Offline Explorer Pro
  32. Disallow: /
  33.  
  34. User-agent: HTTrack Website Copier
  35. Disallow: /
  36.  
  37. User-agent: Offline Commander
  38. Disallow: /
  39.  
  40. User-agent: Leech
  41. Disallow: /
  42.  
  43. User-agent: WebSnake
  44. Disallow: /
  45.  
  46. User-agent: BlackWidow
  47. Disallow: /
  48.  
  49. User-agent: HTTP Weazel
  50. Disallow: /

Esos son los crawlers de descarga masiva más comunes

SAludos
__________________
La voz de las antenas va, sustituyendo a Dios.
Cuando finalice la mutación, nueva edad media habrá
S.R.
  #3 (permalink)  
Antiguo 11/01/2013, 18:44
Avatar de el_java  
Fecha de Ingreso: enero-2008
Mensajes: 185
Antigüedad: 16 años, 10 meses
Puntos: 3
Respuesta: Impedir algunos programas de descarga web

ok muchas gracias por responder...


en el robots.txt tenia esto que me aconsejaron en SEO


User-agent: *
Allow: /
Sitemap: http://www.dominio.cl/sitemap.xml


si le agrego eso, tengo que quitar lo anterior, cierto?
Obviamente sin el sitemap...
__________________
La Mejor banda de Rock Chileno : Los Bunkers
  #4 (permalink)  
Antiguo 11/01/2013, 19:41
Avatar de emprear
Colaborador
 
Fecha de Ingreso: junio-2007
Ubicación: me mudé
Mensajes: 8.388
Antigüedad: 17 años, 4 meses
Puntos: 1567
Respuesta: Impedir algunos programas de descarga web

Cita:
Iniciado por el_java Ver Mensaje
ok muchas gracias por responder...


en el robots.txt tenia esto que me aconsejaron en SEO


User-agent: *
Allow: /
Sitemap: http://www.dominio.cl/sitemap.xml


si le agrego eso, tengo que quitar lo anterior, cierto?
Obviamente sin el sitemap...
eso no es necesario en el robots ponés lo que excluís y para los spiders que querés excluir, lo demás se indexa. Lo que si es aconsejable es que utilices la herramientas para webmasters de goolge par enviar tus sitemaps

SAludos
__________________
La voz de las antenas va, sustituyendo a Dios.
Cuando finalice la mutación, nueva edad media habrá
S.R.
  #5 (permalink)  
Antiguo 11/01/2013, 20:12
Avatar de el_java  
Fecha de Ingreso: enero-2008
Mensajes: 185
Antigüedad: 16 años, 10 meses
Puntos: 3
Respuesta: Impedir algunos programas de descarga web

ahhh ok vale

Si.. tengo el sitemap en la herramienta de webmaster de google subido

Muchas gracias :)



PD: En caso de que quiera impedir que los buscadores indexen un directorio...
lo coloco asi??


User-Agent: *
Disallow: sitio/carpeta_no_indexar

??


EN donde la carpeta que no quiero indexar se encuentra en la carpeta sitio/carpeta_no_indexar
__________________
La Mejor banda de Rock Chileno : Los Bunkers
  #6 (permalink)  
Antiguo 11/01/2013, 20:16
Avatar de emprear
Colaborador
 
Fecha de Ingreso: junio-2007
Ubicación: me mudé
Mensajes: 8.388
Antigüedad: 17 años, 4 meses
Puntos: 1567
Respuesta: Impedir algunos programas de descarga web

Cita:
Iniciado por el_java Ver Mensaje
ahhh ok vale

Si.. tengo el sitemap en la herramienta de webmaster de google subido

Muchas gracias :)



PD: En caso de que quiera impedir que los buscadores indexen un directorio...
lo coloco asi??


User-Agent: *
Disallow: sitio/carpeta_no_indexar

??
exacto, esa es la idea
Saludos
__________________
La voz de las antenas va, sustituyendo a Dios.
Cuando finalice la mutación, nueva edad media habrá
S.R.
  #7 (permalink)  
Antiguo 11/01/2013, 20:23
Avatar de el_java  
Fecha de Ingreso: enero-2008
Mensajes: 185
Antigüedad: 16 años, 10 meses
Puntos: 3
Respuesta: Impedir algunos programas de descarga web

Entendido... agradecido

Aunque deje asi el robot.txt

trate con un programa "Win HTTrack"y la descargo igual
__________________
La Mejor banda de Rock Chileno : Los Bunkers
  #8 (permalink)  
Antiguo 11/01/2013, 20:40
Avatar de emprear
Colaborador
 
Fecha de Ingreso: junio-2007
Ubicación: me mudé
Mensajes: 8.388
Antigüedad: 17 años, 4 meses
Puntos: 1567
Respuesta: Impedir algunos programas de descarga web

Por lo que estoy viendo algunos programas han modificado la cadena que los identifica

probá con

HTTrack
en lugar de
HTTrack Website Copier

ó lo que es mejor, poné el disallow para los 2
Avisame los resultados asi actualizo mi info
se que con .htaccess también se puede hacer pero tengo que buscar la script
Saludos
__________________
La voz de las antenas va, sustituyendo a Dios.
Cuando finalice la mutación, nueva edad media habrá
S.R.
  #9 (permalink)  
Antiguo 11/01/2013, 21:22
Avatar de el_java  
Fecha de Ingreso: enero-2008
Mensajes: 185
Antigüedad: 16 años, 10 meses
Puntos: 3
Respuesta: Impedir algunos programas de descarga web

Fue como lo decias

Agregé "HTTrack" y ahora no puedo descargar la pagina del programa


Agradecido
__________________
La Mejor banda de Rock Chileno : Los Bunkers

Etiquetas: impedir, programas
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 09:28.