30/04/2014, 05:24
|
| | | Fecha de Ingreso: abril-2014
Mensajes: 14
Antigüedad: 10 años, 7 meses Puntos: 0 | |
| Respuesta: Araña de google = servidor frito
Ratifico el comentario del compañero, y además, tengo la experiencia de que otras arañas de indexación no antienden a razones. Lo mejor es buscar en la web la araña en concreto, configurar el robots.txt según ponen en su web, y si de todas formas, como pasa muchas veces, no hacen caso al robots.txt, si tienes acceso a una plataforma de firewall (servidor VPS, dedicado, ...), bloquear las IPs que te están haciendo la indexación, aunque sea temporalmente, para que no lleguen a acceder al servicio web y no sobrecarguen la página.
Suerte! |