Araña de google = servidor frito

[arrasia]

Hola, cada vez que las arañas de google se ponen a indexar mi web la colapsan.

¿hay algún factor del apache2.conf que determine las cantidades de peticiones que puede hacer una ip al servidor?

Gracias

[schloss]

Hola!

Para poder limitar o deshabiliar los accesos de las arañas de indexación de los motores de búsqueda que hay en internet, lo que tienes que hacer es poner un fichero robots.txt en el alojamiento de tu dominio e indicar que partes de tu web no se indexen y cuales sí, incluso qué motores de búsqueda limitar.

Echa un vistazo a este enlace:
http://es.wikipedia.org/wiki/Est%C3%A1ndar_de_exclusi%C3%B3n_de_robots

Explica como configurar este fichero y poder limitar así las visitas de los robots de indexación.

Saludos!

[Pedro_J_Sanchez]

Ratifico el comentario del compañero, y además, tengo la experiencia de que otras arañas de indexación no antienden a razones. Lo mejor es buscar en la web la araña en concreto, configurar el robots.txt según ponen en su web, y si de todas formas, como pasa muchas veces, no hacen caso al robots.txt, si tienes acceso a una plataforma de firewall (servidor VPS, dedicado, ...), bloquear las IPs que te están haciendo la indexación, aunque sea temporalmente, para que no lleguen a acceder al servicio web y no sobrecarguen la página.

Suerte!