29/04/2014, 11:32
|
| | | Fecha de Ingreso: abril-2014 Ubicación: Alicante
Mensajes: 23
Antigüedad: 10 años, 7 meses Puntos: 1 | |
| Respuesta: Araña de google = servidor frito
Hola!
Para poder limitar o deshabiliar los accesos de las arañas de indexación de los motores de búsqueda que hay en internet, lo que tienes que hacer es poner un fichero robots.txt en el alojamiento de tu dominio e indicar que partes de tu web no se indexen y cuales sí, incluso qué motores de búsqueda limitar.
Echa un vistazo a este enlace:
http://es.wikipedia.org/wiki/Est%C3%A1ndar_de_exclusi%C3%B3n_de_robots
Explica como configurar este fichero y poder limitar así las visitas de los robots de indexación.
Saludos! |