13/12/2010, 03:42
|
| | Fecha de Ingreso: febrero-2004 Ubicación: Mediterraneo
Mensajes: 64
Antigüedad: 20 años, 11 meses Puntos: 2 | |
Google indexa lo que he bloqueado con robots.txt Hola
Últimamente google me esta indexando los directorios que he bloqueado con robots.txt.
Lógicamente el archivo está situado en la raiz del dominio.
Y según las herramientas de webmasters google lo lee correctamente.
Del dominio
http://www.midominio.com/robots.txt
Archivo robots.txt
User-agent: *
Disallow: /archivo.php
Disallow: /directorio1/
Disallow: /directorio2/
Disallow: /directorio3/
Disallow: /directorio 4/archivo.pdf
etc...
Como véis es una estructura de lo más normal
Pues me ha indexado
http://www.midominio.com/archivo.php
y
http://www.midominio.com/directorio1/
http://www.midominio.com/directorio2/
http://www.midominio.com/directorio4/archivo.pdf
Evidentemente son nombres de ejemplo con el objeto que veáis la estructura.
¿Sabéis por que me indexa lo que bloqueo con el archivo robots.txt?
Gracias
Última edición por almez; 13/12/2010 a las 03:49 |