Para los buscadores

[Mickel]

También hay meta tags que sirven para indicar a las arañas que deben seguir indexando. Lo que pasa es que Google es un poco anarquista, e indexa pasando un poco de todo.
Apostaría que ignora todos los meta tags y el robots.txt.
Por otro lado, eso del robots.txt está un poco desfasado y no sé yo si hay muchos robots que se acuerden que existe.

A proposito...

4. ¿Por qué Googlebot no obedece a mi archivo robots.txt?

Para ahorrar ancho de banda Googlebot sólo descarga el archivo robots.txt una vez al día o cuando hemos descargado muchas páginas del servidor. Por eso puede llevar un tiempo para que Googlebot entienda los cambios que puede haber hecho en su archivo robots.txt. Googlebot está, además, distribuido en varias máquinas. Cada una de ellas mantiene su propio registro de su archivo robots.txt. También verifique que su sintaxis sea correcta con respecto al estándar: <a href='ir.asp?http://www.robotstxt.org/wc/norobots.html' target='_blank'>http://www.robotstxt.org/wc/norobots.htm...</a>. Si aún asi tiene problemas, comuníquese con nosotros y lo corregiremos.