Les explico...
Mi robots.txt era este:
User-Agent: *
Disallow: /Themes/default/languages/
Disallow: /Themes/default/
Disallow: /Smileys/
Disallow: /Themes/
Disallow: /Smileys/default/
Disallow: /index.php/
Disallow: /
Disallow: /logos/
Disallow: /web/
Disallow: /cpanel
Al chequear mi web a traves de Herramientas para Webmaster de google me presentaba un error
Archivo robots.txt: http://miweb.com/robots.txt
Descargado: Hace 6 horas
Estado: 200 (Correcta)
Acceso a la página principal: Googlebot se encuentra bloqueado para http://miweb.com
Al parecer bloqueaba el acceso a mi web con las lineas:
Disallow: /index.php/
Disallow: /
Elimine todo y solo dejé:
User-Agent: *
Al consultar desde mi navegador: http://miweb/robots.txt
Me muestra el archivo tal cual como lo acabo de subir con una sola linea
Pero al revisar Herramientas para Webmaster de google me sigue mostrando el archivo robots.txt anterior
Mis preguntas son:
1. Googlebot guarda una copia de mi archivo robots.txt y si no actualiza sigo estando bloqueado?
2. Por que al tratar de enviar un sitemap me dice "URL restringida por robots.txt?
Si hay alguna explicación, por favor agradecería me aclararan el panorama que no entiendo.
