Ver Mensaje Individual
  #2 (permalink)  
Antiguo 10/01/2014, 16:12
Usuarios466
Invitado
 
Mensajes: n/a
Puntos:
Respuesta: Es necesario agregar Allow: en al archivo robots.txt

El atributo "Allow" no existe para el archivo robots.txt.

Te recomiendo la lectura oficial de About /robots.txt.

Para permitir el acceso de todos los robots, en el robots.txt debes tener:

Cita:
User-agent: *
Disallow:
Y para denegar el acceso de todos los robots:

Cita:
User-agent: *
Disallow: /
Como viste en mis ejemplos, y si te lees la guía oficial, verás que no existe la orden "Allow".

Cita:
Iniciado por YordanisRd Ver Mensaje
pero veo que luego de hacer eso mi web como que tarda para indexara
Que las páginas de tu web indexen de forma lenta, nada tiene que ver con el robots.txt.