Tema: robots.txt
Ver Mensaje Individual
  #2 (permalink)  
Antiguo 14/01/2014, 10:53
Usuarios466
Invitado
  
Mensajes: n/a
Puntos:
Respuesta: robots.txt
No tiene ningún sentido que Google sólo lea hasta un máximo de 40 líneas el robots.txt.

El robots.txt no es como el sitemap.xml que sí tiene un límite (de 50.000 URL's y 10 MB).