Ver Mensaje Individual
  #5 (permalink)  
Antiguo 11/10/2013, 14:54
Usuarios466
Invitado
 
Mensajes: n/a
Puntos:
Respuesta: Archivo robots, tengo muhas dudas

Habría que saber si quieres que los robots no te indexen contenido, pero lo que un archivo robots.txt habitualmente debe llevar es lo siguiente:

Código HTML:
User-agent: *
Disallow:
Sitemap: http://www.tupaginaweb.com/sitemap.xml
Todo lo demás, está de más.

Para más información: Web oficial de robots.txt