buenos dias tenia una consulta,
queria saber cual es el lugar optimo, para colocar los archivos sitemap.xml y robots.txt
si tiene que ser en la misma carpeta que que se encuentra el archivo index.html
para que salga en
www.codigo.net/robots.txt
o
www.codigo.net/sitemap.xml
o esos archivos se pueden colocar dentro de otra carpeta dentro de la carpeta que tiene la pagina index.html
ejemplo si lo coloco en la capeta llamada paginas que contienen las otras paginas ya que la pagina index esta fuera de esa carpeta para verlo de forma mas ordenada.
www.codigo.net/paginas/sitemap.xml
asi que la duda era cual es la mejor ruta para colocar estos dos archivos, o si colocarlos en la misma carpeta que se encuentre la pagina index afecta si otras personas pueden verlo accesando a
www.codigo.net/robots.txt
o
www.codigo.net/sitemap.xml
otra consultita disculpen las molestias
en mi archivo robots.txt coloque el siguiente codigo
User-agent: *
Disallow: /pagina/contactenos/
la idea era que el robots bloquee el acceso a la carpeta contactenos que se encuentra dentro de la carpeta pagina, queria saber si de esta forma esta bien o utilizo esta otra
User-agent: *
Disallow: pagina/contactenos/
?
ya que buscando en internet encontre que para bloquear una carpeta entera se utiliza
User-agent: *
Disallow: /contactenos/
asi de esta forma me bloquea todas las carpetas que tengan ese nombre pero puede que en las carpetas exista otras carpetas con ese mismo nombre de contactenos pero dentro de otra carpeta que si se le permite al robots entrar
bueno casi me estoy repondiendo entiendo mas o menos lo que e investigado solo quiero aclarar algunas dudas
se le agradece la ayuda
