por qué es necesario el robots.txt?

[BramSt]

Lo pregunto en SEO ya que estos dos archivitos paecen ser de importancia capital de caraa al posicionamiento. Si no es el sitio adecuado, mis disculpas.

Ya sé que es una pregunta de novato total (yo lo soy), pero os pregunto:

El robots.txt es para decirle a los buscadores las partes de nuestra web que no deben indexar, ¿no?

Y el sitemap.xml les dice lo que deben indexar...

Pero entonces, ¿para qué es necesario escribir un robots.txt si se supone que ya en el sitemap le decimos a los buscadores lo que deben indexar? ¿Por qué además hay que decirles lo que NO se debe indexar con el robots.txt? Se supone que por omisión en el sitemaps, las URLs que ahí no se pongan, no las indexaría...

Un saludo.

[lauser]

Se supone, insisto "se supone", que robots.txt indica que no se debe rastrear, no indexar (es evidente que si no se rastrea no se indexa). No es lo mismo. De todas formas no es una ciencia cierta, pues muchos se saltan a la torera el robots.txt.

[minombreesmm]

Yo no tengo ningun robots.txt solo tengo un codigo de google analytics... nadamas
y se indexa todo, pues que se indexe todo no importa, mientras sea de mi dominio está bien

[RBZ]

Son ayudas para el buscador, puedes no usarlas o no, pero cuesta poco.

Eso sí, las partes que quieras que no indexen porque sean privadas es mejor que las protejas por contraseña, el robots.txt no lo respetan al 100%.

[BramSt]

Gracias a todos por vuestras respuestas.

Iniciado por lauser

Se supone, insisto "se supone", que robots.txt indica que no se debe rastrear, no indexar (es evidente que si no se rastrea no se indexa). No es lo mismo. De todas formas no es una ciencia cierta, pues muchos se saltan a la torera el robots.txt.

Vale, robots.txt indica lo que no debe rastrear... entonces, ¿qué indica sitemaps.xml?

[josefino]

el sitemap dice las páginas o documentos que tienen contenido relevante. Entre el sitemap y el robots.txt evitas que el robot de google pierda el tiempo indexando páginas vulgares como el carro de la compra, mi cuenta, recuperar contraseña, etc.

[BramSt]

Iniciado por josefino

el sitemap dice las páginas o documentos que tienen contenido relevante. Entre el sitemap y el robots.txt evitas que el robot de google pierda el tiempo indexando páginas vulgares como el carro de la compra, mi cuenta, recuperar contraseña, etc.

Gracias josefino.

Entonces, ¿en el sitemaps tengo que poner las que quiero que se rastreen e indexen, y en el robots.txt las que no?

Un saludo.

[BramSt]

Gracias josefino.

Entonces, ¿en el sitemaps tengo que poner las que quiero que se rastreen e indexen, y en el robots.txt las que no?

¿Y qué sucede con las que no pones en ninguna parte?

Un saludo.

PD: perdón por el doble post, parece que no puedo borrar uno de los dos, o yo no encuentro la opción.

[josefino]

Diría que así es. A mi se me generan automáticamente así que tampoco puedo profundizarte mucho del tema. Un saludo.

[RBZ]

Iniciado por BramSt

Gracias josefino.

Entonces, ¿en el sitemaps tengo que poner las que quiero que se rastreen e indexen, y en el robots.txt las que no?

Tanto el sitemap como el archivo robots.txt son ayudas para que el robot del buscador sepa con mayor claridad los documentos que contiene la web, cada cuánto se actualizan, cuáles son las páginas más valoradas, etc...

Iniciado por BramSt

¿Y qué sucede con las que no pones en ninguna parte?

Si están enlazadas desde alguna parte las indexará cuando las encuentre, si no tiene enlaces es más difícil aunque en ocasiones el robot puede llegar a indexarlas igualmente, normalmente parece que influyen las Leyes de Murphy, si no quieres la encuentra y la indexa.

[internetdominus]

Es bueno para que GYM no indexe archivos o directorios que no quieres que este a la vista del publico.

[itanium]

Al generar el robots.txt te da la opcion de indicar que directorios quieres que no se indexen, http://tools.seobook.com/robots-txt/generator/.

Saludos.