Cómo evitar indexación sin sitemap?

[N0Z3LF]

Hola, primero que nada quiero felicitarlos por el foro. Llegué acá por cvander lo conocí en Chile - Webprendedor 2008.

Tengo una consulta.

Cómo puedo evitar que google indexe las categorías y archivos de mi sitio, sin utilizar un sitemap. Se puede hacer por el robots.txt? o hay que modificar todos los enlaces que manden hacia las categorias o archivos y agregar rel="nofollow" ?

Por cierto el feeds y las categorias de maestros del web también tiene ese problema según adseok es mejor tenerlo en nofollow

Este es mi robots.txt, mi sitio corre bajo Joomla:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/



Saludos y gracias!

[facundocorradini]

Es la primera vez que leo la respuesta dentro de la pregunta.

Exactamente, lo correcto sería hacerlo mediante robots.txt.


Por otra parte, si ya ha indexado algúna página que no quieres que aparezca en los SERP, en google webmasters tienes una herramienta para pedir la baja de las mismas.

[pablisho]

También puede usar un simple meta para que ese documento preciso no sea indexado en ningún buscador:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Cabe aclarar que agregar el nofollow no garantiza que el documento que es enlazado no sea indexado, sino que el enlace no será tenido en cuenta en el algoritmo que se utiliza para ordenar los resultados. Es decir que si tenemos una web que no queremos que sea indexada por los buscadores por más que tengamos 1000 enlaces entrantes sin el rel="nofollow" no se indexará (siempre y cuando lo hayamos especificado), ya sea por metas o robots.txt.

[N0Z3LF]

Iniciado por facundocorradini

Es la primera vez que leo la respuesta dentro de la pregunta.

Exactamente, lo correcto sería hacerlo mediante robots.txt.


Por otra parte, si ya ha indexado algúna página que no quieres que aparezca en los SERP, en google webmasters tienes una herramienta para pedir la baja de las mismas.

Jajaja... lo que pasa es que no estaba seguro Gracias por la respuesta.

Iniciado por pablisho

También puede usar un simple meta para que ese documento preciso no sea indexado en ningún buscador:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Cabe aclarar que agregar el nofollow no garantiza que el documento que es enlazado no sea indexado, sino que el enlace no será tenido en cuenta en el algoritmo que se utiliza para ordenar los resultados. Es decir que si tenemos una web que no queremos que sea indexada por los buscadores por más que tengamos 1000 enlaces entrantes sin el rel="nofollow" no se indexará (siempre y cuando lo hayamos especificado), ya sea por metas o robots.txt.

Voy a checkar google webmaster tools. Muchas gracias.