Hola, primero que nada quiero felicitarlos por el foro. Llegué acá por cvander lo conocí en Chile - Webprendedor 2008.
Tengo una consulta.
Cómo puedo evitar que google indexe las categorías y archivos de mi sitio, sin utilizar un sitemap. Se puede hacer por el robots.txt? o hay que modificar todos los enlaces que manden hacia las categorias o archivos y agregar rel="nofollow" ?
Por cierto el feeds y las categorias de maestros del web también tiene ese problema según
adseok es mejor tenerlo en nofollow
Este es mi robots.txt, mi sitio corre bajo Joomla:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Saludos y gracias!