El atributo nofollow de los enlaces lo creó Google en el año 2005 para combatir el spam. Los enlaces con este atributo "oficialmente" no eran válidos para el buscador, no transmitían relevancia, pagerank, anchor text... Son como el que ha puesto RuralC, traen el atributo rel="nofollow". Todos los que no tienen el atributo son dofollow.
El único cambio es que ahora no se puede usar para hacer
PageRank sculpting (esculpir el pagerank) porque Google distribuye la importancia entre el número total de enlaces aunque los que llevan nofollow no sumen. Leed este breve enlace
Otra forma de hacer PageRank sculpting para comprender el cambio y en qué consiste el pagerank sculpting.
El archivo robots.txt es un archivo de texto (.txt) que sirve para dar algunas indicaciones a los robots (por eso el nombre) de los buscadores, que archivos puede indexar, cuáles no, dónde está el sitemap. Algunos webmasters lo usan para "hacer trampas" al intercambiar enlaces bloqueando la página, en la que inluyen los enlaces, a los buscadores.
