Según tengo entendido (y creo que últimamente leo cosas muy diversas sobre el tema, por lo que estoy confusa y también me gustaría que alguien más comentara), los enlaces nofollow son los que no reparten importancia de PR a las url de destino y los dofollow los que sí lo hacen... Ya digo que igual estoy equivocada, así que mejor te puede explicar otra persona y ya de paso a mí
Para ver de qué tipo es el enlace, hay que buscar el atributo "rel" en el código fuente del enlace. Por ejemplo, el nofollow sería así:
Cita: <a href="url" rel="nofollow">Anchor text</a>
En cuanto al robots.txt es un fichero que se debe llamar así (es un txt que debe nombrarse robots) y se sube a la raíz de tu servidor, donde está la web general.
Los buscadores normalmente indexan todo lo que pillan en tu web a través de enlaces internos, pero si tú quieres que cierta sección no la muestren en los resultados de búsqueda por cualquier motivo, puedes restringirla desde este fichero, esa es su utilidad.
Para crearlo, te puedes ayudar de "Herramientas para Webmaster de Google".