Hola,
El robots.txt es para indicar a los robots que partes de la web NO PUEDE visitar. Sirve para que no indexen por ejemplo ciertos tipos de ficheros, ciertos directorios, etc. Mas info
http://www.robotstxt.org/
Por cierto, los robots "malignos" (los que recogen direcciones de email de las paginas, por ejemplo), no obedecen normalmente estas restricciones.
Saludos.