Solo tienes que especificar cuales son los archivos o carpetas que no quieres que entren los robots.
Ejemplo:
Para denegar el acceso a el archivo
prueba.html y a la carpeta con nombre
privado se haría de la siguiente manera:
Código:
User-agent: *
Disallow: /prueba.html/
Disallow: /privado/
El
* quiere decir que sera para todos los robots (google, yahoo, etc)
El archivo
robots.txt tiene que estar el la rais de tu web.
Bye.