Para que sirve robots.txt

[seodetenerife]

Amigo Google indexa el contenido que más le interesa, como comentas desde el archivo robots.txt puedes utilizar Disallow: / y en la cabecera de la url en cuestión también puedes colocar la meta-etiqueta
<meta name="robots" content="noindex, nofollow"/>
<meta name="googlebot" content="noindex"/>
Los buscadores se guían por los enlaces que tienes dentro de la web, mientras más enlaces apuntes a la web que tu no quieres indexar más problemas tendrás.
Consejo: Coloca en tus enlaces rel="nofollow" y las meta-etiquetas que describí más arriba. Esto nunca falla. Un saludo