Aquí tienes información interesante sobre el tema, y te explican como poniendole al archivo robots.txt un
User-Agent: *
Disallow: /
http://patripe.com/index.php/tag/evi...ndexe-una-web/
los robots de los navegadores ya no leeran tú web y la pasarán por alto