Totalmente de acuerdo con
gran Wakka y con
pordos en cuanto a un 100% de seguridad en que ningún bot rastrerá e indexará tu contenido: bloquear la carpeta/sitio con password, vía .htaccess si el panel de control no lo permite.
Cualquier otra restricción debiera funcionar...
pero recordemos que las mismas son directivas y cualquier crawler podría salteárselas en algún momento. De hecho he visto casos donde así lo ha hecho
