Se puede hacer mediante el fichero robots.txt
Ejemplo:
Código:
User-agent: *
Disallow: /backup/directorio_que_no_debe_indexarse
Puedes encontrar más información sobre dicho fichero en ésta web:
http://www.robotstxt.org/
De todos modos hay algunos robots "maliciosos" que no respetan las indicaciones del fichero robots.txt
Yo creo que es preferible que protejas dicho directorio con usuario/password, o sino por lo menos no incluyas ningun fichero index.??? en el mismo (o también puedes ponerlo pero vacío). Y luego debes evitar que hagan un listado de su contenido. Si tu servidor web es Apache puedes usar lo siguiente en el fichero .htaccess:
Código:
Options -Indexes -Includes
Order allow,deny
Allow from all