El robots.txt es muy inseguro, hay buscadores que no lo reconoce, pero lo peor es que no hace nada con "otras personas"
Con el .htaccess es muy sencillo, creas el archivo dentro de la carpeta que no quieres listar y pones el siguiente contenido dentro:
Salu2
