Cita: Mensaje Original por rrufo
siempre pudes utilizar el robot.txt para limitar acceso de los robots
Eso es algo que
NUNCA debe hacerse.
Si hay algún archivo que no quieres que la gente vea, no lo pongas en el robots.txt, porque cualquiera puede bajarse tu robots.txt y ver que es lo que quieres ocultar.