robots.txt es seguro?

[AlvaroG]

No, no es nada paranoico.

robots.txt no es parte de ninguna norma, aceptarlo o no es simplemente una elección del robot o navegador.

De hecho, tal y como decís le estás dando a cualquiera un listado de carpetas sensibles.
Está mal usarlo para proteger carpetas, debería usarse simplemente para decirle a los navegadores "prefiero que vengas por acá pero no por allá", y para mejorar la forma en que el buscador indexa el sitio, no por seguridad.

Para progeter una carpeta de forma efectiva, lo que necesitás es (en un servidor Apache) usar Redirect, RedirectMatch, Auth-Type o Rewrite.

Por ejemplo, si no querés que se ingrese (ni se revele la existencia) de una carpeta /admin, basta poner en el .htaccess

Redirect 404 /admin

y cualquier petición http a /admin será negada con un error 404, tal y como si la carpeta no existiera.


Saludos.