Cita:
Iniciado por saymon 
Gracias Emprear, Sí, si entiende bastante bien tu ejemplo. Solamente que creo que deje pasar algo por alto.
Esto es exactamente lo que quiero hacer:
El detalle esta como tu dices, para escribir esta regla tendria que coloca el directorio de primer nivel, en tu ejemplo es "/directorio/" en el mio es es "/juan/" y el detalle esta que el directorio de primer nivel en mi escript es el nombre del usuario y tengo cientos de miles, asi que imaginate escribir la regla para toda esa cantidad.
disallow /pedro/nombre_de_carpeta
disallow /pablo/nombre_de_carpeta
disallow /vilma/nombre_de_carpeta
Asi que si todas estas URLs tienen en comun "/nombre_de_carpeta/" entonces como hacer para este caso?. En httaccess es algo similar a:
RewriteRule ^/(.*)/nombre_de_carpeta/(.*)
Si entiendo, lo hacés en el mismo robots.txt ya que las url soportan comodines
disallow /*/nombre_de_carpeta
obviamente tambien te bloquearía nombre_de_carpeta si esta fuese sub carpeta de algun directorio que no corresponda a nombres de usuario,
Creo que es eso lo que buscás
Saludos