Gracias Emprear, Sí, si entiende bastante bien tu ejemplo. Solamente que creo que deje pasar algo por alto.
Esto es exactamente lo que quiero hacer:
Cita:
Iniciado por emprear 
si quisieras bloquear determinadas carpetas dentro de /directorio ponés disallow para
/directorio/nombre_de_carpeta
El detalle esta como tu dices, para escribir esta regla tendria que coloca el directorio de primer nivel, en tu ejemplo es "/directorio/" en el mio es es "/juan/" y el detalle esta que el directorio de primer nivel en mi escript es el nombre del usuario y tengo cientos de miles, asi que imaginate escribir la regla para toda esa cantidad.
disallow /pedro/nombre_de_carpeta
disallow /pablo/nombre_de_carpeta
disallow /vilma/nombre_de_carpeta
Asi que si todas estas URLs tienen en comun "/nombre_de_carpeta/" entonces como hacer para este caso?. En httaccess es algo similar a:
RewriteRule ^/(.*)/nombre_de_carpeta/(.*)