Regla para eliminar una serie de URLs con robot.txt

[saymon]

Buenas noches, ante todo disculpas al admin porque no encontraba donde colocar esta pregunta.

Yo tengo una serie de URLs generadas en mi sitio de esta manera:

http://www.misitio.com/juan/galeria/snapshot/00001
http://www.misitio.com/maria/galeria/snapshot/00003
http://www.misitio.com/pedro/galeria/snapshot/00034

Ahora bien, yo no quiero que google me rastree estas URL, quiero crear un robot.txt en donde le doy una instruccion para sacar estas URL del rastreo, lei el tuturial de google, pero lo encuentro algo ambiguo en cuando a conseguir lo que busco, alli me dice que para eliminar un directorio coloque esto:

Disallow: /directorio-sintítulo/

Pero haciendo esto no eliminará solamente una URL como esta?
http://www.misitio.com/directorio-sintítulo/
en lugar del modelo que yo he colocado arriba ?

Aqui la clave esta en como escribo esta regla para que me elimine todas las URLs que contengan esto "/galeria/snapshot/" ?

Saludos y gracias de antemano.

[emprear]

Código Apache:

Disallow: /directorio/
 

toda url que comience por /directorio NO será indexada, es decir todas las páginas que contenga esa carpeta

Saludos

[saymon]

Gracias Emprear por la respuesta. Pero como veras en mi descripcion la URL no comienza con "/directorio". La URL comienza con cualquier nombre y "/directorio" en realidad es como el tercer directorio, ejemplo:

http://www.misitio.com/PEDRO/directorio/otro/

Por lo que quiero asegurarme como escribir esta regla correctamente.

[emprear]

Eso es solo un ejemplo

Si es
/directorio
te bloquea todo lo que esta en
/directorio
/directorio/index.html
/directorio/otra_carpeta
/directorio/img
/directorio/img/fotos

ya que todas comienzan por /directorio

si quisieras bloquear determinadas carpetas dentro de /directorio ponés disallow para
/directorio/nombre_de_carpeta
en ese caso
/directorio/index.html ú otra carpeta que no sea /directorio/nombre_de_carpeta ó una subcarpeta de esta serán accesibles al spider del buscador
Se entiende

Saludos

[saymon]

Gracias Emprear, Sí, si entiende bastante bien tu ejemplo. Solamente que creo que deje pasar algo por alto.

Esto es exactamente lo que quiero hacer:

Iniciado por emprear

si quisieras bloquear determinadas carpetas dentro de /directorio ponés disallow para
/directorio/nombre_de_carpeta

El detalle esta como tu dices, para escribir esta regla tendria que coloca el directorio de primer nivel, en tu ejemplo es "/directorio/" en el mio es es "/juan/" y el detalle esta que el directorio de primer nivel en mi escript es el nombre del usuario y tengo cientos de miles, asi que imaginate escribir la regla para toda esa cantidad.

disallow /pedro/nombre_de_carpeta
disallow /pablo/nombre_de_carpeta
disallow /vilma/nombre_de_carpeta

Asi que si todas estas URLs tienen en comun "/nombre_de_carpeta/" entonces como hacer para este caso?. En httaccess es algo similar a:

RewriteRule ^/(.*)/nombre_de_carpeta/(.*)

[emprear]

Iniciado por saymon

Gracias Emprear, Sí, si entiende bastante bien tu ejemplo. Solamente que creo que deje pasar algo por alto.

Esto es exactamente lo que quiero hacer:



El detalle esta como tu dices, para escribir esta regla tendria que coloca el directorio de primer nivel, en tu ejemplo es "/directorio/" en el mio es es "/juan/" y el detalle esta que el directorio de primer nivel en mi escript es el nombre del usuario y tengo cientos de miles, asi que imaginate escribir la regla para toda esa cantidad.

disallow /pedro/nombre_de_carpeta
disallow /pablo/nombre_de_carpeta
disallow /vilma/nombre_de_carpeta

Asi que si todas estas URLs tienen en comun "/nombre_de_carpeta/" entonces como hacer para este caso?. En httaccess es algo similar a:

RewriteRule ^/(.*)/nombre_de_carpeta/(.*)

Si entiendo, lo hacés en el mismo robots.txt ya que las url soportan comodines

disallow /*/nombre_de_carpeta

obviamente tambien te bloquearía nombre_de_carpeta si esta fuese sub carpeta de algun directorio que no corresponda a nombres de usuario,
Creo que es eso lo que buscás

Saludos

[saymon]

Si funciona como dices, entonces es exactamente lo que buscaba, lo probaré.

Mil Gracias!