duda sobre robots.txt

[alette666]

re holas gente FDW (yo otra vez por aca ), veran ahora mi duda es la siguiente:
tengo en el robots.txt

Código HTML:

User-agent: *
Disallow: /*.html

con esto desabilito por completo todos los archicos html que hay en mi srervidor?? o solamente de la carpeta raiz; agradesco

[nemesis866]

hola alette, solo desabilitas los archivos html de tu directorio raiz, si quisieras los de otra carpeta solo agrega el nombre de la misma de la siguiente forma.-

Código robots.txt:

User-agent: *
Disallow: /*.html
Disallow: /carpeta/*.html
Disallow: /otracarpeta/*.html
 

Saludos

[mawell]

Iniciado por nemesis866

hola alette, solo desabilitas los archivos html de tu directorio raiz, si quisieras los de otra carpeta solo agrega el nombre de la misma de la siguiente forma.-

Código robots.txt:

User-agent: *
Disallow: /*.html
Disallow: /carpeta/*.html
Disallow: /otracarpeta/*.html
 

Saludos

Pero es Disallow: /otracarpeta/*.html

o Disallow: /otracarpeta/*.html$

Y otra duda que tengo yo, se supone que si solo haces esto:

Disallow: /otracarpeta/

el robot de quiensea no entra en esa carpeta y por lo tanto no indexa el contenido no?
Pero a mi google si que me ha indexado un .html que tenía dentro de una carpeta denegada.

o es que tengo que ponerlo así: Disallow: /otracarpeta
(sin el slash final)

[nemesis866]

Iniciado por mawell

Pero es Disallow: /otracarpeta/*.html

o Disallow: /otracarpeta/*.html$

Y otra duda que tengo yo, se supone que si solo haces esto:

Disallow: /otracarpeta/

el robot de quiensea no entra en esa carpeta y por lo tanto no indexa el contenido no?
Pero a mi google si que me ha indexado un .html que tenía dentro de una carpeta denegada.

o es que tengo que ponerlo así: Disallow: /otracarpeta
(sin el slash final)

Hola maswell

No se debe incluir el simbolo $ al final de la linea, y si tienes razon, con solo colocar el disallow y el nombre de la carpeta sera suficiente para que el bot no ingrese a los archivos.

Saludos