Cita:
Iniciado por nemesis866 
hola alette, solo desabilitas los archivos html de tu directorio raiz, si quisieras los de otra carpeta solo agrega el nombre de la misma de la siguiente forma.-
Código robots.txt:
Ver originalUser-agent: *
Disallow: /*.html
Disallow: /carpeta/*.html
Disallow: /otracarpeta/*.html
Saludos
Pero es Disallow: /otracarpeta/*.html
o Disallow: /otracarpeta/*.html$
Y otra duda que tengo yo, se supone que si solo haces esto:
Disallow: /otracarpeta/
el robot de quiensea no entra en esa carpeta y por lo tanto no indexa el contenido no?
Pero a mi google si que me ha indexado un .html que tenía dentro de una carpeta denegada.
o es que tengo que ponerlo así: Disallow: /otracarpeta
(sin el slash final)