Cita:
Iniciado por pablisho 
Para eliminar todas las páginas que se encuentran dentro de un directorio:
User-agent: Googlebot
Disallow: /Directorio
Para eliminar todos los archivos de un tipo de archivo específico, por ejemplo .gif, tendrá que utilizar la siguiente entrada de robots.txt:
User-agent: Googlebot
Disallow: /*.gif$
Para eliminar páginas generadas de manera dinámica, deberá utilizar esta entrada de robots.txt:
User-agent: Googlebot
Disallow: /*?
http://www.google.es/support/webmast...y?answer=35303 Supongo que en ese caso será solo para Google ¿no?, ¿cada buscador lleva un nombre específico o podría ponerse algo así y entonces englobar a todos los robots de una vez?
User-agent: *
Disallow: /Directorio
