Eliminar URLs vía robots.txt ???

[ASLAN]

Me he cambiado de sistema de foros y en el sistema antiguo se indexaron un montón de páginas con la siguiente URL: image-vp1234.html en donde 1234 puede ser cualquier número (más de 20.000)

La instrucción que agregué en robots.txt es la siguiente:

Código:

User-agent: *
Disallow: /image-vp*.html

Está correcta ???

Gracias por la ayuda

[Daniel Ulczyk]

La sintaxis es correcta.
Y en la implementación, lo que conseguís es decirle a los crawlers que no indexen esas páginas.
Pero en tu caso ya están indexadas.
Tendrás que establecer otra estrategia, distinta del uso de robots.txt

Crear reglas mediante mod rewrite y comenzar a solicitar la baja de las URLs de los índices de Google.

[ASLAN]

El problema es que son muchas y Google sólo permite solicitud de baja de URLs específicas, no con máscaras como las señaladas

Habrá otro modo ???

[Daniel Ulczyk]

Perdón, me corrijo:
Google dice:

Para eliminar un sitio o directorio completo, utilice un archivo robots.txt.
Su contenido se eliminará del índice la próxima vez que Google rastree su sitio web.

Así las cosas, cuando el bot te visite nuevamente y lea el robots.txt eliminará de sus índices las URLs.

La salvedad está, en que cuando uno quiere acerlerar el proceso puede solicitar la baja desde las Herramientas para Webmasters.

[ASLAN]

Excelente
Está hecho entonces
Muchas gracias

[frony]

tengo una pequeña duda al usar esta forma

User-agent: *
Disallow: /themes/

las carpetas(temas) que esten dentro de themes tampoco seran indexados? es que es lo que deseo. estara bien solo especificar el directorio raiz o debo ir subdirectorio uno por uno

[Daniel Ulczyk]

Iniciado por frony

tengo una pequeña duda al usar esta forma

User-agent: *
Disallow: /themes/

las carpetas(temas) que esten dentro de themes tampoco seran indexados? es que es lo que deseo. estara bien solo especificar el directorio raiz o debo ir subdirectorio uno por uno

Con esa directiva le estás informando a todos los crawlers que no ingresen a tu directorio themes; por lógica consecuencia, tampoco tienen permiso para explorar llos directorios y archivos contenidos en ella.

Por cierto, el directorio raiz es "/", "/themes" es una directorio que depende del mismo.

[ASLAN]

Otra duda
Para qué sirve la máscara $

Ejemplo:
User-agent: *
Disallow: /*.gif$

Gracias

[Daniel Ulczyk]

Iniciado por ASLAN

Otra duda
Para qué sirve la máscara $

Ejemplo:
User-agent: *
Disallow: /*.gif$

Gracias

En robotstxt.org no encontré referencia alguna; fuente que consulté ya que nunca vi esa máscara.
Precisamente Alicorna, cita en su blog (en una entrada de fecha de hoy):

Please note that this method is not correct or valid in the usual protocol, so while it works fine for Googlebot, don't try to apply it to any other search engine bot (or your site may be excluded entirely and therefore not even get the pages indexed).

Este método no es correcto o válido en el protocolo actual, mientras esto trabaja bien para Googlebot, no intente aplicarlo en ningún otro bot de un motor de búsqueda (...).

La finalidad de esa máscara es para precisamente remover todos los archivos que llevan esa máscara. Fuente: Web Tools

[dr. attach]

Si son muchas vas a perder muchas visitas hasta que indexe los foros nuevos, lo ideal aquí es jugar con el htaccess y redireccionar a cada web con su nuevo equivalente. Es una sugerencia

[ASLAN]

y muy buena por lo demás
lo intentaré
gracias