Robots.txt url duplicadas

[mmpo16]

Amigos he encontrado este articulos ya que ando en problemas con google y me seo porque me ha detectado contenido duplicado es decir me ha indexados dos url con el mismo contenido y asi mismo tengo 100tos en mi web. OK empecemos mi sitio esta hecho en esta forma:

www.ejemplo.com/articulo/567/el-nombre-del-articulo
www.ejemplo.com/articulo/567

Es decir el articulo se puede ver de ambas formas lo que quiero hacer es que solo se vea desde www.ejemplo.com/articulo/567/el-nombre-del-articulo estube mirando este articulo http://www.wordpressenaccion.com/el-archivo-robots-txt-en-wordpress.html

y puede ver que se puede bloquear en el caso de wordpress las fechas me pregunto si en mi sitio podria bloquear que tambien tieen numeros podria poner ejemplo como en el articulo que le indique asi:

Disallow: /1*
Disallow: /2*
Disallow: /3*

Bueno hasta el 9 pa que me bloquee todas las paginas con numero en teoria funcionaria pero nose si eso bloquee tambien las url en esta forma www.ejemplo.com/articulo/567/el-nombre-del-articulo ya que en esta forma es que quiero que google me indexe . Que puedo hacer pa bloquear esta forma

www.ejemplo.com/articulo/567
y dejar esta forma www.ejemplo.com/articulo/567/el-nombre-del-articulo estube mirando

Espero sus prontas respuestas y ayudas.
Ayudenme que voy a llorar llevo semanas tratando de solucionar esto y aun nada.

Saludos

[Curio96]

Si lo haces de la manera que indicas, el robots.txt te bloqueará todo lo que vaya a continuación del asterisco, por lo tanto, bloquerá ambas url's.

Lo mejor es hacer tu mismo la prueba en Herramientas para webmasters/información del sitio/acceso a rastreadores/probar robots.txt

Para eliminar los duplicados, la mejor forma es utilizar el archivo .htaccess si tu servidor trabaja con apache.

Para el tema del archivo .htaccess echale un vistazo al foro de apache: http://www.forosdelweb.com/f58/

[reyesoft]

Tengo sitios que con varias URL accedes al mismo artículo (lo que generaría contenido duplicado).

La solución, la ideal a mi criterio, es utilizar la etiqueta canonical. De esta forma:
* Evitas contenido duplicado a ante los navegadores
* No bloqueas contenido al buscador (por lo que no pierdes ese "PR" y lo transfieres al artículo "original")
* Evitas redirecciones (que hacen demorar el acceso al artículo)

Si quieres me mandas un MP y te mando un sitio de ejemplo (por acá ya me retaron una vez).

Un saludo...

[Emirodgar]

Está claro que el robots.txt no es la solución pues como bien te han dicho, evitarías la indexación de muchas más URLs. Aunque el atributo canonical podría valerte, yo utilizaría una redirección 301, a mi juicio mucho más funcional que el canonical.

[mmpo16]

Yo quiero utilizar esa redireccion desde apache pero nose como hacer eso postee esto http://www.forosdelweb.com/f58/redir...ar-urls-937379 pero no me dan respuesta parece que nadie sabe del tema :( toy realmente en problemas con esto y no lo he podido solucionar el canonical no lo puedo usar porque si pongo el codigo en una aparecera en la otra tonces no me sirve toca desde apache o pensaba que desde el robot se podria hacer algo pero como veo que no la unica option es desde apache o algun codigo php.

Espero ustedes me puedan ayudar con alguien que sepa del tema.