Duda robots.txt

[lugano]

Busque pero no encontré específicamente esto. Algún experto podria indicarme como hacerlo?
Instale un script del que quiero bloquear unas url's que genera:
mipunto.com/?cbg=yniraytghhrhhs;cynargnmbeenfpbz;

Como hago, asi?
Disallow: /?cbg=*
o
Disallow: /?cbg
o
Disallow: /?*

Edito: Otra pregunta:

para evitar que indexe paginas duplicadas x ejemplo:
mipunto.com/cat/cat1/page/2/
seria, disallow: /*/*/page/*

esa es la menera de utilizar los comodines?.


Desde ya muchas gracias.

[Daniel Ulczyk]

Iniciado por lugano

esa es la menera de utilizar los comodines?.

¿Comodines en robots.txt?
Eso está fuera del protocolo. De incluirlo, los bots los saltarán y seguirán de largo.

[Emirodgar]

Para evitar el contenido duplicado es mucho mejor hacer una redirección 301 o en su defecto usar el atributo rel canonical que no bloquearlo con el robots.txt

Sobre lo del asterisco no puedo aportar mucho por que nunca lo he usado de ese modo.

[lugano]

Buenas,

Se me ocurrió que bloqueando con robots dejaria de rastrear estas url conflictivas.
Lo que ocurre es que este tipo de url -mi.com/?fbg=tbbtyrpbzzk;- son aleatorias y apuntan al index, no tengo acceso al código porque es zend.
Podria condicionarlas con un if leyendo la url ya que "?cbg=" siempre está, pero lo que viene luego no se como capturarlo.

Algunas pistas para continuar?...
Gracias por responder.

[Jabin]

Esas condicionales asterisco punto asterisco el mismo Google, hace con su sitemap, haber chqueen su robot "google.com/robots.txt" veran que hay unas cuantas que si utiliza.

Pero saben que yo he utilizado algo similar pero el problema, es que google de igual manera pasa y me ha indexado, esas URLs que no deseo, ya que se duplican triplican.

En mi caso quiero que no me indexen algo asi "laweb.com/usuario-500" ya que usuarios 501, 502 o tambien "contactar-200", total yo hice algo asi y no funciono.

User-Agent: *

Disallow: /usuario*
Disallow: /contactar*
Disallow: /imagen*

User-agent: Mediapartners-Google*
Disallow:

[Daniel Ulczyk]

Iniciado por Jabin

total yo hice algo asi y no funciono.

Obvio! Se salta el protocolo.
Mejor, estudiarse bien las reglas de juego: The Web Robots Pages

[FireAndIce]

Yo puse el otro día los asteriscos y sabía que no está en el protocolo, pero buscando encontré un par de sitios que decían que Google sí los entendía y hacía caso, y efectivamente ya me salen en Herramientas para webmasters 206 urls restringidas, puse esto:
Disallow: /foro/viewpost.php*

Yahoo no miré, pero Bing no lo interpreta. ¿sabeís como podría hacer para que Bing no rastrease las urls que comenzasen por lo anterior, porque son bastantes (más de 600).

Edito, creo que sería lo mismo, pero sin el asterisco ¿no?, Entonces si se quisiese restringir sólo esa url primera y no las que la tienen al principio /foro/viewpost.php?viewmode...... y similares ¿cómo sería?