Hola!!
Me gustaria que alguien con experiencia en robots me ayude. Bueno, tengo un wordpress y para evitar el contenido duplicado he puesto en mi robots para que no se indexen las busquedas del buscador interno de mi wordpress, para ello, lo he puesto asi:
Disallow: /*?
Mi problema es el siguiente, tengo en el mismo dominio un foro agregado; miweb.com/foro/ y claro los post se colocan con ? o sea, de esta manera:
miweb.com/foro/viewtopic.php?f=6&t=10
El problema, es que poniendo el disallow anterior, efectivamente me bloquea las busquedas del buscador interno de mi web, pero tambien me bloquea los post de mi foro por tener ?. he intentado a poner
allow: foro/*?
pero no funciona :(
alguien podria ayudarme para que los post de mi foro si sean indexados
gracias