La linea
Código C:
Es nefasta pues impide la indexacion de un subdirenctorio que contiene todas las imagenes, archivos pdf y cosas por el estilo.Ver original
Disallow: /sites/
El resultado es que un monton de contenido se queda sin indexar, justamente lo que me ha pasado, pues llevaba asi casi don años
Gracias que encontre este post y lo corregi hoy
http://www.greencrescent.com/blog/51...pal-robots-txt
Lo pongo aqui por si teneis Drupal.
Otro error que corregi gracias a vosotros fue que estaba poniendo una etiqueta meta robots nofollow por todas partes, esto fue el año pasado y lo hacia el solito, no tengo ni puñ*** idea de como, seria alguno de los modulos.
Lo dicho, cuidadin