No le veo mucho sentido a estas líneas:
Cita: User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*?*
Disallow: /*.txt$
En especial atención a lo que tiene que ver ¿PHP? eso está del lado del servidor. Los agentes de usuario rastrean e indexan el documento Web generado no la fuente.
Por lo demás, ni Javascript ni CSS compiten en alguna medida con el contenido duplicado.
Por lo visto lo has escrito para un sitio basado en WordPress ¿restringir el acceso a la plantilla y a los plugins? Esas áreas vulnerables—en grado sumo—a ataques, debés bloquearlas desde .htaccess; no hay que confundir con lo que crawlers hace o deja de hacer.