Problema con robots.txt

[makh16]

Buenos dias a tod@s!

Os cuento: no se porque pero wordpress me añade automaticamente en el fichero robots.txt el codigo de las estadisticas de analytics y claro, luego cuando pasa el robot no lo entiende y no me indexa nada porque lo considera como erróneo.

Código:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/


<script type="text/javascript">

  var _gaq = _gaq || [];
  _gaq.push(['_setAccount', 'blablabla']);
  _gaq.push(['_setDomainName', 'blablabla']);
  _gaq.push(['_trackPageview']);

  (function() {
    var ga = document.createElement('script'); ga.type = 'text/javascript'; ga.async = true;
    ga.src = ('https:' == document.location.protocol ? 'https://ssl' : 'http://www') + '.google-analytics.com/ga.js';
    var s = document.getElementsByTagName('script')[0]; s.parentNode.insertBefore(ga, s);
  })();

</script>

Quería saber si alguien sabe dónde se genera el archivo para poder modificarlo ya que con plugins no he conseguido arreglarlo o si hay alguna forma de evitar que se genere este robots.txt automatico y ya lo creare manualmente.

Gracias.

[zanguanga]

Hola, WordPress no genera eso automáticamente, revisa plugins y tema activo por si tienes alguna opción para eso.

[makh16]

Gracias por la respuesta! Voy a investigarlo.

[Daniel Ulczyk]

Iniciado por makh16

luego cuando pasa el robot no lo entiende y no me indexa nada porque lo considera como erróneo

Sólo agregarte lo siguiente. Robots.txt es un archivo que contiene directivas restrictivas para los bots o crawlers.

Si los bots lo ignoran por su estructura errónea el resultado es que posiblemente rastreen e indexen los directorios o carpetas declaradas al inicio.

Si el sitio no se indexa adecuadamente, entonces hay que buscar causas por otro lado. Con total independencia de evitar que ese plugin haga lo que está haciendo.

Es obvio que es uno y sólo uno y es el encargado de insertar tu código de seguimiento de Analytics