Hola a todos! Mi problema es el siguiente:
A ver, tengo un hosting donde tengo la página.
Aparte, contraté un dominio en godaddy.com
El problema es que si me registro en herramientas para webmasters de Google, el archivo robots.txt que muestra no tiene nada que ver con el que tengo en mi web, es decir:
Si el archivo del hosting es:
Código:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
...
El que muestra el explorador de Google es un redireccionamiento 301:
Código:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"
"http://www.w3.org/TR/html4/strict.dtd">
<html>
<head>
<title>dominio.com</title>
</head>
<frameset rows="100%,*" border="0">
<frame src="http://www.urlhosting/miweb/robots.txt" frameborder="0" />
<frame frameborder="0" noresize />
</frameset>
<!-- pageok -->
<!-- 01 -->
<!-- -->
</html>
Entonces, la herramientas del web de Google me dan como resultado un robots.txt no válido.
¿Alguien puede ayudarme?
Un saludo.