Me acabo de poner a manejar WebMasters Tool y me ha surgido una duda:
Las páginas web de los dominios que gestiono se generan dinámicamente, es decir emplean una misma plantilla, y por lo tanto su directorio raíz es el mismo.
Para generar los sitemap de cada dominio no he tenido problema ya que puedes especificar concretamente para cada dominio un sitemap específico.
EJ: www.dominio1.com --> sitemap01.xml
www.dominio2.com --> sitemap02.xml
Sin embargo para el robots.txt no puedes hacer lo mismo ya que solo hay uno que lo pones en el directorio raiz... entonces al igual que con los sitemap, ¿¿Hay alguna forma de asignar un robots.txt específico también para cada dominio??
Hola de nuevo!
Al final sí que ha funcionado la solución más simple, la de poner las direcciones de los dominios que no quiero que indexe google todas en el robots.txt.
Las páginas que antes estaban como inaccesibles o no encontradas ahora ya van siendo restringidas por el robots.txt. Me surge una pequeña duda, una vez que ya están restringidas se supone que google ya no las tendrá indexadas,no??(o las desindexará) entonces las quito ya del robots.txt??
Y por cierto, se pueden poner comentarios en el robots.txt?? Es que así identificaría más fácilmente las direcciones de cada dominio porque son todas del estilo a:
Disallow: /id/424/ficha.asp?id=424
Disallow: /id/424/ficha.asp?id=425
.
.
.
Me facilitaría para diferenciarlas enormemente, porque son muchos dominios y varias decenas para cada uno de ellos.
Gracias y un saludo!
