hola.
anteriormente anote en otro foro lo sgte, espero que ayude.
NOTA: esto corresponde a una pregunta similar.
primero en los meta tienes instrucciones que ordenas al motor repasar tu sitio cada 1 mes.
<META name="revisit-after" content="1 month">
despues le indicas al motor que repase cada 1 dia.
<url>
<loc>http://www.vidata.net/producton.php?id=17</loc>
<lastmod>2005-07-07</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
ahora si tienes robots.txt peor aun, ya que el robot, no sabria por cual guiarse.
Recuerda que al robot debes facilitarle las cosas, no darle mas trrabajo.
ahi esta el problema, a mi me paso lo mismo, y no entendia el porque, he hice lo sgte. Forme una coherencia entre robots.txt, sitemap.xml y metatag
fui leyendo varios forum y llegue a la conclusion que lo mejor que podria hacer es ver para que mejor me sirve cada uno.
primero me dije tengo un sitio con muchas paginas, no-no tengo, asi que elimino el sitemap o lo uso mas usabilidad, asi que solo le indico cuales son las paginas que actulizo con frecuencia y las incorporo.
despues me dije el meta
<META name="robot" content="index, follow">
le indico que me siga todo el contenido del sitio, y para que no quede duda al robot, lo incorporo en todas las paginas, asi me aseguro que lea la instruccion y me siga todos los link.
y por ultimo el robots.txt que lo mejor que me sirve es para indicarle que paginas no quiero que indexe. y listo
cuando volvi a ver en el proximo refresh del buscador, me di cuanta que ya estaba todo el sitio listo e indexado, maas encima le dejo toda la pelicula clarita al buscador para no se tome la molestia de no saber que cosa debe o no debe hacer en mi sitio.
bueno eso es todo. Espero que ayude.
hasta pronto.