Robots.txt

[severicks]

Hola.

Alguien me podria dar consejos o me podria guiar a un buen tutorial para configurar el archivo robots.txt he encontrado algunos pero son muy basicos solo dicen como indicarle a un robot si quiero que inspeccione mi sitio o no, pero se que se puede hacer mucho mas con ese archivo, en especial he escuchado que con ese archivo se le puede decir al robot cada cuanto tiempo regrese a inspecionar el sitio de nuevo, eso es importante para mi por que mi sitio es muy dinamico y su contenido cambia casi a diario.