Saludos
He abierto mi fichero error.log del server APACHE y e visto que hay una ip que me solicita muchísimo mi robots.txt
te pongo un ejemplo
[client 209.237.238.140] File does not exist: c:/server/robots.txt
y bueno etc, etc.
Utilizo un cortafuegos ya que si pones PING y mi direccion IP se me niega la respuesta aunque mis visitantes me visitan perfectamente, y no se si podría ser la causa.
google no me a insertado en su base de datos y me dice que esta ya incluida y no se si la causa me podría venir de hay