Toma en cuenta que google indexa tus páginas e imágenes (para alimentar el buscador de imágenes), así que por eso registras tantas entradas.
Y el url que te pasaron tenía un . al final. El correcto:
http://www.robotstxt.org/wc/active/html/googlebot.html