Cita: entonces pq el msnbot viene tanto
Por su algoritmo. Puede que tengas links en pagina que visita frecuentemente y piense que por ello tambien deba visitarte.
Pero no hay relacion entre visitas del robot y visitas humanas desde ese buscador.
Cita: eria recomndable onfigurar el robot.txt para que el msnbot solo mire el index y nada mas?
No tengo ni idea si eso afectaria a tu posicionamiento en ese buscador. Aunque tambien es cierto que si ya no recibes visitas de ese buscador, tampoco te importaria perder posicionamiento en el.
¿Causa problemas de funcionamiento en tu pagina? Si tienes un ancho de pagina determinado, o un numero de conexiones a BD limitado, la visita de un bot podria perjudicar al rendimiento de tu pagina cara a los usuarios humanos.
Saludos.
PD: Esas estadisticas dan que cada visita de robot lee mas de 40000 bytes, ¿no es un tamaño muy grande para unas paginas HTML? ¿No te estara indexando ficheros o imagenes?