yrduk:
Ese problema que tu mencionas NO parece ser que tu servidor sea el causante; mas bien la conexion a Internet puede estar lenta por saturacion.
Este es un asunto que tienes que tratar con tu hosting y hacerles saber que tu sitio esta lento causado por problemas de la red de ellos o por exceso de clientela que utiliza la misma red a nivel de tu hosting.
Saludos
Y espero te ayude
Franco