Hola,
Pues esa media de 0.30 a 0.50 no me parece fuera de lo común, para esas 3,000 visitas únicas diarias que mencionas.
¿Estas usando una aplicación hecha a medida? Porque de ser así, tal vez puedas revisar cómo está desarrollada, cómo establece las conexiones a la base de datos y cómo las libera. También podrías optimizar el archivo de configuración de MySQL, pero creo que en realidad no hay nada fuera de lo común en ese nivel de carga que mencionas. En todo caso no mencionas cuál es el nivel de carga máximo que ha experimentado el servidor... sólo has dicho "muchisimas veces con un serverload mayor a 1", pero "mayor a 1" puede ser 1.01 hasta el infinito.
Saludos.