El valor del Load Average no es el % de CPU usándose en ese momento, si no el número de procesos en la cola de procesos listos para ejecutar. Ya que tienes 4 nucleos en tu CPU, una carga de 4 no sería tan crítica.
Me parece que tienes poca RAM (2GB) para ejecutar MySQL, Apache y el OS (según tu configuración). Prueba usar
MySQLTunner para optimizar la configuración de mysql.
Qúe CMS usas ? busca un sistema de caché a disco para reducir la ejecución de PHP y consultas al base de datos.
También revisa las conexiones a tu servidor en los momentos de mayor carga, así como la cantidad de peticiones que están siendo procesadas por Apache. Te darán pistas de donde puede estar el problema.