Estás jugando a ciegas.
La solución:
* Contrata un Sysadmin o empresa de Administración de Servidores que pueda analizar tus webs, el tiempo de carga, así como los recursos de sistema, y que determine si el problema viene de algo de software a nivel de server, de harware o bien de la web en si con Wordpress.
Asunto arreglado