Si, creo que sería mejor pasar la DB a otro servidor, de primera instancia solo sería migrar la base de datos y referenciarla desde tu wp-config.php (no sé si se sigue llamando igual ese archivo
).
Toma en cuenta que lo mejor es que se encuentren los servidores físicamente en la misma red por el tema de la latencia. Luego podrías ir afinando la configuración de ese server para optimizarlo a tu motor de base de datos.
Saludos