Como bien te dicen primero antes de cambiar se debe de intentar optimizar.
Saca una lista de los plugin instalados, leer y obtener información sobre ellos.
Ver el rendimiento de carga, etc...
Hay herramientas en la red que te pueden ayudar como
http://tools.pingdom.com/fpt/
También puedes probar a instalar un sistema de cache...
Si después de revisar tu web no consigues un mejor rendimiento, migra.