Lo principal es mantener la misma estructura del sitio (nombres de las urls) o hacer redirecciones. Siendo el mismo contenido no debe de dar problemas.
Lo que hay que tener en cuenta es que el SEO no lo hace el CMS sino la persona. Wordpress no sinónimo de buen SEO, hay plantillas pésimas, o incluso una plantilla perfecta la puedes "estropear" con un contenido mal redactado, una mala estructura interna de enlaces o elecciones de títulos...
Si te resulta más fácil de manejar wordpress, adelante cámbialo, pero la verdadera diferencia está en la información que añadas no en el cms.
