Yo los sacaría antes para evitar problemas o pérdidas. Preguntaba, ya que por ejemplo si es que había otra instalación de joomla se habría colapsado los archivos.
Luego de hacer eso debería andar todo bien. En todo caso anda haciendo respaldos durante lo que hagas con la intención de no dañar nada.
Suerte!