Antes de instalar Joomla, primero verifica que PHP y Apache esten instalados correctamente, eso lo puedes hacer creando un script "info.php" que tenga esto de contenido:
Eso te imprime toda la configuración de PHP una vez que este ya este configurado y enlazado correctamente.