Exactamente deberías ir a la web oficial de
Joomla y descargar allí los paquetes de actualización. No es más que copiar y pegar (reescribir).
Te aconsejo que respaldes primeramente tus archivos antes de hacer el cambio. Muchos recomiendan reespaldar la BD (para mí nada tienen que ver la BD con los archivos subidos), pero es algo que no hago en ese momento.
La importancia de respaldar es por posibles efectos secundarios en la administración de tu sitio, especialmente en tu editor de texto. Puede que quede en blanco luego de la actualización o deforme. Igual esto podrías solucionarlo simplemente borrando los nuevos archivos de tu editor de texto... por los anteriores.
Existen otras correcciones pero esa es la más fácil.