prueba con este
Cita: RewriteEngine On
RewiteBase /
RewriteRule ^contacto$ /contacto.php [L]
La segunda linea es la carpeta base donde está tu web, ejemplo en el localhost podés tener tu web en la carpeta miweb, entonces / cambias por /miweb/, en caso de que lo tengas en un hosting lo más lógico será que esté en la raíz, además si haz utilizado direcciones relativas para las imágenes,hacer referencias a los css y javascripts, entonces utiliza la etiqueta base antes de estas referencias, caso de haber utilizado direcciones absolutas no es necesario.
Nota: la tercera línea es cuando quieres convertir solo contacto.php si quieres hacerlo todas tus páginas entonces será^([a-zA-Z0-9]+)$, con esto digo que solo aceptaré direcciones que contengan letras (May y Min) números.
espero te sirva