El tema de urls amigables consta de dos partes:
1. La configuración de mod_rewrite desde el .htaccess
Esta configuración probablemente ya la tenías hecha, es más, es probable que encuentres muchos ejemplos en Internet, los más básicos deberías servirte de inicio.
2. Los enlaces reales en tus paginas
Esto es cierto, la configuración de mod_rewrite no cambia por arte de magia tus enlaces, entonces debes modificar cada una de tus paginas que hacen uso de los enlaces que has configurado. Es decir, definitivamente tienes que alterar lo que ya tienes.
Como sea, toda esa tarea se sale de los alcances de RegExp, pensaba que solo tendrías problemas con las expresiones regulares y ahora que tiene problemas mucho más grande.
Lamento decirte que debes ir al foro de Apache en busca de la información que te hace falta, ya cuando tengas un problema concreto con RegExp no dudes en volver.
