Hola,
En zonaphp tienes un articulo sobre como crear URLs amigables para buscadores (lo mismo que quieres hacer):
http://www.zonaphp.com/articulo30.php
Saludos.
PD: Como no es una pregunta relacionada con PHP, sino con un modulo de Apache, muevo la pregunta a su foro correspondiente.