Eso lo tienes que hacer en el código de tu página. Tienes que sustituir todos los enlaces que haya y ponerlos de la forma
http://www.mysite.com/articulos y el mod_rewrite se encargará de hacer que al servidor lleguen como
http://www.mysite.com/index.php?cat=articulos sin que el usuario lo note.
