Duda Mod Rewrite

[gabrire]

Hola a todos, estoy intentando usar el mod rewrite para hacer mis url mas accesibles a los buscadores.
Por mucho que he probado, no consigo k duncione del todo.
Esto es lo que me pasa:

Tengo una web del tipo: www.misitio.com/libro.php?id=1
Y kiero que me aparezca: www.misitio.com/libro1.html

Y esto es lo que tengo en el htaccess:

Options +FollowSymlinks
RewriteEngine on
Rewriterule ^libro(.*)\.html$ http://www.misitio.com/libro.php?id=$1 [L]

Lo tengo asi (con la ruta entera) porke si no, no me funciona en el explorer, y con el firefox si, y asi con la ruta entera me funciona en los dos, a medias, jeje.

Lo que pasa es que con eso consigo k al escribir en la barra de direccion:

www.misitio.com/libro1.html

Si me dirige a la pagina que quiero, pero en la barra de exprorador me pone:

www.misitio.com/libro.php?id=1

Mi pregunta es como puedo hacer que en la barra de explorador me aparezca la url amigable???
Un saludo a todos.