Buenas buenas!!
Bueno, para hacer esto primero tienes q configurar tu servidor para que habilite el mod_rewrite (creo que viene deshabilitado de fabrica ;)). 
Segundo, tienes q escribir en el archivo .htaccess algo parecido a esto: 
Código:
 Options +FollowSymLinks
RewriteEngine on
#Pasando de archivo.php?id=123 a archivo/123/
RewriteRule archivo/(.*)/(.*)/ archivo.php?id=$1
#Si por ejemplo quieres hacer algo como index.php?modo=archivo&id=123 a index/archivo/123/ haces lo siguiente
RewriteRule index/(.*)/(.*)/ index.php?modo=$1&id=$2
  Claro, ya lo modificaras a tu antojo jeje....