Al final lo he conseguido con dos normas
Una se aplica si el archivo acaba en .php y la otra si no acaba con ninguna extensión.
Por si le interesa a alguien, consiste en esto:
Código:
RewriteEngine On
RewriteRule ^([^/]*).php$ /$1.php [L]
RewriteRule ^([^/]*)$ /pagina.php?variable=$1 [L]