Al parecer te falto el {REQUEST_FILENAME} antes de la regla, te dejo el mio.
Código:
RewriteEngine on
RewriteCond %{REQUEST_FILENAME} !\.(js|ico|gif|jpg|jpeg|png|css|swf|xml|txt)$
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*) index.php