lo que pasa es que en tus condiciones no especificas..... que NO sea una carpeta....
Código:
# que no sea carpeta (-d)
RewriteCond %{REQUEST_URI} !-d
# que no sea archivo (-f)
RewriteCond %{REQUEST_URI} !-f
el
! (signo de exclamación, como sabes.. es para negar la condición)
suerte!