Para lo que deseas tienes que usar RewriteCond.
Y no es tema de PHP, es de Apache.
Tienes que hacer:
Cita: RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
#Tu regla
Eso le dice que si el archivo existe o el directorio, no aplique la regla.