...y después de probar combinaciones ¡Lo encontré! :D.
Rewriterule ^noticias/$ noticias.php
http://localhost/noticias/
y accederá a noticias.php
El único problema es que cuando intento acceder a:
http://localhost/noticias
me dice error por no ponerle la última barra. Sigo googleando y probando pero no lo adivino :/ Por favor, help.