Creo, supongo y me imagino, ya que no te explicas bien, que lo que quieres es que no se vea así:
www.tusitio.com/seccion.html y que se vea así:
www.tusitio.com/seccion/ ¿no es así?
Bueno eso se hace con un .httaccess que tenga mod_rewrite:
http://www.viainformatica.info/blog/...de-tus-paginas (solo cambia el .php por .html)
Saludos