Hay dos formas de hacerlo:
1) hacer una carpeta por página y un index en cada una donde tengas la página html a mostrar, por lo tanto en tu caso tendrías así:
root/contacto/index.html
allí puedes acceder tipeando www.tuweb.com/contacto
y no muestra el .html
2) La otra opción ya no tiene que ver con html, sino con Apache, crear un sistema de urls amigables para que al tipear www.tuweb.com/contacto busque la página root/contacto.html
Ejemplo funcional (si no me equivoco jaja):
.htaccess:
Código Apache:
Ver originalRewriteEngine on
RewriteRule ^contacto$ contacto.html [QSA]
Saludos!