Según lo que vi en
http://tools.pingdom.com/ lo que hace que aumente el tiempo de carga es el puro html, ese único archivo hace que se cuelgue, y eso que pesa menos que el CSS, tu servidor está demasiado lento, y no creo que mejore mucho si optimizas el html, te recomiendo que cambies de hosting.
¿Cuál hosting tienes contratado?