Sea como sea, necesitarás algo de programación, al menos en tu server, de lo que hablamos, se llama
Server Side Includes(SSI), sirve para incluir html dentro de otro html y hasta muchas cosas mas...
Acá hay
ejemplo, lee con paciencia.
A lo que voy es que si quieres que al cambiar un menú, cambie en toda tu página, te toca hacer includes, y como no quieres php, ni nada, te toca así
Saludos, espero te sirva