Llamadas a pedazos de códigos HTML5

[pzin]

Usando nada más que HTML, podrías usar un iframe, así puedes tener un archivo llamado menu.html e incrustarlo en esos marcos donde lo necesites. Aunque es la peor opción de todas.

Como seguramente estés usando Apache como servidor, podrías usar Server Side Includes (SSI) para incluir un fichero dentro de otro.

Ahora lo más normal que se suele hacer, porque ese es un problema que se da en todas las páginas, es usar algún lenguaje de lado servidor para incluir pequeños o grandes trozos de código de un archivo dentro de otro, más o menos como usar SSI, pero algo más limpio.
Lenguajes de lado servidor hay muchos, ahí ya tendrás que mirar cual te gusta más. Pero seguramente lo vayas a necesitar para muchas otras cosas cuando vayas queriendo ampliar funcionalidades del sitio, darle dinamismo y cosas así.