Si la pregunta es si con HTML solo puedes hacerlo, la respuesta es sí. Puedes hacerlo con [inline]iframe[/inline. Pero no es nada recomendado.
Otra opción, sin entrar en lenguajes de servidor, puedes hacerlo usando
SSI de Apache:
Código HTML:
Ver original<!--#include virtual="/cabecera.html" -->
Si es para una página sencilla seguramente te pueda valer.
Aunque al final, si vas a seguir desarrollando webs, en algún momento tendrás la necesidad de usar un lenguaje de lado servidor, como Ruby, Pyhton o algún otro.