Presentación y primera consulta: dudas con los divs

[calambrenet]

Eso lo puedes hacer de varias formas dependiendo del nivel que tengas sobre todo de javascript y/o php. La forma más fácil y fiable de hacerlo es como dices. Cuando haces click en un enlace o en el menú se carga la página entera. Entonces... cada página tiene un header y un footer y un menu y... si y no. Para no tener un header y un footer y demás, para cada página se crea solo un header, un footer, etc divididos en ficheros y se 'incrustan en cada página. De modo que si hay que hacer un cambio solo se hace al fichero 'fuente'. Me explico un poco mal, verdad? El problema que tiene eso (por decirlo de alguna manera) es que necesitas php y usar un 'template engine' como smarty.
La otra forma es usar ajax. Este modo no necesita php pero necesitas saber javascript. Además la ventaja que tiene es que por cada llamada no se recarga la página entera sino la zona que has marcado para eso. Es parecido a los iframes para que lo entiendas.

Te recomiendo que apañes un buen libro de desarrollo web porque en unos años esto ha evolucionado un huevo.