Mejor tarde que nunca.
Debes crear una regla css para cada item dándoles un id o una clase. Por ejemplo: #boton1{background-image:url(fondoBoton1.jpg);}
Para el rollover debes crear otra regla para cada uno:
#boton1:hover{background-image:url(fondoBoton1RollOver.jpg);}
Dentro del HTML necesitas añadir este id a la etiqueta de los elementos del menú. Por ejemplo:
<a href="aDondeVoy.html" id="boton1"> Ir a donde sea </a>
Cuando pasas por encima del enlace cambia la imagen de fondo. Si quieres otros efectos, puedes usar otras propiedades css.