Lo primero que tiene que saber es que no tienes por que meter cada link en un div.
Lo segundo es que solo necesitas la lista:
<ul>
<li><a href="index.htm">link 1</a></li>
<li><a href="servicios.htm">link 2</a></li>
</ul>
Ahora en la hoja de estilo haces lo demás.
ul {
padding:0;
list-style:none;
margin:0px;
background: #666666;
width: 300px; TAMAÑO DE TU FONDO
height: 150px;
position: relative;
left: 0px;
}
li{
padding:0;
list-style: none;
margin: 0px;
border-bottom: 2px solid #333333;
}
a {
display: block; ESTO ES IMPORTANTE
text-align: center;
font-weight: bold;
color: #FFFFFF;
background: #990000;
margin-right: auto;
margin-left: auto;
padding-top: 10px;
padding-bottom: 10px; ESPACIO ALRREDEDOR DEL TEXTO
}
a:hover{ background:#CC3300; }
Yo no he usado imágenes, cambia los background por imágenes. No está del todo resuelto pero te puede servir para que lo hagas Tú.