No es necesario que uses Javascript, es más, te recomendaría CSS, ya que si la persona tiene bloqueados los script no verá tu sitio como corresponde.
Para hacerlo con usa lo siguiente
HTML
-------
<a HREF="url" id="uno">algo</a>
<a HREF="url" id="dos">algo2</a>
CSS
#uno { background: url("imagenA.png"); }
#dos { background: url("imagenB.png"); }
#uno:hover { background: url("imagenAH.png"); }
#dos:hover { background: url("imagenBH.png"); }