Necesitas registrar los eventos onMouseOver() y onMouseOut()
Con el primero llamas a funa funcion que haga un div visible y con el segundo invisible
Consulta la diferencia en css entre visibility y display a ver cual te sirve mas:
http://www.w3schools.com/css/css_display_visibility.asp