Usa el evento onMouseOut.
Código JavaScript
:
Ver original<a href="#" class="asterisk" onMouseOver="document.getElementById('caja').style.visibility='visible'" onMouseOut="document.getElementById('caja').style.visibility='hidden'">Why this?</a>
Personalmente creo que es mejor usar la propiedad display que la propiedad visibility.