Hola:
En las FAQs javascript hay 2 temas (o tal vez alguno más) sobre ese asunto.
En principio no tiene que ver con el atributo alt de las imágenes, sino al title de cualquier tag (explorer lo treta a su manera, y por eso mucha gente se confunde).
Busca en las FAQs title mejorado o tooltip... se trata de tener capas o cultas y mostrarlas con el evento mouseover del raton (ocultándola luego con el mouseout)... cambiando el contenido y la posición...
Para enlaces también podría hacerse sin javascript, pero ya se haría el tema algo más complejo (y salvo en explorer, también sírve en otros tags)
Saludos