Hola:
Para que funcione en explorer, obligatoriamente debes usar javaacript... aunque con enlaces podrías mostrar una capa con :hover pero sin ser enlace no hay alternativa... además, para que acompañe el ratón debes testearlo...
En las FAQs de javascript hay al menos un par de mensajes que pueden servirte, busca por title mejorado o tooltip... por cierto, si te valen estáticas, bastaría con usar el atributo title.
Saludos
