Hola a todos:
En un principio quiero aclarar que lo que sale con el recuadro amarillo es el title (y supongo que en las imágenes que no se declare toma el texto del alt...
y alt es el texto "alternativo" que aparece cuando no se cargan las imágenes, o lo que se ve "mientras se cargan".
Dicho esto, te voy a recomendar que visites las FAQs javascript, en donde se puede ver un par de enlaces para lo que quieres... creo que debes mirar en title mejorado o tooltip.
También hay mensajes donde se consigue el efecto sin javascript (aunque de esto último no estoy del todo seguro)
Saludos
