Si te fijas en el código fuente de esa página, cada cuadro es un
<div> que contiene a un
<img> y a otro
<div> que contiene a otro
<img>, estando este último
<div> oculto. Lo único que tendrías que hacer es mostrar al
<div> interno (el oculto) al momento de que ingrese el cursor del ratón en el
<div> principal y ocultar a la imagen que inicialmente se ve. Y el proceso inverso se daría al retirar el cursor del ratón del mismo.
Los eventos
mouseover y
mouseout te servirán para ejecutar dichas acciones.
Ejemplo 