Hola:
Es cierto que suelen usarse librerias tipo lightbox para esos efectos, pero no es obligatorio... supongo que tendrás paciencia si es que quieres aprender, así que empezaré mostrándote lo que yo he hecho sobre ese asunto... este artículo:
Pseudo-lightbox, que puede verse en mi galería de caricaturas (sucaricatura.com/es/galería.php).
Para empezar debes o disponer de dos imágenes por cada imágen (la normal y su miniatura)...
Cuando tengas algo hecho seguiremos... aunque no sea un consejo popular, al tratarse de una estructura tabular la presentación, puedes usar tablas, y cada miniatura debe enlazar a la versión grande... luego veremos como aplicar el efecto anulando el enlace (también puedes investigar sobre el tema.
Creo que será un tema largo, por eso lo estoy planteando escalonadamente.
Hola furoya, no me gusta mover temas sin estar seguro de que hay que hacerlo, y sobre todo estoy en contra del vicio de usar librerías para todo... sí, vicio en un gran porcentaje de casos, donde al usar librerías se dejan de lado cosas tan importantes como la accesibilidad.
Saludos
