Solo tienes que sustituir el texto por un elemento <img> con la imagen. En tu caso será:
Código:
<a href="herramientas_electricas_taladro.htm" target="index.htm" title="Ver Taladro">
<img border="0" src="path_a_tu_imagen.jpg" alt="Ver Taladro"/>
</a>
Notas de los atributos usados:
border -> para que no se vea
alt -> para los buscadores
title -> pequeño tooltip que aparecerá al posar el ratón sobre la imagen
width -> ancho de la imagen (por si quieres que aparezca con distinto ancho al de tu imagen)
height -> idem para la altura