Si usas el panel de CSS es bastante fácil, pero tienes que usar imágenes de fondo, no imágenes reales. Si estás usando imágenes en tu HTML lo puedes hacer usando javascript. Si lo quieres hacer con javascript puedes usar:
Insert -> Image Objects -> Rollover Image
Uploaded with
ImageShack.us