Muy sencillo:
primero haces un preload:
<script...
image1=new Image
image1.src="tu_imagen_1"
image2=new Image
image2.src="tu_imagen_2"
<body...
<img id="imagen" src="tu_imagen_1"
onmouseover="this.src='tu_imagen_2'"
onmouseout="this.src='tu_imagen_1'">
Así de simple y te funciona sin problemas en Netscape y en el Explorer.
Saludos