Lo que necesitas colocar se llama usualmente "favicon" El exlorer tiene sus "mañas" para poder leer el formato del icono.
Te dejo un link con un tutorial para colocar el icono y que se vea en la mayoria de los navegadores. Cuanta como te ha ido.
[Tutorial]Favicon