Debes poner en el <head> la siguiente línea:
<LINK REL="SHORTCUT ICON" HREF="http://www.loquesea.com/favicon.ico">
y en el directorio raíz debes poner tu icono, llamándolo (en este caso) favicon.ico, me parece que lo aconsejable es que sea de 16x16 píxeles, y 16 colores (yo lo he hecho así y funciona) pero no estoy muy seguro de cómo sale mejor. Por cierto, que yo sepa esto sólo funciona en MS Internet Explorer y Konqueror para Linux.
La mejor explicación de cómo hacer un icono para la barra de direcciones (y para el menú de favoritos también) está en
<a href='ir.asp?http://www.favicon.com/' target='_blank'>http://www.favicon.com/...</a>
Suerte y q te vaya bien.