Hola,
Hay un par de conceptos a entender en este tipo de programas, a ver si me sale como explicarlos. Las direcciones que escribas en el HTML las interpreta el navegador, en relacion a la URL que usó para acceder a la página. Así que si tu accedes a la pagina con
http://myhost.com/miapp/pagina.jsp, aunque tu despues hagas un include o un forward de de un servlet, de otras pagina JSP etc. no importa, al final el calcula las direcciones relativas que tu le des (a imagenes, a formularios, enlaces...) en funcion de la URL "http://myhost.com/miapp/" asi que has de tener eso en cuenta a la hora de crear los paths a tus imagenes etc.
Así que aunque la JSP que incluyas este en /jsp/utilidades/bla_bla/miJSP, si la imagen está en "/miapp/img/miImagen.gif", como las direcciones tu sabes que se calcularan en relacion "http://myhost.com/miapp/", la puedes escribir como "img/miImagen.gif" y el navegador la encontrará. Igualmente con los enlaces y los action de los formularios.
A ver si así queda más claro. Haz cuatro pruebas teniendo en cuenta eso y ya verás que después es fácil, una vez que sabes como va.
Un saludo.