Creo que lo que necesitas es poner esta cabecesra en tu JSP
Código PHP:
<%@page contentType="application/vnd.ms-excel"%>
Luego de eso debes leer tu archivo excel en un flujo de bytes y liberarlo al OutputStream del Servlet, este lo obtienes asi
Código PHP:
ServletOutputStream bufferSalida = res.getOutputStream();
Saludos