Hola:
Hasta ahora he trabajado con ajax de forma "artesanal", creando la respuesta php con formato xml (también podría haber sido txt), sin usar ningún tipo de módulo extra... lo mismo en la parte javascript...
... en resumen, si puedes generar con jsp un fichero plano txt o uno xml, sin duda puedes usar ajax con jsp...
Saludos