No lo se pero por el tipo de error que te da puedes intentar solucionandolo ampliando la memoria ram que tiene la maquina virtual JAVA ya que la memoria ram que utiliza esta limitada por un parametro que lo puedes configurar y me imgino que tambien tendra configurable el parametro de la memoria que reserva para la pila, pero nunca lo he utilizado, pero en lenguajes como PASCAL si lo tenia para compilar.
Aqui tienes un link con las opciones del JVM a lo mejor te son de ayuda...
http://blogs.sun.com/roller/resource...ions-list.html
Espero que te sirva de ayuda...