Le puedes dar tanta memoria como tengas disponible, teniendo en cuenta que en S.O. de 32 bits no le puedes asignar más de 2 Gigas y que nunca debería usar espacio de swap (en S.O. que lo tengan) puesto que el G.C. es alérgico al swap
.
No te fies mucho de lo que indique el S.O. en cuanto a memoria usada puesto que a veces lo que calculan no es lo que realmente hay, ya que muestran otras cosas. Igualmente, la memoria que tu le asignas es para el HEAP, pero el programa en si de Java ya consume unos ciento y pico megas, y está el stack de los threads etc. ,así que el número exacto que vas a consumir no es lo que pones como Heap, ni mucho menos.
En cuanto a optimizarlo, pues las técnicas habituales para consumir menos memoria: todo lo que no necesites en un momento dado en memoria, lo pasas a disco, por ejemplo. Hay técnicas más sofisticadas que usan ficheros mapeados en memoria (hacen como si fuera memoria pero es disco, pero sin ser tan lento como disco por que el S.O. se encarga del acceso) pero son bastante más complejas de usar. No existen soluciones generales puesto que cada problema de optimización es un mundo.
Si lo necesitas todo en memoria a la vez... pues como dice el dicho "no hay más cera que la que arde". Si necesitas más memoria pues hay que darle más.
S!