Hola,
Prueba con los siguientes parámetros,
Código:
-Xms768M -Xmx768M -XX:MaxPermSize=512M
Si así no funciona seguramente necesitas mas RAM o el código no está realmente optimizado, si el total de memoria que estas solicitando pasa de 768 Mb seguramente no va a funcionar puesto que no hay mas.
Windows 7 ocupa 512 Mb aprox solamente para el sistema operativo, Debian utilizará 384 Mb aprox, Solaris 768 Mb aproximadamente, lo cual no te deja mucho para usar si tienes solamente 1 Gb. También si el código hace solicitudes de reserva de memoria en intervalos de tiempo muy cortos te genera errores de ese tipo, en computadoras con poca memoria y poca velocidad.
Saludos,