Lo que entiendo es que quieres escribir codigo Java en el JTextArea, compilarlo, ejecutarlo y que el resultado aparezca en el JFrame.
Si es eso lo que buscas, entonces estas tratando de hacer un editor de codigo como eclipse, netbeans, etc.
Primero, el usuario que esta escribiendo codigo tendria que tener instalado el JDK en su maquina para poder compilar. Puedes utilizar la clase
Runtime para interactuar con el ambiente en donde se esta ejecutando tu aplicacion. Con el metodo
exec() puedes ejecutar comandos. Tendrias que ejecutar algo como
javac TuArchivo.java
Pero tendrias que tener en cuenta todas las librerias que el usuario quisiera utilizar y enviar los parametros correctos al comando
javac.
El metodo
exec() te devuelve un objeto
Process del cual puedes obtener la entrada/salida con los metodos
getInputStream() /
getOutputStream() para mostrarle al usuario el resultado de la compilacion