Hola!
Pues puedes empezar a programar desde el bloc de notas, nada mas utiliza los ejecutables para compilar >
javac.exe, por ejemplo desde la línea de comandos:
C:\j2sdk1.4.2_11\bin\javac MiClase.java
y para ejecutar tu clase ya compilada
java.exe:
C:\j2sdk1.4.2_11\bin\java MiClase.class
Todos esos ejecutables están dentro de la carpeta bin de java.
El ide que te recomiedo es el Eclipse ->
Enlace, lo único malo es que absorve muchos recursos.
Un saludo! 