Te falta un paso por dar...
Con
javac compilas tu código fuente en
bytecode. Es decir, te habrá aparecido un nuevo fichero en el directorio donde tengas el .java, con el mismo nombre pero con la extensión: .class
Ese .class es el fichero que tienes que "ejecutar".
Para ejecutar escribe:
Código PHP:
> java HolaMundo