En realidad la JVM viene incluida en el J2SE o JDK, pues no tiene sentido compilar un programa en Java si no lo podras ejecutar.
Por lo general cuando instalas el J2SE te pregunta si quieres instalar la JVM para Explorer, si estas usando otro navegador como Firefox puede que tengas mas drams, ahora si usas Explorer y no funca puede ser que simplemente no la instalo para Explorer o tu elejiste que no. pero siempre puedes volver a ejecutar la instalacion o bien bajarte la JVM para explorer de
www.microsoft.com
Saludos