Prueba usando el comando
start para verificar que es lo que pasa en la consola:
cmd /C start htpasswd.exe -b c:/java/.htpasswd test
PD: Insisto en que el problema es con la ruta del archivo, si ya agregaste la carpeta donde se encuentra el ejecutable al PATH prueba a reiniciar el IDE para ver si reconoce los cambios, o prueba a poner la ruta completa del archivo en tu codigo por ejemplo: c:\\scripts\\script.exe
Recuerda que aunque lo tengas en la carpeta del proyecto cuando tu ejecutas el comando desde java windows no va a encontrar el ejecutable por que la carpeta de tu proyecto no esta definida en el PATH, por eso es mejor que utilizes la ruta completa ademas de que eso hace mas portable tu programa.
Como consejo te sugiero utilizes System.getProperty("user.dir"); para obtener la ruta raiz de tu programa, luego le concatenes el ejecutable: