Hola:
Tienes que hacer que esa función captcha devuelva false cuando no quieras que se envíe, un boitón submit sin ná, y el tag form de esta manera:
<form onsubmit="return captcha(...)"...
De esa manera, si al evento se le envía el valor false, se cancela.
Saludos
