te dejo una demo
http://foros.emprear.com/php/demo-form-ajax-captcha/
te aclaro que pueden hacerse varias variantes a eso, incluso alguna optimización, pero la deje asi para que sea más fácil de entender, ahi vas a ver como se combinan ajax, php y jquery
Analizala bien y seguro vas a sacar alún elemento que te sirva
Saludos