Exactamente lo que quieres se puede realizar con un plugin de jquery que se llama
JqueryUI Modal Form y para enviar los datos usas otro plugin del mismo jquery que usa ajax para las transacciones SQL que se llama
Jquery Form
Te dejo los links para que le eches un vistazo, espero que la información que te brindo te sirva de algo.