Hola:
La única forma de enviar archivos al servidor es mediante un formulario, un campo file, y los atributos del formulario method="post" y enctype="multipart/form-data", aunque si dices ajax por usar el objeto XMLHttpRequest, entonces no es posible usar ajax; pero si consideras de ajax el asincronismo, pues entonces el concepto podría valer porque si programas el evento load del iframe, puedes recibir una respuesta asincrona de cuando se recibe en el servidor el fichero.
Un enlace al respecto:
Revisar las imágenes antes de subirlas
Saludos