Bueno, con ajax propiamente dicho (usando el objeto XMLHTTPREQUEST) no se puede subir archivos de momento, pero existen técnicas como el conocido remote scripting las cuales se valen en un iframe invisible para su transmisión de datos "asincrónica". Puedes empezar buscando por "remote scripting file upload" o "iframe file upload". Por acá hay un colega que escribió un artículo en español interesante al respecto:
http://cabezaderaton.com.ar/ajax-file-upload/ a lo mejor te aclare un poco el camino su lectura.
Saludos!