Hola:
Verás, para subir imágenes solo se puede hacer haciendo submit en un formulario con el método post y enctype="multipart/form-data"... entonces para validar sin recargar la página, el destino del formulario debería ser un iframe o popup. javascript podría valerte para chequear la extensión del fichero y al fallar la validación resetear el formulario...
Te recomiendo que veas con más detenimiento el artículo que mencioné antes.
Saludos
