Necesitás recurrir a la documentación.
http://www.uploadify.com/documentation/options/fileext/
Según la documentación para la opción
fileExt, esto no genera un error si se ha elegido un archivo con una extensión no permitida. Esa opción sólo limita los archivos listados en el diálogo y puede ser "burlada".
Lo que la documentación recomienda es realizar una validación aparte. Podés tomar ventaja del evento
onSelect. Ese evento recibe una función a la cual se le pasan tres argumentos:
event,
ID y
fileObj. Dentro de la función, podés chequear si
fileObj.type es del tipo permitido. Retornando false cancelará la subida o la puesta en cola de ese archivo.