Hombre, no se si se podrá, no se si sera seguro, pero puedes hacer una minima comprobación asi:
Código PHP:
<input type="file" onchange="alert( this.value.substring(this.value.lastIndexOf('.')+1) )" />
Con eso consigues alertar la extension. Una vez tienes la extensión del archivo solo tienes que crearte una funcion restrictiva/permisiva.