La verdad no conozco alguna función de PHP para ello, pero si el servidor es GNU/Linux podrías ejecutar lo siguiente:
Código:
echo exec("file ARCHIVO", $salida);
El comando file de la shell te dice que tipo de archivo es, supongo que si suben un archivo binario cuando ejecutes el comando file te debería decir si es o no un binario o de que tipo es.
Saludos.