debes de implementar las cabeceras para un
force download en php, de esa forma puedes usar una petición get normal para descargar el archivo.
es inútil usar AJAX para ello porque el binario lo recibirá el XmlHttpRequest y eso no te sirve de nada.
con las cabeceras anteriores el navegador no recargará la página, más sin embargo aún puedes establecer como
target del enlace a
_blank, para mayor seguridad en la descarga