No se si esto te valdrá, pero hace tiempo yo tenía el mismo problema en un proyecto que estaba creando, al final este no siguio a delante. Pero tenia en mente un sistema para evitar el mismo problema que tienes tú, aunque nunca le implemente.
- Tenía una carpeta con todos los archivos a descargar. Para evitar que entraran en ella usaba el fichero .htaccess impidiendo el acceso a todos.
- Cuando el usuario se descargaba un fichero, lo que hacía era renombrarle para que el .htaccess no le protegiese y se pudiera acceder a el. El fichero que el usuario quería estaba comprimido y con una clave para evitar su descompresión.
- Cuando el usuario se descarga el fichero que quería le pedía que se descargase un programa gratuito de esos que te obtienen el MD5 hash y que obtuviera la cadena MD5 del archivo que se acababa de descargar.
- Por último le pedía que escribiera el hash anterior en un formulario de la página. Este formulario comprobaría que el hash coincida con el que archivo guardado en nuestro servidor, si es así se volvería a renombrar el fichero para que volviera a estar protegido por el .htaccess, después guardaria en una BD los datos del user indicando que se ha descargado el archivo y finalmente le mostraría la clave que le permitiría descomprimir el archivo.
Creo que todo lo que he dicho con PHP se podría, pero ya te digo: nunca llege a implementarlo.
Saludos