Tranquilo men...

estaba viendo TV

.
Ahora bien...

, defintivamente hace falta leer bien

. ¿cómo es que llamas a la descarga??, ¿ó llamas a un página entera??, el script, siendo independiente --por lo que dices esta en otro server-- ¿no puede leerse directamente???....
Lo que planteaba es de lo más sencillo; crea "algo" de lo cuál solo puedas saber tú su valor, luego, donde quieres restringir el acceso validalo... el valor podría ser cualquiera, incluso descriptivo si lo necesitas... hasta ahí la simple idea y si estás hablando de un mismo sitio usar sesiones ó constantes no es problema alguno... pero no entiendo bien tu caso, ¿cómo llamas la descarga? (insisto: descarga ó página?), ¿con un enlace externo?:
Código HTML:
<a herf="http://otrodominio.com/carpeta/descargar.php?id=XX">Descarga</a>
...

creo tendrás que ser más explicativo...
Salu2