Código Apache:
Ver originalOrder allow,deny
Deny from all
Allow from docs.google.com
Olvidaste poner el deny, de todas maneras, ya lo has dicho, si se proponen bajarlo, lo bajan.
Cualquier archivo que pongas en la web, si es visible, se puede descargar, directa ó indirectamente.
No entiendo cual la idea de evitar la descarga, a lo sumo un sistema de lohuin para que lo bajen solo visitas autorizadas y no cualquiera que navegue tu sitio
Saludos