Lo siento pero lo que me restringe es ver las páginas web pero no descargar cualquier archivo que se encuentre en dicho directorio.
Pues esto en el web confing
<location path="public/descargas">
<system.web>
<authorization>
<deny users="?"></deny>
</authorization>
</system.web>
</location>