Para evitar que indexe una carpeta y todo su contenido, no debes poner la barra final, ejemplo:
El tema de proteger...
Proteger de que? especifica un poco más. Con robots no proteges ni contra descargas, ni contra visualizaciones, eso ya es otra cosa.... lo haríamos con apache, pero especifica mejor.... lo ideal sería un nuevo post en la sección de apache.