Con tu ejemplo, estás restringiendo el acceso a toda la carpeta.
Ese uso es el correcto.
Para un ejemplo más.
Supónte que en dicha carpeta, convivan en el mismo nivel imágenes JPG y archivos HTML.
Vamos... es un ejemplo.
Y que en tu caso no te preocupase que el bot indexara las imágenes, pero sí los documentos HTML.
Entonces, para ello, utilizás un comodín que le diga:
"no rastree los documentos HTML".
El ejemplo es así:
Código txt:
Ver originalUser-agent: *
Disallow: /carpeta_ejemplo/*.html