Si el robot se identifica como tal con un determinado User-Agent puede hacerlo así:
Código:
SetEnvIfNoCase User-Agent "la_cadena_del_user_agent" nopermitido
Options -Indexes -Includes
Order allow,deny
Allow from all
Deny from env=nopermitido
Y si siempre hace las peticiones desde la misma IP, por ejemplo la 123.45.67.89 puedes hacerlo asi
Código:
SetEnvIf Remote_Addr "^123\.45\.67\.89$" nopermitido
Options -Indexes -Includes
Order allow,deny
Allow from all
Deny from env=nopermitido