No puedes restringirlas, si bloqueas por ejemplo el archivo sitemap, Google no lo consultará por lo que dejaría de tener sentido tenerlo... es un "error" (o no, lo mismo ha empezado a hacerlo por alguna razón que se me escapa) de Google. Desde hace un tiempo ha empezado a indexar los archivos robots.txt, sitemap.xml, etc...