Google toma el contenido de robots.txt como recomendaciones, de ninguna manera como directivas.
Dicho esto, cualquier restricción en robots.txt será rastreada por Google, listada la URL aunque no indexado el contenido.
Ejemplo:
Si tu empresa quiere mantener algo en la Web pero de acceso privado la mejor recomendación es mantener el acceso mediante passwords; aunque el tedio les haga peinar canas
Aunque—finalmente—yo no publicaría nada privado en la web, el password frenará a Googlebot; aunque no a gente sin escrúpulos.
