Perfecto, quiero un informe detallado para mañana a las 07:00 a.m.
Sería cuestión de saber cómo funciona Google respecto del ROBOTS.TXT. No creo que lo compruebe por cada documento que vaya a consultar, seria un desperdicio de ancho de banda. Imagino que lo consulta una vez cada X tiempo, y lo guarda en caché. Si hoy Google consulta mi ROBOTS.TXT y éste no tiene ninguna limitación, consultará toda mi web. Si mañana cambio mi ROBOTS.TXT restringiendo el acceso a ciertas secciones, es posible que aún así Google siga consultando cualquier documento de mi web que sea enlazado externamente, porque sigue los criterios del ROBOTS.TXT antiguo, que tiene en caché.
Es decir, que es muy probable que sea cuestión de tiempo que Google borre de sus índices todos esos documentos que ha indexado aún estando vetados en el ROBOTS.TXT. Tardará lo que tarde en sobreescribir el viejo ROBOTS.TXT de la caché con el nuevo ROBOTS.TXT.