Cita:
Iniciado por Dani83 entonces si al buscar mi sitio en Google ya no aparece ningún resultado de la carpeta /foro, ¿debo quitar la orden Disallow: /foro del robots.txt?
Si cuando haces un "site" de tu web especificando la carpeta "/foro" y ya no está indexada en Google, nada, entonces yo quitaría ya la orden "Disallow" del robots.txt.
Pero ya te digo, muchos la dejarían ahí, porque total, no te causa ningún problema.
Particularmente, yo la dejaría en el robots.txt un tiempo más después de la desindexación completa por parte de Google. ¿Por qué? Porque me ha dado el caso una vez que se ha desinxado una página de pruebas que quería que se desindexara y una vez borrada de Google y de mi robots.txt volvió a aparecer al poco tiempo, volviendo a hacer los mismos pasos, pero teniendola en el robots un poco más, hasta total disolución.