Buenas noches foro,
he estado leyendo sobre las reglas para la correcta creación del archivo.txt y me surgen algunas dudas:
1. El spider de Google entraría a las reglas del User-agent: Googlebot y del User-agent: *??
2. Si creo una regla de disallow para una URL, cuanto tardara Google en desindexarla? Sería conveniente borrar la URL tambien en Google Webmaster Tools??
Gracias de antemano y un saludo ;)