Solo con informacion me gustaria saber cual esta por encima de cual
Por decir algo si en el urllist.txt listo las paginas de un directorio y en el robots.txt le digo por ejemplo al User Agent de google que no puede entrar a ese directorio, que pasa? entra o no entra al directorio?
La misma pregunta pero para los sitemaps...
Gracias. |