Robots.txt y google

[rrufo]

TEngo que crear el archivo Robots.txt, para evitar que estos robots destripen web.


creo recordar que google especipica, claramente en sus normas, que ahora no encuentro, que en caso de existir el archivo robots.txt es necesario indicar explicitamente, la indexacion para el robot de google, pero no se si tambien es necesario, para el robot de gogle dedicado al adsense, y para otros robots de indexación.

alguien que sema un poco mas del tema q yo q me oriente.

Código:

User-agent: WebZIP
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: Teleport Pro
Disallow: /

User-agent: Wget
Disallow: /

User-agent: eCatch
Disallow: /

User-agent: WebCopier
Disallow: /

[tranceup]

el robot de google es el googlebot,
inkomi slurp es otro importante que no esta en tu lista. (fijate por que no se si escribi bien los nombres pero buscalos en google ahi te va a salir en nombre bien escrito)
pero mejor usa .hatacces que es mas seguro que un robot txt ponele password a los directorios y /o uls que no queres que acceda la gente comun ni los buscadores.

salu2

[Cain]

Todo lo que pongas en disallow, sera ignorado.

Si quieres que te indexen, no uses robot.txt

[rrufo]

cain no me asustes

el disallow solo afecta al User-agent: q lo precede no?

[SidV]

e¿?
El robot.txt trabaja bien... y lo podes usar tranquilamente para que te indexen los bots de los buscadores, el unico peligro es cuando indexan todo tu site, y gente "lammerosa" empieza a hurgar para hacer daño.
Por eso hay que saber que "ignorar"

----------------------robot.txt-----------------

User-agent: *
Disallow: /carpeta 1/*
Disallow: /carpeta 2/*
Disallow: /carpeta 2/subcarp 1/*
Disallow: /carpeta 1

-------------------------------------------
Asi funca, y en mi site no especifique que entre googlebot, puse * (es decir todos) y google entra tambien :D

Salu2