robot.txt

sarumanice · #1 (**permalink**) 31/08/2009, 13:54

Perdonen la ignorancia pero preguntando se aprende.. e visto en un post anterior esto.. y pregunto:
para que sirven exactamente los robots??

en herramientas de webmaster una herramienta del google donde agregue mis sitios, y en el cual vi una opcion para agregar un robot y me parecio curioso.. bueno lo hice y me genero un archivo de texto robot.txt el cual estaba vacio.. pero que subi luego.. ya me parecia raro que esto quede ahi no mas.. quisiera saber que tengo que colocar ahi.. para que me sirve y que ventaja proporciona esto.

muchas gracias de ante mano.

Daniel Ulczyk · #2 (**permalink**) 31/08/2009, 14:30

Pues eso:

Cita:

Iniciado por Daniel Ulczyk

Robots.txt es un archivo de directivas restrictivas; por lo que declará en el mismo las carpetas a los cuales negarás acceso a los bots.
Lo que por lógica, entonces, no se indexará en los resultados de búsquedas orgánicas.

Finalemente, el protocolo está explicado en robotstxt.org

Como ejemplo; si tenés una carpeta llamada pruebas y deseás restringir el acceso que los motores de búsqueda puedan tener a sus contenidos, tu archivo robots.txt tendrá el siguiente contenido:

Código txt:

Ver originalUser-agent: *
Disallow: /pruebas

sarumanice · #3 (**permalink**) 01/09/2009, 15:43

ah gracias ^^ por la explicacion y otra consulta e visto que cuando salen muchas paginas en los buscadores algunis sitios abajo de sus descripciones tienen otros temas con su titutlo y su descripcion como logran ello hacer eso? ejm.

Foros del Web
Una comunidad para los entusiastas del web y el mundo de la computación.
www.forosdelweb.com/ - En caché - Similares -

PHP-------------------------Ofertas de empleo
Juegos de estrategia------------Negocios electrónicos
Posicionamiento SEO-----------Flash y Actionscript
Web general-------------------Javascript

Daniel Ulczyk · #4 (**permalink**) 01/09/2009, 18:41

Son vínculos de sitio, lo cual está explicado en la Wiki de Foros del Web

Emirodgar · #5 (**permalink**) 03/09/2009, 06:58

Esos vínculos de sitio los pone Google de forma automatica cuando cree que pueden ser beneficiosos para el usuario, desde el webmasters tools podrás modificar algo una vez que te los pongan pero poco podrás hacer más que bloquear los que no te gusten.