poner sitemap.xml en el robots.txt

angelseron · #1 (**permalink**) 20/04/2007, 17:18

Buenas lei un post por alli y vi que algunos inlcuyen estas lienas en su robots.txt

Sitemap: http://www.mipagina.com/sitemap.xml

User-agent: *
Disallow:

Lo que queria saber es para que nos sirve poner la primera linea en el robots.txt que hace?
Sitemap: http://www.mipagina.com/sitemap.xml

Pasa que pense que en el robots.txt solo era para poner las url que no quiero que se indexen por el google, en este caso que funcion cumpliria el poner la primera linea en el robots.txt

Gracias de antemano

Daniel Ulczyk · #2 (**permalink**) 20/04/2007, 19:57

Son dos cosas completamente diferentes:
El sitemap.xml es una cosa y el archivo robots.txt es otra cosa.
Días atrás participé en un thread sobre robots.txt, no creo que te refieras a eso cuando decís:

Cita:

Buenas lei un post por alli y vi que algunos inlcuyen estas lienas en su robots.txt

Sería interesante conocer dicha fuente.
No obstante, para despejar dudas:
Nunca el contenido de robots.txt hace mención al sitemap.xml

Saludos!

Gurrutello · #3 (**permalink**) 20/04/2007, 21:28

Hola
como dice daniel no tiene nada que ver una cosa con la otra
Me imagino que el sitema sitemap.xml lo utilizas para google(no se si para otros) te recomiendo que las como y para que es este sitema.
si no me equivoco debes de proporcionar a google donde se encuantra tu sitemap, con eso basta. No tienes que ponerlo en tu robot.txt

RBZ · #4 (**permalink**) 21/04/2007, 10:51

Cita:

Iniciado por Daniel Ulczyk

Son dos cosas completamente diferentes:
El sitemap.xml es una cosa y el archivo robots.txt es otra cosa.
Días atrás participé en un thread sobre robots.txt, no creo que te refieras a eso cuando decís:
Sería interesante conocer dicha fuente.
No obstante, para despejar dudas:
Nunca el contenido de robots.txt hace mención al sitemap.xml

Saludos!

La fuente era de google groups, ya han borrado el mensaje.

Supongo que ha conseguido confundir a mas de uno.

marce_str · #5 (**permalink**) 22/04/2007, 08:16

http://google.dirson.com/post/3315-s...ectar-fichero/
http://googlewebmastercentral.blogsp...temapsorg.html

mediocre · #6 (**permalink**) 14/01/2009, 08:23

Me parece que la tendencia esta tornando a que sí se incluya el sitemap.xml en el archivo de robots. En el sitio donde se intenta estandarizar el sitemap.xml lo dicen:

http://www.sitemaps.org/protocol.php#submit_robots

Lo siento, pero no puedo escribir enlaces todavía (todo se andará

). El caso es que en esa página se define el protocolo que siguen los principales buscadores(google, yahoo, msn, ask) para que un sitemap.xml sea correcto.

Particularmente yo tengo la referencia a al archivo en el robots.txt y me han indexado en un periquete, y de momento no me ha explotado la pagina.

Un archivo robots de ejemplo

Código:

User-agent: *
Disallow: /css/
Disallow: /imgs/
Disallow: /js/
Sitemap: http://www.ejemplo.com/sitemap.xml

Esto lo valida las herramientas de webmaster de google, por lo que no debe estar tan mal...

initio · #7 (**permalink**) 14/01/2009, 10:01

Estoy de acuerdo con mediocre.

Lo que dice Herramientas para Webmasters de Google :

Resultados del análisis

Valor -> Línea 3 : Sitemap: http://www.misitio.com/sitemap.xml
Resultado -> Se ha detectado una referencia de sitemap válida.

Adsl5mb · #8 (**permalink**) 14/01/2009, 10:38

Lo que pasa es que este post es de hace casi 2 años y seguramente no existia todavía eso.

santiagoanuncios · #9 (**permalink**) 14/01/2009, 12:41

hola,
como dice adsl5mb este post es de hace mucho.
El dia que Daniel hizo ese comentario aun no se ponía esa linea en el robots.txt.
Esto es un acuerdo al que llegaron live yahoo y google de hace unos meses.

Un saludo

nano002 · #10 (**permalink**) 11/02/2010, 14:23

Alguien podría decirme donde puedo leer más acerca de los robots.txt

Quiero interiorizarme en el tema y saber cuantos comandos hay (Disallow, Allow, etc.) y saber bien que hace cada uno.

Muchas gracias.

#11 (**permalink**) 11/02/2010, 16:16

Cita:

Iniciado por nano002

Alguien podría decirme donde puedo leer más acerca de los robots.txt

Quiero interiorizarme en el tema y saber cuantos comandos hay (Disallow, Allow, etc.) y saber bien que hace cada uno.

Muchas gracias.

Google.

Daniel Ulczyk · #12 (**permalink**) 11/02/2010, 17:51

Cita:

Iniciado por nano002

Alguien podría decirme donde puedo leer más acerca de los robots.txt

Podés consultar el sitio oficial sobre Robots.txt

HiAll · #13 (**permalink**) 12/02/2010, 10:06

De todas formas el post inicial es del 2007. Por aquel entonces aun no se aplicaba este cambio de poner la linea sitemap en el archivo robots.