Duda con robots.txt, Lo hice bien?

neon261979 · #1 (**permalink**) 04/05/2010, 01:13

Me gustaria saber si esta bien hecho este robots.txt
Decir que yo utilizo joomla y foro de kunena
Este robots.txt lo hice ayer gracias a un enlace que encontre por este foro que explicaba mas o menos como hacerlo pero no se si lo hice bien y además tengo una duda que espero que me la resolvais si podeis.

Código PHP:

  User-agent:Slurp
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/ 

User-agent:noxtrumbot
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/ 
Crawl-delay: 30

User-agent:Scooter
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/ 

User-agent:msnbot
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Crawl-delay: 30

User-agent: Googlebot
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/ 
Crawl-delay: 30

Sitemap:http://www.josportal.com/index.php?option=com_xmap&sitemap=1&view=xml

Este es el robots.txt que subi ayer.

Esta bien hecho?
El sitemap debe aparecer el ultimo o lo debo poner después de cada user-agent?
El crawler de bing es el msnbot? o cambio hace poco. se escribe asi?msnbot o MSNbot
En fin espero vuestras opiniones.
Gracias de antemano.

suntus · #2 (**permalink**) 04/05/2010, 03:38

porque te complicas tanto??

Código:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/

en el caso de que tengas algun buscador al que quieras darle paso pon ese buscador arriba dando paso y bloquea al resto con esa linea

DIGO YOOOO
con lo poco que me gusta a mi ezkrivir

neon261979 · #3 (**permalink**) 04/05/2010, 04:30

No te pillo suntus.
Que cambio harías tu?

Me puedes explicar un poco como funciona esto.
Un saludo.

javierpelegrini · #4 (**permalink**) 04/05/2010, 04:56

Lo que hizo fue resumirte el archivo robots, en ves de definir cada useragent, lo hizo para todos a la vez. Es lo mismo que has hecho, pero mas abreviado

saludos

neon261979 · #5 (**permalink**) 04/05/2010, 05:06

y que me decis del sitemap deberia ponerse despues de cada useragent?
Deberia cambiar a como me ha dicho el amigo suntus?
Es decir hacer esto y ya esta
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/

Y aqui poner el sitemap

Que me decis?

Saludos.;)

suntus · #6 (**permalink**) 04/05/2010, 06:47

Cita:

Iniciado por neon261979

y que me decis del sitemap deberia ponerse despues de cada useragent?
Deberia cambiar a como me ha dicho el amigo suntus?
Es decir hacer esto y ya esta
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/

Y aqui poner el sitemap

Que me decis?

Saludos.;)

Exacto, asi es como dije, y tal como te dicen es lo mismo que lo que tenias antes.
bueno..
igual no es, por tu estas bloquenado 5 buscadores, y yo con mi codigo simplemente bloqueo TODOS, asi no me complico en buscar las decenas de User-agent que existen..

y lo del sitemap esta bien.

neon261979 · #7 (**permalink**) 04/05/2010, 07:06

Que quieres decir que con esto bloqueo todos?
Solo bloqueo que no busquen aqui:
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/

No lo estoy bloqueando para que no me indexen no?

Soy un poco novato. se nota verdad?

Ahora lo he subido así.

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap:http://www.josportal.com/index.php?o...map=1&view=xml

Ahora esta bien?
El sitemap esta bien colocado? o debo dejar un espacio.
Bufff que lio.

Gracias suntu y demas compañeros por vuestra paciencia.
Un saludo.

Tew · #8 (**permalink**) 04/05/2010, 07:16

Fijate en la diferencia del tuyo con el que te dan:

User-agent: *

Pues ese asterisco significa "a todos" y hablamos de robots nada mas. El resto hace lo mismo que tu hacias, bloquear esas carpetas.

neon261979 · #9 (**permalink**) 04/05/2010, 07:39

Thank you Tew.

Lo de poner el sitemap funciona?

Lo he puesto bien?

Saludos.

suntus · #10 (**permalink**) 05/05/2010, 12:04

ya que de robots va la cosa tengo una pregunta.

¿como bloquearian mediante robots.txt TODAS las carpetas de un sitio?
osea solo quiero que lea lo que hay en el raiz

lo que necesito seria algo como
User-agent: *
Disallow: /*/

pero dudo que esa sea la solucion,
¿alguno podria responderme?

javierpelegrini · #11 (**permalink**) 06/05/2010, 09:37

pruebalo desde el webmaster tools

saludos