Robots.txt y otros temas

[Maru77]

Hola a todos!
Si bien he estado leyendo sobre el tema me han quedado algunas dudas que quisiera despejar antes de indexar un sitio:


- Es bueno o no subir al hosting el archivo robots.txt?? porque he leido que muchos dicen que no es conveniente, o en su lugar es mejor el htacces??? se configura del mismo modo?.

- Es conveniente deshabilitar la carpeta images? y la de scripts?

- Es preferible dejar que TODOS los robots revisen el sitio?

- Los robots que no incluya en el archivo no indexarán el sitio?

- La etiqueta META <META NAME="Robots" CONTENT="Index, Follow"> es válida si utilizo el archivo robots.txt? es decir si dentro del archivo pongo restricciones este tag los anula?

- Cómo se utiliza la etiqueta Meta "If-Modified-Since"? entiendo que es para refrescar las cache y de esa manera no sufrir sobrecarga.

Gracias a todos!!!

------------------------------ Aquí va un ejemplo para ver si está bien:

Código HTML:

# Robot Inktomi - restringido en carpeta images
User-agent: Slurp
Disallow: /images/

# Robot Google
User-agent: Googlebot
Disallow: 

# Robot Altavista
User-agent: Scooter 
Disallow:

# Robot Alltheweb - ES CORRECTO EL NOMBRE DE ESTE ROBOT????
User-agent: Crawler
Disallow: /images

# Robot MSN
User-agent: msnbot
Disallow:



# Esto lo encontré por ahí buscando info - es válido?

# Permitir trabajar a los botsde  2 am a 7:45 am
# Las horas son siempre Greenwitch

Visit-time: 0200-0745		

# Un documento CADA  30 minutos

Request-rate: 1/30m		

# Combinado: 1 doc cada 10 minutos
# y solo de una  a 5 tarde
Request-rate: 1/10m 1300-1659

[D_Mu]

desabilita mejor la carpeta scripts, para que nadie los pueda tocar ni encontrar.
La de images si te lo montas bien te pueden ayudar a indexar la página en mejores posiciones, google últimamente les ha dado valor.

Crawler es correcto.

Eso de la hora no lo se, dejalo todo el dia.

Las metas no influiran con el robot, ya que lo primero que busca el robot es el robots.txt si de ahí ya no pasa pues claro esta que no llegara a las metas.

[magoote]

Ahora una duda al respecto de los robots.txt, este archivo debe estar en el servidor de todas formas si no quiero hacer ninguna restriccion, osea si no encuentra el archivo robots.txt puedo tener problemas en el posicionamiento?????? conviene ponerlo de todas formas????

[D_Mu]

Si no lo pones es como si crearas un archivo que dejara pasar a todos los robots hasta el index, entonces leeria las metas para indexar o no.

El robot es mejor que lo pongas cuando quieres que indexe a unos y a otros no, o no quieres indexar por ejemplo los pdf o los php o lo que sea

[magoote]

yo no lo tengo el archivo, y no quiero restringir ningun archivo, osea no lo pongo, ya que google hace cosas que no entiendo aveces muestra la direccion de la pagina sin descripcion, despues la muestra al mes siguiente no etc, etc,

[D_Mu]

A ver lo de la descripción es porque google te la pillo una vez sin descripcion en la pagina y te la indexo, al tiempo hiciste algo para posicionarla rapida, después seguramente te la indexo pero hizo lo que se llama "SandBox" y ahora una vez te la vuelva a posicionar alli se quedara.

[josemi]

Hola,

- Es bueno o no subir al hosting el archivo robots.txt?? porque he leido que muchos dicen que no es conveniente, o en su lugar es mejor el htacces??? se configura del mismo modo?.

Veamos, el robots.txt y el htacces sirven para cosas distintas. El robots.txt es como si dejas la puerta de tu cuarto abierta y pones un cartel que ponga "prohibido el paso". En ese caso, alguien va, lee el cartel y decide hacerle caso y no entrar. Pero otra persona puede leerlo, y pasar de el y entrar. El htacces es colocar una cerradura en tu puerta, sin cartel ni nada, y darle la llave solo a quien tu quieras que entre.

Resumiendo, el robots si solo quieres indicar a quien obedece lo que quiere/no quieres que lea, pero sin forzar a que no sea accesible. htacces si quieres que sea imposible entrar si tu no lo permites.

En el robots.txt no es recomendable indicar carpetas con contenido secreto, ya que los "chicos malos" leen el robots.txt para saber donde buscar.

Sobre la sintaxis del robots.txt, existen varias versiones. En www.robotstxt.org esta la 1, que es la mas sencilla y la que respetan todos los robots que respetan el robots.txt. Luego parece que existe una version 2, pero no he encontrado pagina oficial, ni una lista de robots que la soportan. Y luego cada robot puede soportar extensiones no oficiales. Por ejemplo, en http://www.google.es/intl/es/webmasters/3.html#removed google indica cierta sintaxis extendida que soporta (creo que basada en el robots version 2).

Saludos.

[Maru77]

Gracias a todos por los comentarios!
Además de esos robots que puse en el archivo de ejemplo, recomiendan algún otro?