Ver Mensaje Individual
  #1 (permalink)  
Antiguo 15/01/2010, 11:44
Jabin
 
Fecha de Ingreso: febrero-2008
Ubicación: /home/public_html
Mensajes: 551
Antigüedad: 17 años
Puntos: 10
Problemas robots.txt para otros buscadores indexacion

He notado que gran parte de mis visitantes provienen de Google, pero muy poquisimos de Bing, y casi nada de otros.

Generalmente damos prioridad a los Robots de google, y que mejor capturar los usuarios de los otros buscadores. En mi robots.txt hay esto

Cita:
User-agent: Mediapartners-Google*
Disallow: /cgi-bin/
Disallow: /carpetas/
Disallow: /prohibidas/

Sitemap: http://www.mi_web.com/sitemap.xml
Y como hago para que tambien deje pasar a los robots de Yahoo, Bing, Altavista, Ask, etc osea que tambien ellos me indexen, en el ejemplo, solo he copiado del ejemplo de otros archivos de Robots, y en el Robot de Google, no tiene ese Mediapartners-Google, solo esta como "User-agent: *".

En otras webs veo este tipo de Robots:
Cita:
User-agent: *
Disallow: /admin/
Disallow: /templates/

User-agent: Mediapartners-Google*
Disallow:
Cual de los dos robots.txt es valido, o cual es el ideal para que todos los Buscadores en general me indexen.

Última edición por Daniel Ulczyk; 20/01/2010 a las 18:35 Razón: se elimina link (error 404)