28/09/2009, 15:11
| |||
| |||
| Amigos, Quisiera que me ayudaran en como hacer correctamente el fichero robots.txt, quiero que este fichero le diga la spider que index todo mi sitio web seria asi?? User-agent: * Disallow: / Saludos, Acaboo de ver alguna pagina bastante buen en informacion y me dice que haga esto? User-agent: * Disallow: la pagina en concreto es: http://www.emezeta.com/articulos/rob...-deberia-saber Última edición por Daniel Ulczyk; 28/09/2009 a las 15:46 Razón: se combinan 2 mensajes consecutivos del mismo usuario |
|
28/09/2009, 15:54
| ||||
| ||||
| Respuesta: como hacer correctamente el fichero robots.txt Hola *easy* el archivo robots.txt esta conformado por órdenes restrictivas ¿estamos de acuerdo? le sirve a los administardores de sitios para decirles a los crawlers o bots que áreas del sitio no debieran ser recorridas y, por lógica consecuencia, indexadas. Si querés que cualquier bot recorra o indexe tu sitio, simplemente no le agregues ninguna línea: sólo contiene directivas restrictivas. Cita: En algunos casos suele utilizarse en lugar de Disallow, la palabra Allow. Aunque por definición es correcta, es conveniente no utilizarla, puesto que las rutas omitidas se asumen que están permitidas por defecto, y algunos crawlers no entienden la palabra Allow. <off-topic>  aunque de un tiempo a esta parte puede utilizarse robots.txt, además, para indicarle a los bots donde está alojado el sitemap.xml </off-topic>
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
|
29/09/2009, 03:24
| ||||
| ||||
| Respuesta: como hacer correctamente el fichero robots.txt Desde las herramientas para webmasters de google puedes configurar tu robot.txt pero como dice Daniel, si quieres que indexe todo, no hagas nada, déjalo en blanco. |
