Ayuda con Google Robots.txt

chulifo · #1 (**permalink**) 04/07/2009, 11:14

hola e estado revisando las cosas de google y creee un archivo robost.txt y lo subi a mi web ahora rueba en google siel archivosirve y me daeste resultado

Cita:

Resultados de prueba
URL Googlebot Googlebot-Mobile
http://explosionfull.zobyhost.com/robots.txt
Autorizado

Autorizado
Analizar resultados
Valor Resultado
Línea 0: http://explosionfull.zobyhost.com/robots.txt El archivo robots.txt no es válido.

y elarchivo robots.txt contiene

Cita:

User-Agent: *
Allow: /musica
Allow: /noticias
Allow: /videos
Allow: /comentarios
Allow: /chistes/index.php
Allow: /

trasgukabi · #2 (**permalink**) 04/07/2009, 11:21

Eso es una incongruencia (Más bien una redundancia).

Das paso a ciertos directorios y, por último, das paso a todos.

chulifo · #3 (**permalink**) 04/07/2009, 11:23

Cita:

User-Agent: *
Allow: /
Allow: /musica
Allow: /noticias
Allow: /videos
Allow: /comentarios
Allow: /chistes/index.php

asi??? bueno y que mas tengo que colocar un META Tagen mi web??

trasgukabi · #4 (**permalink**) 04/07/2009, 11:33

vamos a ver...
Si das paso a TODO CON Allow: /

El resto no te hace falta.

Lo que puedes hacer es dar paso a todo y después, restringirlo a ciertos directorios.

chulifo · #5 (**permalink**) 04/07/2009, 11:40

ok y ya ?? mas nada?

trasgukabi · #6 (**permalink**) 04/07/2009, 15:38

Sí, algo más. Rézale tres padrenuestros a alguien para que el p..o robot te indexe las páginas como tú quieres...

De todos modos, para lo que quieres hacer es mejor un sitemap.
robots->restringir
sitemap->dar paso