Hola Gente !!!

[monoswim]

Miren, recién me fijé en las estadísticas de mi sitio y me di cuenta que alguien quiso entrar al archivo /robots.txt unas 70 veces...Sobre eso alguna vez leí que ese arvhivo lo usaban los motores de búsqueda para indexar los sitios...Pero yo no lo tengo ni se que hay que poner en el!!!!!

Por favor, si alguien puede decirme como funciona eso se lo agradezco de antemano

[elpiedra]

Agunos robots de los buscadores cuando buscan indexar tus paginas a su base de datos buscan el archivo de texto "robots.txt" para ver que tipo de restricciones tiene el sitio en cuanto a que paginas queres que te indexe y cuales no y tambien que buscadores no queres que te indexen.

Un ej: seria:
User-agent: *
Disallow

Donde el *significa todos los robots, esto seria para que te indexen todas las paginas y todos los robots de los buscadores.

Salu2

Ps//En el dia de aller lunes 31 de mayo google estubo haciendo cambios en su base de datos y modificando PR

[monoswim]

y como se que poner para mi página??
cuales son las opciones que tengo para poner en ese archivo??
sirve de algo poner ese archivo??

Gracias ElPiedra !

[josemi]

Hola,

Si no tienes ese fichero, es como si dijeses "Buffet libre para los bots; lean todos los ficheros a los que tengan links". Solo es necesario para evitar que algunos (o todos) los bots indexe alguna parte de tu web. Por ejemplo, si quieres que ningun robot indexe las fotos de tu novia que esta en el directorio fotos-novia, podrias hacer un:

user-agent: *
disallow: /fotos-novia

En teoria estaria bien, pero existen robots malignos que usan la informacion del robots.txt para encontrar lo que quieres ocultar.

En http://www.robotstxt.org/wc/robots.html tienes mas info.

Saludos.

[monoswim]

Gracias gente!!!!!!!!!!!

Una cosita...Hay un archivo en PERL que maneja una base de datos y hay info para cualquier cliente e info clasificada en dicha base de datos...El robot del buscador no se mete en los .pl no???????

Igual tengo un Loggeo de seguridad...pero no me gustaría encontrarme con que un Fucking robot encontró esa info...Indexa solo los .html????

Gracias a todos

[josemi]

Bueno, google accede las URLs por HTTP. Asi que lee el HTML (o lo que sea) que devuelve la URL. Es decir, lee lo mismo que un navegador. Asi que google lee todos las URLs a las que tiene acceso, sean ficheros PHP, ASP, pl, cfm, jsp, cgi, .... Pero lee lo que devuelve esa URL si pondrias en la barra de navegacion del browser esa URL. El HTML generado. Nunca el codigo fuente PHP (a no ser que el servidor web se lo de debido a algun error).

Saludos.

[monoswim]

Gracias a todos!!!!

[rrufo]

varias cosas, primero acerca del sistema de estadisticas, por lo q dices supongo q usaras el awstas, es asi?

entonces te recomiendo dos cosas, no tengas un link abierto a estas estadisticas y si puedes restringe el acceso a este directorio.


2.-
robots.txt

varias notas sueltas, pues yo no se nada, pues no lo uso, esto son notas q tengo guardadas, alguna de josemi creo:

# www.robotstxt.org

# Por cierto, si usas adsense y pones un robots.txt creo que obligatoriamente tienes que especificar los permisos para el robot de adsense. Mira en la doc de adsense.

# Paso 4:

En el archivo robots.txt (si no lo tienes créalo; debe estar ubicado en el directorio principal de tu web) agrega estas líneas:

Disallow: /directorio-de-tu-foro/sutra*.html$
Disallow: /directorio-de-tu-foro/ptopic*.html$
Disallow: /directorio-de-tu-foro/ntopic*.html$
Disallow: /directorio-de-tu-foro/ftopic*asc*.html$

(Esto tiene como función evitar darle a los buscadores contenido duplicado)

# Ejemplo
User-agent: Mediapartners-Google*
Disallow: /cgi-bin
Disallow: /private
Disallow: /cache
Disallow: /util
Disallow: /panel
Disallow: /webstats

User-agent: *
Disallow: /cache
Disallow: /panel
Disallow: /util
Disallow: /webstats

##

[monoswim]

Gracias por la data...(con respecto al punto 1 yo no uso ningun sistema de estadísicas...ya que el servidor que uso ya tiene unas estadísticas en el panel de control)

Te agradezco

[KRANZL]

excelente informacion!

[djemili]

de todas formas con eso evitaras que tus estadisticas se indexen en los buscadores pero daras pistas a un avispado observador de la competencia para que llegue mas facil a tu estadisticas. Osea que si realmente quieres ocultarlas, deberias poner password a ese directorio.

saludos