Visita de robots.

[lord_pinga]

Hola,realmnte tengo una duda con las visitas de los robots.La primera duda es un porque.

Porque siendo el msnbot el robot que mas visita mi web(1 vez al dia) no me manda visitas,si acaso 2 al dia y google que no lo hace con tanta frecuencia(3 0 4 veces a la semana) me manda actualmente mas de 300 visitas diarias.

La segunda duda es que si es malo que los robots te visiten todos los dias,realmente no se si es normal esto o no.Gracias por cualquier aclaracion.

[oscarva]

me pasa lo mismo, un dia el robot de msn me consumio 800mb de transferencia y sin envargo me manda solo 2 visitas diarias, pasa todos los dias y me tiene la transferencia por las nubes

[lord_pinga]

Ese es el punto viejo,ocupa muchos megas y nada de visitas,es mas aqui te dejo una captura

Este de diciembre


y esta de enero



No mires el de google pq ese me da muchas visitas,pero el de msnbot ocupa muchos megas para nada,ni tres visitas al dia.Que raro esto no?

[josemi]

Hola,

La logica te responde la primera duda. Los bots solo leen las paginas, pero las visitas son humanos que usan el buscador y pinchan en el enlace para llegar a tu pagina. ¿Cual es el numero de usuarios humanos que usan M$N? ¿Que porcentaje de esos usuarios busca tus terminos? ¿Que porcentaje de ellos pinchan en tu link?

M$N no se que porcentaje de usuarios lo usan, pero bastante menos que google. Eso si, parece que M$ quiere que su bot se pasee mucho por internet. Esto le podria permitir mostrar antes las modificaciones de tu web. Si modificas tu pagina despues de la visita del bot, tienes que esperar a la siguiente visita para que tu modificacion tenga reflejo en el buscador.

El mayor problema de que un bot te visite mucho es el consumo de transferencia. Imaginate una web con muchas paginas indexadas por google, yahoo (slurp) y M$N.

La segunda duda es que si es malo que los robots te visiten todos los dias,realmente no se si es normal esto o no.

Supongo que puede ser normal, los buscadores quieren las ultimas versiones de las paginas. Google suele adaptar su frecuencia a la frecuencia de actualizacion de la pagina.

Saludos.

[lord_pinga]

Te entiendo josemi,pero el punto es que no recibo visitas de msn,una o dos al dia,entonces pq el msnbot viene tanto.Google no me interesa pq recibo las visitas.Ya estamos a 10 de enero y el msnbot me ha consumido 12 mb y me ha dado 0 visitas,no quiero ver a final de mes,seria recomndable onfigurar el robot.txt para que el msnbot solo mire el index y nada mas?

Saludos.

[josemi]

entonces pq el msnbot viene tanto

Por su algoritmo. Puede que tengas links en pagina que visita frecuentemente y piense que por ello tambien deba visitarte.

Pero no hay relacion entre visitas del robot y visitas humanas desde ese buscador.

eria recomndable onfigurar el robot.txt para que el msnbot solo mire el index y nada mas?

No tengo ni idea si eso afectaria a tu posicionamiento en ese buscador. Aunque tambien es cierto que si ya no recibes visitas de ese buscador, tampoco te importaria perder posicionamiento en el.

¿Causa problemas de funcionamiento en tu pagina? Si tienes un ancho de pagina determinado, o un numero de conexiones a BD limitado, la visita de un bot podria perjudicar al rendimiento de tu pagina cara a los usuarios humanos.

Saludos.

PD: Esas estadisticas dan que cada visita de robot lee mas de 40000 bytes, ¿no es un tamaño muy grande para unas paginas HTML? ¿No te estara indexando ficheros o imagenes?

[sanjoseastiller]

¿Como consigo que los robots me visiten?

[oscarva]

me pasa lo mismo como te dije con el msn, creo que lo boy a expulsar de mi web, ayer paso y me consumio 120 megas, duro 4 horas en mi web.

[Prefontaine]

Me podeís explicar brebemente que es todo so el robot?

Un saludo

[lord_pinga]

Iniciado por oscarva

me pasa lo mismo como te dije con el msn, creo que lo boy a expulsar de mi web, ayer paso y me consumio 120 megas, duro 4 horas en mi web.

120 mb en un dia.Creo que estas exagerando un poco no?

Prefontaine los robots o spiders son programas que usan los buscadores para buscar nuevas webs,actualizaciones,documentos,fotos y todo lo que se pueda indexar en ellos y asi aparecer en los buscadores.Pero aveces alguno de esos programas se pasan y lo unico que hacen es quitarte mucho ancho de banda.

[oscarva]

[QUOTE=lord_pinga]120 mb en un dia.Creo que estas exagerando un poco no?

enserio, no estoy exagerando, eso antes es poco, el 28 de dic estuvo 14 horas en mi pagina y consumio 800 mb me dejo sin transferencia y mi web estuvo caida todo el 31.

que hacemos?? no lo dejamos entrar??

[josemi]

oscar, ¿intentaba acceder a imagenes? como primer paso, prueba a usar robots.txt para que no indexe tus imagenes y ficheros donde no busca. Luego podrias tambien poner en robots.txt paginas que no te interese o no te importe que te indexe.

La verdad es que ningun robot que se precie deberia atacar tanto un sitio. Parece un intento de DoS.

Saludos.

[Zidane]

Podriais explicarme un poco para que se usa el robot.txt y como se configura?
¿Para expulsar a un robot o a alguien de tu web, como se hace???
GRACIAS

[josemi]

Zidane, el robots.txt es un simple fichero de texto que los robots leen y hacen caso si quieren, y si no pasan de el. No es nada que impida que entren, es voluntad de los robots obecederlo o no. Los "chicos buenos" lo obedecen.

Si lo que quieres es impedir realmente que alguien (robot o persona, mas bien IP) no pueda llegar a entrar a tu web, debes hacerlo a nivel de servidor web.

Saludos.

[Zidane]

muchas gracias josemi
estoy intentando aprender a cerca de las tecnicas de posicionamiento en buscadores, m parece muy util y muy interesante. Ahora esoty , como has podido ver, algo verde. Puedes decirme donde puedo encontrar informacion, tutoriales, de verdad interesantes y practicos a cerca de este tema?
muchas gracias. Da gusto aprender con vosotros
;)

[mvalls]

Sep a mi también me comen ancho de banda a full, esto es en lo q va de enero nomás.

Googlebot (Google) - 3402 - 141.10 MB - 13 Ene 2005 - 06:51
Inktomi Slurp - 744 - 3.99 MB - 13 Ene 2005 - 06:39
Unknown robot - 232 - 1.30 MB - 12 Ene 2005 - 14:27

[Ocrum2004]

Mucha transferencia es esa para dos o 3 visitas, no te sale rentable que te visite MSN, yo filtraría el robot de MSN. Puedes hacerlo de dos formas, cone l fichero robots.txt o desde el fichero de configuracion de Apache.

[anzorina]

Fijate en www.maestrosdelweb.com , www.1-en-buscadores.com , www.desarrolloweb.com/promocion, www.cannedbollks.com, www.wordtracker.com

[mvalls]

Iniciado por anzorina

Fijate en www.maestrosdelweb.com , www.1-en-buscadores.com , www.desarrolloweb.com/promocion, www.cannedbollks.com, www.wordtracker.com

Q buen comentario Ñ_ñ

[magoote]

Zidan, aca podes encontrar mucha informacion interesante:
http://www.desarrolloweb.com/manuales/4/

[rrufo]

Iniciado por oscarva

me pasa lo mismo como te dije con el msn, creo que lo boy a expulsar de mi web, ayer paso y me consumio 120 megas, duro 4 horas en mi web.

M$ consume mucho, pero suele tener la educación de consumir por la noche.

Código:

Visitas de Robots/Spiders    
22 Visitas de Robots Solicitudes Ancho de banda Última visita 
 :borracho: MSNBot 21046+315 529.96 MB 31 Dic 2004 - 22:52 
 :corazon: Googlebot (Google) 4209+59 107.03 MB 31 Dic 2004 - 20:12 
  :pensando:???  Unknown robot (identified by 'crawl') 3327+16 80.49 MB 31 Dic 2004 - 18:38 
 :-D Inktomi Slurp 2298+989 69.60 MB 31 Dic 2004 - 22:48 
 :-D Alexa (IA Archiver) 1489+40 39.29 MB 31 Dic 2004 - 20:52 
  :pensando: GigaBot 343+138 2.87 MB 31 Dic 2004 - 10:02 
Monitor de estado :policia: InternetSeer 467 119.94 KB 31 Dic 2004 - 21:25 
 ? LinkWalker 178+1 1.05 MB 10 Dic 2004 - 11:33 
 ? gazz 160+2 1.98 MB 21 Dic 2004 - 00:48 
 ? Unknown robot (identified by hit on 'robots.txt') 0+144 72.41 KB 31 Dic 2004 - 18:28 
 Buscador: Jeeves 62+9 338.78 KB 28 Dic 2004 - 09:35 
 ? WISENutbot (Looksmart) 59+3 1.13 MB 24 Dic 2004 - 18:34 
 ? MSIECrawler 28+16 145.36 KB 31 Dic 2004 - 14:31 
 ? IBM_Planetwide 29+3 385.08 KB 26 Dic 2004 - 16:43 
 ? psBot 23+3 381.70 KB 16 Dic 2004 - 20:08 
 ? Turn It In 13+1 526.52 KB 31 Dic 2004 - 01:14 
 ? Fluid Dynamics Search Engine robot 6+6 815.47 KB 22 Dic 2004 - 13:08 
 ? SurveyBot 4 0 27 Dic 2004 - 04:40 
 ? BaiDuSpider 3 36.85 KB 30 Dic 2004 - 16:13 
 ? Unknown robot (identified by 'robot') 1+1 9.60 KB 15 Dic 2004 - 01:37 
Estadisticas sitios web: Netcraft Web Server Survey 2 526 Bytes 30 Dic 2004 - 04:25 
 ? Unknown robot (identified by 'spider') 1 9.07 KB 03 Dic 2004 - 00:31 
 
* Números después de + son solicitudes correctas en los archivos “robots.txt”.



Advanced Web Statistics 6.0 (build 1.704) - Created by awstats

[rrufo]

al final me salio un churro

q es crawl?

el resto más o menos aparece, en http://www.robotstxt.org/wc/active/html/ pero este no.

[yenerich]

No se olviden que MSN esta a punto de lanzar su propio motor de busquedas que ahora esta en BETA (http://beta.search.msn.com/) y por eso aunque esta indexando TODA la red no genera casi visitas.

Ya veras que MSN te va a dar visitantes por miles, por que va a competir con todo con Google.

[lord_pinga]

Iniciado por yenerich

No se olviden que MSN esta a punto de lanzar su propio motor de busquedas que ahora esta en BETA (http://beta.search.msn.com/) y por eso aunque esta indexando TODA la red no genera casi visitas.

Ya veras que MSN te va a dar visitantes por miles, por que va a competir con todo con Google.

Bueno,esperemos que tu boca sea santa,pq sino nos vamos a quedar sin ancho de banda,aunque no creo que de la noche a la manana se ponga a la par de google.Como webmaster y como usuario diario de internet todo lo que necesito lo busco en google y asi seguire.

[yenerich]

No digo que de la noche a la mañana, pero si que va a entrar fuerte y que seguramente va a generarte un buen numero de visitantes.
Yo estoy igual que vos, recibibo mas visitas de MSNbot que de GoogleBot, pero esyot esperando a ver si MSN ya saca el BETA como version funcional pronto.
Por lo pronto podes probar en ese BETA que tan bien salis en las busquedas...

Yo, por ejemplo, en un sitio que aca mostre como logre que Google me indexara en 24 hrs, en MSN tenga ya mas de 6 mil paginas indexadas!!
(Google ya me indexo como 3 mil, pero ahora solo esta mostrando 38 paginas)

Mira: http://beta.search.msn.com/results.a...m.ar&FORM=QBHP

Asi que soy el primero en DESEAR fervientemente que MSN salga pronto a la luz con su nuevo buscador, que ademas esta buenisimo, fijate que bien y pronto indexa todo un sitio!!

[lord_pinga]

Que curioso,este beta ha echo lo que google no ha echo aun,indexarme los mensajes de mi foro,esperemos a que salga completamente.Aunque mis visitas desde este buscador son de 0 a 3 diarias,la mayoria de los dias es de 0.Bueno,hay que tener paciencia pq si de verdad msn me da aunque sea la mitad de lo que me da google ya es buenisimo
Saludos.

[yenerich]

Iniciado por lord_pinga

Que curioso,este beta ha echo lo que google no ha echo aun,indexarme los mensajes de mi foro,esperemos a que salga completamente.

Eso es lo que todo el mundo ha observado, el BETA de MSN parece mas eficiente en la indexacion. Es un buen elemento para suponer que podra competir fuerte con Google.

[josemi]

el BETA de MSN parece mas eficiente en la indexacion

Creo que para saber eso tendremos que esperar a que acabe la primera indexacion. M$N partia con una base de datos de cero, tiene que indexar todas las paginas rapidamente para no parecer menos que google. Por eso creo que m$n va ahora como una moto: no conoce ninguna web.

PAra mi mas eficiente es indexar solo lo que tiene que indexar.

MSNBot 21046+315 529.96 MB 31 Dic 2004 - 22:52
Googlebot (Google) 4209+59 107.03 MB 31 Dic 2004 - 20:12

¿Y si tu sitio esta completamente indexado y actualizado leyendo 150MB? Entonces google es mas efectivo que m$n. ¿Crees que es efectivo indexar una pagina que no ha sido modificada? Yo no, creo que es consumir transferencia a lo tonto.

Ya veremos como evoluciona, creo que lo pasan a oficial ahora. De todas formas, ¿de que sirve que sea igual o mejor si los usuarios no lo usan? Habra que ver como consigue M$ "adeptos" a su buscador.

Saludos.

[yenerich]

Bueno, veremos como sigue el tema cuando MSN saque el buscador a funcionar.
Yo creo que la publicidad se la van a hacer todos los medios de comunicacion por ser de Microsoft, es decir, va a ser noticia y mucha gente se va a enterar... despues viene el lado 'oscuro' del tema, que seguramente sera el buscador por defecto de explorer, etc.
De hecho ESE es el lado que me preocupa de este tema, que Microsoft siga acumulando poder.

Mi muy personal impresion es que este nuevo buscador es muy eficiente para indexar y para mostrar resultados, viene muy fuerte para poder competir con Google.