Te ve menos gente de la que crees [MUY importante]

Tedel · #1 (**permalink**) 01/08/2014, 08:44

Hola:

Hace poco recibí una clase de humildad. Decidí bloquear muchos bots malos de mi web (aquellos que buscan correos, intentan copiar tu sitio o similares) y noté una muy simpática reducción del tráfico en las estadísticas.

¿Será que los bots estos están ejecutando Javascript y, por lo tanto, me estaban generando visitas falsas a la web? —me pregunté.

Buscando en la Internet, me di con un artículo de Bob Hoffman que mencionaba que hasta 54 % del tráfico de impresiones de publicidad eran falsas porque eran realizadas por, e incluso recibían clics de, bots.

Cito: "...54% de los banners contratados por anunciantes entre mayo del 2012 y febrero del 2013 nunca fueron vistos por un ser humano".

Pero el que esta semana una web tan importante como Google te permita en su herramienta Analytics filtrar para que no se vean las visitas de bots en los reportes no solo lo confirma sino que ademas me preocupa:

- La Internet esta siendo vista por mucha menos gente que la que pensábamos
- La publicidad por la que pagamos es posiblemente una gran estafa
- Se necesita regresar a la venta de publicidad por tiempo (días, semanas, meses) hasta que aquello de las impresiones y los clics se aclare

Y, quizá lo principal, te ve mucha menos gente que la que crees.

Daniel Ulczyk · #2 (**permalink**) 01/08/2014, 09:25

Tuve que rastrear la publicación, porque hace unos meses atrás compartí unas métricas en Google+ sobre este tema

Cita:

Los humanos somos menos del 40% del tráfico web

El tráfico web mundial ha aumentado considerablemente en los últimos años, pero más del 60% procede de robots que navegan automáticamente por sitios web con diferentes propósitos.

Aproximadamente la mitad de todo el tráfico automatizado viene de bots, que los motores de búsqueda como Google utilizan para indexar el contenido de un sitio web. La otra mitad del tráfico automatizado es malicioso.

RBZ · #3 (**permalink**) 01/08/2014, 10:47

Cita:

Iniciado por Tedel

(...)
- Se necesita regresar a la venta de publicidad por tiempo (días, semanas, meses) hasta que aquello de las impresiones y los clics se aclare

Y, quizá lo principal, te ve mucha menos gente que la que crees.

Las visitas son una referencia y siempre será mejor anunciarse en una web de 10.000 visitantes (aunque la mitad sean bots) que en una de 100 (aunque sólo 10 sean bots).

Las audiencias en televisión también son estimaciones... en fin que es algo habitual en publicidad aunque el debate propuesto es interesante.

Tedel · #4 (**permalink**) 02/08/2014, 00:08

Cierto, pero si ofreces a un anunciante cien clics, pero solo le das 45 porque los otros 55 los realizaron bots, estás robando.

Ahora, quizá tú y yo no percibamos mucho el monto de semejante robo, ¿pero es calculable cuánto están robando Google y Facebook a la gente? Eso es lo que me preocupa.

darchy · #5 (**permalink**) 02/08/2014, 13:25

Hombre, yo creo que estas robando en el momento que sabes o permites (o incluso provoques) que eso pase. Si es algo ajeno a uno, no es robo propiamente dicho...

A todo esto, he visto que mis webs las visita insistentemente un bot "semalt" que me provoca visitas falsas lo cual me ###### bastante... tambien me llegan visitas de -numero-.kambasoft.com que tienen una pinta bastante chunga, sobre todo porque al visitarlas redirije a otros sitios. Y no, en las paginas donde me salen no he hecho nada, de hecho en algunas de ellas no he hecho absoltamente nada (son proyectos que deje a medio montar hace ya un par de años por falta de tiempo pero no quise dejar caer) y la mitad o mas de las visitas son por referal , pero referals falsos porque son esos bots.

RBZ · #6 (**permalink**) 02/08/2014, 14:55

Cita:

Iniciado por Tedel

Cierto, pero si ofreces a un anunciante cien clics, pero solo le das 45 porque los otros 55 los realizaron bots, estás robando.

Ahora, quizá tú y yo no percibamos mucho el monto de semejante robo, ¿pero es calculable cuánto están robando Google y Facebook a la gente? Eso es lo que me preocupa.

Facebook no tengo datos, pero Google (empresa de la que no soy fan tampoco) se que trabaja en evitarlo, hay muchos más clics en los anuncios de los que finalmente se pagan.

sauwi · #7 (**permalink**) 04/08/2014, 03:29

Es una barbaridad la cantidad de bots que existen y utilizan ancho de banda. Yo también los bloqueé y logré reducir el ancho de banda un 50%

levitas · #8 (**permalink**) 04/08/2014, 04:19

Asi sube la conversión, al menos en porcentaje

Tedel · #9 (**permalink**) 04/08/2014, 10:15

Cita:

Iniciado por sauwi

Es una barbaridad la cantidad de bots que existen y utilizan ancho de banda. Yo también los bloqueé y logré reducir el ancho de banda un 50%

Sería bueno hacer una lista de bots a bloquear, ¿no te parece?

galizer · #10 (**permalink**) 06/08/2014, 07:54

Sería buena idea tener una lista de robots que bloquear, alguien tiene una?

phoneval · #11 (**permalink**) 10/08/2014, 04:44

Esto es un problema que realmente no es nuestro, google y facebook tienen que luchar para no contabilizar esos bots como clics de pago, es su negocio y tienen que protegerlo ellos y aunque no lo creamos tienen muchas forma de hacerlo no solo detectando el user agent.
También es verdad que los bots van avanzando y es difícil que puedan eliminarlos a todos, he visto webs que capaban rangos enteros de ips, comportamientos mas "rápidos" de lo normal, referers, etc, y aun así no me resulto muy difícil conseguir el objetivo.

salbatore · #12 (**permalink**) 11/08/2014, 12:30

Tengo varias webs con bastante trafico, mi posición respecto al tema de los bots es abrirles la puerta de par en par y limitando las consultas a la bbbdd mediante captcha a una determinada IP.

Lo cierto es que la IP tampoco te ofrece mucha seguridad, pero es el unico valor que no es modificable por un informatico de andar por casa. Actualmente me llegan bots a punta pala. Muchos más que usuarios.

Desde hace tiempo que no confio en Google Analytics. Uso varios sistemas de analiticas y nunca concuerdan las unas con las otras. Personalmente uso un codigo propio para simplemente contabilizar los procesos que el servidor ejecuta, luego cuento las IPs diferentes y me conformo con ese numero.

Realmente no se puede saber si un bot es un bot. Tan facil como hacerte pasar por iPhone, a ver que informatico va a poner en duda un Agent con un "Apple", por ejemplo.

Incluso yo, cuando he tenido que extraer información de otras webs he tirado de Curl haciendome pasar por Google Bot o un movil Android, las puertas se abren de par en par.

Aquí el peligro no se encuentra con los bots que claramente indican que son bots, aqui el problema esta con los que se hacen pasar por humanos. Lo cual es tan sencillo como cambiar las cabeceras.

Hablais de contabilizar los clicks, creo que estos, aparte de tener los tipicos sistemas basados en JavaScript, tiraran mucho de IPs. Hace poco programe una tontada de codigo para realizar capturas virtualizando un navegador, así que dudo mucho que un crack de las arañas no pueda mover un cursor y fingir ser un ser humano pegado a la pantalla.

Contra los bots estamos jodidos. Lo unico que se puede hacer para evitarlos en grandes webs es:

-Registro de usuarios. Parece chorrada... pero es lo unico que nos queda.
-Registro de consultas a la bbdd, con limitador, basado en las IPs.

Todos los sistemas de cookies y demas... no sirven de nada...

Uf!

limpiezadirect · #13 (**permalink**) 11/08/2014, 15:15

Pues a mi no me visita ni el robot de google...

Voy a dedicarme a ir a las puertas de los supermercados a pedir en vez de limosna una visita a mi blog.

RBZ · #14 (**permalink**) 12/08/2014, 14:20

Cita:

Iniciado por limpiezadirect

Pues a mi no me visita ni el robot de google...

Voy a dedicarme a ir a las puertas de los supermercados a pedir en vez de limosna una visita a mi blog.

Eso es por la ley de Murphy, verás como el día que te pongas a subir modificaciones en la plantilla,editar algo en la base de datos, etc., te visitan todos los bots del mundo.