robots y spiders

[oscard41]

Buenas tardes a todos, estoy realizando un contador de visitas tomando en cuenta las direcciones ip, hasta aqui todo va bien pero ahora estoy tratando de detectar los robots y spiders para obviarlos...

hay alguna manera de detectar los robots y spiders de los motores de búsqueda?
si me pudieran ayudar y tambien aportar alguna idea en la que pueda hacer este script mas robusto se los agradecería.

tengo pensado hacer las gráficas con jpgraph para hacer la interfaz un poco mas amigable.


de ante mano muchas gracias...

[oscard41]

No es posible esto?

[edward1994]

Pues pienso que la visita la podrias contar a partir de X segundos que tenga la persona en la pagina, ya que asumo o creo que es asi los robots no van a permanecer un gran tiempo en tu pagina ya que procesan muy rapido
Ejemplo: Puedes hacer que se cuente la visita si el tiempo que ha pasado es mayor a 5 segundos.
(Esa es la forma que veo yo de solucionar tu problema)

[SathyaSanles]

Yo he creado una completa clase php que uso para eso justamente, y me baso en rangos de ip obtenidas manualmente y mediante robots de diferentes fuentes, además reviso el user agent para detectar si es un robot mediante la firma..


Suerte!

[oscard41]

Gracias por sus respuestas.

Iniciado por SathyaSanles

Yo he creado una completa clase php que uso para eso justamente, y me baso en rangos de ip obtenidas manualmente y mediante robots de diferentes fuentes, además reviso el user agent para detectar si es un robot mediante la firma...

.

para validar por user agent cre que debo tener una lista de los robot para luego comparar, no me veo actualizando periodicamente una lista con informacion de los robot... consegui un ejemplo en la web donde se valida por user agent

Código PHP:

public function esRobot($agente = '') {
        $archivoRobots = "http://www.robotstxt.org/db/all.txt";
        $delimitador1 = "robot-name:";
        $delimitador2 = ":";
    
        if (trim($agente)=="") $agente=trim($_SERVER['HTTP_USER_AGENT']);
         
        //Obtener el contenido del archivo como un array en donde cada item es una linea del archivo.
        $str_archivo = @file($archivoRobots);
        $total_lineas = count($str_archivo);
   
        $i = 0;
        $r = 0;
        $lista_robots = array();
         
        while ($i<$total_lineas)    {
          $linea = chop($str_archivo[$i]);
                if(   (strpos($linea, $delimitador1) !== false) ) {
                    $items= explode($delimitador2,$linea);
                    $lista_robots[$r] = trim($items[1]);
                    $r++;
                }
          $i++;
        }
     
            //Determina si la cadena que llega es un robot
            foreach($lista_robots as $robot)    {
                if(strpos($agente, trim($robot) )  !== false)
                return true;
            }
            return false;
 
    }
 

como la lista se esta alimentando de "http://www.robotstxt.org/db/all.tx" tarda considerablemente en cargar...
si tienen alguna otra idea mas optima se los agradecería de ante mano.

[Eleazan]

Iniciado por oscard41

como la lista se esta alimentando de "http://www.robotstxt.org/db/all.tx" tarda considerablemente en cargar...
si tienen alguna otra idea mas optima se los agradecería de ante mano.

Tenerla en local en la bbdd... y actualizarla por cron una vez a la semana :D

[SathyaSanles]

Pues puede ver si puedes crearle una cookie, generalmente los robots no aceptan cookies. Pero para guardar la cookie con PHP, tenes que si o si recargar, por eso te conviene crear la cookie y consultarla en la misma página con javascript!

Se entiende?

Suerte!

[oscard41]

Nuevamente Gracias a todos por sus respuestas

Iniciado por SathyaSanles

Pues puede ver si puedes crearle una cookie, generalmente los robots no aceptan cookies. Pero para guardar la cookie con PHP, tenes que si o si recargar, por eso te conviene crear la cookie y consultarla en la misma página con javascript!

Se entiende?

Suerte!

si se entiende, voy probar con la idea que me acabas de dar, Gracias...
si esto funciona mi pensado es adaptarlo a un contador de visitas tomando en cuenta las Ip y los robot