[SOLUCIONADO] Foreach y datos externos

[Maganius]

Wenas gente,,,

Tengo un programa en el cual se pueden agregar jugadores a una base de datos, en sí no tiene errores de funcionamiento sino que el problema se basa en la gran demora de la execución del mismo.

Mi script sigue este camino.

form -> web externa -> servidor bd

Para catpurar los datos de la web externa utilizo file_get_contents para despues parsear los datos capturados y los devuelvo en forma de array.

Lo que hace el script es ir a la web externa verificar que el jugador existe y en tal caso lo envia al servidor para guardarlo, pero este proceso demora mucho si se escriben varios jugadores y se envian al mismo tiempo.

Como máximo puedo escribir 30 jugadores (linea por linea en un textarea) si escribo más ya la página me da error de timeout.

La ídea es que se puedan escribir 100 o más jugadores sin tener ningun tipo de problema.

Les dejo la parte del código la cual se encarga de verificar y agregar a la base de datos

Código PHP:

$list = explode("\n",$jugadores);
        foreach($list as $l){
            $l = trim($l);
            if($this->checkMaker($l)==0) //Verifica que el jugador no exista en la base de datos
            {
                $t = new jugador();
                //Verificar que el jugador existe
                if($t->characterInfo($this->fixName($l))!="no" && (!empty($l)))
                {                
                    $select = $this->db->prepare("INSERT INTO jugadores (nombre) VALUES (?)");
                    $select->bindValue(1,$l);
                    if($select->execute())
                        $agregados[] = $l;
                    else
                        $no_agregados[] = $l;
                }else
                    $no_agregados[] = $l;
            }else
            {
                $ya_existen[] = $l;
            }
        }
 

Que me aconsejan?

[pateketrueke]

¿La web externa que consultas no dispone de un servicio web para el caso?

¿Cómo es que estás haciendo la petición a la web externa?

¿Has pensado en usar algún tipo de cache?

[Maganius]

Hola Pateketrueke, gracias por contestar

¿La web externa que consultas no dispone de un servicio web para el caso?
.- No tiene.

¿Cómo es que estás haciendo la petición a la web externa?
.- Pongo el script que utilizo, si necesitas que también te pase la url avisame que te envio un mp.

¿Has pensado en usar algún tipo de cache?
.- No puedo obtener la información como cache ya que los datos tienen que ser del momento, ya que además de verificar si el jugador existe también verifico si esta online.

Código PHP:

$html = file_get_contents($url);
        $domd = $this->getDOMDocument($html);
 
        $domx = new \DOMXPath($domd);
        $characters = $domx->query("//table[@class='TableContent'][1]//tr[position() > 1]");
        $ret = array();
 
        foreach ($characters as $character) {
            $name     = $domx->query("td[2]/a[@href]", $character)->item(0)->nodeValue;
            $level    = $domx->query("td[4]", $character)->item(0)->nodeValue;
            $vocation = $domx->query("td[3]", $character)->item(0)->nodeValue;
            $online = $domx->query("td[6]", $character)->item(0)->nodeValue;
 
            $ret[] = array(
                "name"      =>  $name,
                "level"     =>  $level,
                "vocation"  =>  $vocation,
                "status"  =>  $online,
            );
        }
 
        return $ret;
 

[pateketrueke]

Ahora entiendo, ¿entonces tampoco es posible obtener todos los usuarios en una sola petición?

Porque veo que estás haciendo scrapping, y si dicho sitio es así de dinámico me lamento que no puedes hacer mucho: tendrás que atenerte a los problemas de latencia y múltiples peticiones.

[Maganius]

No, no se pueden obtener todos los usuarios en una sola petición.

Para evitar el error del timeout solamente sería mediante ajax con un progressbar?, o existe otra posibilidad?.

Se que aumentando el tiempo de timeout, pero lo dejaria en página blanca durante mucho tiempo y puede que cierre o vuelva del navegador cortando la conexión con el servidor.

[pateketrueke]

Definitivamente puedes hacer petición por petición, y llevar el control mediante Javascript, porque sencillamente no podrás resolverlo únicamente con PHP.

[Maganius]

Muchas gracias pateketrueke