[SOLUCIONADO] Leer text Pesado con PHP

[informacionsys]

buenas tardes

Queridos compañeros un gran saludo.

Tengo un problema grandisimo, necesito leer un archivo text de 22MB , pero me sale servidor reiniciado , lo ejecuto y a los 30 segundos mas o menos me sale dicho mensaje, he configurado todas las directivas necesarias para aumentar el tiempo de ejecución , pero nada...

He pensado en ideas como leer el archivo por partes, o dividirlo en varios archivos para leerlos mas facil, pero no he encontrado absolutamente nada parecido a lo que busco...

[pateketrueke]

¿Y no has pensado, tal vez, en usar un mejor lenguaje que PHP para eso?

[informacionsys]

Hola....

Si pudiera hacerlo no duraria en usar otro lenguaje, pero tiene que ser con Php, de hecho la ideas de leerlo por partes , fue de un compañero quien me dijo que alguna vez le habia tocado leer un archivo por bytes en c++ , pense que de pronto en php se podia simular lo mismo...

[Italico76]

Prueba con por ejemplo..

Código PHP:

ini_set('max_execution_time',3600);  
ini_set('memory_limit', 512 Mb);
 

Lo mas probable es que lo de arriba No funcione en el servidor de produccion pero si en tu maquina xD

---
En tu lugar, si es que quieres en TU maquina propia leeria todo el archivo en php o en lenguaje que sepas... y me guardaria en otro archivo las posiciones especificas que necesito para procesar ese archivo:

- Son registros ? fin de registro.

- Solo texto ? donde estan los saltos de linea


Luego subiria por ftp ese archivo junto con el "descriptor" por decirlo asi que generastes en tu maquina.

En el servidor programas un cronojob cada 1 minuto a un script que lo que hace es leer el archivo por partes desde los puntos especificos (o multiplos de ellos en realidad, en una cantidad manejable) definidos por el descriptor y vas procesando esos pedazos!

Código PHP:

<?php
// Primero: leo el archivo con las posiciones de salto y un segundo archivo donde tengo un contador para saber a cual de esas posicones saltar
 
// Luego... abro el archivo molesto
$fp = fopen('somefile.txt', 'r');
 
// saltar a una posicion especifica
fseek($fp, $ini);
 
// leer una cantidad especifica de bytes (cierta cantidad de 'registros')
$data = fgets($fp, 4096);
 
procesar($data);  //  :))))
 

[Triby]

Yo he abierto con PHP archivos incluso mayores y no he tenido problemas, será cuestión de ver el código que estás usando.

Por cierto, como te comenta Italico76, en la mayoría de servidores compartidos no podrás modificar tiempo máximo de ejecución, uso de memoria ni otras directivas "al vuelo", para eso requieres, al menos, un VPS.

[informacionsys]

Hola a todos..

bueno de hecho es una intranet , y tengo acceso para modificar cualquier directiva del php.ini...

les comento la logica rapidamente: En html muestro la vista previa del archivo con sus cabeceras y un solo registro nada mas.... el usuario tiene la posibilidad de escoger que columnas o cabeceras desea trabajar....despues de eso, leo todo el archivo completo y almaceno en un arreglo final la informacion de las columnas que escogió el usuario para posteriormente almacenarla en la base de datos...

Aqui el codigo :

Código PHP:

public function FileMatrizAsociativo($file_name,$separador)
    {
                
        $file  = fopen($file_name,"r");
        $matriz = array();
 
        if($file)
        {  
            $matriz = array();
            $contador = 0;
            $cabeza = fgetcsv($file,50000000,$separador);
            $cantcols = count($cabeza);
 
 
            while($recordSet = fgetcsv($file,50000000,$separador))
            {   
                foreach($this->campos as $camp)//arreglo con los campos que escogio el usuario
                {  
                    for($cols = 0; $cols < $cantcols ; $cols++)// for columnas del archivo
                    {   
                        //quita espacios
                        $indices = str_replace(" ","",trim($cabeza[$cols])); 
                        //quitar caracteres raros
                        $namecabeza = $this->QuitarCaracteresRarosCargue(utf8_encode($indices)); 
                        
                        if(trim($camp->COLUMN_NAME) == strtoupper($namecabeza))
                        {   
                            $arreglodatos[strtolower($camp->COLUMN_NAME)] = $recordSet[$cols];
                        }
                    }// for de la cabeza del archivo
 
                }// foreach campos
               
                  array_push($matriz,$arreglodatos);
                $contador++;
            }// while
        }// fin validacion archivo 
 
        return $matriz;
    }
 

PD: La funcion anterior la uso para leer archivos text y/o csv; para leer excel uso una libreria, pero la logica es la misma....

[ocp001a]

Meter 22 mb en una variable no es algo que php no pueda hacer, pero suponiendo que tienes recursos escasos, debes considerar mejorar tu algoritmo.

Si el usuario va a indicar qué columnas quiere guardar en la base de datos, puedes mostrarle por ejemplo la primer hoja (unas cuantas lineas) del archivo,una vez que te indiquen qué columnas quieren, lees linea por linea el archivo seleccionando las columnas que quieren guardar y las guardas, pero sin tener que meter todo en memoria.

[informacionsys]

hola

En la vista previa lo hago asi, solo le muestro el primero registro nada mas, ya cuando voy a guardar toda la informacion vuelvo y leo el archivo usando la funcion que mostre anteriormente.

Logre simplificar la funcion a esto:

Código PHP:

public function FileMatrizAsociativo($file_name,$separador)
    {
                
        $file   = fopen($file_name,"r");
        $matriz = array();
                        
        if($file)
        {
            while($recordSet = fgetcsv($file,50000000,$separador))
            {   
                $dataInfo = array();
 
                foreach($this->campos as $camp)
                {
                    $dataInfo[strtolower($camp->COLUMN_NAME)] = $recordSet[$camp->id];
                }
                
                array_push($matriz,$dataInfo);                
            }// while
        }// fin validacion archivo 
        //die(var_dump($matriz));
        return $matriz;
    }
 

Mejoro bastante ya no se revienta a los 35s si no 1m 18s , pero a un asi aparecer servidor reiniciado , aunque por debajo sigue insertando los registros...

[Italico76]

Iniciado por informacionsys

Mejoro bastante ya no se revienta a los 35s si no 1m 18s , pero a un asi aparecer servidor reiniciado , aunque por debajo sigue insertando los registros...

Por debajo no.... sino que hace su trabajo HASTA que se queda sin recursos

[pateketrueke]

Yo pienso que hacer esperar al usuario "en lo que el servidor procesa lo que sea" es mala experiencia de usuario, de entrada yo no usaría ningún lenguaje del lado del servidor web para procesar nada tan largo o pesado.

En dado caso implementaría un sistema de queues en la cual programaría dicha tarea en el background del sistema y una vez finalizada notificaría en el dashboard del usuario por dicho resultado.

Desde la interfaz web únicamente registraría dicha tarea de manera asíncrona, no importa si cierro la pagina o navego, yo sé que el sistema está haciendo su trabajo y no me obliga a esperar a que lo termine.

Así que una solución correcta está muy lejos de "configurar el tiempo de espera" de nuestra instalación de PHP, dicho de otro modo: esa solución se le ocurre a cualquiera, un profesional no lo haría así.

[informacionsys]

gracias por la aclaracion..

Viendo el proceso despues de que la funcion retorna el arreglo final se recorre para la insercion , lo cual hace que se demore mas... entonces se me ocurrio la idea de hacerlo el dos acciones...

1) Guardar el arreglo en un txt , en formato json_encode, y mostrar un boton al usuario que diga Finalizar. 2) Leer el txt , para solo recorrer la informacion e insertarla..

Bueno y adivinen que , no funcionooo ....


Gracias por tu sugerencia pateketrueke , lo que dices es muy cierto... bueno seguire buscando otras alternativas....

[dashtrash]

Iniciado por informacionsys

gracias por la aclaracion..

Viendo el proceso despues de que la funcion retorna el arreglo final se recorre para la insercion ,

Retornas un array para hacer una insercion?
Para qué creas el array con todo el fichero??
Lee hasta un maximo de x filas, compones un insert con esas x filas, y lo ejecutas.
Luego lees x más.

Lo que comenta pateketrueke se hace muy fácilmente con fastcgi_finish_request en caso de que estés usando php con fastcgi.

[informacionsys]

Hola...

Bueno ,creo que esa fue una de las primeras ideas , poder leer el archivo por partes.... pero googleando no encontre nada parecido....

[Italico76]

Lo que comenta @pateketrueke esta muy bien explicado aqui:

http://stackoverflow.com/questions/4...finish-request

[informacionsys]

Hola

Compañeros gracias por el material...... voy a revisarlo esta noche .....

Muchas Gracias a todossss.....

[Italico76]

Para que leas algo mas antes de dormir te dejo un enlace donde muestran el uso de funciones para conocer el uso de CPU y memoria de tu script:

http://code.tutsplus.com/tutorials/9...now--net-11304

[informacionsys]

Iniciado por Italico76

Para que leas algo mas antes de dormir te dejo un enlace donde muestran el uso de funciones para conocer el uso de CPU y memoria de tu script:

http://code.tutsplus.com/tutorials/9...now--net-11304

Gracias por el dato, la mayoria no las conocia.....

[dashtrash]

Iniciado por informacionsys

Hola...

Bueno ,creo que esa fue una de las primeras ideas , poder leer el archivo por partes.... pero googleando no encontre nada parecido....

No lees el archivo por partes.Lees el archivo de 1 vez.Lo que no haces es cargar todo el fichero en un array, y luego hacer inserts desde un array con TODAS las filas del fichero.
Si tu fichero es de 1000000 de lineas,no crees un array con 1000000 de elementos, y luego haces el insert.Lee el fichero linea a linea, pero cada vez que leas 1000, haz insert de esas mil (entiendo que harás un batch insert, y no 1000000 de inserts...).
Vacias el array, y vuelta a empezar.Así, 1000 veces.
No es "leer el archivo por partes".Es simplemente un for , y una operacion módulo (y una comparación).

[informacionsys]

Iniciado por dashtrash

No lees el archivo por partes.Lees el archivo de 1 vez.Lo que no haces es cargar todo el fichero en un array, y luego hacer inserts desde un array con TODAS las filas del fichero.
Si tu fichero es de 1000000 de lineas,no crees un array con 1000000 de elementos, y luego haces el insert.Lee el fichero linea a linea, pero cada vez que leas 1000, haz insert de esas mil (entiendo que harás un batch insert, y no 1000000 de inserts...).
Vacias el array, y vuelta a empezar.Así, 1000 veces.
No es "leer el archivo por partes".Es simplemente un for , y una operacion módulo (y una comparación).

Hola...


Muchas Gracias, me diste una excelente idea que me funciono a la maravilla....

[Italico76]

Pues si.... varios te digimos "procesa por pedazos" !!!

[informacionsys]

Iniciado por Italico76

Pues si.... varios te digimos "procesa por pedazos" !!!

Si y Muchas gracias, solo que de primerazo no veia la logica para hacerlo, ....

Les agradezco a todos por su gran colaboracion ..