[SOLUCIONADO] Insert de miles de registros muy lento

[mager3]

Buenas tardes;

Actualmente ejecuto una consulta a Oracle que puede tener más o menos un millon de registros y luego pretengo almacenarla en mysql, el problema es que cuando consulto sin guardar la respuesta es muy buena en tiempo pero cuando le agrego el insert los tiempos aumentan a tan alto nivel que me hace inviable la solución.

con este foreach recorro la consulta pero cuando descomento el insert es donde ocurre la lentitud, ¿existe una forma más eficiente? supongo que esto ya debe estar cubierto con otro metodo.

Código PHP:

foreach ($datosarray as $consultaopen)
{
        //mysqli_query($conn,"INSERTT INTO mesanterior (ss,cargdoso) VALUES ('".$consultaopen['cod']."','".$consultaopen['desc']."')";
 
}
 

[huesos52]

Una opción mucho mas óptima sería concatenar en una variable php varios inserts al mismo tiempo.

Con esto, en cada ejecución y viaje a la base de datos, estarías ejecutando muchas sentencias al tiempo.

Otra opción, podría ser haciendo uso de transacciones. En grandes ejecuciones de datos, el autocommit empieza a ser un dolor de cabeza en la ejecución de este tipo de sentencias.

Saludos

[mager3]

huesos gracias, pregunta, hice esto pero me arroja error, que estoy haciendo mal?, con esto estoy tratando de ingresar varios insert.

Notice: Array to string conversion in C:\Users\xxx\Desktop\prueba\USBWebserver v8.6\root\cargos\index2.php on line 97

Código PHP:

foreach ($datosarray as $a=>$b){
    $query = "INSERT INTO mesanterior VALUES";
 
    foreach($b as $c => $d){
        $query.= " ($d),";
    }
    $query = substr($query,0,-1);
    mysql_query($query);
    // TODO verificar si hubo problemas etc, etc
}
 

Acoplado del ejemplo: http://www.forosdelweb.com/f18/probl...masivo-966025/

[gnzsoloyo]

PHP es OFF TOPIC en los foros de BBDD.

Movido al foro adecuado.

[tuadmin]

la mejor solucion es que lo hagas por TROZOS de 100 registros en 100, y como te dijeron mas arriba que armes una CONSULTA MYSQL que realize la insercion de 100 registros con una unica llamada a la funcion mysqli_query, ya que cada vez que llamas a esta funcion, hace varios procesos,
*verificacion de conexion
*validacion de los AUTH
*apertura de punteros
*open y close connections
y algunas que otras

como te comentaron la mejor solucion mas rapida, es que realizes, por trozos grandes las inserciones, y que trates de usar las funciones mysqli_query lo menos posible. y otra cosa es que esto deberia ser ejecutado por un proceso aparte, un unico demonio que este realizando esta operacion

[mager3]

intente ejecutar la consulta por bloques preguntando si el contador es múltiplo (para el caso: multiplo de 3) y me funciona parcialmente porque si tengo 10 registros me genera un insert cada 3 registros pero el 10 no me lo ejecuta... "Claro porque no es múltiplo de 3 no entraen la condición". me pueden por favor orientar.

Código PHP:

While ($row = OCI_Fetch_Array($rstOpenConvenio)) {
 
    //$resultado = mysqli_query($qMysql, $conn);
    //mysqli_query($conn,"INSERT INTO mesanterior (ss) VALUES ('".$row[0]."')");
 
    $contador=$contador+1;
    $values.= "('".$row[0]."','".$row[1]."','".$row[2]."','".$row[3]."','".$row[4]."','".$row[5]."','".$row[6]."','".$row[7]."','".$row[8]."','".$row[9]."','".$row[10]."','".$row[11]."','".$row[12]."','".$row[13]."','".$row[14]."','".$row[15]."','".$row[16]."'),";
 
    if (fmod($contador, 100)==0){
        $qMysql = "INSERT INTO mesanterior (periodicidad,SS,cargdoso,cargunid,cargconc,concdesc,cargvalor,cargsign,sesuserv,sesususc,sesucate,sesusuca,pefacicl,locadesc,tipodir,copagina,observacion) VALUES";
        $values = substr($values,0,-1);
        $sql=$qMysql." ".$values;
        echo $sql;
        $resultado=mysqli_query($conn,$sql);
        $values="";
        echo $contador." es multipo de 100 ";
        echo "<br><br>";
    }
}
 

[tuadmin]

Código PHP:

<?php
$values=array();
$contador=0;
While ($row = OCI_Fetch_Array($rstOpenConvenio)) {
 
    //$resultado = mysqli_query($qMysql, $conn);
    //mysqli_query($conn,"INSERT INTO mesanterior (ss) VALUES ('".$row[0]."')");
    $values[]= "('".$row[0]."','".$row[1]."','".$row[2]."','".$row[3]."','".$row[4]."','".$row[5]."','".$row[6]."','".$row[7]."','".$row[8]."','".$row[9]."','".$row[10]."','".$row[11]."','".$row[12]."','".$row[13]."','".$row[14]."','".$row[15]."','".$row[16]."')";
    if(count($values)>99){// es mayor a 99 hacemos el insert
        $qMysql = "INSERT INTO mesanterior (periodicidad,SS,cargdoso,cargunid,cargconc,concdesc,cargvalor,cargsign,sesuserv,sesususc,sesucate,sesusuca,pefacicl,locadesc,tipodir,copagina,observacion) VALUES ";
        $qMysql .= implode(",\n",$values);
        echo $sql;
        $resultado=mysqli_query($conn,$sql);
        echo count($values)." es multipo de 100 ";
        echo "<br><br>";
        //vaciamos la variable $values
        $values=array();
    }
}
// en caso de que siga existiendo los datos, pero estos no llegaron al limite, realizamos nuevamente la insercion
if(count($values)>0){
$qMysql = "INSERT INTO mesanterior (periodicidad,SS,cargdoso,cargunid,cargconc,concdesc,cargvalor,cargsign,sesuserv,sesususc,sesucate,sesusuca,pefacicl,locadesc,tipodir,copagina,observacion) VALUES ";
        $qMysql .= implode(",\n",$values);
        echo $sql;
        $resultado=mysqli_query($conn,$sql);
 
        echo count($values)." es multipo de 100 ";
        echo "<br><br>";
 
}
 

[mager3]

Muchas gracias a todos, me funcionó perfecto.