Validar que solos los ids nuevos sean insertados

[ImHarold]

Buen día compañeros estoy haciendo un foreach en donde de una txt traigo una base de datos y la inserto mediante el foreach que les comentaba, pero necesito validar que no me entren ids repetidos a la tabla.

Me gustaría saber si hay alguna forma de validar esto, con php.

[xerifandtomas]

Un pregunta por discernir un poco lo que quieres.

Si el id esta ya en la tabla, quieres descartar el registro por completo o añadirlo con otro id?

Para insertar solo si no existe puedes hacer algo asi:

Código SQL:

INSERT INTO emails (id,  email)
SELECT 5, '[email protected]'
FROM DUAL
WHERE NOT EXISTS (SELECT id FROM emails WHERE id = 5  LIMIT 1)
 

[ImHarold]

Si. Necesito que no inserte uno que ya existe.

Lo hago con un autoincremental no hay problema mira mi código

Código PHP:

foreach ($filasP as $key => $valoresP) {
          $valoresP1 = trim(str_replace("'", "", $valoresP));
          list($Id_U, $Id_chk, $Cnt, $Producto) = explode(",",($key + 1).",$valoresP1");
          $InsertP = mysql_query("REPLACE INTO pedido(Id_U, Id_chk, Cnt, Producto) VALUES ('$Id_U','$Id_chk','$Producto','$Cnt')", $conexion);
    }
 

Ese REPLACE que ves hay es el que debemos cambiar y creo que con lo que dices quedaría así:

Código MySQL:

INSERT INTO pedido(Id_U, Id_chk, Cnt, Producto)
SELECT '$Id_U','$Id_chk','$Producto','$Cnt'
FROM DUAL
WHERE NOT EXISTS (SELECT Id_U FROM pedido WHERE id = $Id_U  LIMIT 1)
 

Sería así, por fa?

[xerifandtomas]

Si tu id es un PK o un campo único, quizás lo más fácil es algo como esto:

Código MySQL:

INSERT IGNORE 
  INTO tabla 
    (id, valor, ...) 
  VALUES 
    (25, 'valor, ...)
 

Básicamente en tu consulta cambia el REPLACE por IGNORE

Con ignore evitas que se inserte el registro y que te arroje un error por violación de PK o unique, indicando que es duplicado. Sólo tienes que asegurarte de que el valor que no quieres que se repita sea único o v clave primaria.


Puedes obtener más información sobre insert en el manual.

Igualmente esto es un problema que si lo vas a tratar con sql, nada tiene que ver con php.

En caso de tratarlo con php, debes realizar dos consultas, la primera para comprobar si existe el dato en la tabla.

Y mediante un if determinar si se ejecuta o no la segunda sentencia.

[ImHarold]

Si ese ya lo hice pero como ese valor viene como autoincremental (lo creo en el foreach que viste antes) no me funciona.

http://www.forosdelweb.com/f86/mejor...gnore-1150757/

Como sería en PHP a ver, no se como más o si lo traigo ese autoincremental desde del txt y el campo varchar e index en la tabla y hay si el Insert Ignore, son muchas lineas de entrada en trafico que se actualizan cada 30 segundos. No se como más hacer D;

Intentaré nuevamente a ver

[xerifandtomas]

A ver lo que no me queda es que quieres hacer exactamente.

Al insertar un registro:
a) si el id existe, insertarlo con otra id diferente
b) si el id existe, descartar la inserción por completo
c) si el id existe, reemplazar los datos existentes por los nuevos

[ImHarold]

b) Si el Id existe descartar la inserción por completo... y seguir con el siguiente Id.

Mira así me llegan los datos por el txt - Mi Id o indice es un autoincremental no en la tabla de MySQL pero si en el txt así:

1,8840,'Set Cubiertos',1
2,8840,'Efectivo',1
3,8841,'Serv. Domicilio',1
4,8841,'Huev RevCebTomat',1
5,8841,'Empq Fritat Desy',1
6,8841,'.SIN',1
7,8841,'ArepitasQueso(3)',1
8,8841,'Mini Salchichas.',1
9,8841,'Empq M Salc Desy',1
10,8842,'Serv. Domicilio',1
11,8842,'Huev RevCebTomat',1
12,8842,'Empq Fritat Desy',1
13,8842,'ArepitasQueso(3)',1
14,8842,'Pan Brioche',2

Código PHP:

$filasP = file('C:\IntranetPV\Pedido.txt');
 
    foreach ($filasP as $key => $valoresP) {
          $valoresP1 = trim(str_replace("'", "", $valoresP));
          list($Id_U, $Id_chk, $Cnt, $Producto) = explode(",",$valoresP1);
          $InsertP = mysql_query("REPLACE INTO pedido(Id_U, Id_chk, Cnt, Producto) VALUES ('$Id_U','$Id_chk','$Producto','$Cnt')", $conexion);
    }
 

Actualmente remplaza... pero cuando son muchas líneas se lentea la aplicación y el servidor también sube en performance :/.

Intente con consulta INSERT IGNORE en vez de REPLACE

Código MySQL:

INSERT IGNORE INTO pedido(Id_U, Id_chk, FechaP, Total, Cnt, Producto) 
VALUES ('$Id_U','$Id_chk','$FechaP','$Total','$Producto','$Cnt')
 

Pero lo que hace es insertar una vez todos los registros y ya de hay de vuelve a insertar ni a ignorar ni nada.

Dicho esto necesito es que solo inserte una cantidad prudente (100 registros/lineas) y o así sea que valide el ultimo Id y vaya insertando (lo cual sería mucho mejor).

Insertaría solo un pedido por ciclo. (el ciclo lo hace cada 30 segundos) entonces cada vez que pase inserte solo el nuevo o el grupo de nuevos.

[xerifandtomas]

Puedes salir del bucle con return

Código PHP:

$i=0;
foreach ($filasP as $key => $valoresP) {
if ($i>100){return;}
/* código */
++$i;
}
 

El problema de esto es que si no eliminas las filas ya procesadas del txt siempre va a recorrer las mismas, siempre va a recorrer las 100 primeras.

Utilizando el ignore claro, para que descarte las que dan error por clave duplicada.

El problema es que sin un contador o alguna forma que indique los registros nuevos, no hay manera de saber desde el php, cuales son nuevos y cuales no antes de procesarlos.

[xerifandtomas]

Espera, quizás con mysql_affected_rows(), puedas realizar la tarea, la única duda que me cabe es que retorna la función en caso de utilizar un ignore, ya que en el manual no se indica de forma explícita, pero entiendo que debe devolver 0.

Por lo tanto podrías probar asi:

Código PHP:

$i=0;
foreach ($filasP as $key => $valoresP) {
if ($i>100){return;}
/* código */
$i=$i+mysql_affected_rows();
}
 

Para que el bucle pare cuando haya insertado 100 registros.

Igualmente, no creo que sea lo más óptimo, por que cada vez que se ejecute va a recorrer todo asta insertar 100 registros o el bucle terminé. Por lo que si el txt no para de crecer el tiempo empleado para realizar la tarea tampoco. Ya que siempre va a empezar por la primera fila del txt.

[ImHarold]

El txt es traido mediante en un bat (herramienta que ejecuta archivos) esté lo ejecuta cada 28/30 segundos unas consulta una base de datos Sybes de otro servidor. Teniendo esto en cuenta el puede traer las ultimas 300 o 100 lineas el problema es que....

Como hago para que inserte en la tabla y alo que vuelva a ejecutar mi ciclo ignore la key duplicada e inserte las nuevas.

No se si insertando el id que le sigue... con myssql_insert_id o si desde php se puede manejar o controlar por medio de un arreglo no se que mas se me ocurre

[ImHarold]

Iniciado por xerifandtomas

Espera, quizás con mysql_affected_rows(), puedas realizar la tarea, la única duda que me cabe es que retorna la función en caso de utilizar un ignore, ya que en el manual no se indica de forma explícita, pero entiendo que debe devolver 0.

Por lo tanto podrías probar asi:

Código PHP:

$i=0;
foreach ($filasP as $key => $valoresP) {
if ($i>100){return;}
/* código */
$i=$i+mysql_affected_rows();
}
 

Para que el bucle pare cuando haya insertado 100 registros.

Igualmente, no creo que sea lo más óptimo, por que cada vez que se ejecute va a recorrer todo asta insertar 100 registros o el bucle terminé. Por lo que si el txt no para de crecer el tiempo empleado para realizar la tarea tampoco. Ya que siempre va a empezar por la primera fila del txt.

El bat se ejecuta y hay se ejecuta todo el txt y luego el script (bucle) que inserta, no se si se pueda coger el ultimo id e ingresar el siguiente.

[xerifandtomas]

Es que todo depende, me vas diciendo cosas conforme vamos avanzando y sin tener una visión completa de lo que deseas y como se generan los datos o si siguen unas reglas claras pues es difícil establecer una solución concreta a tu problema.

Si el archivo txt se va a corresponder con la base de datos, de modo que cada línea del archivo se corresponde con un registro en la base de datos y a su vez sus id se correcponden con el número de line en el archivo, puede ser fácil.
Ya que cuando traes el archivo mediante file y generas el array cada clave del array se corresponde con el id de la base de datos (clave_array+1).

Por lo que puedes hacer lo siguiente:

Obtener el último id con un consulta como esta.

Código SQL:

SELECT MAX(id) AS id_mas_alto FROM tabla
 

Y ahora puedes intentar algo como esto:

Código PHP:

//cortas el array por el id más alto obtenido en la consulta
$filas_pendientes = array_slice($filasP, $id_mas_alto);
//desecha el array $filasP para liberar memoria
unset($filasP);
 
//realizas tu bucle estableciendo un límite si quieres o no
$i=0;
foreach ($filas_pendientes as $key => $valoresP) {
if ($i>100){return;}
/* código */
$i=$i+mysql_affected_rows();
}
 

El único inconveniente es que se deben corresponder las filas del archivo con las de la bd. Y por lo menos no se deberían de borrar nada del archivo.



No lo he probado, por que estoy desde el móvil, pero te puede servir de idea para desarrollar tu Script.