eliminar registros duplicados en mysql

el_cesar · #1 (**permalink**) 20/03/2011, 08:45

Estoy haciendo un script y probandolo en mi localhost pero no me corre

este es mi script

Código PHP:

Ver original<?php
//conecta a la base de datos
$conexion = mysql_connect("localhost", "root", "buckdich");
mysql_select_db("correos", $conexion);
 
 
 
$sql = "SELECT * FROM correos"; 
 
$runsql = mysql_query($sql) or die (mysql_error());
 
    while ($row1 = mysql_fetch_array($runsql){
 
        $email = $row1[0];
 
        //calcula duplicados
 
        $duplicado = "SELECT * FROM correos WHERE email LIKE '$email'";
        $run_duplicado = mysql_query($duplicado) or die (mysql_error());
        $cant_dup = mysql_num_rows ($run_duplicado);
 
        $tot_duplicado = $cant_dup-1;
 
        echo "Existen <b>".$tot_duplicado."</b> Registros duplicados para la direccion de correo <b>".$email."</b>";
}
 
 
?>

Me da un error 500

Patriarka · #2 (**permalink**) 20/03/2011, 08:50

anda probando
primero la conxion
luego la primer consulta
y despues la ultima consulta

a ver donde esta el error

sacala mysql_error() aveces tira errores incomprensilbles

carlos_belisario · #3 (**permalink**) 20/03/2011, 09:13

creo que podrias simplificar un poco tu consulta

Código PHP:

Ver original$query = mysql_query("SELECT COUNT(email) FROM correos GROUP BY email") or die(mysql_error());

de esta manera te va a decir cuantos hay de cada uno y te ahorras el estar haciendo dos consultas, saludos

el_cesar · #4 (**permalink**) 20/03/2011, 09:19

ya, el problema estaba en esta linea
while ($row1 = mysql_fetch_array($runsql){

debe quedar asi while ($row1 = mysql_fetch_array($runsql)){

No habia cerrado todos los parentesis

el_cesar · #5 (**permalink**) 20/03/2011, 09:24

Cita:

Iniciado por carlos_belisario

creo que podrias simplificar un poco tu consulta

Código PHP:

Ver original$query = mysql_query("SELECT COUNT(email) FROM correos GROUP BY email") or die(mysql_error());

de esta manera te va a decir cuantos hay de cada uno y te ahorras el estar haciendo dos consultas, saludos

Me suena interesante lo que pasa es que necesito sacar de la primera consulta el valor del duplicado para poder eliminar los repetidos, de todos modos mas tarde lo pruebo a ver

gracias

el_cesar · #6 (**permalink**) 20/03/2011, 10:25

listo ya funciona mi script, o almenos la parte que me da el numero de registros duplicados, lo que necesito ahora es eliminarlos.

para eso he complementado asi

Código PHP:

Ver original<?php
//conecta a la base de datos
$conexion = mysql_connect("localhost", "root", "buckdich");
mysql_select_db("correos", $conexion);
 
 
 
$sql = "SELECT * FROM correos"; 
 
 
$runsql = mysql_query($sql) or die (mysql_error());
$registros = mysql_num_rows ($runsql);
echo "Antes de la eliminacion habian <b>".$registros."</b> correos electronicos";
    while ($row1 = mysql_fetch_array($runsql)){
 
        $email = $row1[0];
 
        //calcula duplicados
 
        $duplicado = "SELECT * FROM correos WHERE email LIKE '$email'";
        $run_duplicado = mysql_query($duplicado) or die (mysql_error());
        $cant_dup = mysql_num_rows ($run_duplicado);
 
        $tot_duplicado = $cant_dup-1;
 
        echo "<p>Existen <b>".$tot_duplicado."</b> Registros duplicados para la direccion de correo <b>".$email."</b>";
}
 
         //elimina duplicados 
 
        while ($row2 == $tot_duplicado) {
            $elimina = "DELETE FROM correos WHERE email LIKE '$email'";
            $run_elimina = mysql_query($elimina) or die (mysql_error());
 
            echo "  Se eliminaron <b>".$tot_duplicado."</b> registros";
}
 
$sql2 = "SELECT * FROM correos"; 
 
 
$runsql2 = mysql_query($sql2) or die (mysql_error());
$registros2 = mysql_num_rows ($runsql2);
echo "Despues de la eliminacion quedaron <b>".$registros2."</b> correos electronicos";
 
 
?>

pero cuando lo corro se queda pegado y no elimina los datos

he construido este script para eliminar registros duplicados en mysql

Código PHP:

Ver original<?php
//conecta a la base de datos
$conexion = mysql_connect("localhost", "root", "*****");
mysql_select_db("correos", $conexion);
 
 
 
$sql = "SELECT * FROM correos"; 
 
 
$runsql = mysql_query($sql) or die (mysql_error());
$registros = mysql_num_rows ($runsql);
echo "Antes de la eliminacion habian <b>".$registros."</b> correos electronicos";
    while ($row1 = mysql_fetch_array($runsql)){
 
        $email = $row1[0];
 
        //calcula duplicados
 
        $duplicado = "SELECT * FROM correos WHERE email LIKE '$email'";
        $run_duplicado = mysql_query($duplicado) or die (mysql_error());
        $cant_dup = mysql_num_rows ($run_duplicado);
 
        $tot_duplicado = $cant_dup-1;
 
        echo "<p>Existen <b>".$tot_duplicado."</b> Registros duplicados para la direccion de correo <b>".$email."</b>";
}
 
         //elimina duplicados 
 
        while ($row2 == $tot_duplicado) {
            $elimina = "DELETE FROM correos WHERE email LIKE '$email'";
            $run_elimina = mysql_query($elimina) or die (mysql_error());
 
            echo "  Se eliminaron <b>".$tot_duplicado."</b> registros";
}
 
$sql2 = "SELECT * FROM correos"; 
 
 
$runsql2 = mysql_query($sql2) or die (mysql_error());
$registros2 = mysql_num_rows ($runsql2);
echo "Despues de la eliminacion quedaron <b>".$registros2."</b> correos electronicos";
 
 
?>

funciona bien hasta el punto de consultar los registros e indicar el numero de duplicados, pero cuando hago la parte para eliminarlos ejecuta el script pero se queda pegado y no hace nada y me da este error Notice: Undefined variable: row2 in /var/www/bd/eliminadup.php on line 31

cluster28 · #7 (**permalink**) 21/03/2011, 10:33

$row2 en ningún momento llega a tener un valor.

Y si además haces "DELETE FROM correos WHERE email LIKE '$email'" borrarás todas la filas que tengan el email en concreto y no dejará ninguna.

Supongo que querrás dejar una fila como mínimo, por lo que tienes que borrar con el criterio de un campo particular de cada fila.

GatorV · #8 (**permalink**) 21/03/2011, 10:34

Pues es obvio, ¿donde asignas $row2?, en el while() estas comparando que $row2 == $tot_duplicado, por eso se queda en un loop infinito.

Saludos.

el_cesar · #9 (**permalink**) 21/03/2011, 10:35

pero entonces como podria deinirlo

GatorV · #10 (**permalink**) 21/03/2011, 10:38

Aparte, ¿no te sería más sencillo hacerlo desde SQL?

Algo así:

Código SQL:

Ver originalDELETE 
  FROM correos
  WHERE UPPER(email) IN (
    SELECT UPPER(email)
    FROM test 
    GROUP BY email
    HAVING (COUNT(*) > 1)
  )

el_cesar · #11 (**permalink**) 21/03/2011, 10:52

me parece interesante la instruccion, la acabo de probar pero me pide una tabla test la cree pero tampoco elimina.

GatorV · #12 (**permalink**) 21/03/2011, 10:54

Era un ejemplo, de hecho la tabla debe de ser la misma de los correos, la escribí al vuelo, te recomiendo estudies un poco de SQL, lo que hace esa instrucción es seleccionar todos los correos donde sean duplicados, y luego la consulta del DELETE los borra.

Saludos.

s00rk · #13 (**permalink**) 21/03/2011, 11:45

Otra cosa que tmb te podria servir esque en las tablas manejes con un ID, asi cuando elimines tengas un identificador y eliminar uno de ellos y no las dos cuentas del mismo email.

Curda · #14 (**permalink**) 27/07/2011, 09:05

Excelente...

GatorV tu solución usando solo SQL es excelente su planteamiento, y bueno reduce mucho código en php, osea reduce hacer esos loops para seleccionar los duplicados y el loop para borrar los duplicando dejando solo uno de esos duplicados.

y si efectivamente si se va a hacer en php, es buena idea manejar los ID's como comenta s00rk...

y tmb hay q estudiar un poco mas el SQL y php, estoy de acuerdo que este es un foro para ayudar y solucionar pero no creo tanto q sea para enseñar, ps primero es recomendable leer los manuales que ha muchos compañeros les han costado su tiempo en hacer dicho documento y ya después de tener un conocimiento mas solido ahora si a operar el foro. Si estoy equivocado en mi forma de pensar les pido una disculpa y corrijan me pls.

Curda · #15 (**permalink**) 27/07/2011, 13:59

Esta es la solucion que yo utilice juntando MySQL y php y esta solucion junta aun un modificador mas... borra los registros duplicados dentro de grupos dejando solo un registro por grupo.

Código PHP:

  ini_set('max_execution_time',0);

 
print "<h2>Borrando duplicados...</h2>";   

 
$dele = 0; 

$sql = mysql_query("SELECT * FROM ".$DBprefix."newsletter GROUP BY grupo ;")or print mysql_error();                       

while ($row = mysql_fetch_array($sql)){

    $sql2 = mysql_query("SELECT * FROM ".$DBprefix."newsletter where grupo = '{$row['grupo']}' GROUP BY address HAVING (COUNT(*) > 1) ;")or print mysql_error();  

        while ($row2 = mysql_fetch_array($sql2)){

            $sql3 = mysql_query("SELECT * FROM ".$DBprefix."newsletter where grupo = '{$row['grupo']}' and address = '{$row2['address']}' ;")or print mysql_error();  

                $noone = 1;

                while ($row3 = mysql_fetch_array($sql3)){    

                    if($noone != 1){

                    $sql4 = mysql_query("DELETE FROM ".$DBprefix."newsletter WHERE ID = '{$row3['ID']}';")or print mysql_error();  

                    $dele++; 

                    }  

                    $noone++;  

                }

        }

}

print $dele." fueron borrados.";