Buscar coincidencias entre dos tablas de usuarios diferentes

asitudela · #1 (**permalink**) 05/02/2015, 03:11

Buenas,

a ver si alguien me puede guiar please, que tengo dos tablas de usuarios, en la que la información se guarda de forma diferente y no existe ningún campo para relacionarla. Me gustaría extraer aquellas filas en la que haya una posible coincidencia, digo posible, porque al guardarse de forma diferente los nombres o apellidos - por ejemplo - pueden haberse escrito de forma diferente.

Una tabla tiene alrededor de 30.000 registros, la otra, alrededor de 450.000.

Gracias

gnzsoloyo · #2 (**permalink**) 05/02/2015, 03:32

Pues si no hay elementos que las relacionen de forma segura, u otras tablas secundarias que permitan vinculará, ni modo. No se puede.
De no haber algo que las relacione, lo único que lograrás será crear datos basura, es decir inconsistentes.

asitudela · #3 (**permalink**) 05/02/2015, 06:40

No hay un campo relacional pero hay datos que son aproximados,

por ejemplo el nombre y los apellidos de una tabla puede tener un nombre como "Javier García" y en la otra tabla "GARCIA, JAVIER" (sin acentos y mayúsculas)

El resultado podría ser algo así como encontrado con una apriximación de un 90%, eso sería válido en mi caso.

gnzsoloyo · #4 (**permalink**) 05/02/2015, 06:44

Cita:

Iniciado por asitudela

No hay un campo relacional pero hay datos que son aproximados,

por ejemplo el nombre y los apellidos de una tabla puede tener un nombre como "Javier García" y en la otra tabla "GARCIA, JAVIER" (sin acentos y mayúsculas)

El resultado podría ser algo así como encontrado con una apriximación de un 90%, eso sería válido en mi caso.

Eso es lo que se llama inconsistencia...

¿Cómo puedes saber que "Javier García" y "Garcia, Javier" son exactamente la misma persona? ¿En qué te basarías para determinarlo?
No es un caso muy raro. En una ocasión tuve siete (7) personas con el mismo nombre y apellido en la misma institución y al mismo tiempo. Son cosas que pueden suceder.
Por eso yo hablaba de otras tablas, relacionadas con esas dos, donde pueda haber datos que se puedan usar para validar la relación de una forma mas segura.

Y te comento que hablar del 90% de "coincidencias" es lo mismo que hablar de datos-basura. 10% de errores es inaceptable en una base de datos.

asitudela · #5 (**permalink**) 05/02/2015, 07:45

Cita:

Iniciado por gnzsoloyo

Eso es lo que se llama inconsistencia...

¿Cómo puedes saber que "Javier García" y "Garcia, Javier" son exactamente la misma persona? ¿En qué te basarías para determinarlo?
No es un caso muy raro. En una ocasión tuve siete (7) personas con el mismo nombre y apellido en la misma institución y al mismo tiempo. Son cosas que pueden suceder.
Por eso yo hablaba de otras tablas, relacionadas con esas dos, donde pueda haber datos que se puedan usar para validar la relación de una forma mas segura.

Y te comento que hablar del 90% de "coincidencias" es lo mismo que hablar de datos-basura. 10% de errores es inaceptable en una base de datos.

El tema es que tendré que comparar por varios campos a la vez, nombre, apellidos, dirección... y de ahí me gustaría si alguno encaja con una probabilidad.

Obviamente, aunque ese 10% es inaceptable para tí, podría ser aceptable para mí, te podría poner un montón de ejemplos pero no me quiero extender, si tengo al final 200 casos con una probabilidad mayor a 90% lo miro de forma manual uno a uno.

gnzsoloyo · #6 (**permalink**) 05/02/2015, 08:03

Cita:

El tema es que tendré que comparar por varios campos a la vez, nombre, apellidos, dirección... y de ahí me gustaría si alguno encaja con una probabilidad.

Ese es el único camino viable. Tienes que lograr identificar lo que se denomina "superclave", una clave alternativa que permita discriminar en forma unívoca las relaciones.
Cualquier otra cosa no te será funcional.
No es sencillo decirte cómo hacerlo sin conocer el escenario real. Sólo opodremso darte consejos generales.

Evidentemente las aplicaciones que originan los datos de esas tablas tienen un muy mal diseño de datos y validaciones, ya que en una base no pueden darse este tipo de cosas...

asitudela · #7 (**permalink**) 05/02/2015, 08:23

Cita:

Iniciado por gnzsoloyo

Ese es el único camino viable. Tienes que lograr identificar lo que se denomina "superclave", una clave alternativa que permita discriminar en forma unívoca las relaciones.
Cualquier otra cosa no te será funcional.
No es sencillo decirte cómo hacerlo sin conocer el escenario real. Sólo opodremso darte consejos generales.

Evidentemente las aplicaciones que originan los datos de esas tablas tienen un muy mal diseño de datos y validaciones, ya que en una base no pueden darse este tipo de cosas...

Un sencillo ejemplo, imagínate que tienes tu base de datos de usuarios de una armería y tienes que compararla con la base de datos pública de terroristas, por tanto, tienes que comprobar si alguno de tus clientes es un terrorista. La base de datos pública es un desastre, no tienen dni, a veces tienen número de seguridad social, otras pasaporte, el nombre y la dirección la muestran en diferentes formatos...

Sin embargo, por ley, tengo la obligación de comprobarlo... En resumidas cuentas si logro reducir algo la base de datos me sirvirá, de ahí la probabilidad.

gnzsoloyo · #8 (**permalink**) 05/02/2015, 08:35

Lo siento, pero sin datos concretos y ejemplos reales no es posible hacer un analisis válido. Que me ejemplifiques un caso imaginario no me sirve, porque no puedo saber, sin estar delante de tu PC, que tanto te desviaste del escenario en tu ejemplo.
Tengo experiencia en analisis de este tipo de incoveniente de inconsistencias, pero para hacerlo obtengo los datos que requiero de los usuarios. No los invento.

Y, francamente, ejemplificar algo hablando de terroristas es como minimo desagradable. Creo que deberías haber usado algo un poco menos... violento.

asitudela · #9 (**permalink**) 05/02/2015, 09:20

Cita:

Iniciado por gnzsoloyo

Lo siento, pero sin datos concretos y ejemplos reales no es posible hacer un analisis válido. Que me ejemplifiques un caso imaginario no me sirve, porque no puedo saber, sin estar delante de tu PC, que tanto te desviaste del escenario en tu ejemplo.
Tengo experiencia en analisis de este tipo de incoveniente de inconsistencias, pero para hacerlo obtengo los datos que requiero de los usuarios. No los invento.

Y, francamente, ejemplificar algo hablando de terroristas es como minimo desagradable. Creo que deberías haber usado algo un poco menos... violento.

Si no quieres ayudar no me ayudes.... pero no menos valores los comentarios de otros sin conocimiento.

Por supuesto tengo que comprobar mi base de datos con la de terroristas y lo tengo que hacer yo y se hace en muchos otros sectores y es la ley quién te obliga....

gnzsoloyo · #10 (**permalink**) 05/02/2015, 09:48

Postea datos reales, entonces. O al menos ejemplso de datos que debe cruzarse.
Eso, o sigue la recomendación ya dada.
Ten en cuenta que en SQL no hay magia: Si no tienes datos con qué trabajar, o no los tienes tales que puedan relacionarse, todo lo que hagas será impreciso o inconsistente. Meras especiulaciones.

Por otro lado tengo derecho a decir lo que quiera cuando me hablas de terroristas, porque en mi país no tenemos ninguna obligación de realizar ese tipo de comprobaciones, al menos sin ser parte de las fuerzas de seguridad. Hacerlo sería simplemente ilegal.
Si en tu país tienen ese tipo de exigencias, no pienses que es universal.
Para mí era un ejemplo totalmente ficticio. Y antes de que imagines cualquier cosa, no: yo trabajo para una empresa multinacional, y no, no tenemos esa exigencia de parte del Estado. A pesar de lo que puedas pensar de mi país, tenemos leyes que protegen a los individuos.

asitudela · #11 (**permalink**) 06/02/2015, 02:24

Cita:

Iniciado por gnzsoloyo

A pesar de lo que puedas pensar de mi país, tenemos leyes que protegen a los individuos.

Si claro... ahora trata de mezclar esto.. quién ha hablado de países ahora... o de pensamientos.... y aunque trabajes en una multinacional y tengas alguna experiencia no quiere decir que sepas todo.... hay un proverbio que dice "Cuanto más se sabe, menos se asegura."

Libras · #12 (**permalink**) 06/02/2015, 12:01

aqui lo que se te dice es que un analisis como el que planteas esta un poco complicado, ahora de que herramientas dispones para hacerlo?? nada mas sql server?? tienes algo de BI?? en caso de ser sql server, ya investigaste sobre las busquedas en campos de tipo Full text???

asitudela · #13 (**permalink**) 20/02/2015, 04:23

perdona, no me había percartado de que había una nueva respuesta.

Gracias por tu mensaje, de hecho es mysql.

Pongo en el siguiente enlace las tablas..

http://we.tl/ZycSWo1XBD

Pensaba que podría enlazar un conjunto de consultas y obtener, pero creo que tiene bastante complejidad el asunto y quizás sea más sencillo crear un script.

Estaría dispuesto a pagar si alguien lo soluciona..

gnzsoloyo · #14 (**permalink**) 20/02/2015, 05:26

Movido a MySQL, de acuerdo a lo explicitado por el forista.