reporte/almacén con datos de postgresql+mysql

cacr · #1 (**permalink**) 26/11/2007, 12:22

Saludos

Estamos desarrollando/migrando un sistema de información regional. Se inició en mysql y se está (progresivamente) migrando a postgresql.

Actualmente estoy trabajando con un módulo (servicios públicos) cuyas variables principales están en postgresql, pero que para ciertas variables (población) calculadas requieren de 2 campos de una tabla en mysql.

Por ahora, veo 2 opciones:

Al momento de ingresar datos al formulario de la tabla de servicios públicos, recupero los datos de población, calculo, y almaceno en la tabla de servicios públicos el valor calculado

Al momento de hacer una consulta/reporte de servicios públicos, recupero los datos que necesito de población, calculo y muestro el valor calculado

Pensando en la migración a postgresql, da la impresión que la segunda alternativa sería la correcta, pero... ¿iré a tener problemas de rendimiento?

Ideas?

seyko · #2 (**permalink**) 27/11/2007, 04:57

Hola,
Yo personalmente, migraria provisionalmente los 2 datos que necesitas a postgres para acceder directamente a ellos mientras que la migracion definitiva avanza.
Yo estoy migrando una BD sqlserver a postgres, linkada sqlserver desde postgres el rendimiento cae en picado.

Un saludo

cacr · #3 (**permalink**) 27/11/2007, 06:17

Si, así lo hice con otras tablas, el problema con esta (población) es que no la han cargado ni en un 10% y me complicaría la cosa para "replicar" los datos...

Al menos nunca he visto nada que permita replicar datos entre BDs diferentes

seyko · #4 (**permalink**) 27/11/2007, 07:17

no entiendo.. mientras menos carga tenga mejor -> menos tienes que copiar.
A que te refieres con "replicar"?

cacr · #5 (**permalink**) 27/11/2007, 08:09

El asunto es que la información de la tabla población, no está cargada del todo, te decía que va como por el 10%, entonces, sí hago una copia y la pego a postgres, tendría que estar pendiente y replicando de mysql a postgresql... lo cual no me parece nada funcional

seyko · #6 (**permalink**) 27/11/2007, 09:39

¿por que la tabla origen de la BD que quieres migrar esta al 10%??

Veo 2 opciones posibles:
1. Cuando cargas mysql cargas también en postgres
2. Conectas las BD para acceder desde postgres a mysql, al menos, hasta que la carga llegue al 100% (DBI-link)

Un saludo

cacr · #7 (**permalink**) 28/11/2007, 07:04

Cita:

Iniciado por seyko

¿por que la tabla origen de la BD que quieres migrar esta al 10%??

Porque el sistema se está cargando... son varios módulos que se han creado, y se han ido cargando de acuerdo al que ha estado listo, además que los transcriptores no son muchos (2) y tampoco son rápidos...

Cita:

Iniciado por seyko

Veo 2 opciones posibles:
1. Cuando cargas mysql cargas también en postgres
2. Conectas las BD para acceder desde postgres a mysql, al menos, hasta que la carga llegue al 100% (DBI-link)

la segunda opción me parece más viable... no soy el responsable de los módulos que están sobre mysql, más sí sobre los de postgresql (y del servidor de BD pg)

Estoy revisando la doc que hay en:
http://pgfoundry.org/docman/?group_id=1000045

Pero no me ayuda mucho... algún enlace con receta/manual/tutorial interesante?

seyko · #8 (**permalink**) 29/11/2007, 03:40

no encontre nada cuando lo busque.
Te puedo ayudar con mi experiencia, que no es mucha. Pero tampoco es muy complicado.

1. create language plperlu;
2. lanzas dbi_link.sql ( te crea el esquema y las funciones necesarias)
3. Conectar con la BD, yo conecto con SQLServer, pero en examples/,mysql tienes el sql para conectar.

A la espera, un saludo

cacr · #9 (**permalink**) 30/11/2007, 08:34

Gracias seyko, los pasos 1 y 2 están claramente en la doc, pero conectar, ejecutar, eso no lo veo... tengo la carpeta examples/mysql:

probé de tirar, tal y como está en el ejemplo:

Código:

SELECT dbi_link.make_accessor_functions(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
);

cacr · #10 (**permalink**) 30/11/2007, 08:37

y me devolvió:

Código:

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.dbi_link_init()Â»
NOTICE:  Setting get_dbh in %_SHARED hash. at line 25.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.dbi_link_init()Â»
NOTICE:  Setting remote_exec_dbh in %_SHARED hash. at line 25.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.dbi_link_init()Â»
NOTICE:  SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)

NOTICE:  SELECT count(*) AS "driver_there"
FROM dbi_link.available_drivers()
WHERE available_drivers = 'dbi:mysql:database=sir;host=localhost'

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  Checking whether 'dbi:mysql:database=sir;host=localhost' has table_info... at line 59.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',

    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  'dbi:mysql:database=sir;host=localhost' has table_info :) at line 61.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  Checking whether 'dbi:mysql:database=sir;host=localhost' has column_info... at line 59.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  'dbi:mysql:database=sir;host=localhost' has column_info :) at line 61.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  Checking whether 'dbi:mysql:database=sir;host=localhost' has quote... at line 59.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  'dbi:mysql:database=sir;host=localhost' has table_info :) at line 61.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  Checking whether 'dbi:mysql:database=sir;host=localhost' has column_info... at line 59.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  'dbi:mysql:database=sir;host=localhost' has column_info :) at line 61.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  Checking whether 'dbi:mysql:database=sir;host=localhost' has quote... at line 59.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  'dbi:mysql:database=sir;host=localhost' has quote :) at line 61.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  INSERT INTO dbi_link.dbi_all_connection_info (
    data_source,
    user_name,
    auth,
    dbh_attributes,
    dbi_connection_environment,
    remote_schema,
    remote_catalog,
    local_schema
) VALUES (
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»

ERROR:  error from Perl function: error from Perl function: llave duplicada viola restricciÃ³n unique Â«dbi_connection_data_source_keyÂ» at line 94. at line 35.



',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  'dbi:mysql:database=sir;host=localhost' has quote :) at line 61.

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»
NOTICE:  INSERT INTO dbi_link.dbi_all_connection_info (
    data_source,
    user_name,
    auth,
    dbh_attributes,
    dbi_connection_environment,
    remote_schema,
    remote_catalog,
    local_schema
) VALUES (
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)

CONTEXT:  sentencia SQL: Â«SELECT dbi_link.set_up_connection(
    'dbi:mysql:database=sir;host=localhost',
    'root',
    '',
    '---
AutoCommit: 1
RaiseError: 1
',
    NULL,
    NULL,
    NULL,
    'sir'
)
Â»

ERROR:  error from Perl function: error from Perl function: llave duplicada viola restricción unique Â«dbi_connection_data_source_keyÂ» at line 94. at line 35.

seyko · #11 (**permalink**) 03/12/2007, 04:49

mmm pues la verdad no se que pasa, a mi me costo un poco conectar, tuve que jugar un poco con la sql.

UPDATE
pg_catalog.pg_settings
SET
setting =
CASE WHEN 'dbi_link' = ANY(string_to_array(setting, ','))
THEN setting
ELSE 'dbi_link,' || setting
END
WHERE
name = 'search_path'
;

SELECT make_accessor_functions(
'dbi:Sybase:aquiSoloTengoLaIpDelHost', (sin esquema ni BD)
'user',
'pass', (no tiene pass el root de tu BD?)
'
AutoCommit: 1
RaiseError: 1
', (Si le quito esto no me dejaba conectar)
NULL,
NULL,
NULL,
'esquema_donde_replica'
);

Para desinstalar solo tienes que eliminar el esquema dbi_link, por si quieres volver a probar.

No se si puedo ayudarte mucho más, sorry :(

Un saludo

cacr · #12 (**permalink**) 03/12/2007, 08:31

Espérate que no entiendo...

Con tus líneas, me hizo algo, leyó las tablas que hay en la BD mysql, y me las creo en el esquema que le dije... obviamente cambiando por mis datos de BD, IP, etc... los datos los veo en vistas...

Explícame algo (no sé por qué me da la impresión que de aquí en adelante la cosa es conceptual), ¿de qué se trata esto, a qué se debe que vea los datos en vistas? ¿puedo "sincronizar" para que al "tocarse" la BD de mysql se toqué la de pg?

seyko · #13 (**permalink**) 04/12/2007, 03:31

ok, te cuento.
Al linkarla lo que hace es "replicarte" el esquema de mysql en un esquema de postgres, a base de vistas.
Cuando haces una select sobre el esquema replicado, conecta con mysql y te devuelve lo que hay en ese momento en mysql, es decir, si insertas o borras datos en mysql, la select sobre postgres te los muestra. Asi tienes el esquema actualizado para poder acceder directamente desde postgres a mysql.
uff no se si me he explicado muy bien!

Un saludo

cacr · #14 (**permalink**) 04/12/2007, 08:56

Te entiendo! más claro no canta un gallo... ya con eso es mucho lo que se puede hacer...

Gracias amigo seyko!!!

Pendientes,

seyko · #15 (**permalink**) 04/12/2007, 10:53

De nada desde España ;)