query masivo a la base de datos

[acoevil]

Buenas tardes,

Tengo una aplicacion, y esta recibe archivos planos de casi 3 millones de registros pesan 157 megas mas o menos, la base de datos esta hecha en postgres.

Q hacen ustedes para aumentar el rendimiento del INSERT a nivel de la base de datos y en codigo


Muchas gracias por sus aportes.

[GatorV]

Tema movido desde PHP a PostgreSQL

[snahor_]

Lo mas optimo y dado que no se mucho se tu caso especifico, es usar COPY [1] no INSERT.

[1] http://www.postgresql.org/docs/9.0/static/sql-copy.html

[acoevil]

Buenas tardes, resulta que estoy ejecutando el comando copy, estoy ingresando mas de 3 millones de registros en 1 min aprox (definitivamente copy parece lo mejor), el problema es el siguiente.

La tabla tiene un campo que es idencabezado, todos los registros que se hacen con ese archivo tienen el mismo encabezado y ademas otro campo idregistro, cada registro tiene su propio valor desde 1, 2, 3, hasta la cantidad de registros del archivo.

Por medio del comando COPY puedo ingresar los registros , pero como puedo hacer para registrar el idencabezado y idregistro ? sabiendo que si lo hago en el copy no puedo incrementar el idregistro por cada archivo

(El archivo plano no contiene idencabezado tampoco el idregistro)

Muchas gracias por sus ayudas.

[huesos52]

si trabajas la versión 8.3 en adelante se puede haciendo el copy de una consulta SQL y no directamente de la tabla.

salkudos

[acoevil]

No entiendo, me podrias porfavor dar un ejemplo ?

[huesos52]

Código SQL:

COPY (SELECT * FROM country WHERE country_name LIKE 'A%') TO '/usr1/proj/bray/sql/a_list_countries.copy';
 

tomado de http://www.postgresql.org/docs/8.4/static/sql-copy.html

[acoevil]

Buenos dias, gracias por responder, pues parece que no me entiendes la pregunta.

Digamos que el archivo biene así por columnas

columna3, columna4, columna5

y eso se insertar en la base de datos, no hay ningun problema, pero resulta que tambien es necesario ingresar las columnas 1 y 2 pero no estan en el archivo, se crean dinamicamente con java....

Pensaba que iba a necesitar re-construir el archivo desde el principio colocandole las columnas 1 y 2

Quedando asi

Columna 1, Columna 2, Columna 3, Columna 4, Columna 5

para poder hacer el ingreso de los datos.


Espero se entienda la pregunta, muchas gracias

[huesos52]

entonces si tienes que reconstruir el archivo.

[acoevil]

Hola que tal, gracias por responder.

Pues uf, reconstruir el archivo seria un proceso bastante pesado y solo necesito 2 columnas jeje... la cosa es que esas columnas tienen llaves primarias y se tienen que insertar.

El comando COPY no acepta 2 destinos diferentes ? pensaba en crear el archivo aparte con las 2 columnas y despues decirle que coja del archivo 1 las columnas x y del archivo 2 las columnas x.., jaja pero si es que se pudiera hacer eso...

---

Bueno, tengo otra posible solucion, me dice porfavor que opina.

Q tal si registramos en base a la cantidad de registros del archivo las 2 primeras columnas entonces cuando ya fueramos hacer el COPY pues ya tendria esa parte...

O bueno que me sugiere para poder lograrlo jeej ...

Muchas muchas gracias por la ayuda.

[huesos52]

En la ubicacion del ejemplo tengo un archivo con una sola columna así.

daniel
daniela
monica

Código SQL:

postgres=> CREATE TABLE prueba1(id serial,nombre text,fecha DATE DEFAULT now());
 
NOTICE:  CREATE TABLE creará una secuencia implícita «prueba1_id_seq» para l
a columna serial «prueba1.id»
CREATE TABLE
postgres=> CREATE TABLE prueba2(nombre text);
CREATE TABLE
postgres=> copy prueba2 FROM E'e:\\nombres.txt' WITH delimiter AS ',';
COPY 3
postgres=> SELECT *FROM prueba2;
 nombre
---------
 daniel
 daniela
 monica
(3 filas)
 
 
postgres=> INSERT INTO prueba1 (nombre) SELECT *FROM prueba2;
INSERT 0 3
postgres=> SELECT *FROM prueba1;
 id | nombre  |   fecha
----+---------+------------
  1 | daniel  | 2011-01-04
  2 | daniela | 2011-01-04
  3 | monica  | 2011-01-04
(3 filas)
 

esa sería la forma.

saluds