[SOLUCIONADO] Importar Varios archivos csv a Postgresql

[jsanchezt]

Que tal buen día a todos:

Estoy comenzando a interactuar un poco con PostgreSQL 8.4.9 y tengo la necesidad de subir varios archivos .CSV a una tabla que ya tengo definida, y la tarea de hacer uno por uno resulta bastante fastidiosa.

Asi es como subo un archivo y no tengo ningun problema:

\copy portafolio FROM 'C:\Users\LAP-52\ARCHIVOSCSV\archivo1.csv' WITH DELIMITER AS ',' CSV HEADER;

Existe una manera de subir mas de un archivo a la vez? Es decir que suba todos los archivos existentes en ese directorio?

Saludos.

[huesos52]

Te recomiendo hacer uso de un programa para etl (extraction, transformation and loading) como pentaho o talend (de la suite de spago).

Este tipo de software trae componentes bastante transparentes para hacer ese tipo de tareas.

O depronto, un software con java o .net que te lea el contenido de un directorio y ejecute las sentencias de copy directamente.

saludos

[jsanchezt]

Gracias por responder huesos22. Si de hecho el uso de alguna herramienta etl fue en lo primero que pense para dicho proceso. Sin embargo me tienen limitado con el uso de dichas herramientas o almenos de que sea alguna herramienta etl libre. Conoces algun etl open source que me puedas recomendar y que trabaje muy bien con postgres?? .

Que bueno parece ser que no podemos usar alguna herramienta etl.

Sabes si en la parte FROM del comando copy se puede establecer como variable la ruta de donde consumira el archivo?
saludos

Iniciado por huesos52

Te recomiendo hacer uso de un programa para etl (extraction, transformation and loading) como pentaho o talend (de la suite de spago).

Este tipo de software trae componentes bastante transparentes para hacer ese tipo de tareas.

O depronto, un software con java o .net que te lea el contenido de un directorio y ejecute las sentencias de copy directamente.

saludos

[huesos52]

Las 2 que te dije son libres.

Tanto pentaho como talend.

http://www.talend.com/download/data-integration

Te recomiendo mas talend. Exactamente lo que dices, lo trabajé con un componente llamado tfilelist.
http://vikramtakkar.blogspot.com/201...component.html

saludos

[jsanchezt]

Muchas gracias por las respuestas. Checare ambas opciones.

Una pregunta mas. Es posible ejecutar una instruccion, como el copy desde un punto bat? si si me podrias dar un ejemplo de ello?

Saludos y gracias nuevamente.

Iniciado por huesos52

Las 2 que te dije son libres.

Tanto pentaho como talend.

[url]http://www.talend.com/download/data-integration[/url]

Te recomiendo mas talend. Exactamente lo que dices, lo trabajé con un componente llamado tfilelist.
[url]http://vikramtakkar.blogspot.com/2012/12/understanding-tfilelist-component.html[/url]

saludos

[huesos52]

Se que se puede, pero no tengo un ejemplo.

Pero ya puedes buscar mas bien por foros de windows y de tareas programdas.

[jsanchezt]

Que tal nuevamente yo. Les comento ya resolvi mi duda de importar varios archivos csv a una tabla en postgres a la vez, dejo la solucion que realice por si mas adelante alguien la necesita.

Realice dos archivos .bat uno llamado principal y otro llamado anidado.

ARCHIVO principal.bat

for /R C:\Users\LAP-52\Documents\ %%i IN (*.CSV) DO (
@rem
anidado.bat C:\Users\LAP-52\Documents\%%~nxi
MOVE %%i C:\Users\LAP-52\Documents\TEMP
)

--------------------------------------------------------------------------------------------------------

ARCHIVO anidado.bat:

@echo off

SET server=localhost
SET /P server="Server [%server%]: "

SET database=postgres
SET /P database="Database [%database%]: "

SET port=5432
SET /P port="Port [%port%]: "

SET username=postgres
SET /P username="Username [%username%]: "

for /f "delims=" %%a in ('chcp ^|find /c "932"') do @ SET CLIENTENCODING_JP=%%a
if "%CLIENTENCODING_JP%"=="1" SET PGCLIENTENCODING=SJIS
if "%CLIENTENCODING_JP%"=="1" SET /P PGCLIENTENCODING="Client Encoding [%PGCLIENTENCODING%]: "

SET cadena="\copy portafolio FROM '%1%' WITH DELIMITER AS ',' CSV HEADER;"

REM Run psql
"C:\Program Files\PostgreSQL\9.2\bin\psql.exe" -h %server% -U %username% -d %database% -p %port% -c %cadena%

--------------------------------------------------------------------------------------------------------
NOTA: Se pueden establecer los parametros de autenticacion a postgres por default, solo que en el ejemplo se los deje como estan en las variables de entorno.

ej:

"C:\Program Files\PostgreSQL\9.2\bin\psql.exe" -h "192.168.XXX.XXX" -U "Miusuario" -d "MibaseDatos" -p "Puerto" -c %cadena%


Si hay alguna sugerencia para mejorar este codigo comentenmela porfavor al igual si surgen dudas.

Saludos.