Duda en Rendimiento PostgreSQL vs JAVA

[gasoft]

Cordial Saludo.

Les describo mi escenario: Se debe de cargar un archivo plano con una estructura; el contenido del archivo plano debe de ser validado antes de insertarse en una tabla de la BD, el archivo plano pueden contener en promedio más de un millón de datos. Que es mas optimo en cuanto a velocidad y rendimiento; hacer la validación desde JAVA y hacer la inserción correspondiente o enviarle a un Procedimiento almacenado en Postgresql los datos y que haga la validación correspondiente y luego proceda a la inserción en la tabla determinada.

¿Qué camino me sugieren que debo tomar?

Gracias por su atención y respuestas.

[huesos52]

Yo optaría por validar el archivo desde java. No porque piense que un procedimiento sería ineficiente, sino porque si lo haces desde java y estas seguro que ya se encuentra consistente, puedes hacer la importación del archivo haciendo uso del comando COPY.

Este si es verdaderamente eficiente en la carga de datos. He importado archivos con mas de 6 millones de registros y no se demora ni 10 segundos. Si lo haces por un procedimiento la ruta mas facil sería utilizar muchos inserts y esto es una tarea mas costosa.

Cuando lo tengas hecho cuentanos tu experiencia.

saludos

[gasoft]

Gracias huesos52 por su sugerencia ; podria entonces ser mas rapido un COPY que un INSERT ?.

[huesos52]

Iniciado por gasoft

Gracias huesos52 por su sugerencia ; podria entonces ser mas rapido un COPY que un INSERT ?.

muchisimo mas rapido. el COPY me ha dejado boquiabierto.

jajajajaja


slaudos