[SOLUCIONADO] Insert en PostgreSQL empleando Criteria es super lento

[titanikoktf]

Hola,

Estoy leyendo un archivo de texto grande con Java. El archivo tiene 5.000.000 de filas y cada uno tiene 3 columnas. El tamaño del archivo es de 350 MB. Para cada fila, lo leo, creo un objeto utilizando Criteria de Maven y la almaceno en una base de datos PostgreSQL con el comando Session.saveOrUpdate (objeto).

En la base de datos tengo una tabla con un ID de serie y tres atributos donde almaceno las tres columnas del archivo.

Al principio, el proceso se ejecutaba de forma "rápida" (35.000 registros en 30 minutos) pero cada vez es más lento y el tiempo para terminar de crecer de forma exponencial. ¿Cómo puedo mejorar el proceso?

He tratado de dividir el archivo grande en varios archivos más pequeños, pero es casi más lento.

Muchas gracias de antemano!

[huesos52]

Pero el problema no estará en java?

Un insert para un motor de bases de datos es una operación bastante rapida.

Te recomiendo que preguntes en el foro de java una posible optimización de este proceso.

saludos

[titanikoktf]

Iniciado por huesos52

Pero el problema no estará en java?

Un insert para un motor de bases de datos es una operación bastante rapida.

Te recomiendo que preguntes en el foro de java una posible optimización de este proceso.

saludos

Muchas gracias por la respuesta huesos52, pero tras investigar un poco más hemos encontrado que el problema estaba en PostgreSQL. El comando COPY te permite leer de un fichero con las columnas separadas por ",",";" o cualquier otro caracter e introducirlo en base de datos de forma rapidísima por lo que solucionamos todos nuestros problemas.

Saludos