[SOLUCIONADO] Insertar 100.000 registros sin que se cuelgue

[wilmer30]

Hola,

tengo una aplicación cliente, lo que hace es consumir datos de un web service el cual llega en formato json a la aplicación cliente, este inserta todos los registros a la BD, cuando es menos de 25.000 registros no hay problema, el problema esta cuando tenemos cerca de 100.000 registros, la aplicación cliente se detiene.

la forma en como realizo la inserción es mediante un for que realiza el ciclo cuantos registros exista para insertarlo.

Cuando la aplicación se detiene no me muestra ningún error, únicamente se detiene, la BD sigue viva y de los 100.000 registros únicamente habría insertado 40.000.

Se me viene a la cabeza que es un problema de memoria. Pero y, cómo podría controlar este ciclo del for, que otra forma existirá para el registro de los datos que me asegure su completa inserción.

Gracias por su ayuda.

[Profesor_Falken]

Buenas,

A mi me parece mas bien que la conexion con la base de datos se colapsa.

Deberias lanzar los inserts por lotes en lugar de uno a uno. Por ejemplo, puedes ir haciendo lotes de 5000 registros.

Te pongo un ejemplo de como deberia ir tu codigo.

Código Java:

PreparedStatement ps = c.prepareStatement("INSERT INTO employees VALUES (?, ?)");
 
int numInserciones = 0;
 
//TU FOR
for (bla bla)
  ps.setString(1, dato1);
  ps.setString(2, dato2);
  ps.addBatch();
 
  if (++numInserciones == 5000) {
    int[] results = ps.executeBatch();
    numInserciones = 0;
  }
}
 

Un saludo

[wilmer30]

Gracias por responder, la conexión a la BD es JDBC y la BD es DB2 sobre AS400.

No sabía que una conexión pudiera colapsarse o puedo estar entendiendo mal, tomare en cuenta tu sugerencia pero dejo el bucle que uso para la inserción.

Código Java:

for (int i = 0; i < msg.size(); i++) {
                    JSONArray msg2 = (JSONArray) msg.get(i);
 
                    String tot =(String)msg2.get(11);
                    String total;
                    if(tot.length() > 4){
                        total = tot.substring(0,tot.length()-2);
                    }else if(tot.length() == 0){
                        total = "0";
                    } else {
                        total = tot;
                    }
                    
                    Double total2 = Double.parseDouble(total);
                    String sql = "insert into TMP263PF ( MPERIODO, MCODREG, MASOCOM, MCENFOC, "
                            + "MUSUARIO, MPRESTAMO, MVPTOT, MFECPROC, MFECAPLI,MTRANSAC,MPOLIZA,MDOCIDE) "
                            + "values ( '"+fecha+"','"+msg2.get(6)+"', '" + msg2.get(7) + "','"+msg2.get(8)+"', '" + 
                            msg2.get(9) + "', '" + msg2.get(10) + "', " + total2 + ",'"+fechaActual+"','','','','' )";
                    System.out.println(sql);
                    s.execute( sql );
                }   
                s.close();
                JOptionPane.showMessageDialog(null, "Los datos fueron guardados correctamente");
 

[Profesor_Falken]

Buenas,

No se si es eso lo que te pasa, pero si a un sistema al que te conectas le envias 100.000 peticiones en unos de segundos, lo normal es que acabe haciendo un DoS.

Como te comentaba, lo mejor es que refactorices el código como te indico más arriba. De esa forma en lugar de 100.000 peticiones haras 20.


Un saludo

[wilmer30]

Muchas gracias por la ayuda