Llenar progresivamente un JTable

[tronco020]

Hola, amigos javeros.

Tengo un JInternalFrame en el que establezco los rangos de bùsqueda para la BD. Luego presiono un botón y me abre otro JInternalFrame con una tabla ("tbl_filtros").
El siguiente método es el que trae los datos de la BD y está en el método formComponentShown del segundo JInternalFrame (el que contiene la tabla).

Código Javascript:

private void traerDatos(){
        DefaultTableModel model = (DefaultTableModel) tbl_filtros.getModel();
        Query query = sesion.createQuery("from Bienes where codigo between :descod and :hascod " +
                                         "and nombre between :desnom and :hasnom " +
                                         "and seccion between :dessec and :hassec " +
                                         "and localizacion between :desloc and :hasloc " +
                                         "and rubro between :desrub and :hasrub " +
                                         "and fechaalta between :desalta and :hasalta order by codigo");
        query.setParameter("descod", Integer.parseInt(codigoDe));
        query.setParameter("hascod", Integer.parseInt(codigoHa));
        query.setParameter("desnom", nombreDe);
        query.setParameter("hasnom", nombreHa);
        query.setParameter("dessec", Integer.parseInt(seccionDe));
        query.setParameter("hassec", Integer.parseInt(seccionHa));
        query.setParameter("desloc", Integer.parseInt(localizacionDe));
        query.setParameter("hasloc", Integer.parseInt(localizacionHa));
        query.setParameter("desrub", Integer.parseInt(rubroDe));
        query.setParameter("hasrub", Integer.parseInt(rubroHa));
        query.setParameter("desalta", fechaDe);
        query.setParameter("hasalta", fechaHa);
        Iterator<Entidades.Bienes> it = query.iterate();
        while (it.hasNext()){
            Entidades.Bienes b = it.next();
            Object[] dat = {b.getCodigo(),
                            b.getNombre(),
                            b.getSecciones().getNombre(),
                            b.getLocalizaciones().getNombre(),
                            b.getRubros().getNombre(),
                            b.getFechaalta(),
                            b.getValororigen()};
            model.addRow(dat);
        }
    }
 

Debido a que estoy trabajando con una BD relativamente grande (200.000 registros de 13 datos cada uno), el llenado de esta tabla demora un tiempo considerable, lo cual no es deseado a la vista del usuario. De qué forma puedo bajar los tiempos... es decir, ¿de qué forma puedo ir mostrando los datos a medida que los va cargando?

Muchas gracias.!

[jhonmelguizo]

Amigo, eso lo puedes solucionar con hilos, ejecutas un hilo y lo dejas trabajando, mientras le puedes mostrar al usuario una barra de progreso en caso de que estéis utilizando SWING.

Saludos...

[tronco020]

Bien, muchas gracias. Ya lo he implementado con un hilo. Pero ahora tengo otro problema: al momento de hacer el WHILE, demora demasiado. Para cargar los 200000 registros tarda aprox 7 minutos. Si bien me deja seguir trabajando con la tabla, el tiempo es mucho.
El mejor tiempo que conseguí fue trabajando con list() en lugar de iterate(): 1 minuto aprox. Pero se pasaba todo ese minuto sin mostrar nada, ya que ese minuto es lo que demora en hacer el list(). Y al ser una sentencia sola (atómica), no me sirve de nada el hilo. Además si trabajo con list(), no puedo agregar una barra de progreso.
Por favor, si a alguien se le ocurre una solución elegante a este problema lo agradecería mucho.

Saludos.

[jcMouse]

en donde se tarda mas no es en realizar la consulta en la base de datos, sino en cargar los datos en pantalla. lo que puedes hacer es, cargar los datos en memoria y despues cargarlos poco a poco en la interfaz, osea utilizando un metodo de paginacion

pregunta ¿es necesario que una consulta de busqueda genere tantos registros? segun entiendo en tu codigo, el resultado es un listado de casas o bienes, porque mejor no ampliar los parametros de busqueda

[tronco020]

Hola jcMouse. A este método lo puse en un hilo para darme cuenta qué es lo que realmente está tardando. Y ahora en lugar de usar el iterate() lo hago con el list(). Tarda aprox 20 segundos en hacer el list() y unos 8 segundos más en llenar la tabla.
Ahora bien... se que no es necesario hacer un listado de 200.000 registros, pero te comento... yo estoy ejecutando mi sistema en una PC con un procesador de 2.8 GHz con 1.5 GB de RAM. Lo que estoy intentando hacer es de alguna manera "emular" el comportamiento que tendrá este sistema en una Notebook conectándose a través de internet a la BD y con menos recursos que los que yo tengo. Es decir, quiero que en mi PC lo haga lo más rápido posible, para que al llevarlo a una PC con menos recursos y una conexión más lenta, no impacte en el rendimiento.
Y con respecto a la paginación, podrás explicarme un poco más de qué trata eso? O algún ejemplo en mi código?

Desde ya muchas gracias !!!

[jhonmelguizo]

Como dice jcMouse, utilizar paginación.

Es decir en tu sentencia sql puedes ponerle un límite de supongamos 100 registros en pantalla, al jtable agregarle un objeto o trabajarlo con un objeto que te permita poner:
<<Atras 1 [2] 3 4 5 6 7 8 9... siguiente>>

Esto permite que no tengas que cargar tantos registros y sea progresivamente, si el usuario está interesado en continuar viendo más información continuará consultando con las opciones propuestas.

Saludos...

[tronco020]

Gracias jhonmelguizo pero lamentablemente no me sirve esta opción, ya que necesito que el usuario vea todos los datos juntos para poder realizar comparaciones. Y por otro lado tengo que mostrar el monto TOTAL de los bienes. Para hacer esto, en algún momento debo levantar TODOS los datos juntos. Por estos motivos es que descarté el paginado.
Al final logré bajar los tiempos a 30 segundos aproximadamente, mediante la optimización del código. Y por otro lado le agregué un try / catch para que si la PC se queda sin memoria, nos muestre un mensaje indicándolo, y no que lance una Excepción.

Desde ya muchas gracias a todos por su tiempo !!!
Como siempre forosdelweb al pie del cañón.

[Oasis8]

Hola, no se si esto te servira de ayuda, o si te llegara tarde.

Lo acabo de probar con una tabla de 300.000 registros y funciona sin problema.

Se basa en "scrollable cursors"
En este enlace
http://www.froses.com/Assets/Files/A...bleModels2.pdf
tienes un documento donde se explica.

y en este otro
http://www.javahispano.org/forum/j2s...rancesc_roses/
los ejemplos

Espero que te sirva

[sivadmp]

hola Tronco, por que no utilizas la misma logica de los sitios web

es decir limitar la lista y colocar los botones de siguiente y atras, para que se vuelva a cargar los datos de la BD

saludos

[tronco020]

Hola amigos, recién veo los mensajes porque creí que había puesto Notificación instantánea por mail, pero no fue así. Ahora me instalé el Google Chrome y estoy utilizando la extensión de FDW, es fantástico.
Ahora si:
- Oasis8, gracias por esta valiosa info. La voy a investigar.
- sivadmp, gracias, pero esta lógica no me sirve, como expliqué más arriba, necesito que el usuario vea todos los datos a la vez, por eso no me sirven los botones de ANTERIOR y SIGUIENTE.

Muchas gracias a los dos. Saludos.

[tronco020]

Oasis8, de nuevo yo. Estuve investigando la clase que me indicaste y la verdad es que mejora notablemente los tiempos (en mi caso mejoró un 80%). Si bien tiene sus limitaciones, creo que se puede seguir trabajando un poco más esta clase para agregarle algunas cosas, como por ejemplo columnas calculadas, o setearle los nombres y el ancho a las columnas; pero es un gran comienzo. Muchas gracias !!!

[tronco020]

Hola Oasis8 y todos los interesados. Después de golpearme la cabeza contra la pared logré setearle los anchos y los nombres de las columnas y además, logré agregar columnas con campos calculados a partir de los datos de las otras columnas. La única desventaja es que al momento de darle clic a un título para ordenar los datos de esa columna, recalcula todos los datos nuevamente, y si la tabla contiene muchos registros, tarda un tiempo bastante elevado, pero salvando eso, me funcionó perfectamente.
Además logré en una columna agregarle, por ejemplo, una fecha y luego poder ordenarla.
Esta clase es realmente fantástica.

Si alguien está interesado en la solución que encontré, no duden en enviarme un mail a [email protected].
Como siempre, forosdelweb al pie del cañón !!!
Saludos a todos.

[SPAWN3000]

NO LEY MUY DETENIDAMENTE POR TIEMPO...Pero de algo te podria servir mi aporte.

En una aplicación empresarrial no es recomendable lo que deseas implementar.

1. CASO 1:Si necesitas ir mostrando registro a registro(Antes de recuperar todos los registros en la aplicacion), a la vez que una barra de progreso o algo por el estilo...necesitas un hilo entre tu aplicacion y el resto de procesos, esto indicaria que debes estar haciendo varias peticiones al servidor de base de datos lo que indica una baja granulacion, pero aumentar significativamente la lentitud de tu aplicación.

2. CASO 2:El uso mas eficiente siempre son los procedimientos almacenados(No existe aplicacion que pueda competir contra la velocidad de la base de datos), (200.000 registros no son mucho si la consulta esta bien planteada-Bien indexada(Index hint), +un correcto plan de ejecución de consultas).

Ahora para llenar la tabla despues de recuperados todos los registros, los hilos implican un aumento del tiempo ya que estos implican ceder un lapso de tiempo a otras tareas en el PC.

La paginacion es una buena alternativa...

Te comparto este link que podria serte informacion muy valiosa, hay un ejemplo que puede descargar...
http://java.sun.com/products/jfc/tsc...ChristmasTree/


Saludos,

[tronco020]

Hola, SPAWN3000. Muchas gracias por la info. El caso 1 lo tengo claro. Y con respecto al caso 2, lo voy a investigar un poco más, porque es interesante. Ya había leído algo acerca de los procedimientos almacenados, pero nunca me puse a hacer uno. Lo voy a probar.
Muchas gracias. Saludos.

[detective_jd]

SPAWN3000 despertaste mucho mi interés porque hace tiempo que quiero hacer una paginación al JTable.
y quería pedirte un ejemplo hecho de paginación.
También me llamo mucho la atención el pdf que pusiste del cual estoy interesado de ver un ejemplo hecho de eso.

puedes hacerme ese gran favor porque quiero acelerar la carga de mi jtable por la gran cantidad de datos q tenga q cargar desde mi colección.

si puedes y lo haces, te lo agradezco.