Como dice jcMouse, utilizar paginación.
Es decir en tu sentencia sql puedes ponerle un límite de supongamos 100 registros en pantalla, al jtable agregarle un objeto o trabajarlo con un objeto que te permita poner:
<<Atras 1 [2] 3 4 5 6 7 8 9... siguiente>>
Esto permite que no tengas que cargar tantos registros y sea progresivamente, si el usuario está interesado en continuar viendo más información continuará consultando con las opciones propuestas.
Saludos...