JList con una columna oculta

[tronco020]

Hola de nuevo.
Estoy necesitando un JList que me muestre los nombres de los usuarios que tienen cierto permiso. Ahora bien... luego de hacer los Drag&Drop entre 2 JList para asignar o no permisos, cuando voy a guardar los cambios, debo ver quiénes quedaron con el permiso asignado (yo necesito obtener el id de usuario, pero en el JList estoy mostrando sólo los nombres). Podría hacer un get (o select) a la base de datos por cada nombre, pero si tengo por ejemplo 100 usuarios, tendré que hacer 100 get o select. Y no quiero hacer esto, por diferentes motivos (performance, posibles errores, etc.).
Por lo tanto estoy pensando en llevar una columna oculta en el JList con el id de usuario. ¿Esto se puede hacer? o tengo que trabajar con JTable.
Se me ocurren otras formas de solucionar esto, pero son tan costosas como hacer get o select. Si alguien me puede ayudar lo agradecería.