Hola,
Bueno, existen muchas opciones, existen productos comerciales en Java que te proveen de todo lo que necesitas en un solo paquete. En google encuentras muchas opciones usando las palabras clave : "java chat server".
Saludos.
ps :
Yo opté por el protocolo IRC, por ser muy popular, como siempre tiene ventajas e inconvenientes. Principalmente por que quería usar herramientas open source.
Para tener un chat IRC en tu servidor necesitas dos partes:
La primera parte es el servidor, es un lugar centralizado donde todos los usuarios se conectan, envian y reciben mensajes. Conceptualmente puede ser cualquier sistema de información donde se pueda almacenar y recuperar mensajes, ordenado por usuarios y posiblemente canales, lo que significa que este foro es un servidor de chat, pero no en tiempo real. Inclusive una base de datos puede ser un servidor de chat.
En Java me ha gustado usar JIRCd, un servidor con el protocolo IRC (Internet Relay Chat), el único inconveniente es que es demasiado pesado, con más de 1000 usuarios vas a tener un problema con el desempeño. Además que el protocolo IRC siempre ha sido cuestionado sobre la seguridad (por lo que tienes que deshabilitar algunas opciones o revisar tu servidor cada día como mínimo). La ventaja es que puedes conectar tu servidor a otros servidores y hacer una gran red de chat.
http://sourceforge.net/projects/jircd/
Hace varios años reescribí parte de JIRCd para que funcionara en base a threads, pero resultó menos eficiente que el original, así que nunca agregue mis diff's al proyecto original; actualmente el proyecto es muy maduro. (Yo no hice JIRCd, pero necesitaba varias cosas que en ese tiempo el programa no tenía)
La segunda parte es el cliente, el cliente es la pantalla que el usuario usa para conectarse al servidor, que puede tener seguridad o ser pública, etc. En el caso de Java e IRC siempre me ha gustado pJIRC (es un Applet en Java) pero tiene el mismo inconveniente, por ser diseñado en Java es algo pesado y lento.
http://www.pjirc.com/downloads.php?p=0&c=4
Los dos proyectos son open source.
Por cierto, los clientes en Flash son más lentos que Java.