Tips que me pudieran dar¿como construir un servicio de chat?

[Fsg]

Hola comunidad, pongo esto en Android por que la aplicacion que quiero elaborar sera para este S.O, pero no busco en este tema respuestas muy tecnicas (codigo), solo una pequeña orientacion de funcionamiento.

Estoy elaborando una aplicacion movil y web,una aplicacion orientada a lo social(registro de usuarios,perfiles,etc..), ya tengo la plataforma hecha, solo tengo un problema con un modulo que quiero hacer, envio de mensajes privados, tipo chat.

El usuario podra acceder al perfil, y tener la opcion de enviar mensajes privados, se puede enviar el mensaje, y el usuario podra recibir el mensaje, el envio no lo tengo tan complicado, lo que no tengo una idea de clara para implementar con java, es que el receptor pueda recibir el mensaje al instante, sin necesidad de refrescar su bandeja.

Nunca he elaborado un chat, mas que en Ajax, un chat accesible para todos lo he elaborado con Nodejs anteriormente, pero este quiero ser privado para cada usuario.

¿Alguien pudiera orientarme en como realizar esto?
Espero me haya podido darme a entender.