nunca lo he hecho pero me parece que es lo mas obvio. es preferible manejarlo en tu sistema de visitas. ahora bien, los libros de visitas no estan programados en javascript, o al menos la parte que maneja los mensajes. esto se hace en el servidor lo cual tu tema no corresponderia a este foro si fueras a manejarlo desde el sistema de visita.
no hay duda que en javascript tambien se pueda hacer. de todos modos, en ambos casos tienes que detectar los codigos emoticon, preferiblemente con expresiones regulares, y reemplazarlo por etiquetas <img> con la ruta correspondiente segun el emoticon. me atreveria decir que en el lado servidor es menos complicado porque es cuestion de validar el contenido para detectar los emoticon y generar el codigo HTML en su lugar. en cambio, en javascript tienes que escoger entre dos posibilidades: crear dinamicamente el mensaje haciendo escritura al documento (document.write, por ejemplo) o modificas el DOM que es mas complicado aun. a todo eso añadele si el usuario no tiene javascript habilidado. esta es mi forma de ver las cosas, si el servidor puede hacer la misma tarea que javascript, entonces hazlo en el servidor. esto para no correrse el riesgo de que algo deje de funcionar en el sitio web debido a la inhabilitacion de javascript.