Bueno .. ya que lo has intentado .. podrías poner algo del código que estas usando y nos indicas los problemas que tienes para ir mas rápido ..
Si ya tienes tu código Javascirpt que dejas en tu <texarea> .. el código de tu smile .. suponemos por ejemplo [:)] .. sólo tienes que aplicar un str_replace() a esa variable que trabajas en tu <textarea> a la hora de mostrar tus mensajes ..
El "str_replace()" será de tu [:)] por el código HTML que llame a tu imagen .. <img src="tugif.tal"> ....
Un saludo