Hola dieguicho:
Hay un editor hecho con html/javascript que es muy bueno que se llama htmlarea (o algo parecido), pero estudiar el código es para perderse... son de esos desarrollos gnu (creo)...
... pero si lo que quieres es algo más sencillo, que dentro del mismo textarea ponga cierto tags, fíjate en las FAQs de javascript, que hay un tema para insertar emoticones... y otro con el código del editor de estos foros (la antigua versión... aunque actualmente tampoco edita bien en mozilla)
Si quieres que probar una librería mía, échale un vistazo a esta página:
http://www.pepemolina.com/editor/editor.html que tiene un enlace para bajarte esa librería... también inicié un tema sobre el asunto, pero ahora no tengo tiempo para buscarla...
Saludos