Hola otra vez:
Dentro de un textarea solo se puede poner texto plano, al menos de manera estándar.
htmlarea usa algunos trucos para "aparentar" estilos dentro de un textarea, que dependen del navegador... si no me equivoco, en unos navegadores se escribe en un iframe, y en otros usando atributos propios como conteneditable (o algo así)
El script que te he pasado es para saber la selección de texto dentro del textarea y la posición del cursor. Para conseguir poner el texto en negrita, se "envuelve" ese texto en tags "B", cursiva en "I"... subrayado en "U"...
Puedes encontrar más datos en las FAQs (sobre insertar emoticones).
Saludos