poner la etiqueta <BR> al darle ENTER en un textarea en un formulario

[living]

Es lo mismo sólo que tienes que escapar los corchetes para que no los interprete como caracteres especiales de la expresión regular. Tienes que hacerlo así:

texto.replace(/\[b\]/g,"<b>");
texto.replace(/\[/b\]/g,"</b>");