Mmmm...
He estado haciendo unas pruebas y el fallo está en otro sitio.
Mira te paso lo que funciona bien: (siguiendo tu código inicial)
Código:
<input class="button" type="button" value="link"
onclick="addtext('<a href=\'dominio_url\'>Texto Enlace</a>')"
onMouseOver="help('Insertar enlace: <a href=[dominio_url]Texto Enlace</a>')"
onMouseOut="help('')">
Te cuento lo que he hecho, además de lo de la
\ delante de
'.
He sustituido
> por
> Ya que si no, cerrabas la etiqueta y todo lo que había detras se anulaba.
Dime si así te funciona.