buscar caracter en una cadena

[Nombela]

HOla, tengo una cadena de este tipo:

#1#2#3#4#5#6#7#8#9#10#11#12#13#14#15#16#17#18#19#2 0#21#22#23#24#25#26#27#28#29#31#32#42#43

y necesito hacer una busqueda para que cuando encuentre el numero me lo retire de un campo que tengo y que cuando no este me lo agregue.

Lo hice de esta forma:

function add(valor)
{
alert(valor);
var inf = document.getElementById('text').value;
if (inf.indexOf(valor)!=-1)
{
document.getElementById('text').value = document.getElementById('text').value.replace('#'+ valor,'');
}
else
{
document.getElementById('text').value = document.getElementById('text').value + '#' + valor;
}
}

Pero el problema esta en que cuando esta por ejemplo el 41 y le digo el 1 no me lo mete y le quita el 1 al 41.
Como podria solucionar eso???


gracias