Hola:
La colección inputs no existe, pero si es un control del formulario, se puede obtener fácilmente los controles con igual atributo name...
Por ejemplo, si tu formulario se llama ejemplo y los controles tienen el name="textoOculto"...
El array sería:
document.forms.ejemplo.textoOculto...
O sea que para borrar el primero sería:
yo = document.forms.ejemplo.textoOculto[0];
yo.parentNode.removeChild(yo);
Saludos
