Problema al quitar de un listbox

[josezamora]

Hola buenos dias, tengo el siguiente problema.Tengo una pagina, con un combo que tiene unos clientes, y un listbox que agrego los clientes del listbox y dos botones, uno para agregar del combo al listbox y otro para quitarlo.Tambien tengo un boton que me hace la busqueda del codigo del cliente y me lo pone en el combo,es decir una busqueda del combo.
El problema que tengo es que si selecciono del combo y añado, al quitar cualquier elemento insertado no tengo problema, pero sin embargo, lo busco con el boton de busqueda y lo añado, siempre me quita del listbox el primero.El problema que tengo es que el selectedindex me toma siempre 0, aunque halla 3 elementos, por lo tanto al quitar un elemento siempre me coge el primero.
Aqui os pongo el codigo que tengo de quitar del listbox.
Si necesitais mas informacion comentarmelo que lo pongo.

Protected Sub img_quitar_distribuidor_Click(ByVal sender As Object, ByVal e As System.Web.UI.ImageClickEventArgs) Handles img_quitar_distribuidor.Click
'Quitamos el elemento seleccionado del listbox
If Me.lst_distr_seleccionados.SelectedIndex > -1 Then
Me.lst_distr_seleccionados.Items.Remove(Me.lst_dis tr_seleccionados.SelectedItem)
'Me.HiddenField_modificado.Value = 1
End If
end sub