problemas con evento SelectedIndexChanged

[__SDP__]

Hola a todos,

Quiero eliminar del listbox pero cuando elimino el que se encuentra seleccionado la ventana se ejecuta 2 veces, lo elimina solo que el MessageBox se ejecuta 2 veces y es porque dentro del if hace un cambio y lo vuelve a mostrar ya que uso el evento SelectedIndexChanged.

como puedo hacer para que no se ejecute de nuevo la idea es que aparezca solo una vez capture la opcion y elimine sin mostrar de nuevo la ventana

Código c#:

private void listboxUsu_SelectedIndexChanged(object sender, EventArgs e)
        {
            DialogResult question = MessageBox.Show("¿Esta seguro de quitar de la lista?", "Eliminar", MessageBoxButtons.YesNo, MessageBoxIcon.Question);
 
            if (question.ToString() == "Yes")
            {
                listboxUsu.Items.Remove(listboxUsu.SelectedItem);
 
            }
        }