Hola.
Intenta con esto.
Código:
Private Sub BindingNavigatorDeleteItem_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles BindingNavigatorDeleteItem.Click
If MsgBox("Vas a borrar este registro. Deseas continuar?", MsgBoxStyle.YesNo + 256, "¡¡ATENCION!!") <> MsgBoxResult.No Then
Exit Sub
End If
End Sub
Saludos .-
PD: Me da la sensación que no haces la lógica como corresponde...