Vale, ya he visto el fallo. El evento correcto para la tecla "supr" es el "KeyDown".
Cita: Private Sub gridProv_KeyDown(ByVal sender As Object, ByVal e As System.Windows.Forms.KeyEventArgs) Handles gridProv.KeyDown
If e.KeyCode = Keys.Delete Then
e.Handled = True
'mi codigo
.
.
End If
End Sub
saludos