Evitar escribir X caracter en caja de texto VB.NET

[chcma]

Buenas tardes,

Tengo el siguiente código

Código:

    Private Sub txtOrigen_KeyPress(ByVal sender As Object, ByVal e As System.Windows.Forms.KeyPressEventArgs) Handles txtOrigen.KeyPress
        If e.KeyChar = Convert.ToChar(Keys.A) Then
            e.Handled = True
        Else
            e.Handled = False
            Exit Sub
        End If
    End Sub

Lo que pretendo es que si escriben la A, esta aparezca en la caja de texto, pero si escriben cualquier otra letra, que no aparezca en la caja de texto.

¿Qué estoy haciendo mal?

Gracias y saludos.