Borrar el último caracter tipeado

[Mari]

Hola qué tal;
Estoy validando una caja de texto a través del keypress, si el campo admite sólo texto no permitir números ni caracteres especiales, mi pregunta es; cómo hago para borrar el último caracter tipeado, porque al presionar un número sale un mensaje de error y se debe borrar ese caracter.

Lo que tengo es esto:
texto = this.value;
texto = texto.substring(0,texto.length-1);
this.value = texto;

pero lo que hace es:
si escribo por ejemplo el nombre Fátima4, emite el mensaje de error, quita la última letra y me coloca el 4, quedando así: Fátim4.


Gracias por su ayuda.