ie no dispara el evento keypress cuando presionas delete. solo dispara el keydown y el keyup.
Vas a tener que evaluar en keydown,keypress o keyup la tecla dependiendo del navegador y la tecla a controlar.
Si tienes mas dudas respecto a este tema
aquí lo explican bastante bien.
Saludos.