Prueba a modificar los permisos de la carpeta en donde tengas los archivos, dándole permiso de modificar y marcando la opción avanzada de "reemplazar las entradas de los permisos en todos los objetos secundarios...".
Luego reinicia el IIS aunque no debería ser necesario.
Como ya te han comentado antes no depende del browser que funcione o no en este caso, a no ser que alguno de ellos esté hciendo algo raro... En ambos casos si la url que estás probando es
http://localhost/... debería de borrar el archivo en ambos casos.
Espero que con esto funcione, si no es así, posiblemente el archivo aún se encuentre en uso por otro programa y no lo borra por esa razón, prueba a borrarlo a mano una vez falle y nos cuentas que pasa
.
Un saludo.