en efecto, es tema de caché, si verificas en tu server la imagen se elimina, pero el navegador conserva una caché.
puedes usar esos headers de expiración para todas las imágenes en tu
backend, pero eso implica que uses un php de por medio para las imagenes, o usas el
parámetro fantasma 