La papelera es un método de los SO a modo de resguardo, ya que si no hubiera sería un SO MUY inseguro, tal como te sucedió. Los SO al eliminar un archivo realmente lo que está haciendo es moverlo a la papelera, que es un directorio del SO. Es la función eliminar permanentemente de la papelera lo que elimina el archivo tal como lo hace la función unlink. (Teóricamente)
Te recomiendo que imites ese método, en esa opción de eliminar en vez de eliminar el archivo lo muevas a una carpeta a modo de papelera con la función rename.
