Pasarle a la página borrar.php una ruta que contenga el directorio y el archivo, tomando como base la ubicación del archivo borrar.php
borrar.php?fichero=algo.jpg
borrar.php?fichero=directorio/algo.jpg
borrar.php?fichero=directorio/subdirectorio/algo.jpg
Saludos,
