claro que se puede....!
ya sea con links o botones, todo se puede... solo es cuestión de ser creativo, suerte...
mira, primero... necesitas tu variable de entrada (o carpeta)
con esa simple, haces un ciclo e imprimes los resultados (con un enlaces por ejemplo)
esta variable del enlace debe contener la referencia al archivo a eliminar, simple no?
ahora, cuando recibas la variable... comparas la ruta inicial mas el archivo seleccionado (o enviado vía URL) y si existe, bingo!