No puedes hacer que PHP depende de JavaScript. En todo caso tu enlace deberá llamar a una página borrar.php (por ejemplo) y en dicha página tendrás que hacer el unset...
Separar bien lo que es JavaScript de PHP, recuerda que uno trabaja del lado del cliente y el segundo del lado del servidor.
