pero para qué condicionar si lo que quieres hacer es destruir sesión???

... pero bueno.
session_destroy() solo destruye la sesión, NO las variables globales de sesión, para ello necesitas usar session_unset().
www.php.net/session_destroy www.php.net/session_unset