Bueno yo problemas de manejo con sesiones no tengo

Lo que me pasa es que por una extraña circunstancia no puedo hacer un session_destroy() para finalizar sesión, tengo que hacerlo de otro modo...
Al no hacer eso, el servidor sigue guardando mis datos. Lo que quiero saber es hasta qué punto eso es recomendable o no, si afecta al rendimiento, etc.