Asi es:
Los objetos de session utilizan memoria en el servidor, y si tienes 1000 usuarios usando el sitio, entonces tendras 5,000 sesiones activas en el servidor.
Si bien no es TAN terrible, no es optimo.
yo me hice un juego de funciones que permite meter varios datos dentro de una misma session principal.
