Simplemente al logear los usuarios capturas algún valor, (que puede ser el nombre del usuario, que es lo mas comun) y lo cargas en una variable de session $_SESSION y despues en el inicio de cada pagina comprubeas si el valor de esta variable esta lleno.
Esta es una opcion muy sencilla ha otros metodos mas robustos, pero para empesar, puedes hacerlo de esta forma, te dejo un ejemplo: