Para solucionarlo:
Código PHP:
<? session_start(); /// Al principio de todo
$usuario = $_SESSION["usuario"];
if(empty($usuario)){ // Verifico si se inicio sesion, de lo contrario me redireccionará al index.
header("Location: index.html");
}else{
echo $usuario;
?>
// Solamente poné acá código HTML
<? } ?> // Al fina l de todo