no sé si será óptimo o es lo que buscas pero lo hice así
usa el selector "parent > child" para seleccionar los li que descienden de la lista #main
Código HTML:
<html>
<head>
<title>Prueba</title>
<script type="text/javascript" src="http://code.jquery.com/jquery-latest.js"></script>
<script type="text/javascript">
$(function (){
var aux = 0;
var links = $("#main>li a");
sel = links.eq(aux);
sel.addClass('seleccionado');
$('#anterior').click( function (){
if (aux){
sel.removeClass('seleccionado');
sel = links.eq(--aux);
sel.addClass('seleccionado');
}
});
$('#siguiente').click( function (){
if ( (links.length - 1) > aux ){
sel.removeClass('seleccionado');
sel = links.eq(++aux);
sel.addClass('seleccionado');
}
});
});
</script>
<style>
.seleccionado{background-color:red;}
</style>
</head>
<body>
<ul id="main">
<li><a href="a.html">Chapter A</a></li>
<li><a href="b.html">Chapter B</a></li>
<li><span class="file"><a href="c.html">Chapter C</a></span>
<ul>
<li><a href="c1.htm">C - 1.1</a></li>
<li><a href="c2.htm">C - 1.2</a></li>
</ul>
</li>
<li><a href="d.html">Chapter D</a></li>
</ul>
<a id="anterior" href="#">Anterior</a> - <a id="siguiente" href="#">Siguiente</a>
</body>
</html>