Pues eso habitualmente, o bien lo pones como bordes laterales de los li o los enlaces, o bo lo pones en el propio texto del enlace tipo:
<li><a href="#">bleh bleh | </a></li>
ó
<li><a href="#">bleh bleh</a> | </li>
pero vamos, todo sería ver un enlace o tu código a ver cómo se puede hacer exactamente.