Buenas, tu problema es que le asignas el efecto mouseover a la etiqueta <li> y eso hace que cuando pase dentro de todo el contenido de <li> que son tus opciones de tu menu, entonces se activa el efecto de js que estas poniendo, por eso al texto "Administrar" ponlo dentro de un <span> y asunto arreglado, recuerda que deberias trabajar con divs que limiten segmentos de tu pagina y colocarles un width con su tamaño en pixeles o en porcentajes para asi delimitar las zonas de tu pagina y asi evitar problemas de mouseover o mouseout
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>Documento sin título</title>
<style type="text/css">
#lista1 {
visibility:hidden;
}
</style>
<script type="text/javascript">
function mostrar(dof){
if(dof == 'd'){
document.getElementById('lista1').style.visibility = 'visible';
} else {
document.getElementById('lista1').style.visibility = 'hidden';
}
}
</script>
</head>
<body>
<ul>
<li>
<span onmouseover="mostrar('d')" onmouseout="mostrar('f')">Administrar</span>
<div id="lista1">
<ol>
<li>Editar Fotos</li>
<li>Eliminar Fotos</li>
<li>Ejemes</li>
</ol>
</div>
</li>
</ul>
</body>
</html>