probe tu funcion y esta todo en orden..
quizas tengas un problema en como llamas a la fx
mira:
Código:
function borde(nombre){
document.getElementById(nombre).style.border="#000 solid 5px";
}
<div id="box3" style="width:100px;background-color:#cccccc;" onclick="javascript:borde('box3');">
</div>