A ver, para empezar se me ha ocurrido esto, pero se me antoja demasiado fácil... una vez comprobemos que lo hace bien lo adaptamos a lo que necesitas...
Código PHP:
<html>
<head>
<script>
numeros=['0','1','2','3','4','5','6','7','8','9','A','B','C','D','E','F'];
function calcular(base255){
if(base255>255 || base255<0){
alert("El valor debe estar entre 0 y 255");
document.forms[0].elements['nume'].value="";
return false}
inicioFrase="El valor en hexadecimal es: ";
alert(inicioFrase+numeros[parseInt(base255/16)]+""+numeros[base255%16]);
}
</script>
</head>
<body>
<form>
<input type="text" name="nume" maxlength="3" size="3">
<input type="button" value="calcular"
onclick="calcular(document.forms[0].elements['nume'].value);">
</form>
</body>
</html>