Hola
seijiro
El valor de un campo de texto es una cadena, tienes que pasarlo a numérico. Por otra parte el valor que sacas de la base de datos no tienes que ponerlo entre comillas, porque supongo que también es un valor numérico.
Prueba poniendolo así:
if (parseInt(document.frm.txtMontBol.value) > <%=txtSaldo%>){
Si utilizas decimales en lugar de
parseInt tienes que usar
parseFloat
Saludos,