Dimmi:
Sucede que lo que estás comparando son cadenas de texto. Por eso "90" es mayor que "30" en sentido alfabético, pero "100" no es mayor que "30" en sentido alfabético. Debes convertir a número las cadenas antes de compararlas, y entonces el resultado será el correcto.
Código:
function comparar(){
var a = parseInt(document.forma.valor1.value);
var b = parseInt(document.forma.valor2.value);
if (a>b) {
alert('error');return false;
}
}
Saludos: