buenas,
lo que sucede es que en la comparación del cateto y la hipotenusa se esta realizando a nivel de string. primero debes convertirlo a número antes de hacer la comparación. la conversión la puedes hacer al mismo momento que pides al usuario entrar los datos.