Hola!
Hay que convertir a numero entero 
form1.valor3.value. Esto se hace con la funcion 
parseInt. 
Código:
 if ((parseInt(form1.valor3.value)<=500) || (parseInt(form1.valor3.value)>=1000))
{
  alert("Error en cantidad");
  form1.valor3.focus();
  return (false);
}
return (true);
}