duda con try-catch

[Chumysfm]

Estimados, estoy tratando de hacer una validacion, necesito que si se escriba una letra vuelva a pedir el numero, pero no se porque no me deja, y al agregar una letra queda en un loop infinito

Código:

package prueba;

import java.util.Scanner;

public class Prueba {

    public static void main(String[] args) {
        Scanner s = new Scanner(System.in);
        double num1,num2; 
        int n;
        boolean ok = false;
        Tokens nume = new Tokens();

        do{ 
           
            try{  
                System.out.print("Ingrese número de Inicio: ");
                num1=s.nextDouble();
                n=nume.entero(num1);
               
                System.out.print("\nIngrese número de Término: ");
                num2= s.nextDouble();
                n=nume.entero(num2);
                             
                if (n==1 || n==0){
                    ok = false;
                    break;
                }
            }catch(Exception ex){
                ok = true;
                System.out.println("Valores formato Incorrecto");                 
                  
            }
            
        }while(ok == true);
    }    
}