usa expresiones regulares para determinar si existe otros caracteres que no sean numeros. por ejemplo bien cutre,
Código:
var regexp = /^\d+$/;
var str = "mi numero";
var tel = "1234567890";
if(regexp.test(str)) alert("valor no valido en str"); // este alert se muestra;
if(regexp.test(tel))alert("valor no valido en tel"); // este alert no se muestra;