Hola ¿cómo estas? Si, se puede.
 
El HTML   
Código HTML:
Ver original- <input type="text" name="telefono" onkeypress="return numeros(event)"> 
El JS    
Código Javascript
:
Ver original- function numeros(e){ 
-     key = e.keyCode || e.which; 
-     tecla = String.fromCharCode(key).toLowerCase(); 
-     letras = " 0123456789"; 
-     especiales = [8,37,39,46]; 
-   
-     tecla_especial = false 
-     for(var i in especiales){ 
-  if(key == especiales[i]){ 
-      tecla_especial = true; 
-      break; 
-         }  
-     } 
-   
-     if(letras.indexOf(tecla)==-1 && !tecla_especial) 
-         return false; 
- } 
Suerte!