Aceptar solamente números en formulario PHP

[semasad]

Hola a todos, este es mi primer tema, y lamentablemente es para pedir ayuda.
No se si es posible, yo creo que si, pero lo he intentado de muchas formas y no lo he logrado.
Lo que necesito hacer es simplemente que en un formulario me acepte solo números, que al tratar de escribir una letra no me lo acepte (creo que eso es con Javascript, que no me interesa por el momento) ó tal vez que cuando le de click al botón "Enviar" y vea que el formulario tiene letras, no se lo acepte.


Por ejemplo:

Código HTML:

<form method="post" action="index.php"> 
 
  <input type="text" name="telefono">
  <input type="submit" value="Enviar"> 

Quiero hacer que en ese formulario solo me acepte números para que sea un numero de teléfono válido.

Gracias de antemano,