Reconocer si es numero o letra

[Bael_Balzac]

El programa es para calcular el factorial si se ingresa un numero muestra el factorial, si se escribe salir el programa termina pero no se que hacer si se escribe un palabra diferente o letra.

Código:

while True:
    numero = raw_input()
    if numero == 'salir':
        break
    elif numero ????:
        print('Ingrese un número')
    else:
        factorial = 1
        for i in range(1,int(numero)+1):
            factorial = factorial*i
        print('El factorial de ' + str(numero) + ' es ' + str(factorial))