1. Del ToolBox selecciona el componente RegularExpressionValidator y agregalo a tu WebForm
2. En las propiedades de este componente selecciona la propiedad ControlToValidate y selecciona el TextBox a validar
3. En la propiedad ValidationExpression coloca la siguiente cadena:
^[0-9]*[1-9]+$|^[1-9]+[0-9]*$ (o cualquier expresión que desees validar)
4. En la propiedad ErrorMessage coloca el texto que desees enviar al momento que el usuario trate de colocar texto que no sean digitos
