Hola Titoooos
Manejar una columna que sólo almacena números como varchar es una barbaridad... y como ya te habrás dado cuenta te puede ocasionar muchos dolores de cabeza.
Puedes intentar hacer algo como esto:
Pero mucho ojo, el hacer casteo de cadenas QUE NO CONTENGAN SOLO NÚMEROS puede ocasionarte problemas.
Saludos
Leo.