Es posible, si tu usas un sistema así y yo quiero romper dicha "seguridad" para mi es pan comido.
Esto porque la operación matemática es texto, y puede ser "comprendido" con expresiones regulares.
Sin embargo si en lugar de texto generas una imagen con el mismo dilema ahí si no podría hacer nada pues no se como leer texto de las imágenes.
Pero vamos, al final sería el mismo concepto que usar un Re-CAPTCHA (un sistema probado y confiable), no es necesario que re-inventes la rueda, no hace falta.