¿Es lento comparado con qué? ¿tenés otro programa en otro lenguaje para comparar?
Se supone que el módulo numpy está hecho para cálculos eficientes, quizás quieras probarlo.
Danos un ejemplo también del tipo de cálculo que debes hacer. Así nomás por probar puedo escribir 2**170 en la consola y obtener el resultado inmediatamente
Saludos.