Python se hizo pensando en el procesamiento de texto es muy eficiente, y muchas de las funciones está implementadas en C. Tu problema me suena a tu algoritmo, quizá accedes al archivo en cada lectura y el acceso al IO es el que te da la lentitud.
Muestra lo que tienes (y si puedes sube un archivo de prueba).
Saludos
