Formas de optimizar un script en python

[ger84]

Hola, estoy resolviendo algunos problemas en http://projecteuler.net/, y algunos problemas dejan en evidencia la pobreza de mis scripts. De ahí me surgió la necesidad de trabajar bastante en los algoritmos y en optimizarlos, sobre todo en los problemas acerca de factorización.

Me surgieron algunas dudas, por ejemplo:

• ¿Es significativa la diferencia entre crear un bucle con for ..xrange a crearlo con un while?

• ¿Existirán métodos/funciones mas rápidas que len(), divmod(), str(), int(), list.index(), las funciones de itertools, math etc?

• ¿Es significativa la diferencia entre usar los métodos de los strings para búsqueda y manipulación en un texto, a una expresión regular?

• ¿Cuan rápida es la carga de librerías C con ctypes y la ejecución de funciones?, es decir, ¿ganaré velocidad si hago esto?

• ¿Cómo puedo medir la velocidad de ejecución de un script python?

• ¿Existen interpretes mas veloces para python que el que trae por defecto? (no importa mucho la estabilidad, es para hacer estos cálculos)

[ger84]

encontré respuestas para la mayoría

• ¿Es significativa la diferencia entre crear un bucle con for ..xrange a crearlo con un while?

http://grokbase.com/t/python/tutor/1...versus-x-range

• ¿Es significativa la diferencia entre usar los métodos de los strings para búsqueda y manipulación en un texto, a una expresión regular?

http://www.diveintopython.net/perfor...pressions.html

• ¿Cuan rápida es la carga de librerías C con ctypes y la ejecución de funciones?, es decir, ¿ganaré velocidad si hago esto?

http://prabhuramachandran.blogspot.c...vs-c-swig.html aunque usa swig

• ¿Cómo puedo medir la velocidad de ejecución de un script python?

http://www.diveintopython.net/perfor...ing/index.html

• ¿Existen interpretes mas veloces para python que el que trae por defecto? (no importa mucho la estabilidad, es para hacer estos cálculos)

http://pypy.org/ (debo probarlo)

[razpeitia]

Iniciado por ger84

¿Es significativa la diferencia entre crear un bucle con for ..xrange a crearlo con un while?

Si, si la hay. Puedes crear 2 funciones y compararlas. Puedes compararlas con timeit o con dis

Iniciado por ger84

¿Existirán métodos/funciones mas rápidas que len(), divmod(), str(), int(), list.index(), las funciones de itertools, math etc?

No creo que existan funciones mas rápidas a menos que uses numpy para operaciones con matrices.

Iniciado por ger84

¿Es significativa la diferencia entre usar los métodos de los strings para búsqueda y manipulación en un texto, a una expresión regular?

De preferencia usa los métodos de los strings, a menos que necesites capturar text es mejor usar expresiones regulares.

Iniciado por ger84

¿Cuan rápida es la carga de librerías C con ctypes y la ejecución de funciones?, es decir, ¿ganaré velocidad si hago esto?

Si, si ganaras velocidad. Pero digamos que vas en contra de 2 principios.

Iniciado por ger84

¿Cómo puedo medir la velocidad de ejecución de un script python?

Con el modulo timeit

Iniciado por ger84

¿Existen interpretes mas veloces para python que el que trae por defecto? (no importa mucho la estabilidad, es para hacer estos cálculos)

PyPy

Aclaraciones:
Primera regla de la optimización en programación:
No lo hagas.

Segunda regla de la optimización en programación (solo para expertos):
No lo hagas. (Aun!).

Yo también resolví algunos cuantos problemas en project euler, todos los que resolví fueron con python a secas. La clave esta en tener un buen set de algoritmos y creatividad.



Solo recuerda una nota al final de la pagina de problemas:

Iniciado por ProjectEuler.net

Please do not contact Project Euler if you are unable to solve a particular problem. If you can't solve it, then you can't solve it!

[ger84]

Iniciado por razpeitia

Aclaraciones:
Primera regla de la optimización en programación: No lo hagas.

Muy buena respuesta y ya que estamos, ¿dirías que ésta es una prueba "justa"?:

Código Python:

#loopfunctions.py
def fwhile(looplimit):
    k=0
    while k < looplimit:
        k += 1
def frange(looplimit):
    b = 0
    for k in range(looplimit):
        b += 1 
def fxrange(looplimit):
    b = 0
    for k in xrange(looplimit):
        b += 1
 

Código Python:

#loopfunctiontest.py
import timeit
import loopfunctions
 
 
def test_time_loops(looplimit,repeat_test,fn_calls):
    print "looplimit: %d | test repetition: %d | function calls: %d\n" % (looplimit,repeat_test,fn_calls)
    function0 = "fwhile(%d)" % looplimit
    t0 = timeit.Timer(function0, "from loopfunctions import fwhile")
    times0 = t0.repeat(repeat_test,fn_calls)
    print "ffwhile time test \n  max: %f\n  min: %f\n  typ: %f\n" % (max(times0),min(times0),sum(times0)/len(times0))
 
    function1 = "frange(%d)" % looplimit
    t1 = timeit.Timer(function1, "from loopfunctions import frange")
    times1 = t1.repeat(repeat_test,fn_calls)
    print "frange time test \n  max: %f\n  min: %f\n  typ: %f\n" % (max(times1),min(times1),sum(times1)/len(times1))
 
    function2 = "fxrange(%d)" % looplimit
    t2 = timeit.Timer(function2, "from loopfunctions import fxrange")
    times2 = t2.repeat(repeat_test,fn_calls)
    print "fxrange time test \n  max: %f\n  min: %f\n  typ: %f\n" % (max(times2),min(times2),sum(times2)/len(times2))
 
 
print "\nTest small arguments\n"
test_time_loops(200,5,1000)
print "-" * 20
print "\nTest big arguments\n"
test_time_loops(2000000,2,10)
#test_time_loops(sys.maxint,1,1)
 

Código consola:

>>> 
Test small arguments
 
looplimit: 200 | test repetition: 5 | function calls: 1000
 
fwhile time test 
  max: 0.013561
  min: 0.012781
  typ: 0.013071
 
frange time test 
  max: 0.015569
  min: 0.013655
  typ: 0.014201
 
fxrange time test 
  max: 0.017101
  min: 0.015968
  typ: 0.016563
--------------------
Test big arguments
 
looplimit: 2000000 | test repetition: 2 | function calls: 10
 
fwhile time test 
  max: 1.327053
  min: 1.308638
  typ: 1.317846
 
frange time test 
  max: 1.873991
  min: 1.761235
  typ: 1.817613
 
fxrange time test 
  max: 1.211450
  min: 1.202643
  typ: 1.207047
 
>>>