Foros del Web » Programando para Internet » Python »

Tecnica ahorrar memoria

Estas en el tema de Tecnica ahorrar memoria en el foro de Python en Foros del Web. Hola, Me gustaria saber que tipo s de tecnicas puedo aplicar a la hora de obtener info de algun sitio, como una BD, para hacer ...
  #1 (permalink)  
Antiguo 11/05/2015, 02:58
 
Fecha de Ingreso: octubre-2013
Mensajes: 59
Antigüedad: 11 años, 1 mes
Puntos: 0
Tecnica ahorrar memoria

Hola,

Me gustaria saber que tipo s de tecnicas puedo aplicar a la hora de obtener info de algun sitio, como una BD, para hacer calculos.

Hace algun tiempo pregunte algo parecido para hacer un plot, con datos procedentes de una pytable muy grande. La respuesta que obtuve, sobre el "clustering" me fue de gran ayuda.

Sin embargo, cuando se trata de hacer ciertos tipos de graficos como por ejemplo un "Boxplot", segun tengo entendido, no seria posible hacer clustering, ya que los margenes del boxplot (mean, median, etc), en necesario calcularlos con todos los datos.

El problema es que, si los datos son muy grandes, (>20GB), al intentar almacenarlos en una estructura tipo list, o numpy array, etc al final el resultado es el mismo que en mi primer post MEMORY ERROR.

Asi pues, me gustaria obtener algun consejo o ayuda de los expertos :)

Saludos y gracias como siempre!

Etiquetas: memoria
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 01:58.