Hola,
Me gustaria saber que tipo s de tecnicas puedo aplicar a la hora de obtener info de algun sitio, como una BD, para hacer calculos.
Hace algun tiempo pregunte algo parecido para hacer un plot, con datos procedentes de una pytable muy grande. La respuesta que obtuve, sobre el "clustering" me fue de gran ayuda.
Sin embargo, cuando se trata de hacer ciertos tipos de graficos como por ejemplo un "Boxplot", segun tengo entendido, no seria posible hacer clustering, ya que los margenes del boxplot (mean, median, etc), en necesario calcularlos con todos los datos.
El problema es que, si los datos son muy grandes, (>20GB), al intentar almacenarlos en una estructura tipo list, o numpy array, etc al final el resultado es el mismo que en mi primer post MEMORY ERROR.
Asi pues, me gustaria obtener algun consejo o ayuda de los expertos :)
Saludos y gracias como siempre!