Diferencias trabajar en memoria o en disco

[edanvar]

Hola,

Alguien podria darme algunas indicaciones sobre las diferencias entre trabajar en memorya o en disco a la hora de trabajar con pytables??

Me gustaria algunos ejemplos a ser posible.

Yo hasta ahora vengo trabajando de este modo:

Código Python:

from tables import *
 
t = openFile('archivo.h5', 'r'):
....
....
 

Me gustaria saber como trabajar sin cargar toda la tabla en memoria, utilizando lo que llaman chuncks.

Ademas tambien estaria interesado en como se hace para poder guardar digamos resultados intermedios en disco, para luego volverlos a cargar cuando se necesiten. Todo ello de modo que el programa en ejecucion no cargue tanto la RAM.

Gracias.

[Carlangueitor]

Muchacho ya te lo preguntaron, ¿que cantidad de datos estás manejando?

Saludos

[edanvar]

@Carlangueitor,

Lo primero, de "muchacho", nada, eso mejor te lo reservas para otros asuntos.

Segundo, que importa la cantidad de datos?? unicamente estoy buscando ayuda o indicaciones sobre un tema que, de momento no me hace falta, pero que no tengo ni idea de por donde abordarlo...pensaba que un foro como este se fundamenta en este tipo de cosas...preguntar por lo que uno desconoce y que le ayuden/indiquen en la direccion adecuada.

Por ultimo, como ya te he dicho, aunque no es de tu incumbencia, la cantidad de datos es ridicula para esto que estoy preguntando ahora, pero....cara al futuro.......quien sabe.

Saludos.

[Carlangueitor]

No sé por que te ofende lo de muchacho, ¿señor está bien? ¿O prefiere trato de usted?


Claro que es importante la cantidad de datos. No es lo mismo procesar unos KB, unos MB o varios teras. Eso es lógico.

El acceso a disco duro es muuy lento. Con cantidades pequeñas de datos (~ 1-2GB) cargar todo a RAM puede ser una bunea idea. De otra forma dividirlo puede servirte.

Pero tampoco es el único factor, ¿vas a hacer tratamiento intensivo de datos? ¿vas a usar toods los datos?

Saludos

[razpeitia]

En tu caso, mi estimado. Ni tu sabes que puede estar mal y tampoco quieres darnos mas información. Lo que me deja sin ninguna posibilidad de ayudarte.

Si tienes alguna duda puntual, deja lo siguiente:
1. Un ejemplo que pueda ser ejecutado. (Si ocupa otros archivos tambien ponlos).
2. Que esperas que haga.
3. Que esta haciendo.

Si al menos esas 3 cosas no te puedo ayudar.

Y sobre la cantidad de datos, si es importante porque sabemos si es porque tienes una *gran* cantidad de datos o simplemente estas haciendo las cosas de la manera mas ineficiente.