Plot desde pytable muy grande

[edanvar]

Me encuentro con la necesidad de hacer un plot con a partir de unos datos almacenados en un archivo .h5 (pytables).

El archivo tiene unas dimensiones importantes, sobre nos 20GB.

El problema es que al intentar hacer plot de los datos necesarios siempre obtengo

Código Python:

memory error
 

Me gustaria aprender alguna tecnica o algun consejo para abordar este tipo de situaciones.

Aqui os dejo lo que yo vengo haciendo:

Código Python:

f1 = plt.figure()
ax1 = f1.add_subplot(111)
f2 = plt.figure()
ax2 = f2.add_subplot(111)
f3 = plt.figure()
ax3 = f3.add_subplot(111)
f4 = plt.figure()
ax4 = f4.add_subplot(111)
            
ax1.hold(True)
ax2.hold(True)
ax3.hold(True)
ax4.hold(True)
 
for row in tab.iterrows():
    if row['ok'] == 1:
        ax1.plot(row['Q10'], row['Q20'],'.',color='green', alpha=0.2)
        ax3.plot(row['Q11'], row['Q21'],'.',color='green', alpha=0.2)
                        
     ax2.plot(row['QR10'], row['QR20'],'.',color='red', alpha=0.2)
     ax4.plot(row['QR11'], row['QR21'],'.',color='red', alpha=0.2)
 

[razpeitia]

Pues tienes que hacer clustering y no tratar de graficar cada punto sobre la gráfica.

[edanvar]

Gracias razpeitia:

Puedes explicarte mas o darme alguna referencia que pueda leer?

No se lo que significa hacer clustering.

Gracias!!

[razpeitia]

Clustering, en términos simples es agrupar en conjuntos.

En tu caso, es sencillo, no trates de hacer plot de esos 20G de puntos, agrupa los puntos dentro de regiones.

http://scikit-learn.org/stable/modules/clustering.html

[edanvar]

Ok entendido.

Muchas gracias de nuevo!