Generar un billon de registros

triqui · #1 (**permalink**) 03/03/2011, 03:06

Hola buenas,

Voy a empezar el mes que viene a desarrollar un proyecto universitario que me han pedido.

No quiero soltar rollos, osea que iré al grano. Para el estudio se generaría miles de millones de registros, contra más registros más pura será la muestra. Tendría 1000 millones de registros que cada 45 veces por año se iría duplicando, desde 1991 hasta la actualidad.

Es decir. 1000 * 45 * 20 (años), tendría 900.000.000.000 de registros (casi un billon), la tabla estaría particionarla por mes y año

Esto es físicamente posible?
Y no me refiero a ordenadores cuánticos ni la nasa, jajaja, me refiero si es físicamente posible con un ordenador casero de última generación. Se que oracle soporta billones de filas y hasta 1000 columnas, pero que tipo de maquina tendria que tener y cuanto tiempo tardaría en sacar los calculos con todos esos registros, y no podría tardar más de 4 días seguidos en generar esos resultados.

gracias

huesos52 · #2 (**permalink**) 03/03/2011, 12:11

Lee un poco de dimensionamiento de bases de datos.

Para hacer estas pruebas debes ser totalmente minucioso en los tipos de datos a utilizar. Si un campo varchar lo necesitas para guardar una cadena de 5, hazlo de 5. Si lo haces de 10, esto te representa el doble del tañaño requerido... y para esta cantidad de registros, esto será un espacio considerable en recursos y en espacio en disco.

saludos

triqui · #3 (**permalink**) 04/03/2011, 03:03

Gracias, sisi eso por supuesto, pero hay conceptos que se me escapan como que he leido separar los indices en otro raid,...y temás así que me costará ponerme al dia.

por si alguien le interesa está en inglés, es información sobre VLDB (Very large data base)

http://www.miracleas.com/BAARF/0.Mil...08.21-VLDB.pdf
http://www.oracle-base.com/articles/...Support10g.php

Saludos

reivaj01 · #4 (**permalink**) 04/03/2011, 06:48

Creo que deberías ir por orden:

Aprender acerca de Oracle y BBDD en general
Investigar acerca de optimización de sentencias
Comprender como se almacenan físicamente los datos
Estudiar todo lo relacionado con la partición de tablas
acceder a la documentación de VLDB

Manejar VLDB's es muy complicado y solo para expertos, ya que cualquier mínimo desajuste se puede traducir en un desastre importante.

Lo que planteas se puede hacer de varias formas, pero sin saber el objetivo perseguido no es posible aconsejar nada.

¿No valdría funcionar con datos agregados, en vez de almacenar todos los registros?