Manejo Masivo de Información

alexeiiw · #1 (**permalink**) 19/05/2008, 15:19

Señores, buen día, tengo un pequeño proyecto, tengo 250 millones de registros guardados en archivos planos, cada archivo plano contiene alrededor de 1500 registros, es decir tengo aproximadamete 166 mil archivos planos que contienen datos; y de estos registros tengo que realizar varias consultas.

Me gustaria saber si hay alguna forma de recorrer cada archivo, los cuales estan identificados por fecha YYYYMMDDHHMMSS, y extraer la información tal vez con algun lenguaje que haga mas eficiente este recorrido, tipo PERL; entiendo que otra forma seria cargar cada archivo a una base de datos, para generar mis consultas desde ahi, el problema es que tendria una base de datos de gran tamaño, y no tengo el recurso en espacio para guardarlo.

Si alguien tiene alguna idea de como se puede manejar los datos?

En espera de sus comentarios.

Atentamente,

flaviovich · #2 (**permalink**) 21/05/2008, 14:10

Crea un programita. Creo que en este caso seria mejor hacerlo en C++.
¿Estas seguro que no tienes un disco duro que guarde tu informacion en una BD?

alexeiiw · #3 (**permalink**) 22/05/2008, 07:38

Correcto, actualmente tengo el espacio donde existen dichos archivos planos, pero no tengo un recurso adicional (almacenamiento) para poderlo trasladar a una base de datos; por lo cual la mejor alternativa es leerlos en donde actualmente estan.

La idea es basicamente un programa que pueda recorrer eficientemente todos esos archivos y obtenga los datos solicitados.

Saludos,