Manejo masivo de datos hola a Todos..
mi problema es el siguiente:
acabo de desarrollar en potente spider en asp, este sistema trabaja bajo su propio algoritmo y no usa ningun componete externo ,100 % asp. este corre bajo 4 servidores Windows 2000 server Sp4 (Procesos) , 2 servidores Linux Ubuntu (Base de datos MYSQL y postgreSql) y 3 servidores Windows 2000 (Exploradores o Crawlers), E de decir que trabaja de maravilla, solo tengo un gran problema... el spider guarda una cache exacta de todas las webs que van ingreando, es una ENORME cantidad de informacion si decimos que cada paguina web pesa alrededor de 40 kb, que seria igual a 400 mb en 10,000 paginas web o 4 gb en 100,000 paginas web.. Al grano
Necesito de aguna forma de complimir toda es informacion desde que se procesa para ser ingresada en la base de datos. no importa si la reduccion es minima ya que en volumen si se veria la diferencia...
Alguna idea???
Un gran saludo a todos...
