Lectura de archivos grandes, rápido.

[guzzano]

Buenos días, tengo una pregunta es más una curiosidad para próximos proyecto que una utilidad para este momento. Supongamos, tengo un archivo de 8MB que tiene más de 178870 líneas, que está compuesta por esta sintaxis

Código C:

alsa-lib
1.0.26-1
usr/
usr/bin/
usr/bin/aserver
usr/include/
usr/include/alsa/
usr/include/alsa/alisp.h
usr/include/alsa/asoundef.h
usr/include/alsa/asoundlib.h
usr/include/alsa/conf.h
usr/include/alsa/control.h
usr/include/alsa/control_external.h
usr/include/alsa/error.h
usr/include/alsa/global.h
usr/include/alsa/hwdep.h
usr/include/alsa/iatomic.h
... sigue aún más paquetes y más directorios
 

La cual de ahí, necesito comparar el nombre del paquete, que en este caso sería alsa-lib con una lista, por ende, hará varías veces la comprobación en ese archivo.

Y hago la comprobación de esta manera,

Código C:

int 
pkg_is_installed (const char * n_pkg, int lenght, int show) {
  if (lenght <= 0 || strnlen(n_pkg, lenght) <= 0)
    return -1;
  
  char buffer[lenght];
  char pkg_fix[lenght];
  
  int len;
  
  len = snprintf(pkg_fix, sizeof(pkg_fix)-2, "%s\n", n_pkg);
  
  if (len <= 0)
    return -1;
 
  FILE * db;
  
  db = fopen(DB_DIR, "r");
  
  if (db == NULL) {
    fprintf(
      stderr,
      "pkgrmd >> Error opening «%s»: %s\n",
      DB_DIR,
      strerror(errno)
    );
    
    return -1;
  }
  
  while (fgets(buffer, sizeof(buffer), db) != NULL)
    if (strcmp(buffer, pkg_fix) == 0) {
      fclose(db);
    
      return 0;
    }
      
  fclose(db);
  
  if (show == 1)
    fprintf(
      stderr,
      "pkgrmd >> The package «%s» is not installed\n",
      n_pkg
    );
  
  return -1;
}
 

Como tengo que hacer un muchas comprobaciones (> 1000), se vuelve muy lento el programa, llegando a durar más de un minuto en un Core 2 Duo, ¿hay alguna sugerencia para éste tipo de casos?

Estaba pensando pasar al principio del programa todo los paquetes de ese archivo a una lista enlazada para que no tener que abrir el archivo cada vez, no sé que pensarás ustedes, así creo que sería más rápido, porque todas las comprobaciones ocurren en la memoria.

Muchas gracias, y saludos.

[sam90]

Efectivamente, lo recomendable es que leas una sola vez el archivo. Y si quieres algun mas velocidad implemente una tabla hash o algun otro estructura mas optima que una lista enlazada.

Saludos

[guzzano]

Iniciado por sam90

Efectivamente, lo recomendable es que leas una sola vez el archivo. Y si quieres algun mas velocidad implemente una tabla hash o algun otro estructura mas optima que una lista enlazada.

Saludos

Muchas gracias por tu respuesta Sam, tienes algún tipo de documentación sobre esas "tabla hash" que desconozco.

Un saludo.

[amchacon]

Lo ideal esque guardes todos los paquetes en la memoria (quitando las lineas en blanco y los comentarios). Después los ordenas alfabéticamente y implementes una busqueda binaria.