DudaEstructura de base de datos para buscador

[kunndry]

Yo creo que todo depende mucho del numero de páginas que tengas ideas de indexar.

Es decir, si vas a indexar 20 proyectos...incluso podiras poner supervisión humana.

Si vas a poner 2000, el modelo (estructura) de la base de datos ya tendria que ser distinto para tener en cuenta como optimizar los resultados.

Si van a ser 20.000 proyectos... probablemente tengas que afinar mucho los metodos de ordenación de resultados y posiblemente pensar formas alternativas a las consultas tradicionales.

Si ya van a ser más...igual tendrias que intentar que google te diera su algoritmo.

Una sugerencia, si lo que buscan no es el aprendizaje de crear el buscador, usa google, es decir, integra google en tu site, los resultados van a ser mejores de lo que podais conseguir vosotros. Si lo importante del proyecto es crear el buscador...os recomiendo que empeceis a leer mucha documentación acerca del modelo relacional y sobre optimización.

Para extraer contenido de las webs, busca información sobre analizadores léxicos (Sirven para extraer texto con patrones, seria una capa por encima de las expresiones regulares).

Yo en linux he trabajado con flex, pero la verdad que sin mucha carga de texto, es decir, con archivos pequeños iba muy bien y rapido, con grandes textos...no tengo ni idea. Suerte.