software de robot

Ellyza · #1 (**permalink**) 27/12/2002, 07:26

Hola a todos me gustaría saber si existe algún programa o cómo se hace un robot, estilo google o por supuesto menos potente. Ya sabeis, estoy interesada en crear un directorio de empresas y necesitaría algo ásí que me lo indexara directamente en una base de datos dándole yo las palabras o tags a buscar.
Muchas Gracias y felices fiesta y nuevo año

Ellyza · #2 (**permalink**) 27/12/2002, 07:46

Por si no me he exp`licado bien me refiero a como crear un spyder o crawler o si estos ya existen y me podeis dar el nombre de algún software.
Gracias de nuevo

Ellyza · #3 (**permalink**) 30/12/2002, 02:59

NInguna ayuda?

virla · #4 (**permalink**) 31/12/2002, 05:31

proba preguntando en algunas de las tecnologias como asp php o alguna de esas, quizas te den la respuesta

#5 (**permalink**) 01/01/2003, 09:05

¡Buf! Hacer un robot no creo que sea difícil. El problema será la cantidad de recursos necesarios para que funcione correctamente. ¿Te imaginas un script en tu servidor leyendo millones de documentos por toda la red? Además, motores como Google no descartan ningún término, pero tú pretendes enfocarlo a palabras relacionadas con las empresas, así que sería más trabajo y menos precisión (podrías indexar cualquier cosa sólo por que en una página aparece una palabra relacionada, aunque la página no tenga nada que ver). Y en cualquier caso, será muy difícil controlar los resultados de forma eficiente. Pero bueno, sí es lo que quieres, el amigo Tantra dejó un buen enlace en el foro de E-business:

http://www.searchtools.com/robots/robot-code.html

Y en sitios como hotscript.com seguro que hay algún Robot listo para funcionar.

Por otra parte, para hacer un directorio de empresas no necesitas ningún Robot, sino algún script más sencillo. Pregunta en los foros de perl o php.

Ellyza · #6 (**permalink**) 01/01/2003, 10:45

Muchas gracias ITTPC.
POr supuesto llevas razón en lo que dices.
Cear ( o utilizar) algo como un robot para indexar webs a una base de datos sólo para crear un directorio de empresas sería algo obsurdo porque ocurriría lo que tu dices. Para hacer ese trabajo me bastaría con introducir un término de búsqueda en Google ir a las webs que aparezcan, copiar sus keywords e introducirlas manualmente en una base de datos, pero sería muy tedioso.
Mi idea sería obtener un script para poder hacerlo de forma mecánica, osea indicar yo las keyword a buscar, y que el script me haga el resto del trabajo, luego de todas formas habría que comprobar las webs.
El problema es que yo de php y de perl, ni idea. Sólo un poquito de ASP. Ya sé que es muy difícil pero como he conseguido tanto en estos foros pienso que alguién me podrá ayudar.
Muchas gracias de nuevo

Ellyza · #7 (**permalink**) 02/01/2003, 19:24

Bueno pues parece que he encontrado algo que aunque no es ASP a mí me va ala perfección.
Aquí les de jo el enlace. Muchas gracias a todos por las aportaciones.

elsabio · #8 (**permalink**) 07/05/2003, 14:19

Hola Ellyza, estuve revisando este articulo y me intereza.

Baje el programita que mencionas esta bien, lo que no entiendo es como hago para que grabe los datos: title, description, URL, y keywords.

Sabes cuando le das un criterio de busqueda, por defecto sale LOG y empieza la busqueda ahora al costado esta DATA (en la venta principal) y sale un cuadro:
URL, BASE, DAMAIN, TITLE, DESCRIPTIONS, KEYWORDS.

Como hago para que automaticamente me llene este cuadro?
Gracias