Crear spider web

[xarmagedonx]

Hola a todos!

Quisiera saber como se crea un spider básico para mi buscador.

Si alguien tiene un buen tutorial o sabe crearlo se lo agredezco.

El spider tendría solo que hacer la función básica de buscar url y agregarlas a la base de datos.

Saludos!!

[Triby]

Sabes programar en algun lenguaje del lado del servidor?

[xarmagedonx]

si, con ruby, pero creo que se hace con c++

[Triby]

De Ruby y C++ no tengo la menor idea, pero tambien puedes hacerlo con PHP, ASP,supongo que tambien Java, solo necesitas tener muy claro tu idea y decidirte por alguna tecnologia, porque basicamente lo que haras es:

1- Proporcionar a tu script una URL de inicio
2- Conectar a esa URL para obtener todo el codigo
3- Con expresiones regulares extraer todos los enlaces
4- Guardar en base de datos
5- Seguir los enlaces obtenidos, lo que te lleva nuevamente al punto 1

Dudo mucho que eso te sirva de algo si no tienes todavia idea del lenguaje que vas a usar.

P.D. El spider de mi mensaje anterior se nego a hacer el trabajo.

[xarmagedonx]

jaja que lastima me caia bien el spider XD

php se algo no mucho pero veo que puedo hacer =P

Gracias!