Hola a todos, estoy pensando en hacer un pequeño robot o araña de busqueda, es para una intranet, necesito que indexe todas las paginas que hay, unas 150 y su modo de funcionamiento simplemente seria el siguiente:
diciendole una pagina de partida por ejemplo 192.168.1.100/index.html
saque el Title y todos los href que encuentre y teniendo los href tendria que ir a esa otra pagina que puede ser 192.168.1.101/index.html y hacer lo mismo, asi hasta que llegue a una pagina donde no haya mas href que visitar.
no se con que lenguaje puedo hacerlo ya que solo manejo asp y eso es muy complejo de hacer en asp.
¿que lenguaje me recomiendan?