Saludos:
Perdonad si la pregunta es ridícula, pero viene de un neófito en el tema así que disculpen si meto la mata....demasiado
Supongo que es posible, ya que hoy por hoy vemos que los buscadores los utilizan,
programar bots o spiders que sean capaz de navegar por la red recopilando información e introduciendo dicha información en enormes bases de datos.
Yo no pretendo realizar ningún buscador estilo Google

, pero si que me preguntaba si es muy complicado
crear un bot que pudiera recoger el título de la web y su URL , en
qué lenguaje se programa y si
existe algún código básico de algún bot o spider a modo de ejemplo
Quizá sea una burrada lo que pregunto, pero...por preguntar
Gracias y un saludo