Bien, spiders gratuitos hay, incluso opensource que puedes modificar a tu gusto. Si tienes curiosidad, pasate por sourceforge.net o freshmeat.net , tienen una seccion especifica.
Y luego tambien hay indexadores/buscadores, como puede ser lucene de Apache, en java (
http://jakarta.apache.org/lucene/docs/index.html). Con el spider bajas las paginas a local y luego las procesas con lucene. Y a la hora de buscar, pasas el query a lucene.
Eso si, si vas a tener un buscador, necesitas una buena maquina. Asi si alguien tiene un servidor dedicado de sobra, puede investigar un poco.
Saludos.