Gracias ferny, he estado probando sphider y la verdad va bastante bien.. ahora tengo un problem, quiero que únicamente indexe una página por dominio osea que en vez de indexar:
www.dominio.com www.dominio.com/pagina1.html www.dominio.com/pagina2.html... etc
Pues guardara en la BD únicamente
www.dominio.com, sabes si hay algún script indexador que haga esto?
saludos y gracias de nuevo!