Tengo una aplicación que usa la api de youtube y de Grooveshark que muestra los datos desde una query de búsqueda.
El usuario hace una busqueda, muestra los resultados y segun el usuario va dando en los links del resultado, estos se van guardando en la base de datos. Con estadísticas de conteo, etc...
Bien ahora todos los boots, google, yahoo, bing, tambien reconocen esas url para indexarlas, que logicamente esta bien, pero el tema es que me están llenando la base de datos con miles de entradas
La idea es filtrar a todas las ips o rangos de ips que sean de todos los bots, asi no me insertan los datos en la BD, que indexen la url esta bien, por que en definitiva los datos los toma de los proveedores YTB y grooveshark y siempre van a estar online, pero solo quiero guardar los datos de usuarios reales.
He tratado de hacer el filtro, pero veo que son tantas ips o rangos que no voy a terminar nunca(Por exagerar), alguien habrá visto alguna clase o función que ya tenga esos rangos?
Saludos.