Crawler PHP

[Ricrever]

Hola a toda la comunidad!!!
He visto que hay algun tema relacionado en lo foro sobre crawlers, pero quiero llegar mas profundo, explico que en la empresa donde trabajo me han encargado desenvolupar un crawler, mi pregunta es? por donde empiezo???
He visto algunos ejemplos por la red ya implementados, pero no me acaban de funcionar bien...
Me gustaria saber si alguien me puede ayudar, se que hay gente muy biena por aqui!!!
La idea seria, poner una "keyword" y que el crawler mostrara una lista de URL's españolas donde aparece dicha palabra.

Gracias amigos.

[walterdevel]

Podés usar la búsqueda de google para eso ( con el crawler obtener los resultados que te da buscar esa palabra en google ) o usar la api de yahoo ( esta solución es la más facil ).

[Ricrever]

Gracias por responder walterdevel, la opcion de google o la de yahoo ya las he estudiado, el problema es que dicha una keyword quiero guardar en un archivo, ya sea un .txt todas la urls de paginas españolas que contengan esta palabra, y luego hacer una busqueda en todas estar urls, como por ejemple videos, imagenes.....

Entiendes mi problema ?

Gracias de antemano!!! ;)

[walterdevel]

Si creo entiendo, y cualquiera de las dos opciones son factibles. Por ejemplo para google, te fijás las urls que genera cuando buscás imágenes, videos, etc., y luego generás una url similar para tus keywords. El problema con google es que te bannean la url XD, por eso puede ser mejor que uses la api de yahoo. La forma de obtener urls por keywords es usando buscadores, a no ser que tengas una base de datos propia de urls.

Ej:

Código PHP:

$busqueda = file_get_contents("http://www.google.com/search?as_q=videos+chistosos&as_epq=&as_oq=&as_eq=&hl=es&lr=&cr=countryES&as_ft=i&as_filetype=&as_qdr=all&as_occt=any&as_dt=i&as_sitesearch=&as_rights=&safe=images&btnG=Buscar+con+Google#hl=es&lr=&cr=countryES&as_qdr=all&tbs=ctr:countryES&q=videos&aq=f&aqi=g10&aql=&oq=&pbx=1&fp=e96bfc1f9c847293");
 

por ejemplo esa búsqueda es de "videos" en web españolas.

[Ricrever]

Bien amigo, esa es la cuestion, tengo que hacer esto pero implementado por mi, hacer mi propio codigo php, es decir, hacer mi propio programa y que este busque en la api de yahoo, o de google y que me devuleva las urls en un archivo para despues poder procesar dicho archivo, el problema esta en que nose como empezar.....

gracias, alguien ha diseñado un crawler antes como digo yo????

espero vuestras respuestas!!!

[Patriarka]

usa SPHIDER, te guarda en una db todas los liks desde una url.
luego debes añadir algun metodo como dijo el amigo con file_get_contents para que recupere el contenido de cada pagina, a asi segun lo vos quieras, x ej con los keywords si queres...............

[Ricrever]

Hola Patriarka, ya probe el SPHIDER y dicho programa no me cumplia los requisitos, la cuestion es que yo no tengo ninguna url, yo quiero obtener urls a partir de una keyword, por eso el SPHIDER no me funciona.

Me gustaria crear un crawler, no utilizar un software ya creado.

He estado leyendo sobre las librerias CURL_INI(), alguien sabe de lo que hablo?

Graciassssssss

[DeeR]

El funcionamiento general de un crawler es visitar un sitio, obtener el contenido y luego seguir con los enlaces de ese sitio, de está forma el crawler puede estar navengado "indefinidamente" por todas las url que encuentre.

Ahora lo que tu quieres hacer ("ingresar un keyword y obtener una URL"), yo lo llamaría un buscador, a menos que implementes un crawler que navege indefinidamente y clasifique la información y sobre esa información tu realizas tu busqueda.

A si que como dicen, puedes usar alguna API (Google,Yahoo,etc... ), personalmente he usado la de Google y funciona bien, y límite que tiene es bien amplio ( creo que un par de miles de consultas al día), hace tiempo atrás había usado la API Google Web Search API, el problem que ahora está "Deprecated", de todas formas sigue en funcionamiento.

Bueno te dejo un pequeño ejemplo en
http://deerme.org/articles/view/9-us...ogle-desde-php

Como puedes ver realizo una consulta a la API de Google (PHP +site:megaupload.com) y ella me devuelve un objeto json con los resultados.

Ahora solo debes iterar sobre el objeto y guardar las URL.

Saludos