El funcionamiento general de un crawler es visitar un sitio, obtener el contenido y luego seguir con los enlaces de ese sitio, de está forma el crawler puede estar navengado "indefinidamente" por todas las url que encuentre.
Ahora lo que tu quieres hacer ("ingresar un keyword y obtener una URL"), yo lo llamaría un buscador, a menos que implementes un crawler que navege indefinidamente y clasifique la información y sobre esa información tu realizas tu busqueda.
A si que como dicen, puedes usar alguna API (Google,Yahoo,etc... ), personalmente he usado la de Google y funciona bien, y límite que tiene es bien amplio ( creo que un par de miles de consultas al día), hace tiempo atrás había usado la API Google Web Search API, el problem que ahora está "Deprecated", de todas formas sigue en funcionamiento.
Bueno te dejo un pequeño ejemplo en
http://deerme.org/articles/view/9-us...ogle-desde-php
Como puedes ver realizo una consulta a la API de Google (PHP +site:megaupload.com) y ella me devuelve un objeto json con los resultados.
Ahora solo debes iterar sobre el objeto y guardar las URL.
Saludos