Hola compañeros de FDW!!, estoy desarrollando mi webcrawler pero no logro hacer que funcione.
Ya después de estar programando bastante tiempo, y modificando errores, etc, no logré que arranque. Al subirlo e intentar iniciarlo no me marcó ningún error, sino que quedó en blanco.
El código es el siguiente:
Código PHP:
// parse the html into a DOMDocument
$dom = new DOMDocument();
@$dom->loadHTML($html);
// Grabando links
$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate("/html/body//a");
function extraer($url, $prof){
if($prof < 2 and mysql_num_rows($busqueda)==0 and strpos($url, $patron)!==FALSE){
$busqueda = mysql_query("SELECT webUrl FROM webs WHERE webUrl='$url'");
mysql_query("INSERT INTO webs(webTitulo, webDescripcion, webUrl, webKeywords) VALUES ('$titulo', '$descripcion', '$url', '$keywords')");
preg_match_all ("(<title>(.*)<\/title>)siU", $html, $title);
preg_match_all ("(<meta name=\"description\" content=\"(.*)\"\/>)siU", $html, $description);
preg_match_all ("(<meta name=\"keywords\" content=\"(.*)\"\/>)siU", $html, $keys);
$titulo = $title[1][0];
$descripcion = $description[1][0];
$keywords = $keys[1][0];
storeLink($titulo,$descripcion,$url,$keywords);
}
for ($i = 0; $i < $hrefs->length; $i++) {
$href = $hrefs->item($i);
$url2 = $href->getAttribute('href');
extraer($url2, $prof ++);
}
}
extraer($url, $prof);
No logro entender cual es el error, la parte del código que estoy modificando más es la que les publique, que es la que se encarga de la mayoría de las cosas.
El resto es curl.
Espero que puedan ayudarme, no puedo encontrar el error
Saludos y gracias!