Curl->Obtener texto principal de una web

[SubZero_mb]

Buenas tardes,

Estoy haciendo una web que incluye un sistema de clasificación de enlaces. Quiero que la gente incluya la url y el sistema solo añada el title y el primer parrafo del texto de la noticia para luego poner un "leer más" que le lleve a la web en cuestión.

El title es facil obtenerlo pues siempre va entre las etiquetas <title> lo que no tengo ni idea de como obtener es el texto principal de la noticia, ya que en el body de una web hay muchísimas cosas.

Los que useis Facebook y hayais pegado un link en vuestro muro sabréis a lo que me refiero. Con Facebook publiques el link que sea, a cualquier tipo de web, sus sistema extrae siempre el texto de la noticia, no se confunde, no saca el texto que puede ir en una de las columnas de la web, en el pie de página...

Alguien se hace una idea de como se puede filtrar el html de una pagina para aislar el texto principal de esta? Muchisimas gracias.

[neuronic]

Buenas yo usaria file_get_contents (PHP 4 >= 4.3.0, PHP 5)

su uso es muy facil

Código PHP:

  $content = file_get_contents('url a obtener') 
   

y despues para filtrar partes del html puedes usar expresiones regulares, si buscas por el sr google "extract links for page in php"

o bien si te sirve el enlace
http://4rapiddev.com/php/php-parse-title-description-keywords-from-a-website/

[Ribon]

Lo que hace realmente Facebook es obtener el contenido del meta-tag description.
sino deja la URL como descripción.

Saludos.

[SubZero_mb]

Tienes razón Ribon, no me había percatado de eso, siendo así es muy facil obtener esa información, muchas gracias!

neuronic gracias a ti también, pero para el tema de las meta tags no tengo ningún problema, ya se hacerlo ahora mismo, mi pregunta era para obtener el texto principal de una noticia, sacado del body, no de las metatags.

[andresdzphp]

Iniciado por neuronic

Buenas yo usaria file_get_contents (PHP 4 >= 4.3.0, PHP 5)

su uso es muy facil

Código PHP:

  $content = file_get_contents('url a obtener') 
   

y despues para filtrar partes del html puedes usar expresiones regulares, si buscas por el sr google "extract links for page in php"

o bien si te sirve el enlace
http://4rapiddev.com/php/php-parse-t...rom-a-website/

Cuando hicieron ese script, será que no sabian que existe la función get_meta_tags?

Código PHP:

<?php
$tags = get_meta_tags('http://www.forosdelweb.com/');
 
echo '<pre>';
print_r($tags);
echo '</pre>';
 

[SubZero_mb]

Si andresdzphp, pero que pasa con el <title>? La función get_meta_tags solo devuelvo las metas, pero no el title y mucho menos el contenido principal del body. Esa función esta bien para sacar la description, las keywords, el author...

[andresdzphp]

Iniciado por SubZero_mb

Si andresdzphp, pero que pasa con el <title>? La función get_meta_tags solo devuelvo las metas, pero no el title y mucho menos el contenido principal del body. Esa función esta bien para sacar la description, las keywords, el author...

Obviamente el comentario sobra, para obtener html es mucho mejor usar las clases DOM de PHP. El uso de expresiones regulares en este caso no es la mejor opción.

http://php.net/manual/es/book.dom.php

Te dejo un ejemplo que estuve haciendo básico:

Código PHP:

<?php
$url = 'http://www.forosdelweb.com';
 
$html = file_get_contents($url);
 
$doc = new DOMDocument();
libxml_use_internal_errors(true);
$doc->loadHTML($html);
 
echo "titulo: {$doc->getElementsByTagName('title')->item(0)->nodeValue} <br /><br />";
 
$stats = $doc->getElementById('stats_footer')->getElementsByTagName('span');
 
echo "temas: {$stats->item(0)->nodeValue} <br />";
echo "mensajes: {$stats->item(1)->nodeValue} <br />";
echo "usuarios registrados: {$stats->item(2)->nodeValue}<br /><br />";
 
$metas = get_meta_tags($url);
 
echo "palabras claves: {$metas['keywords']}<br />";
echo "descripcion: {$metas['description']}<br />";
 

Saludos.

[SubZero_mb]

Gracias andresdzphp, me ha servido mucho tu ejemplo! No conocia la clase DOM.

[laurenceHR]

pues si es una web bien hecha, tendrá los titulos principales en etiquetas <h1></h1> o <h2></h2> ... algunas paginas optimizadas para SEO estan escritas estructuradamente...
lo de meta-tag me sigue pareciendo una gran idea... aunque no todos rellenan siempre esa info...