[APORTE] file_get_contents(), cURL, HTTP_Request

[abimaelrc]

Podrías usar expresiones regulares para verificar si sale ese mensaje y luego con javascript un tiempo para que se recargue.

[Sourcegeek]

Muy bueno el tutorial, felicidades!
Me aclaraste bastantes dudas con el ;)

[Shakespeare]

Iniciado por abimaelrc

Podrías usar expresiones regulares para verificar si sale ese mensaje y luego con javascript un tiempo para que se recargue.

Gracias.

Yo quería saber si existía una función curl para eso sin necesidad de recurrir a otros lenguajes. Entiendo que entonces no.

Una forma que probé es repetir todo el proceso, reenviando todos los datos, hasta llegar a la misma página y usando el parámetro curlopt_fresh_connect para que no cargue de caché. Eso funciona, aunque no me pareció muy elegante y tal vez no sirva para todos los casos.

Saludos.

[lweb20]

hola yo tengo un código para obtener el país de una ip pero si servidor no me permite usar curl. Ayúdenme a transformar este código a file_get_contents si es posible xfa!!!

function getCountry1($ip_address){
$url = "http://ip-to-country.webhosting.info/node/view/36";
$inici = "src=/flag/?type=2&cc2=";

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_POST,"POST");
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, "ip_address=$ip_address");

ob_start();

curl_exec($ch);
curl_close($ch);
$cache = ob_get_contents();
ob_end_clean();

$resto = strstr($cache,$inici);
$pais = substr($resto,strlen($inici),2);

return $pais;
}

[abimaelrc]

No es necesario usar cURL o file_get_contents, verifica en el área de aportes hay otro tema que te puede ayudar con lo de obtener el pais basado en el ip.

[Shalvaid]

Hola, antes que nada muchas gracias por los ejemplos. Necesito utilizar el que funciona con una direccion https:

Código PHP:

$LOGINURL = "https://www...."; 
$agent = "Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.4) Gecko/20030624 Netscape/7.1 (ax)"; 
 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL,$LOGINURL); 
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2); 
curl_setopt($ch, CURLOPT_USERAGENT, $agent); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); 
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); 
$page = curl_exec ($ch); 
curl_close ($ch);
echo $page;
 

El problema es que en internet explorer no funciona, hay alguna forma de hacerlo andar en ie?. En chrome y firefox funciona 10 puntos.

Muchisimas gracias .

edit: Elimine para que utilize cookies y envie datos por post, porque no lo necesitaba, me traerá algun problema esto?

[abimaelrc]

A veces los sitios web leen las cabeceras, como por ejemplo el lenguaje, trata colocando algo como

Código PHP:

<?php
$header[] = "Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5";  
$header[] = "Cache-Control: max-age=0"; 
$header[] = "Connection: keep-alive"; 
$header[] = "Keep-Alive: 300"; 
$header[] = "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7"; 
$header[] = "Accept-Language: en-us,en;q=0.5"; 
$header[] = "Pragma: "; // browsers keep this blank. 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL,$LOGINURL); 
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2); 
curl_setopt($curl, CURLOPT_HTTPHEADER, $header); 
curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.4) Gecko/20030624 Netscape/7.1 (ax)'); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); 
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); 
$page = curl_exec ($ch); 
curl_close ($ch);
echo $page;
 

Tambien trata otro useragent, en internet hay muchos ejemplos.

Edito: Si el sitio web que quieres acceder, requiere de cookies, es importante que las uses y lo registres en los encabezados en cada una de las peticiones.

[abimaelrc]

Verifiqué, la dirección y no me dió problemas con tu código en IE7. Por si acaso borra el cache y trata de nuevo con IE, tal vez el problema es que registró algún error en el caché y siempre te mostrará ese error, por lo menos eso ocurre con IE solamente. Si tienes problemas, te recomiendo que crees un tema y te contestaremos alla para que no se pierda el hilo de este aporte.

[stramin]

no había visto este tema, simplemente espectacular!

abimael siempre impresionandome O.O

justo había estado buscando como obtener el html de una búsqueda de google para generar resultados en una página, esto me servirá.

lo que mas me impresiona es la cantidad de "malos usos" que podría haber para esto, por ejemplo para hacer phishing u obtener datos de usuarios o del servidor...

[zerokilled]

buenas!
mis felicitaciones abimael! pero mas importante aun, gracias! muy excelente el aporte porque esta todo centralizado y enfocado en un aspecto en particular. aunque ya conocia alguna de las tecnicas, no sabia las diferencias que implicaba.

ahora bien, me queda una duda. ¿hay algun metodo particular que sea preferible dado a su buen rendimiento/desempeño? estaba buscando en el internet pero no encuentro, seguramente porque todavia no tengo las palabras claves correctas. la duda va enfocado a que efectos secundario puede haber en circunstancias particulares. por ejemplo, si con algun metodo puede haber problema de buffer cuando se obtiene el contenido en una variable, y/o como resultado que el contenido obtenido sea parcial. ¿por que viene la duda? intentare hacer un script CLI para obtener una documentacion de forma recursiva. los documentos son de tipo html y el peso puede ser variable, seguramente no mas de 250KB.

[skiper0125]

Excelente tu aporte

[abimaelrc]

@zero, al principio en la parte de introducción, doy varias observaciones cuál se debe usar. La que en varios tutorial que lei antes de postear y aún sigo verificando indican que la mejor es cURL por lo robusta que es. Hay varias ténicas, que muestro en varios post, de como limitar la consulta a que sea por bytes o por tiempo que te pueden ayudar a mejorar la búsqueda.

Ahora, para manejarte en un HTML para buscar algo en específico, lo mejor es usar SimpleXML o DOM. Si lo quieres para otra cosa, puedes usar cURL o file_get_contents. Cualquier duda me dejas saber

[Erikfrancisco]

hola abimaelrc primero que nada felicitaciones por tu aporte es muy bueno pero quisiera saber si me podrias ayudar con un problema que tengo y es el siguiente: quiero leer la respuesta que da una pagina por ejemplo:
http://consultas.curp.gob.mx/CurpSP/...oA=H&strTipo=A
Si la ejecuto directamente si funciona pero si la trato de leer con fopen o las funciones que mencionas no me va... de casualidad ¿sabrias porque sucede eso?
de antemano muchas gracias por la ayuda.

[abimaelrc]

Trata el último ejercicio de http://www.forosdelweb.com/3031878-post6.html

[Erikfrancisco]

Gracias por tu pronta respuesta abimaelrc , ya lo probe con file_get_contents y sigue sin funcionar aun no logro que lea el contenido de la pag., mira hago lo siguiente:

Código PHP:

          $options = array( 'http' => array( 'header' => 'User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; es-ES; rv:1.9.0.6) Gecko/2009011913 Firefox/3.0.6' . PHP_EOL ) ); 
        $context = stream_context_create($options);
        $page = file_get_contents('http://consultas.curp.gob.mx/CurpSP/curp1.do?strPrimerApellido=TORRES&strSegundoAplido=ZAVALA&strNombre=ERIK FRANCISCO&strdia=22&strmes=01&stranio=1983&sEntidadA=DF&sSexoA=H&strTipo=A', false, $context);
        echo $page; 
   

No encuentro donde está el error, espero que se pueda hacer con file_get_contents ya que serviria en casi todos los servidores. De antemano gracias.

[abimaelrc]

Ehhhh dije el último con cURL.

[Erikfrancisco]

GRACIAS abimaelrc, SI funcionó con cURL pero que pasa si no tengo acceso al php.ini lo probe de forma local pero al contratar hosting no creo que me den chance de modificar eso... me imagino que varios de los servidores lo traeran habilitado pero en caso de que no como se fuerza a que se habilite.

[abimaelrc]

Usa phpinfo y verifica si sale cURL como habilitado.

[Erikfrancisco]

si, ya se que con phpinfo averiguo si esta el curl habilitado... pero si no está habilitado hay alguna otra forma de hacerlo

[abimaelrc]

Trata de esta forma entonces

Código PHP:

<?php
$options = array('http' => 
    array(
        'header' => 'User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; es-ES; rv:1.9.0.6) Gecko/2009011913 Firefox/3.0.6' . PHP_EOL
            . 'Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5' . PHP_EOL
            . 'Cache-Control: max-age=0' . PHP_EOL
            . 'Connection: keep-alive' . PHP_EOL
            . 'Keep-Alive: 300' . PHP_EOL
            . 'Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7' . PHP_EOL
            . 'Accept-Language: en-us,en;q=0.5' . PHP_EOL
            . 'Pragma: ' . PHP_EOL
    )
); 
$context = stream_context_create($options);
$page = file_get_contents('http://consultas.curp.gob.mx/CurpSP/curp1.do?strPrimerApellido=TORRES&strSegundoAplido=ZAVALA&strNombre=ERIK%20FRANCISCO&strdia=22&strmes=01&stranio=1983&sEntidadA=DF&sSexoA=H&strTipo=A', false, $context);
echo $page;
 

[reborn]

Hola abimaelrc.
Estoy utilizando esto para extraer el title de una web:

Código PHP:

function obtener_titulo($filtro){
$ext = "|<[\s]*title[\s]*>([^<]+)<[\s]*/[\s]*title[\s]*>|Ui";
if(preg_match($ext, $filtro, $resultado))
return $resultado[1];
else
return false;
}
 
$options = array('http' =>
                    array( 'header' => 'User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; es-ES; rv:1.9.0.6) Gecko/2009011913 Firefox/3.0.6' . PHP_EOL )
                    );
                    
                    $context = stream_context_create($options);
 
                    $page = file_get_contents($link, false, $context);
 
                    $title = obtener_titulo($page);
                                        
echo $title;
 

El tema es q al procesar varias paginas para extraer el title, mi pagina se hace muy lenta, es normal y logico esto?

[abimaelrc]

Sí, porque estás haciendo una petición y es como si tu pidieras con tu navegador una página, termina de obtener todo el contenido lo parseas y luego continuas con la proxima.

[reborn]

Muchas gracias, voy a probar.

[reborn]

Llegue a esto pero me sigue cargando demasiado lento

Código PHP:

$options = array('http' =>
    array( 'header' => 'User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; es-ES; rv:1.9.0.6) Gecko/2009011913 Firefox/3.0.6' . PHP_EOL )
);
 
$context = stream_context_create($options);
 
$page = file_get_contents('http://www.url.com', false, $context);
 
$doc = new DOMDocument();
@$doc->loadHTML($page);
$nodes = $doc->getElementsByTagName('title');
 
$title = $nodes->item(0)->nodeValue;
 
echo $title;
 

En q le estoy fallando?

[abimaelrc]

Como te indique, el problema es que tiene que cargar toda la pagina y luego parsearla. Hay una forma de cargar parte y te lo muestro en uno de los ejemplos. Carga lo que entiendes que sea necesario y luego leela.

[reborn]

Me cuesta verlo.
Cree un post para no seguirlo aca porq creo q no es lo correcto.
Ahora me fijo en los ejemplos.
Gracias.

[abimaelrc]

Acabo de añadir otro ejemplo usando el IPN (Instant Payment Notification) de Paypal en el mensaje #7. La idea del código es verificar si es verdaderamente de paypal el pago o de alguien tratando de pasarse de listo. En el mensaje #7 al final está la información y como usarlo.

[charlescuellar]

hola amigo como puedo hacer para extracer el titulo descripcion video de youtube?

[abimaelrc]

Lo recomendable es usar el API, trata la documentacion que tiene youtube de su API para que puedas ver todas las opciones que tienes.

[asleegg]

hola he estado toda la semana buscando como puedo configurar el crul para cargar una pagina web. Pero que para acceder a ella es atraves de un poxy con usuario y contraseña. y lo peculiar de esto seria que tomra esos datos de las sesiones activas en el nabegador.
por favor nececito la ayuda de esta comunidad