[APORTE] file_get_contents(), cURL, HTTP_Request

[abimaelrc]

He visto varios post, indicando de que forma se puede conectar a una pagina externa usando PHP o mostrar una pagina externa a través de PHP, etc. Aqui hay una pequeña información de como lograrlo con diferentes métodos. Si alguien desea añadir al tema, mostrando otro método es bienvenido. En diferentes post estare añadiendo información. Lo estoy haciendo porque me vi en la necesidad de estudiar sobre el tema para unas aplicaciones en el trabajo y creo que será útil para muchos que deseamos aprender sobre el tema.

Hay varias maneras de mostrar un URL remoto en PHP. La elección de un método sobre otro depende de las necesidades de su simplicidad, control y portabilidad. Los tres métodos descritos en este post son los estandares file function, la extensión cURL, y la clase de PEAR HTTP_Request. Estos tres métodos pueden generalmente hacer todo lo que necesita y por lo menos uno de ellos deben estar disponibles, sea cual sea su configuración del servidor o capacidad de instalar las extensiones personalizadas. Otras formas de recuperar las URL remotas incluye la extesión pecl_http (http://pecl.php.net/package/pecl_http), que, aunque todavía en desarrollo, ofrece algunas características prometedoras, y utilizando el fsockopen() para abrir un zócalo sobre el que envía una petición HTTP que lo construye pieza por pieza.

El uso del estandar "file function" como la función file_get_contents() es simple y conveniente. Sigue automaticamente las redirecciones, así que si utiliza esta función para recuperar el directorio http://www.example.com/persona/ y el servidor le redirecciona a http://www.example.com/people/, obtendrá el contenido de la página de índice de directorio, no un mensaje que le dice que la URL ha cambiado de dirección. También las funciones de archivo estándar de trabajo tanto con HTTP y FTP. El inconveniente de este método es que requiere la directiva de configuración allow_url_fopen a estar activado.

La extensión CURL es una poderosa herramienta. Se basa en el popular libcurl (http://curl.haxx.se/) para proporcionar un rápido, configurable mecanismo para el manejo de una amplia variedad de peticiones de red. Si esta extensión está disponible en su servidor, le recomendamos que utilice.

Si se desactiva allow_url_fopen y cURL no está disponible, el módulo PEAR HTTP_Request salva el día. Al igual que todos los módulos de PEAR, es puro PHP, por lo que si puede guardar un archivo PHP en su servidor, puede utilizarlo. HTTP_Request soporta casi cualquier cosa que te gustaría hacer cuando se solicite una URL remota, incluyendo la modificación de cabeceras de petición y el cuerpo, utilizando un método arbitrario, respuesta y recuperación de los encabezados. Para mas informacion sobre como instalar los modulo de PEAR puedes ir a http://pear.php.net/manual/en/installation.getting.php

Para recibir información de URL seguras, solo escribe https en vez de http. Siempre y cuando en PHP haya sido construido en una libreria SSL tal como OpenSSL, todas las funciones que pueden recibir información de URL regulares pueden recibir información de URL seguras. Verifica la sección de "openssl" en la salida de phpinfo() para ver si tu configuración de php tiene soporte de SSL.

Aquí hay varios ejemplos de lo que se puede hacer con los 3 métodos.

Para trabajar con cURL existe una librería que facilita la forma de trabajar con cURL https://github.com/rmccue/Requests

Obteniendo una URL con file_get_contents()

Código PHP:

<?php
$page = file_get_contents('http://www.example.com/algo.txt');
echo $page;
?>
 

Obteniendo una URL con cURL

Código PHP:

<?php
$c = curl_init('http://www.example.com/algo.txt');
curl_setopt($c, CURLOPT_RETURNTRANSFER, true);
$page = curl_exec($c);
curl_close($c);
echo $page;
?>
 

Obteniendo una URL con HTTP_Request

Código PHP:

<?php
require_once 'HTTP/Request.php';
$r = new HTTP_Request('http://www.example.com/algo.txt');
$r->sendRequest();
$page = $r->getResponseBody();
echo $page;
?>
 

Mostrar una pagina protegida con file_get_contents()

Código PHP:

<?php
$url = 'http://FDW:[email protected]/proyecto.php';
$page = file_get_contents($url);
echo $page;
?>
 

Mostrar una pagina protegida con cURL

Código PHP:

<?php
$c = curl_init('http://www.example.com/proyecto.php');
curl_setopt($c, CURLOPT_RETURNTRANSFER, true);
curl_setopt($c, CURLOPT_USERPWD, 'FDW:PASS');
$page = curl_exec($c);
curl_close($c);
echo $page;
?>
 

Mostrar una pagina protegida con HTTP_Request

Código PHP:

<?php
require 'HTTP/Request.php';
$r = new HTTP_Request('http://www.example.com/proyecto.php');
$r->setBasicAuth('FDW','PASS');
$r->sendRequest();
$page = $r->getResponseBody();
echo $page;
?>
 

Enviar por el método de POST requiere de manejo especial en cada argumento. Con el método de GET, estos argumentos están en la cadena de consulta, pero en un POST van en la solicitud cuerpo. Además, la solicitud necesita una cabecera Content-Length que le dice al servidor el tamaño del contenido a esperar en la solicitud cuerpo.

Mostrar una dirección URL con el método de POST en vez del metdo de GET es bien útil cuando la cadena es muy larga, más de 200 caracteres aproximadamente. La especificación de HTTP 1.1 en el RFC 2616 no impone una longitud máxima en las URL, por lo que el comportamiento varía entre las diferentes web y servidores proxy. Si al mostrar las URL con GET y recibes resultados inesperados o resultados con el código de estado 414 ( "Request-URI Too Long"), convierte la solicitud al metodo de POST.

Usar el metodo de POST con file_get_contents()

Código PHP:

<?php
$url = 'http://www.example.com/submit.php';
$body = 'FDW=programacion&PHP=f18';
$options = array('method' => 'POST', 'content' => $body);
$context = stream_context_create(array('http' => $options));
$page = file_get_contents($url, false, $context);
echo $page;
?>
 

Usar el metodo de POST con cURL

Código PHP:

<?php
$url = 'http://www.example.com/submit.php';
$body = 'FDW=programacion&PHP=f18';
$c = curl_init($url);
curl_setopt($c, CURLOPT_POST, true);
curl_setopt($c, CURLOPT_POSTFIELDS, $body);
curl_setopt($c, CURLOPT_RETURNTRANSFER, true);
$page = curl_exec($c);
curl_close($c);
echo $page;
?>
 

Usar el metodo de POST con HTTP_Request

Código PHP:

<?php
require 'HTTP/Request.php';
$url = 'http://www.example.com/submit.php';
$r = new HTTP_Request($url);
$r->setMethod(HTTP_REQUEST_METHOD_POST);
$r->addPostData('FDW','programacion');
$r->addPostData('PHP','f18');
$r->sendRequest();
$page = $r->getResponseBody();
echo $page;
?>
 

Las cookies se envían al servidor en el encabezado de solicitud de cookies. La extensión cURL tiene una opción específica en cookies, pero con HTTP_Request, tienes que agregar el encabezado de cookies al igual que con otras cabeceras de petición. Los valores de Cookie múltiples se envían en una lista delimitada por coma. En los ejemplos vamos a enviar dos cookies: una con el nombre de user y con el valor FDW y otra con el nombre de actividad y con el valor de programacion.

Enviar cookies con file_get_contents()

Código PHP:

$options = array('http' =>
    array(
        'method'  => 'GET',
        'header'  => 'Content-type: text/plain;charset=UTF-8' . PHP_EOL .
        'Referer: http://www.forosdelweb.com' . PHP_EOL .
        'User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; es-ES; rv:1.9.0.6) Gecko/2009011913 Firefox/3.0.6' . PHP_EOL .
        'Cookie: user=FDW; actividad=programacion;' . PHP_EOL
    )
);
$context = stream_context_create($options);
$page = file_get_contents('http://www.example.com/needs-cookies.php', false, $context);
echo $page;
 

Enviar cookies con cURL

Código PHP:

<?php
$c = curl_init('http://www.example.com/needs-cookies.php');
curl_setopt($c, CURLOPT_COOKIE, 'user=FDW; actividad=programacion');
curl_setopt($c, CURLOPT_RETURNTRANSFER, true);
$page = curl_exec($c);
curl_close($c);
echo $page;
?>
 

Enviar cookies con HTTP_Request

Código PHP:

<?php
require 'HTTP/Request.php';
$r = new HTTP_Request('http://www.example.com/needs-cookies.php');
$r->addHeader('Cookie','user=FDW; actividad=programacion');
$r->sendRequest();
$page = $r->getResponseBody();
echo $page;
?>
 

[abimaelrc]

Continuación de los ejemplos...

Seguir redireccionamientos con file_get_contents()
Nota: El file_get_contents() sigue automáticamente las redirecciones (header("Location: redireccion.php")).

Código PHP:

<?php
$url = 'http://www.example.com/redirector.php';
echo file_get_contents($url);
?>
 

Seguir redireccionamientos con cURL

Código PHP:

<?php
$c = curl_init('http://www.example.com/redirector.php');
curl_setopt($c, CURLOPT_RETURNTRANSFER, true);
curl_setopt($c, CURLOPT_FOLLOWLOCATION, true);
$page = curl_exec($c);
curl_close($c);
echo $page;
?>
 

Seguir redireccionamientos con HTTP_Client
Nota: HTTP_request no sigue las redirecciones, pero el módulo de PEAR HTTP_Client logra lo que queremos

Código PHP:

<?php
require_once 'HTTP/Client.php';
$client = new HTTP_Client();
$client->get($url);
$response = $client->currentResponse();
echo $response['body'];
?>
 

Puede que si el servidor está en safe_mode te dé un error, para más información de como solventar este problema leer el siguiente aporte http://www.forosdelweb.com/f18/aport...bit-ly-808160/ (por Triby).



Como hemos indicado anteriormente el file_get_contents() sigue automáticamente las redirecciones (header("Location: redireccion.php")). A partir de PHP 5.0.0, file_get_contents() y fopen() nos da unas opciones especificas acerca de como obtener el stream. En PHP 5.1.0 y posteriores, una de esas opciones es max_redirects el número máximo de redirecciones a seguir. Si indicamos el max_redirects a 0 o 1, solo hace una solicitud.

El max_redirects realmente no indica el número de redirecciones deben seguirse, pero el número máximo de solicitudes que deben efectuarse en el momento siguiente a la cadena de redireccionamiento. Es decir, un valor de 1 le dice a PHP que al menos una solicitud debe seguir, y no un redireccionamiento. Un valor de 2 le dice a PHP para que al menos de 2 solicitudes deben seguir y no más de 1 redireccionamiento. (Un valor de 0, sin embargo, se comporta como un valor de 1, PHP hace sólo 1 solicitud.)

No seguir redirecciones con file_get_contents()

Código PHP:

<?php
$url = 'http://www.example.com/redirector.php';
$options = array('max_redirects' => 1 );
$context = stream_context_create(array('http' => $options));
echo file_get_contents($url, false, $context);
?>
 

No seguir redirecciones con cURL
Nota: Para no seguir las redirecciones no uses CURLOPT_FOLLOWLOCATION

Código PHP:

<?php
$c = curl_init('http://www.example.com/redirector.php');
curl_setopt($c, CURLOPT_RETURNTRANSFER, true);
$page = curl_exec($c);
curl_close($c);
?>
 

No seguir redirecciones con HTTP_Request
Nota: HTTP_Request no sigue redirecciones

Código PHP:

<?php
require_once 'HTTP/Request.php';
$r = new HTTP_Request('http://www.example.com/redirector.php');
$r->sendRequest();
echo $r->getResponseBody();
?>
 

Limitar a 2 redirecciones con file_get_contents

Código PHP:

<?php
$url = 'http://www.example.com/redirector.php';
$options = array('max_redirects' => 3 );
$context = stream_context_create(array('http' => $options));
echo file_get_contents($url, false, $context);
 

Limitar a 2 redirecciones con cURL

Código PHP:

<?php
$c = curl_init('http://www.example.com/redirector.php');
curl_setopt($c, CURLOPT_RETURNTRANSFER, true);
curl_setopt($c, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($c, CURLOPT_MAXREDIRS, 2);
$page = curl_exec($c);
curl_close($c);
 

[abimaelrc]

Continuación de los ejemplos...

Si quieres obtener una URL remota, pero no quieres esperar demasiado tiempo si el servidor remoto está ocupado o lento.

Configurar tiempo limite con file_get_contents()
Nota: Estableceremos el tiempo limite a 15 segundos

Código PHP:

<?php
ini_set('default_socket_timeout', 15);
$page = file_get_contents('http://slow.example.com/');
echo $page;
 
// o se puede limitar también
$context = stream_context_create(array('http' => array('timeout' => 10)));
$page = file_get_contents('http://slow.example.com/', 0, $context);
// Ejemplo de uso lo podemos ver en
// http://www.forosdelweb.com/f18/file_get_contents-falla-947572/
 

Configurar tiempo limite con cURL
Nota: Estableceremos el tiempo limite a 15 segundos

Código PHP:

<?php
$c = curl_init('http://slow.example.com/');
curl_setopt($c, CURLOPT_RETURNTRANSFER, true);
curl_setopt($c, CURLOPT_CONNECTTIMEOUT, 15);
$page = curl_exec($c);
curl_close($c);
echo $page;
?>
 

Configurar tiempo limite con HTTP_Request
Nota: Estableceremos el tiempo limite a 15 segundos

Código PHP:

<?php
require_once 'HTTP/Request.php';
$opts = array('timeout' => 15);
$req = new HTTP_Request('http://slow.example.com/', $opts);
$req->sendRequest();
?>
 

Si dependes de un servicio remoto, puede estar funcionando y en marcha, pero no estara en condiciones de manejar sus pedidos debido a problemas de red entre tu servidor y el servidor remoto. Limitar la cantidad de tiempo que espera de PHP para conectar a un servidor remoto es una buena idea, si se utilizan datos procedentes de fuentes remotas que sea parte del proceso de construcción de la página.

Todas las técnicas que describiremos limita la cantidad de tiempo de espera de PHP para conectar a un servidor remoto. Si estas realmente preocupado por las respuestas rápidas, adicionalmente configura el límite de cuánto tiempo PHP espera recibir los datos de los zócalos conectados. Para una conexión stream, utilice la función de stream_set_timeout(). Para esta función necesitas abrir un stream con fopen() y no con file_get_contents(). En los ejemplo limitaremos el tiempo de leer a 20 segundos.

Aunque el establecimiento de conexión y los tiempos de lectura puede mejorar el rendimiento, también puede dar lugar a respuestas ilegibles. La secuencia de comandos puede leer sólo una respuesta parcial ante un tiempo de expiración. Si ha establecido los tiempos, asegúrese de validar toda la respuesta que ha recibido. Por otra parte, en situaciones en las que la generación de la página rápido es fundamental, puedes recuperar los datos externos en un proceso separado y escribir a una memoria caché local. De esta forma, sus páginas pueden usar el caché, sin temor a límites de tiempo o respuestas parciales.

Configurar el tiempo de leer con fopen()

Código PHP:

<?php
$url = 'http://slow.example.com';
$stream = fopen($url, 'r');
stream_set_timeout($stream, 20);
$response_body = stream_get_contents($stream);
echo $response_body;
?>
 

Configurar el tiempo de leer con cURL

Código PHP:

<?php
$c = curl_init('http://slow.example.com/');
curl_setopt($c, CURLOPT_RETURNTRANSFER, true);
curl_setopt($c, CURLOPT_CONNECTTIMEOUT, 15);
curl_setopt($c, CURLOPT_TIMEOUT, 20);
$page = curl_exec($c);
curl_close($c);
echo $page;
?>
 

Configurar el tiempo de leer con HTTP_Request

Código PHP:

<?php
require_once 'HTTP/Request.php';
$opts = array('readTimeout' => array(20,0));
$req = new HTTP_Request('http://slow.example.com/', $opts);
$req->sendRequest();
?>
 

[abimaelrc]

Cotinuación de los ejemplos...

Enviar archivos con cURL

Código PHP:

<?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "http://example.com/send_file.php");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_POST, true);
// lo mismo que <input type="file" name="nombre_del_input" />
$post = array(
    "nombre_del_input"=>"@C:/directorio/en/servidor/hacia/el/archivo.jpg",
);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post); 
$page = curl_exec($ch);
echo $page;
 

Aquí hay más información de como conectarse a un servidor que requiere autentificarse con cookies
Ejemplo usando cURL y URL seguras

Código PHP:

<?php
$cookie_file_path = "c:/cookiefile";//o lo que sea 
$LOGINURL = "https://www.example.com/loquesea"; 
$agent = "Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.4) Gecko/20030624 Netscape/7.1 (ax)"; 
$POSTFIELDS = 'user=usuario&pass=password';//o lo que sea 
 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL,$LOGINURL); 
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2); 
curl_setopt($ch, CURLOPT_USERAGENT, $agent); 
curl_setopt($ch, CURLOPT_POST, 1); 
curl_setopt($ch, CURLOPT_POSTFIELDS,$POSTFIELDS); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); 
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file_path); 
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file_path); 
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); 
$page = curl_exec ($ch); 
curl_close ($ch);
echo $page;
 

Este ejemplo fue tomado de este tema

Otro ejemplo conectandose al servidor con cookies o sesiones

Código PHP:

$cookeFile = 'cookie.txt';
file_put_contents($cookeFile, '');
$url    = "http://example.com/a.php";
$url2   = "http://example.com/b.php";
$fields = array("usr" => 'usr', "pwd" => 'pwd');
 
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookeFile);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookeFile);
curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($fields));
 
$page = curl_exec($ch);
 
curl_setopt($ch, CURLOPT_URL, $url2);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookeFile);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
 
$page = curl_exec($ch);
 
echo $page;
 

Ejemplo tomado de este tema

[abimaelrc]

Para mostrar una página que incluye variables de cadena en la consulta, puedes hacer uso de http_build_query() para crear la cadena de consulta. Se acepta una serie de clave/valor en pares y devuelve una única cadena con todo escapado correctamente. Usted es responsable del simbolo de ? en el URL que establecen la consulta. Ejemplo con file_get_contents()

Código PHP:

<?php
$vars = array('FDW' => 4, 'Programación' => 'PHP & f18');
$qs = http_build_query($vars);
$url = 'http://www.example.com/search.php?' . $qs;
$page = file_get_contents($url);
?>
 

Ya hemos visto como obtener información de otros servidores. Si deseas manejar la informacion en vez de imprimirlo directamente en la pagina lo pasas a una variable y luego lo puedes manejar. Ejemplo de un codigo que desea mostrar en la pagina el resultado de las palabras que buscas pero que estén destacadas ("highlighted").

Código PHP:

$body = '<p>Me gusta mucho la programación de PHP.</p>
 
Deseas saber sobre programación de <a href="http://www.forosdelweb.com/f18">PHP</a>.
 
Yo deseo aprender sobre file_get_contents(), cURL y HTTP_Request.
 
<cURL>¡cURL no es una etiqueta de HTML!</cURL>';
 
$words = array('PHP','cURL');
$replacements = array();
foreach ($words as $i => $word) {
    $replacements[] = "<span style='color: #ff0000;'>$word</span>";
}
 
$parts = preg_split("{(<(?:\"[^\"]*\"|'[^']*'|[^'\">])*>)}",
                    $body,
                    -1,
                    PREG_SPLIT_DELIM_CAPTURE);
foreach ($parts as $i => $part) {
    if (isset($part[0]) && ($part[0] == '<')) { continue; }
    $parts[$i] = str_replace($words, $replacements, $part);
}
 
$body = implode('',$parts);
 
print $body;
?>
 

$body representa el resultado que hayamos obtenido usando uno de los métodos que hemos usado. El resultado imprimira:

Código html:

<p>Me gusta mucho la programación de <span style='color: #ff0000;'>PHP</span>.</p> 
 
Deseas saber sobre programación de <a href="http://www.forosdelweb.com/f18"><span style='color: #ff0000;'>PHP</span></a>.
 
Yo deseo aprender sobre file_get_contents(), <span style='color: #ff0000;'>cURL</span> y HTTP_Request.
 
<cURL>¡<span style='color: #ff0000;'>cURL</span> no es una etiqueta de HTML!</cURL>
 

Bueno esta abierto para los demas post

Creo que este último post debería ser otro aporte

[abimaelrc]

Para poder manipular los links de lo que hayamos obtenido usando cualquiera de los metodos mencionados podemos usar este codigo. En este caso usaré file_get_contents()

Código PHP:

<?php
$html = file_get_contents('http://www.example.com/');
function extract_links($html) {
    $links = array();
    preg_match_all('/<a\s+.*?href=[\"\']?([^\"\' >]*)[\"\']?[^>]*>(.*?)<\/a>/i', $html,$matches,PREG_SET_ORDER);
    foreach($matches as $match) {
        $links[] = array($match[1],$match[2]);
    }
    return $links;
}
$links = extract_links($html);
foreach ($links as $link) {
    echo $link[0] . PHP_EOL;
}
?>
 

Para bajar un archivo usando cURL se puede lograr de esta forma

Código PHP:

<?php
$url = 'http://www.example.com/hola.zip'; 
  
$g=basename($url); 
 
$fp=fopen($g, "w");
 
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_FILE, $fp);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 60);
curl_exec($ch);
curl_close($ch);
 
fclose($fp);
 

Para bajar un archivo usando file_get_contents se puede lograr de esta forma

Código PHP:

<?php
$url = "http://www.example.com/zip.zip";
$g=basename($url);
$content = file_get_contents($url);
file_put_contents($g,$content);
 

Para leer un sitio web que verifica si es un navegador o no el que trata de ver la página web y solo despliega la información si es un navegador el que visita el sitio, puedes tratar el siguiente código

file_get_contents

Código PHP:

<?php
$options = array('http' => 
    array( 'header' => 'User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; es-ES; rv:1.9.0.6) Gecko/2009011913 Firefox/3.0.6' . PHP_EOL ) 
); 
$context = stream_context_create($options);
$page = file_get_contents('http://www.example.com', false, $context);
echo $page;
 

cURL

Código PHP:

<?php
$ch = curl_init();
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; es-ES; rv:1.9.0.6) Gecko/2009011913 Firefox/3.0.6');
curl_setopt($ch, CURLOPT_URL, 'http://example.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$page = curl_exec($ch); 
curl_close($ch);
echo $page;
 

Un ejemplo lo pueden ver en este tema http://www.forosdelweb.com/f18/enigm...-error-833165/

Enviar petición, con la mayoría de las cabeceras que envían los navegadores

file_get_contents

Código PHP:

<?php
$options = array('http' => 
    array(
        'header' => array(
            'User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; es-ES; rv:1.9.0.6) Gecko/2009011913 Firefox/3.0.6',
            'Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5',
            'Cache-Control: max-age=0',
            'Connection: keep-alive',
            'Keep-Alive: 300',
            'Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7',
            'Accept-Language: en-us,en;q=0.5',
            'Pragma: ',
        )
    )
); 
$context = stream_context_create($options);
$page = file_get_contents('http://www.example.com', false, $context);
echo $page;
 

cURL

Código PHP:

<?php
$header[] = "Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5";  
$header[] = "Cache-Control: max-age=0"; 
$header[] = "Connection: keep-alive"; 
$header[] = "Keep-Alive: 300"; 
$header[] = "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7"; 
$header[] = "Accept-Language: en-us,en;q=0.5"; 
$header[] = "Pragma: "; // browsers keep this blank. 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL,'http://www.example.com'); 
curl_setopt($ch, CURLOPT_HTTPHEADER, $header); 
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.4) Gecko/20030624 Netscape/7.1 (ax)'); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); 
$page = curl_exec ($ch); 
curl_close ($ch);
echo $page;
 

Para autenticar, por ejemplo htpasswd se puede lograr de esta forma

Código PHP:

<?php
$url = "http://example.com/authenticate.php";
$curl = curl_init();
curl_setopt($curl, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
curl_setopt($curl, CURLOPT_USERPWD, "user:pass"); 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_URL, $url); 
$data = curl_exec($curl); 
curl_close($curl);
echo $data;
 

Este fue tomado del siguiente tema http://www.forosdelweb.com/f18/obten...s-http-956656/

[abimaelrc]

Para ver el estatus de algún sitio, con file_get_contents hay una variable que sostiene la información de la cabecera $http_response_header

Código PHP:

<?php
file_get_contents("http://forosdelweb.com/");
var_dump($http_response_header);
 

El problema de esta forma es que file_get_contents, tiene que cargar toda la página y una vez cargada la variable te dará la información. Puedes indicar límites a la descarga indicando el cuarto y quinto parametro que no pase información de la página o lea por ejemplo un solo caracter.

Código PHP:

<?php
//ningún caracter pasa
file_get_contents("http://forosdelweb.com/",null,null,0,0);
var_dump($http_response_header);
 
//pasa solamente el primer caracter
file_get_contents("http://forosdelweb.com/",null,null,0,1);
var_dump($http_response_header);
 

Pero hay una forma más sencilla de lograr ver la cabecera y es usando get_headers.

Código PHP:

<?php
var_dump(get_headers('http://forosdelweb.com/',1));
 
//Este sería la forma de verificar si una página está funcionando o no
$getHeader = get_headers('http://forosdelweb.com/',1);
echo $getHeader[0];
 

También cURL puede ver los estatus de los sitios web. Para este código verificaremos el estatus de los enlaces. Es una buena forma para ver si los enlaces que hemos posteado en la pagina estan rotos o han sido movidos. Solo escribe el nombre en el navegador
http://localhost/nombre_de_este_arch...s_de_links.com No tiene que ser otra direccion puede ser hasta tus propios archivos.

Una vez que una página se haya cargado, el programa utiliza el XPath para obtener una lista de enlaces en la página. Entonces, después de un preprocesamiento busca cada uno de los vínculos, los enlace son recuperados. Debido a que sólo necesita las cabeceras de estas respuestas, no necesitamos usar el método de GET, esto lo hacemos con la opción CURLOPT_NOBODY. Al activar CURLOPT_HEADER le indica a curl_exec() que incluya en la respuesta la cabecera en la cadena que envia. Basado en la respuesta, el estatus del link es impreso a la misma vez con la nueva localidad si ha sido movido.

Código PHP:

<?php
$url = $_GET['url'];
 
// Load the page
list($page,$pageInfo) = load_with_curl($url);
 
if(!strlen($page)) die("No page retrieved from $url");
 
// Convert to XML for easy parsing
$opts = array('output-xhtml' => true, 'numeric-entities' => true);
$tidy = new tidy;
$xml = $tidy->repairString($page,$opts);
 
$doc = new DOMDocument();
$doc->loadXML($xml);
$xpath = new DOMXPath($doc);
$xpath->registerNamespace('xhtml','http://www.w3.org/1999/xhtml');
 
// Compute the Base URL for relative links
$baseURL = '';
// Check if there is a <base href=""/> in the page
$nodeList = $xpath->query('//xhtml:base/@href');
if ($nodeList->length == 1) {
    $baseURL = $nodeList->item(0)->nodeValue;
}
// No <base href=""/>, so build the Base URL from $url
else {
    $URLParts = parse_url($pageInfo['url']);
    if (! (isset($URLParts['path']) && strlen($URLParts['path']))) {
        $basePath = '';
    } else {
        $basePath = preg_replace('#/[^/]*$#','',$URLParts['path']);
    }
    if (isset($URLParts['username']) || isset($URLParts['password'])) {
        $auth = isset($URLParts['username']) ? $URLParts['username'] : '';
        $auth .= ':';
        $auth .= isset($URLParts['password']) ? $URLParts['password'] : '';
        $auth .= '@';
    } else {
        $auth = '';
    }
    $baseURL = $URLParts['scheme'] . '://' .
               $auth . $URLParts['host'] .
               $basePath;
}
 
// Keep track of the links we visit so we don't visit each more than once
$seenLinks = array();
 
// Grab all links
$links = $xpath->query('//xhtml:a/@href');
 
foreach ($links as $node) {
    $link = $node->nodeValue;
    // resolve relative links
    if (! preg_match('#^(http|https|mailto):#', $link)) {
        if (((strlen($link) == 0)) || ($link[0] != '/')) {
            $link = '/' . $link;
        }
        $link = $baseURL . $link;
    }
    // Skip this link if we've seen it already
    if (isset($seenLinks[$link])) {
        continue;
    }
    // Mark this link as seen
    $seenLinks[$link] = true;
    // Print the link we're visiting
    echo $link.': ';
    flush();
 
    list($linkHeaders, $linkInfo) = load_with_curl($link, 'HEAD');
    // Decide what to do based on the response code
    // 2xx response codes mean the page is OK
    if (($linkInfo['http_code'] >= 200) && ($linkInfo['http_code'] < 300)) {
        $status = 'OK';
    }
    // 3xx response codes mean redirection
    else if (($linkInfo['http_code'] >= 300) && ($linkInfo['http_code'] < 400)) {
        $status = 'MOVED';
        if (preg_match('/^Location: (.*)$/m',$linkHeaders,$match)) {
                $status .= ': ' . trim($match[1]);
        }
    }
    // Other response codes mean errors
    else {
        $status = "ERROR: {$linkInfo['http_code']}";
    }
    // Print what we know about the link
    echo "$status\n";
}
 
function load_with_curl($url, $method = 'GET') {
    $c = curl_init($url);
    curl_setopt($c, CURLOPT_RETURNTRANSFER, true);
    if ($method == 'GET') {
        curl_setopt($c,CURLOPT_FOLLOWLOCATION, true);
    }
    else if ($method == 'HEAD') {
        curl_setopt($c, CURLOPT_NOBODY, true);
        curl_setopt($c, CURLOPT_HEADER, true);
    }
    $response = curl_exec($c);
    return array($response, curl_getinfo($c));
}
 

Para hacer la petición usando un proxy puedes hacerlo con cURL de esta forma:

Código PHP:

<?php
$url = 'http://www.google.com/';
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, true);
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
curl_setopt($ch, CURLOPT_PROXY, 'ip:port');
$page = curl_exec($ch);
 
$a = curl_getinfo($ch);
print_r ($a);
 
curl_close($ch);
 
echo $page;
 

Este código fue tomado de este tema http://www.forosdelweb.com/f18/curl-...8/#post3784335

Para hacer la petición usando un proxy puedes hacerlo con fopen de esta forma:

Código PHP:

<?php
$opts = array('http' => array('proxy' => 'tcp://127.0.0.1:8080', 'request_fulluri' => true));
$context = stream_context_create($opts);
$fp = fopen('http://www.example.com', 'r', false, $context);
 

Este código fue tomado de este tema http://www.forosdelweb.com/4147617-post93.html


IPN (Instant Payment Notification) Paypal y cURL
Para enviar a Paypal y verificar si es verdadero la transacción que haya hecho el usuario, usando el IPN (Instant Payment Notification)

Código PHP:

<?php
// Choose url
if(array_key_exists('test_ipn', $_POST) && 1 === (int) $_POST['test_ipn'])
    $url = 'https://www.sandbox.paypal.com/cgi-bin/webscr';
else
    $url = 'https://www.paypal.com/cgi-bin/webscr';
 
// Set up request to PayPal
$request = curl_init();
curl_setopt_array($request, array
(
    CURLOPT_URL => $url,
    CURLOPT_POST => TRUE,
    CURLOPT_POSTFIELDS => http_build_query(array('cmd' => '_notify-validate') + $_POST),
    CURLOPT_RETURNTRANSFER => TRUE,
    CURLOPT_HEADER => FALSE,
    CURLOPT_SSL_VERIFYPEER => TRUE,
    CURLOPT_CAINFO => 'cacert.pem',
));
 
// Execute request and get response and status code
$response = curl_exec($request);
$status   = curl_getinfo($request, CURLINFO_HTTP_CODE);
 
// Close connection
curl_close($request);
 
 
if($status == 200 && $response == 'VERIFIED')
{
    $str = '';
    foreach($_POST as $k => $v){
        $str .= $k . ' => ' . $v . PHP_EOL;
    }
    file_put_contents('ipn.txt', $str);
}
else
{
    file_put_contents('ipn_error.txt', $response . PHP_EOL . $status);
}
 

Para obtener el archivo cacert.pem deben ir a http://curl.haxx.se/docs/caextract.html y bajarlo o copiar y pegar el contenido a ese archivo con ese nombre y extensión. Lo deben colocar al lado del archivo que van a usar este código o a la ruta que hayan indicado.

Esta información la tomé de la siguiente página http://www.geekality.net/2011/05/28/...ification-ipn/

[Italico76]

ESPECTACULAR! gracias por compartir!

[abimaelrc]

Para eso estamos, solo espero que aporten a este tema. Si no entienden algo me dejan saber para poder editarlo y explicarlo mejor.

[acoevil]

Mas que interesante

[albert1980]

muy interesante, sobre todo lo de que se puede usar la función stream_context_create con file_get_contents

[bigwhite]

simplexml_load_file() es muy lenta....... sabes si puedo ocupar otra funcion ?

gracias!

[abimaelrc]

Aqui tienes una lista de todas las posibles formas para cargar un XML con PHP. Verifica si con el DOM logras lo que quieres.

[moonweb]

Antes que nada, es la segunda vez que escribo, porque no se donde fue la primera!
Desde mi hosting no puedo acceder a un rss de yahoo, ni con curl ni con get_file_contents.
lei todo el tuto (muy bueno por cierto) y no logro dar en el clavo, siempreme responde:
Warning: file_get_contents(weather.yahooapis.com/forecastrss?p=CAXX0443&u=c) [function.file-get-contents]: failed to open stream: Connection timed out in...

(la url del rss esta mal escrita para que la acepte el foro, le quite las 3w)

Tenes idea de que puede no funcionar? muchas gracias!

[abimaelrc]

Lo hice de esta forma y me salio. No le coloques las www con eso no sale ni escribiendolo en el campo de direcciones

Código php:

<?php
echo file_get_contents("http://weather.yahooapis.com/forecastrss?p=CAXX0443&u=c");
 

[moonweb]

Iniciado por abimaelrc

Lo hice de esta forma y me salio. No le coloques las www con eso no sale ni escribiendolo en el campo de direcciones

Código php:

<?php
echo file_get_contents("...://weather.yahooapis.com/forecastrss?p=CAXX0443&u=c");
 

Tenes razon, lo que le habia borrado era eso (no puedo escribirlo aca aun) y no las 3w, pero aun asi no logro conectarme. Si te sirve de dato, desde este mismo hosting no he podido conectarme remotamente a una db externa.
He probado de muchas formas distintas distintas y no logro leer de afuera, tenes idea que puede ser?
Gracias de antemano por contestarme tan rapido!
Si te llega a interesar te hago un ftp para probar .

[abimaelrc]

Tienes que ver si tienen activado allow_url_fopen. La forma de verlo es usando el phpinfo() y ver si esta activado.

[abimaelrc]

Para bajar archivos....
Edito: Se encuentra en el mensaje #6

[moonweb]

Iniciado por abimaelrc

Para bajar un archivo usando cURL se puede lograr de esta forma

Código PHP:

<?php
$url = '.example.com/hola.zip'; 
  
$g=basename($url); 
 
if(!is_file($g)){
    $fp=fopen ($g, "w");
 
    $ch=curl_init($url);
    curl_setopt ($ch,CURLOPT_FILE, $fp);
    curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,60);
    curl_exec ($ch);
    curl_close ($ch);
 
    fclose($fp); 
}
 

Realmente me volvi loco probando de todo, hasta que al final llame a mi hosting y no me dijeron que era, simplemente desde donde yo estaba alojado no se podia salir, asi que me cambiaron de servidor y listo.
Te agradezco mucho tu ayuda de todas maneras!!

[anonimooo0]

Iniciado por abimaelrc

Para bajar un archivo usando cURL se puede lograr de esta forma

Código PHP:

<?php
$url = ''; 
  
$g=basename($url); 
 
if(!is_file($g)){
    $fp=fopen ($g, "w");
 
    $ch=curl_init($url);
    curl_setopt ($ch,CURLOPT_FILE, $fp);
    curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,60);
    curl_exec ($ch);
    curl_close ($ch);
 
    fclose($fp); 
}
 

Genial!
Esto estaba buscando...!!

Pero tengo una duda. Como puedo ver cuanto pesa el archivo antes de bajarlo? Tambien necesito saber si es de determinado tipo. Por ejemplo, ZIP, RAR, etc...

Si se cumplen las condiciones de peso y tipo de arhivo quiero que se baje, pero si no NO...

[Animeonx]

Muy interesante... jeje, se me ocurren muchas cosas indebidas que se pueden hacer :D

[abimaelrc]

@anonimooo0, Para la primera las funciones que conozco se tienen que trabajar desde el servidor que estes usando el codigo de cURL, por ejemplo tienes esta funcion filesize.

Para la segunda con basename puedes saber el tipo de extension o mime_content_type o pathinfo.

[anonimooo0]

@abimaelrc

Pero para eso debo primero bajar el archivo?

No se pueden leer las cabeceras de los archivos antes de bajar para asi poder verificar esas cosas antes?

[abimaelrc]

Hiciste la prueba usando direccion absoluta, por ejemplo usando pathinfo

Código PHP:

<?php
pathinfo("http://www.example.com/archivo.zip");
 

[Animeonx]

Una pregunta, tal vez ya esta la respuesta... pero no la abre visto.
Supongamos que llamo a una pagina pero existe un link en especifico que no quiero que salga. ¿Como lo elimino?

[abimaelrc]

Podrias lograrlo colocandolo en una condicion y usando preg_match, si esta el link especifico que estas indicando entonces con preg_replace o str_replace podrías borrar esa parte del link.

[DjCasius]

y esto sería posible en páginas con permiso restringido?? mas que nada porque por ejemplo, el google no se puede ver.

[abimaelrc]

Si es posible usar el codigo con google, mira este ejemplo

Código PHP:

<?php
$page = file_get_contents('http://www.google.com/');
echo $page;
?>
 

[DjCasius]

hostia, y porque ahora me funciona? DIOS! gracias!

toda la tarde en ello para que 2 lineas funcionen... eso si solo me funciona en local, pero me sirve!!! guau me acabas de librar de trabajo de... 1 mes a hacerlo en... 2 dias!

[kuroTenshi]

Esto es lo que necesitaba n.n

<?php
$url = 'http://www.example.com/hola.zip';

$g=basename($url);

if(!is_file($g)){
$fp=fopen ($g, "w");

$ch=curl_init($url);
curl_setopt ($ch,CURLOPT_FILE, $fp);
curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,60);
curl_exec ($ch);
curl_close ($ch);

fclose($fp);
}

lo implemente en mi página pero lo estoy usando para grabar más de una imagen de diferentes urls las dudas son:
1. como hacer para grabarlos a una carpeta especifica?
2. pero con otro nombre?