Bajar archivos desde el servidor via HTTP

[drcyber]

Hola a todos...

En esta oportunidad necesito bajarme archivos via HTTP de un servidor. Son imágenes de no más de 400 bytes. Por ejemplo:

http://www.handyzone.com/galerias/logos/amor/

En dicha carpeta hay unas 200 imagenes (pueden acceder y verlas), pero guardarlas todas a mano es imposible.

¿Qué función puedo usar en PHP para descargarme dichas imagenes a mi PC?

Saludos y gracias.

[josemi]

Hola,

Muy sencillo. Hablas con el dueño de la web y se las pides. Tambien puedes pedirle que te las ponga en una carpeta accesible desde FTP, te cree una cuenta, y si tu PHP tiene soporte FTP, bajartelas asi.

Via HTTP es mas dificil. Podrias usar fopen() si tienes activados los fopen wrappers (www.php.net/wrappers) para guardarlas. Eso si, necesitas saber el nombre de los ficheros.

Por supuesto, supongo que tendras el permiso del dueño de las imagenes para hacerlo. Porque si no, podrias estar violando leyes de derechos de autor y demas. No todo lo que esta en internet es para que cualquiera lo use.

Saludos.

[leonardop]

Hola,

Parece que lo que buscas es una especie de crawler o programa de descargas automatizado, que pueda ser usado para obtener imágenes enlazadas desde una determinada página web. Un ejercicio interesante.

En tal caso, se me ocurre que puede implementarse algo como esto:

Código:

<?php

/*** Variables de control del script ***/

// URL de la pagina web de donde se van a descargar archivos

$url = 'http://www.handyzone.com/galerias/logos/amor/';


// Extensiones usadas para reconocer el tipo de archivos a descargar

$extensiones = array ('jpg', 'gif', 'png');


// Directorio local en donde se guardaran los archivos. Note que esta
// ruta debe terminar en el caracter delimitador de directorios del
// sistema operativo (barra en Unix, o barra invertida en windows, por
// ejemplo). Asegurese de que este directorio tenga los permisos
// apropiados para que este script pueda crear archivos alli.

$directorio = './imagenes/';



/*** Funciones ***/

function descargar_archivo ($url)
{
    $bufer = '';

    if (ini_get ('allow_url_fopen')) {

        // La forma facil...

        $da = fopen ($url, 'r');

        if (! $da) {
            echo "No ha podido leerse el contenido de $url\n";
            return FALSE;
        }

        while (! feof ($da))
            $bufer .= fread ($da, 4096);

        fclose ($da);
    } else {

        // Bueno, tendremos que obtener el archivo remoto directamente
        // mediante comunicacion al nivel de sockets... Nada
        // particularmente complejo despues de todo

        preg_match ('/^\\s*(?:\\w+:\\/{2})?(.*?)(:\\d+)?(\\/.*)$/',
                    $url, $coincidencias);

        $dominio = $coincidencias[1];
        $puerto  = $coincidencias[2];
        $ruta    = $coincidencias[3];

        if (! $puerto)
            $puerto = '80';

        if (! $ruta)
            $ruta = '/';

        $socket = fsockopen ($dominio, $puerto);

        if (! $socket) {
            echo "No pudo establecerse una conexion con $dominio\n";
            return FALSE;
        }

        fwrite ($socket, "GET $ruta HTTP/1.0\n\n");

        while (! feof ($socket))
            $bufer .= fread ($socket, 4096);

        fclose ($socket);

        $bufer = preg_replace ('/^.*?(\\r?\\n){2}/s', '', $bufer);
    }

    return $bufer;
}



/*** Programa principal ***/

echo "<pre>\n";

$documento = descargar_archivo ($url);

if (! $documento)
    exit (1);


// Buscar las etiquetas que crean enlaces hacia otros documentos

preg_match_all ('/<\\s*a\\s+.*?\\bhref=[\'"]?([^\'"\\s>]*)/i',
                $documento, $coincidencias);

$secuencia = $extensiones[0];
for ($i = 1, $conteo = count ($extensiones); $i < $conteo; $i++)
    $secuencia .= '|' . $extensiones[$i];

foreach ($coincidencias[1] as $enlace) {
    if (! preg_match ('/\\.(' . $secuencia . ')$/i', $enlace))
        continue;

    $archivo = preg_replace ('/^.*\\//', '', $enlace);

    if ($enlace{0} == '/') {

        preg_match ('/^\\s*(?:\\w+:\\/{2})?([^\\/]*)/', $url, $coincidencias);
        $enlace_url = $coincidencias[1] . $enlace;

    } else if (preg_match ('/^\\s*\\w+:\\/{2}/', $enlace))
        $enlace_url = $enlace;

    else {
        preg_match ('/^.*\\//', $url, $coincidencias);

        if ($coincidencias[0])
            $enlace_url = $coincidencias[0] . $enlace;
        else
            $enlace_url = $url . '/' . $enlace;
    }

    echo "Descargando $enlace_url ..";

    $contenido = descargar_archivo ($enlace_url);

    if (! $contenido) {
        echo "No pudo descargarse el documento $enlace_url\n";
        continue;
    }

    $da = fopen ("$directorio$archivo", 'w');

    if (! $da) {
        echo "No pudo crearse el archivo $archivo en el disco local\n";
        continue;
    }

    fwrite ($da, $contenido);

    fclose ($da);

    echo "listo\n";
}

echo "</pre>\n";

?>

No lo he probado exhaustivamente, y quizás cometí algún error en alguna parte del código, pero al menos parece obtener el resultado que buscas. :)


Un cordial saludo

[vic_mx]

no olviden avisar si encuentras eso!

[drcyber]

Buenas.

Tengo todos los permisos para descargar los archivos, el asunto es que el dueño me dijo que los descargara usando PHP porque él se encuentra de viaje y no se puede conectar a la red.

Además, si hago eso, quizás ese mismo señor me dé trabajo en su empresa. Por lo tanto debo hacerlo.

Yo tengo los nombres de las imágenes, son números.

[josemi]

Bien, entonces prueba el codigo de leonardop, la segunda parte, ya que si sabes el nombre de los ficheros y la ruta, no necesitas sacar los links de una pagina.

Suerte.

[Cluster]

Exelentes clases de expresiones regulares que nos dá leonardop .. xDDDD... ¿para cuando un mini tutorial de exp.reg aplicado a PHP? ..

Un saludo,

[drcyber]

Ok... haciendo pruebas llegué a esto:

Código PHP:

  <?php
$archivo = file_get_contents('http://www.handyzone.com/galerias/logos/amor/1028.gif');
echo $archivo;
?>   

Eso almacena el archivo en una variable, y luego cuando hago un echo, me muestra la imagen perfectamente.

¿Pero cómo hago para guardar dicha imagen en mi disco duro?

Estuve probando con fwrite() pero no me funcionó. ¿Qué hago?

[Cluster]

Tienes que usar fwrite() .. pero antes debes usar fopen() en modo binario ("rb") ...


Un saludo,

[drcyber]

¿O sea... debo dejar de usar file_get_contents() y abrir el archivo usando fopen() y luego escribirlo usando fwrite()?

[Cluster]

Código PHP:

  <?php
// lees tu archivo remoto ..
$url='http://www.handyzone.com/galerias/logos/amor/1028.gif';
$fp = fopen($url,'rb');
$archivo = fread ($fp, filesize ($url));
 
// GUARDAS tu $archivo (variable)
$fp=fopen('imagen_remota.gif','w');  // abrir archivo en modo binario "rb" ..
fwirte($fp,$archivo); // escribir ...
fclose($fp); // cerrar archivo ..
?>   

El problema es que filesize() NO devuelve valor en llamadas externas (que pasen por http:// ) sólo en locales (archivo.tal directo) .. Si conoces el tamaño (en bytes) de ese archivo .. puedes indicarlo en el segundo parámetro de fread() y fucionaría correctamente (en teoría).

Pero, con este código que simula una conexión HTTP normal .. puedes obtener el tamaño de un archivo remoto:

Créditos: http://www.iezzi.ch/snippets/003_fsize.php

(traducido a función):

Código PHP:

  <?php
 
function filesize_externo($u){
 
$ourhead = "";
$url=parse_url($u); 
$host=$url["host"]; 
$path=$url["path"]; 
 
$fp = fsockopen($host, 80, &$errno, &$errstr, 20); 
if(!$fp) { 
    echo("error"); 
    exit (); 
} else { 
    fputs($fp,"HEAD $u HTTP/1.1\r\n"); 
    fputs($fp,"HOST: dummy\r\n"); 
    fputs($fp,"Connection: close\r\n\r\n"); 
 
    while (!feof($fp)) { 
        $ourhead = sprintf("%s%s", $ourhead, fgets ($fp,128)); 
    }
} 
fclose ($fp);
 
$split_head = explode("Content-Length: ",$ourhead);
$size = round(abs($split_head[1])/1024);
return  $size;
}
?>   

Así que el código superior que te dejé tendrías que sustituir:

Código PHP:

  $archivo = fread ($fp, filesize ($url)); 
   

por

Código PHP:

  $archivo = fread ($fp, filesize_externo ($url)); 
   

Y .. debería ir. Ya nos contaras.

Un saludo,



Un saludo,

[drcyber]

El problema es que la "imagen_remota.gif" no existe y PHP deberá crearla. Por lo tanto me devuelve error.

Ese es mi problema principal, crear dicha imagen que no existe en mi PC usando el contenido obtenido vía fread() o file_get_contents().

Saludos.

[Cluster]

Me equivoqué ...

// GUARDAS tu $archivo (variable)
$fp=fopen('imagen_remota.gif','rb');

debe ser:

$fp=fopen('imagen_remota.gif','w');

En modo esritura .. Si no existe el archivo .. lo crea.

Más info de modos de lectura/escritura:
http://www.php.net/fopen

Un saludo,

[drcyber]

Ahh !!!.. el problema estaba en el "rb" del fopen() de imagen_remota.gif. Si en lugar de colocar "rb" colocamos "wb", entonces el fichero se crea solo usando el contenido que posee fread().

"rb" es lectura en modo binario, pero si lo que deseamos es crear un archivo nuevo en nuestro PC, entonces deberemos colocar "wb" lo que significa escritura en modo binario.

Código PHP:

  $url='http://www.handyzone.com/galerias/logos/amor/1028.gif';
$fp = fopen($url,'rb');
$archivo = fread ($fp, 400);
 
$fp=fopen('imagen_remota.gif','wb');
fwrite($fp,$archivo);
fclose($fp); 
   

Y listo, usando un while() podemos descargar archivos desde un servidor remoto. Esto va para las FAQS.

[Cluster]

Esperaa! drcyber

usas en el fread() un tamaño fijo .. 400 bytes para ser exactos. Mejor usa la funcion que puse filesize_externo() para ver exactamente el tamaño de la imagen (o archivo en general). Fijate por ejemplo si tengo imagenes más pesadas .. tu sólo leerias esos primeros 400 bytes ..

Un saludo,

[drcyber]

Bueno... en mi caso... todas las imágenes son de 398 bytes. Lo coloqué en 400 bytes para dar un margen de error.

Thankz anyway.

[drcyber]

Intenté descargar las imágenes asi:

Código PHP:

  for($i=1; $i<=3000; $i++){
    $url="http://www.handyzone.com/galerias/logos/amor/$i.gif";
    if(file_exists($url)){
        $fp = fopen($url,'rb');
        $archivo = fread ($fp, 400);
        $fp=fopen($i.'.gif','wb');
        fwrite($fp,$archivo);
        fclose($fp);
        $escr++;
    }
} 
   

Pero entonces la función file_exist() siempre me devuelve false. Lo cual es erróneo, porque los archivos existen.

Tengo algo malo en $url ???

[Cluster]

Mira bien la documentación de PHP sobre esa función ...

file_exist sólo funciona en "local" no en remoto ...

Por eso, si usas la función que te puse que mira el tamaño del archivo haciendo una conexión HTTP directa por sockets podrías ver si el el tamaó es mayor que 0 byte y ademas ajustar correctamente el valor del archivo que estás generando ...

Unos "bytes" de más .. si editas la imagen veras "negro" (o no sale corecto) (haz la prueba y lee muchos más bytes de los que sabes que tienen ..

Un saludo,

[drcyber]

Pues... me da un error en el

$fp = fsockopen($host, 80, &$errno, &$errstr, 20);

Warning: Call-time pass-by-reference has been deprecated - argument passed by value; If you would like to pass it by reference, modify the declaration of fsockopen(). If you would like to enable call-time pass-by-reference, you can set allow_call_time_pass_reference to true in your INI file. However, future versions may not support this any longer. in c:\appserv\www\logos\amor\index.php on line 10


¿?

[Cluster]

Quita los & a esas variables y prueba ..

Un saludo,

[drcyber]

Nop... ahora me devuelve:

Fatal error: Maximum execution time of 30 seconds exceeded in c:\appserv\www\logos\amor\index.php on line 20

Linea 20: $ourhead = sprintf("%s%s", $ourhead, fgets ($fp,128));

Se complicó la cosa hombre.

¿No hay una forma de verificar si el archivo existe remotamente con file_exists() o algo similar?

[sdf23]

me tome la libertad de hacerlo, funciona el script por que ya lo probe 140 imagenes en menos de 1 minutos :D ahi va el codigo:

Código PHP:

  <?
set_time_limit(0);
function caga($return)
{
    copy("http://www.handyzone.com/galerias/logos/amor/".$return.".gif","amor/".$return.".gif");
}
$fd = fopen ("http://www.handyzone.com/galerias/logos/amor/", "r");
while (!feof($fd)) {
    
    $buffer = fgets($fd, 4096);
    $buffer = preg_replace("/<a href=\"(.*)\.gif\">/esiU","caga('leer abajo')",$buffer);
    //echo $buffer;
}
fclose ($fd);
?>   

donde dice "leer abajo" sustituyelo por \\1
debes crear una carpeta llamada "amor"

[sdf23]

lo mas facil un fopen, y luego un copy :D:D

[nuevo]

si que es cafre si.... a ver ese tuto para las expresiones regurares... juas, juas... quiero aprender...

[drcyber]

Ok sdf23... el código trabaja... pero no lo entiendo muy bien. ¿Me lo explicas paso por paso?... disculpa la molestia, pero quiero aprender ... ;)

[Cluster]

Bueno .. el copy() para accesos remotos sólo funciona desde PHP 4.3.0 si mal no recuerdo (sólo como observación) ..

drcyber ..

El código que te pasé no lo hice yo .. es más ahí dejé la página del autor .. tampoco lo he probado así que no sé que sucede ahí.

Un saludo,

[drcyber]

No hay problema Cluster. Voy a analizarlo bien.