Romper respuesta 403 de milanuncios

[neck]

Hola, llevo varios días intentando guardar o mostrar el código de milanuncios para hacer web scraping. El código es básico pero mi intención mínima es poder obtener el código para luego procesarlo. Supongo que milanuncios tendrá capado este tipo de servicios pero creo que habrá alguna solución ya que otros bots como el de google pueden acceder. Mi codigo basico es este:

Código PHP:

  <?php
 
 
$ch = curl_init("http://www.milanuncios.es");
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
$contenido = curl_exec ($ch);
curl_close ($ch);
echo $contenido;
 
 
 
?>   

La respuesta es 403 Prohibido. Supuse que podrían ser problemas de cabeceras las cuales introduje pero la misma respuesta me da. ¿Me podríais encaminar un poco sobre este tema ya que se me escapa?

Muchas gracias amigos. Saludos

[lauser]

Aparte de que lo que pretendes,,, no es nada ético. Deberias haber empezado por revisar su robots....

Código :

User-agent: *
Disallow: */lugar/
Disallow: */contacta/
Disallow: */compartir/
Disallow: */email/
Disallow: */datos-contacto/
Disallow: */contactos-*/
Disallow: /*/*estafa*
Disallow: /*/*zoofilia*
Disallow: /index.php*
Disallow: /*.php*
Allow: /*/*.htm
 
User-agent: e-SocietyRobot
Disallow: /
 
User-agent: UbiCrawler
Disallow: /
 
User-agent: DOC
Disallow: /
 
User-agent: Zao
Disallow: /
 
User-agent: sitecheck.internetseer.com
Disallow: /
 
User-agent: Zealbot
Disallow: /
 
User-agent: SiteSnagger
Disallow: /
 
User-agent: WebStripper
Disallow: /
 
User-agent: WebCopier
Disallow: /
 
User-agent: Fetch
Disallow: /
 
User-agent: Offline Explorer
Disallow: /
 
User-agent: Teleport
Disallow: /
 
User-agent: TeleportPro
Disallow: /
 
User-agent: WebZIP
Disallow: /
 
User-agent: linko
Disallow: /
 
User-agent: HTTrack
Disallow: /
 
User-agent: Microsoft.URL.Control
Disallow: /
 
User-agent: Xenu
Disallow: /
 
User-agent: larbin
Disallow: /
 
User-agent: libwww
Disallow: /
 
User-agent: ZyBORG
Disallow: /
 
User-agent: Download Ninja
Disallow: /
 
User-agent: wget
Disallow: /
 
User-agent: grub-client
Disallow: /
 
User-agent: NPBot
Disallow: /
 
User-agent: WebReaper
Disallow: /
 
User-agent: psbot
Disallow: /
 
User-agent: Exabot
Disallow: /
 
User-agent: Speedy
Disallow: /
 
User-agent: Yandex
Disallow: /
 
User-agent: dotbot
Disallow: /
 
User-agent: Bloglines/3.1
Disallow: /
 
User-agent: Mail.Ru
Disallow: /
 
User-agent: Jyxobot/1
Disallow: /
 
User-agent: cityreview
Disallow: /
 

[neck]

Hola lauser

Ante todo muchísimas gracias por tu respuesta. Te aseguro que no pretendo utilizar datos de milanuncios para mi enriquecimiento ni nada parecido. Mi intención es utilizar solo datos de mis anuncios publicados ya que tengo casi un centenar, como por ejemplo las visitas que tengo a según que hora del día. Para mi la ética también es importante solo pretendo automatizar algunas vistas.


No había pensado ni por asomo en los robots, creí que tuviera alguna especie de restricción del servidor.

Pero tengo una duda, se supone que este robot niega el acceso a los user-Agent que están especificados en la lista. El User-Agent que yo especifiqué fue :

Código:

Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.155 Safari/537.36

Código PHP:

  <?php
 
 
$ch = curl_init(); 
curl_setopt ($ch, CURLOPT_URL, 'http://www.milanuncios.es/');
curl_setopt ($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.155 Safari/537.36');
curl_setopt ($ch, CURLOPT_HTTPHEADER, array("Accept-Language: es-es, en"));
curl_setopt ($ch, CURLOPT_TIMEOUT, 10);
curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
 
 
$contenido = curl_exec ($ch);
curl_close ($ch);
 
 
echo $contenido;
 
?>   

¿A que puede ser debida esta restricción ?

Gracias

[neck]

La verdad hay algo que se me escapa. Llevo varios días buscando información sobre este problema que tengo y haciendo continuas y constantes pruebas pero no doy con el problema. Puede que sea por el trabajo que tengo a la cola y no me deja centrarme bien. Alomejor lo tengo delante de mis ojos pero no se donde está. Mi lógica es, si otros como google pueden y tienen acceso, yo también tengo que poder. Seguiré buscando y pensando haber si lo resuelvo. Mientras tanto les doy las gracias porque en este foro siempre me han ayudado.

[Triby]

Como ya lo mencionó lauser, este tema es de dudosa ética y creo que si la web tiene esta protección será porque no tienen interés en que se acceda al contenido si no es desde su mismo dominio.

Creo que hay suficientes motivos para cerrar este tema.