Cita:
Iniciado por rubiomike 
Muchas gracias por responder perryjr. Yo creía que si no permitías el acceso mediante robots.txt no dejabas entrar a nadie en esos directorios. Vamos que aún así si una persona con mala leche quiere saber lo que tengo en esos directorios podrá verlo no?.
Por otra parte, he estado leyendo bastante sobre file_get_contents y curl, más que nada para aprender y también para saber de que forma otro usuario mal intencionado podría coger contenido de mi web, y he encontrado que muchos que intentan hacer un crawler (creo que se llama así) para hacer un buscador o algo parecido, dicen que les banean las ip. Supongo que esto será porque intentan coger mucho contenido, pero me surge la preguna ¿Cómo hacen las web que buscan ofertas en ebay o sitios parecidos para que no les baneen la ip?
Un saludo.
No se bien, pero deduzco que si buscan ofertas tienen algún API para conectarse con eBay.
Igualmente, creo que puedes llegar a imitar un navegador normal enviando los headers correspondientes.
Y no se por que no quisieras que obtengan contenido mediante file_get_contents (de hecho, a mi cURL me resulta más práctico)...
Saludos!