¿Se puede detectar el uso de file_get_contents?

[rubiomike]

Muchas gracias por responder perryjr. Yo creía que si no permitías el acceso mediante robots.txt no dejabas entrar a nadie en esos directorios. Vamos que aún así si una persona con mala leche quiere saber lo que tengo en esos directorios podrá verlo no?.

Por otra parte, he estado leyendo bastante sobre file_get_contents y curl, más que nada para aprender y también para saber de que forma otro usuario mal intencionado podría coger contenido de mi web, y he encontrado que muchos que intentan hacer un crawler (creo que se llama así) para hacer un buscador o algo parecido, dicen que les banean las ip. Supongo que esto será porque intentan coger mucho contenido, pero me surge la preguna ¿Cómo hacen las web que buscan ofertas en ebay o sitios parecidos para que no les baneen la ip?


Un saludo.