Hola foreros, tengo una gran duda, estoy trabajando en el desarrollo de un spider para indexar paginas, la funcion basica es que ingreso una o mas url y a partir de esas se indexa el sitio completo, el punto es que hay sitios que tienen un archivo robot donde dan o no paso a los buscadores, y yo no estoy tomando ese archivo en cuenta y hago la indexacion de todas formas.
Y me surge la duda de si puedo llegar a tener problemas legales con eso, ya que no estoy respetando la voluntad del propietario de la pagina.
Saludos.
