Hola, estoy haciendo un buscador como Google pero solo de las páginas Segundamano.es y Milanuncios.com.
La intención es recoger los mejores de cada una y hacer listados de busqueda, claro, que enlazarán al anuncio real.
Mientras que no tenga la etiqueta "no-index" ¿indexo todo?.
Me gustaría saber más sobre los temas legales de los robots de contenido y si ellos podrían en un futuro decirme que los saque del buscador.
Saludos.