Proyecto de scraping con Django y BeautifulSoup

[jslonim]

Hice un projecto con django y BeautifulSoup, mientras usara mi servidor local del manage.py, andaba espectacular, sin embargo, cuando lo subi al server www.pythoneverywhere.com cada vez que lo uso para hacer scraping me da 403:forbidden, no importa lo que haga, ya intente usar lxml,requests,urllib2,mechanize(Con el handle_robots(False) y todo, incluso cambiar headders) y no consigo hacerlo andar, y sucede con todas las paginas, no solo con las que uno puede creer que son seguras, con NINGUNA , estoy desesperado! alguien sabe como hacer?

[razpeitia]

Pasos a seguir:

1. Relajate
2. Dije relajate, todavía no estas relajado.
3. Una vez que estés relajado intenta responder las siguientes preguntas:
¿Que intentas hacer? (Eso casi esta cubierto, estas tratando de hacer scrapping + django)
¿Como lo estas haciendo? (*pppsss* sabes donde esta tu error? en el código. Si no podemos ver el código entonces como quieres que encontremos el error)
¿Que es lo que obtienes? (Ok un error 403, donde? que mas arroja? que dicen los logs, stacktrace, etc..?)
¿Que es lo piensas que deberías de obtener? (No esperas error 403, pero entonces que esperas ver?)

Una vez contestadas estas preguntas, sera mas fácil ayudarte.

[carbon]

Desconozco totalmente, pero no tentrá pythoneverywhere un proxy justamente para evitar eso?

[harryems]

suena a eso, a que hay algo bloqueandolo, hay quien considera al scrapping en una zona gris:
http://www.distilnetworks.com/is-web...he-word-is-is/

incluso en Odesk, si tu posteas un trabajo de scrapping te lo banean.

[minimal]

como dependerá del uso que le des si es para uso medicinal y personal y no para cosas comerciales donde ganes plata todo esta bien

[Carlangueitor]

Uso medicinal

[minimal]

Iniciado por Carlangueitor

Uso medicinal

bueno sabes siempre hay que tener buen humor en las cosas