Búsqueda en Google con Python3

[Hazuki]

Buenas, estoy trabajando en una aplicación personal (escrita en Python3) para buscar fondos de escritorio en Google y descargarlos masivamente (me encantan los wallpapers ^^), pero para ello necesito realizar una búsqueda, y ahí llega el problema.

Al momento de hacer la petición, me devuelve un error 400: "Your client has issued a malformed or illegal request."

Mi código es el siguiente:

Código Python:

import httplib2
from urllib.parse import urlencode
 
q = 'anime'
 
h = httplib2.Http()
data = {
    'tbm'    : 'isch',
    'hl'     : 'en',
    'source' : 'hp',
    'biw'    : '',
    'bih'    : '',
    'btnG'   : 'Search Images',
    'gbv'    : 2,
    'aq'     : 'f',
    'aqi'    : '',
    'aql'    : '',
    'oq'     : '',
    'q'      : q,
}
 
response, content = h.request(uri="http://www.google.com/search", method="GET", body=urlencode(data), headers={
    'Content-Type': 'application/x-www-form-urlencoded',
    'User-Agent': 'Opera/9.80 (X11; Linux i686; U; en) Presto/2.9.168 Version/11.51',
})
 
print(content)
 

Espero que me puedan señalar el camino.
Saludos.

[razpeitia]

Lo que pasa es que google tiene varios mecanismos de seguridad para evitar que hagas un get o un post request fuera del sitio google.

Puedes leer esto en Cross-site request forgery de wikipedia.

Puedes saltarte estos mecanismo es factible pero ademas de eso tendrías que parsear html bajar las imagenes, etc..

Lo mejor sería usar la api de google para poder hacer este trabajo.

[Hazuki]

Bueh, finalmente lo conseguí. Gracias razpeitia, no sabía que Google tuviera una API para las búsquedas (^.^').

Aunque la verdadera razón por la que fallaba resultó ser una ridiculez. El método que usaba antes, el enviar las variables en el cuerpo de la petición, es para las peticiones POST, no GET (^_^").

Al final el código queda así:

Código Python:

import httplib2
from urllib.parse import urlencode
 
q = 'anime'
start = 0
h = httplib2.Http()
 
data = {
    'v'      : '1.0',
    'hl'     : 'en',
    'q'      : q,
    'rsz'    : 'large',
    'imgsz'  : 'large',
    'start'  : start
}
 
response, content = h.request(
    uri="http://ajax.googleapis.com/ajax/services/search/images?" + urlencode(data),
    method="GET",
)
 

Ahora sólo quedan los ajustes finales y a descargar se ha dicho. Muahaha.