Codificacion de texto

[anrodse]

Estoy usando BeautifulSoup leer contenidos de paginas webs y tengo un problema.

La pagina web que leo esta en utf-8. Con BeatuifulSoup no hay problemas en esto, y cuando ejecuto msg = soup.a['title'] mete en la variable msg un string en utf-8 sin problemas.

El caso es que a la hora de guardar este valor en un fichero (o ponerlo por consola) me da errores:
- Si hago print(str(mgs)) todo va bien, acentos incluidos, pero llegan caracteres extraños y falla 'charmap' codec can't encode character '\x92' in position 3
- Si hago print(str.encode(msg,encoding="utf-8")) no da errores en la ejecución, pero me escribe tensi\xc3\xb3n en lugar de tensión, ademas de poner siempre la cadena como b'tensión', y no quiero que muestre este b'...'.

¿Hay una forma de imprimir esto bien? Los caracteres que fallan me da igual ignorarlos, pero no quiero quitar todas las letras con acento (al menos deberia dejar las letras sin el acento puesto, aunque no es lo ideal).

El fallo es con la consola de windows, pero no me sirve que funcione solo en linux.

[razpeitia]

Probaste con

Código Python:

print(msg)
 

Con algo de código que replique tu error, podríamos ayudarte mas.

[anrodse]

Os pongo el codigo y me decis:

Código Python:

d = request.urlopen(dominio)
        web = d.read()
        soup = BeautifulSoup(web)
        diccionario = soup.find("ul", {"id":"list-container"})
        for l in diccionario.find_all('li'):
            txt = l.a['title']
            print(str.encode(txt,encoding="ascii",errors='replace'))
#           print((str(txt,errors='ignore')))
#           print(str(txt))
#           print(txt)
 

con print(txt) ya he conseguido que me funcione, aunque antes me daba problemas por conversion de bytes a str (no recuerdo el errror exacto).
De todas formas, ¿hay alguna forma de que cuando imprimes algo con encode="..." no te muestre de la forma u'...' o b'...'?

Edito: con print(txt) me da 'charmap' codec can't encode character '\x92' in position 3.

[razpeitia]

Bueno probé con 2 sitios el siguiente script. Ya que el tuyo no era ejecutable con copiar y pegar hice este.

Código Python:

from urllib import request
from bs4 import BeautifulSoup
 
#dominio = 'http://www.fayerwayer.com/'
dominio = 'http://www.jpf.go.jp/'
d = request.urlopen(dominio)
web = d.read()
soup = BeautifulSoup(web)
titulo = soup.find("title")
print(titulo.text)
 

Y en los 2 sitos funciona muy bien.

Aun no puedo replicar tu error :(

[anrodse]

El caracter que me falla es este: '’'
Esta entre las dos comillas, pero no se ve. Si intentas leer este cuadro de texto, al imprimirlo te dará un error python.

Si intentas imprimir la cadena: L’aveugle se ve que hay un fallo, por un caracter que esta despues de la L. Se supone que era una comilla, pero no se ve.

Edito: se ve que esta web cambia esta comilla por otra, y por tanto aqui si funciona. Buscaré otro ejemplo mejor.