Problema Encoding

[carbon]

Buenas a todos. Los "sorprendo" nuevamente con el mismo problema. Esta vez se trata de lo siguiente: Una función retorna el siguiente valor:

Código Python:

c¾mo estßs?
 

En consecuencia tengo ese valor en una variable, y quisiera, logicamente, que el texto pudiera leerse de la manera correcta:

Código Python:

cómo estás?
 

Con el siguiente código:

Código Python:

print variable.encode("utf-8")
 

Retorna el siguiente error: UnicodeDecodeError: 'ascii' codec can't decode byte 0xbf in position 7: ordinal not in range (128)

Para aclarar, el encoding por defecto es ascii.

Espero que puedan ayudarme, gracias!

[razpeitia]

Necesitas la declaración de #encoding al principio.

Código Python:

# -*- coding: utf-8 -*-
 
string_as_bytes = "\xc2\xbfC\xc3\xb3mo estas?"
string_as_unicode = string_as_bytes.decode('utf-8')
 
print "String as bytes"
print repr(string_as_bytes)
print
 
print "String as unicode"
print repr(string_as_unicode)
print
 
print "String as bytes"
print string_as_bytes
print
 
print "String as unicode"
print string_as_unicode
 

Obviamente UTF-8 tiene que estar soportado por tu shell.

[carbon]

La línea # -*- coding: utf-8 -*- ya está, pero al hacer variable.decode("utf-8") (que es la que contiene el valor c¾mo estßs?), arroja este error:

UnicodeDecodeError: 'utf8' codec can't decode byte 0xbf in position 7: invalid start byte

Creo que primero debería convertir c¾mo estßs a "\xc2\xbfC\xc3\xb3mo estas?", verdad?

[razpeitia]

Lo que pasa es que "cómo estás" esta en alguna codificación y al momento de mostrarlo o imprimirlo lo haces en otra codificación completamente diferente.

¿En que codificación esta tu archivo?
¿En que codificación esta la cadena?
¿En que codificación esta imprimiendo en la consola?

[carbon]

El archivo está en UTF-8:

Código Python:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
 

Los otros dos como puedo averiguarlo?
El sys.getdefaultencoding() devuelve "ascii"

Gracias

[razpeitia]

No, la declaración de tu encoding dice que esta en utf-8. Pero solo el editor de texto que usas puede decirte que encoding estas usando para guardar el archivo.

La codificación de tu cadena voy asumir que es la misma que la tu archivo.

Y de la consola depende de que consola estés usando.

[carbon]

Ah, sí, estoy usando Geany y dice que es UTF-8. La consola es la de windows. No se que otro dato puedo darte...

[razpeitia]

El comando chcp te muestra en encoding que esta usando la consola de windows.

Otra cosa es que la consola de windows no soporta utf-8 tienes que usar otro consola para que los caracteres se vean bien o cambiar el encoding por probablemente latin-1 que es el encoding que usa windows en español.

[carbon]

Acabo de probar .decode("latin-1") y funciona perfectamente. Gracias!
Aún tengo una duda: aunque la consola de windows no soporte UTF-8, si yo no imprimo ningún texto, solamente hago el .decode("utf-8"), no debería permitirmelo?

Gracias nuevamente!

[razpeitia]

Si te lo permite. De hecho puedes hacer decoding de cualquier string siempre y cuando sea una secuencia valida de bytes en la codificación que hayas escogido.

Si estas usando windows y la consola de windows entonces puedes usar latin-1 como codificación en tu archivo para que puedas hacer como print "cómo estás" sin problemas.

[carbon]

Gracias