duda sobre caracteres \x93 \x94

[javie_85]

Hola a tod@s!, estoy probando a procesar texto en python, para ello utilizo unos libros codificados en windows, en los que aparte del \r típico observo que tiene caracteres \x93 y \x94, que aparecen como un cuadradito con 4 números, esto a que se debe?.

Es por el idioma, la codificación?...A su vez estos símbolos son fáciles de eliminar del texto, pero habría alguna forma de convertir el texto para que estos no aparecieran?, lo digo por si aparte de estos caracteres que SI he visto hay otros que no y no los estoy eliminando..

Muchas gracias .

[javie_85]

Lo tengo medio solucionado...lo que he hecho es codificar el fichero que anteriormente tenia alfabeto occidental y codificación ISO-8859-15 a UNICODE utf-8.

Despues para trabajar con python he convertido el texto leido :

Código Python:

textoU =  unicode(contenido_fichero,'utf-8')
 

Ahora bien, yo en este texto estoy usando ER para buscar entre otras cosas el simbolo ", el problema es que yo defini la expresion para buscar el simbolo de esta forma:

Código Python:

(\")
 

Pero me dado cuenta que el fichero de texto que estoy procesando, NO tiene caracteres ", sino ”!.

Porque no se estan convirtiendo estos caracteres a los usados en linux " ?.

Agradeceria toda ayuda!

[razpeitia]

Originalmente ASCII era usado en las antiguas computadoras como codificación, los valores podian ir desde 0 hasta 255 caracteres. Los cuales eran suficientes para todos los caracteres ingleses, de la "A" hasta "Z" mayúsculas, minúsculas y signos de puntuación y hasta caracteres especiales \n \r \t.

Hasta aquí todo bien, pero no paso mucho para que las computadoras se empezaran a expandir por todo el mundo y con ello el soporte para otros caracteres como áéí o incluso caracteres como あえい era vital para el uso de una computadora. Así que para eso se inventaron otros tipos de encoding, la parte triste de esta historia es que no se planifico bien y empezaron a surgir tantos tipos de encodings como se fueran necesitando. En lugar de hacer uno que soportara todos los lenguajes.

Bueno aqui un script sencillo de como codificar bien esos caracteres

Código Python:

#coding: utf-8
 
s = "á"
print repr(s)
print unicode(s, "utf-8")
 
s = '\xc3\xa1'
print repr(s)
print unicode(s, "utf-8")
 

Suponiendo que el encoding es utf-8

[javie_85]

Gracias razpeitia, pero perdoname, no es como yo lo he hecho?, esque no veo la diferencia...

[razpeitia]

Perdón, pero no había visto tu post :P

En tu segundo post, no veo ninguna pregunta clara.

Algo de código, una explicación de lo que tratas de hacer y el archivo que estas tratando de manejar serviría de mucho para poder ayudarte.

[javie_85]

A ver si me explico mejor pues. por ejemplo esto es un fragmento del texto que quiero procesar:

“¡Oh tío mío! ¡No hay inconveniente; podemos entrar sin peligro!”

De este texto quiero obtener los caracteres ", ahora bien, los caracteres " NO existen, porque por algun motivo que desconozco aparecen dos tipos de caracteres que lo sustituyen:

“ y ”

Mi dudas son varias, porque aparecen esos caracteres y no el caracter " ?, como hago para cambiar la codificación y que no aparezcan esos caracteres sino el mencionado y asi poder buscarlo?, si esto no es posible, como hago para obtener encontrar esos nuevos caracteres en el texto?. Todo esto lo quiero hacer con ER.

Espero haberme explicado mejor. Gracias por tu ayuda razpeitia


si a la cadena que he puesto de ejemplo le hago :

Código Python:

print repr(cadena)
 

me da:

Código Python:

u'\u201c\xa1Oh t\xedo m\xedo! \xa1No hay inconveniente; podemos entrar sin peligro!\u201d\n'
 

y originalmente estoy usando para buscar el caracter ":

Código Python:

craro = re.compile(r"""
 #Para explicar grupo
(
(\")
)
""", re.VERBOSE|re.U|re.I)
 

pero obviamente no funciona porque ese no es (") el caracter que aparece en el texto como he dicho

[razpeitia]

Reemplaza esas comillas. Esas comillas son comillas unicode, como las comillas normales (ascii) pero estilizadas. Una derecha y otra izquierda.

Código Python:

#coding: utf-8
s = u"“¡Oh tío mío! ¡No hay inconveniente; podemos entrar sin peligro!”"
s = s.replace(u'“', u'"')
s = s.replace(u'”', u'"')
print s
 

[javie_85]

gracias razpeitia. SI quiero buscar con la ER esos caracteres en lugar de remplazarlos por el " como seria?

[razpeitia]

Código Python:

#coding: utf-8
import re
pattern = re.compile(u'(["“”])', re.I | re.U)
s = u'“¡Oh tío mío! ¡No hay inconveniente;" podemos entrar sin peligro!”'
print pattern.findall(s)
 

¿Te refieres algo así?

[javie_85]

Si creo que si razpeitia, esque no sabia como indicar esos caracteres, pero ya veo que hay que usar u' '.

Mil gracias de nuevo.

[javie_85]

razpeitia me ha surgido una duda, que pasa si en lugar de buscar por

Código Python:

pattern = re.compile(u'(["“”])', re.I | re.U)
 

necesito hacerlo de otra forma, en la que quiera usar en el regex

Código Python:

re.compile(r"""( expresion) """)
 

, a la r"""" me refiero, porque con esto la expresión que tu has puesto no funciona.

Por ejemplo buscando por las cadenas a las que corresponden las comillas,

\u201c y \u201d

Código Python:

craro = re.compile(r"""
(\u201c)
"""
, re.VERBOSE|re.U|re.I)
 

lo que pasa que no encuentro forma de detectar estas cadenas...

Mil gracias.

[AlvaroG]

http://docs.python.org/reference/lex...tring-literals

Se pueden usar los modificadores "u" y "r" en la misma cadena:

Código Python:

ur'(["“”])'
 

es válido.

[javie_85]

Iniciado por AlvaroG

[url]http://docs.python.org/reference/lexical_analysis.html#string-literals[/url]

Se pueden usar los modificadores "u" y "r" en la misma cadena:

Código Python:

ur'(["“”])'
 

es válido.

Gracias AlvaroG pero que pasaría en ese caso con las 3 ", r""" ?.

Aun así no hay forma de detectar los caracteres por el código \u201c por ejemplo?

P.D lo he probado con ur"(expresion) " y funciona perfectamente, así que gracias.

[AlvaroG]

sí que hay forma de detectar la secuencia de caracteres, en la página que vinculé hay algunos ejemplos.

[javie_85]

Pues se me habia pasado el link AlvaroG, gracias, de todas formas lo resolvi con el ur""" """. Debe ser que no me entero mucho pero no he visto ningun ejemplo en el link de como detectar caracteres unicode por su codigo, pero vamos en si mi problema lo tengo resuelto.

Gracias de nuevo.

[AlvaroG]

Ya que buscabas una forma de combinar el modificador r con el modificador u, me refería a esto:

When an 'r' or 'R' prefix is used in conjunction with a 'u' or 'U' prefix, then the \uXXXX and \UXXXXXXXX escape sequences are processed while all other backslashes are left in the string. For example, the string literal ur"\u0062\n" consists of three Unicode characters: ‘LATIN SMALL LETTER B’, ‘REVERSE SOLIDUS’, and ‘LATIN SMALL LETTER N’. Backslashes can be escaped with a preceding backslash; however, both remain in the string. As a result, \uXXXX escape sequences are only recognized when there are an odd number of backslashes.

Código Python:

patron = re.compile('["\u201c\u201d]')
 

debería funcionarte como patrón para hallar comillas.

[javie_85]

AlvaroG gracias por tu ayuda, me habéis solucionado muchas dudas.