Reconocerdor lexico.

[Instru]

Hola todos de nuevo.
Tengo una inquitud, a ver si me pueden asesorar un poco.

Hace poco tiempo implemente un pequeño reconocedor léxico de un mini lenguaje. Lo hice en C.
Lo hice a mano, es decir, nada de lex ni flex. Para implementarlo, utilize una matriz de entradas/estados que llene de la siguiente manera.

Código:

//Fisrt all the character set.
    stateMatrix[1]['-']=1;
    for(input='A'; input<='Z'; ++input)
    {
        stateMatrix[1][input]=1;
    }
    for(input='a'; input<='z'; ++input)
    {
        stateMatrix[1][input]=1;
    }
    //Then all numbers
    for(input='0'; input<='9'; ++input)
    {
       stateMatrix[1][input]=1;
    }

    //Individual characters
    stateMatrix[0]['(']=PAR_A;
    stateMatrix[0][')']=PAR_C;
    stateMatrix[0]['[']=COR_A;
    stateMatrix[0][']']=COR_C;
    stateMatrix[0]['|']=OR;
    stateMatrix[0]['<']=1;
    stateMatrix[1]['>']=REGLA;
    stateMatrix[0][':']=2;
    stateMatrix[2][':']=3;
    stateMatrix[3]['=']=ASSIGN;
    stateMatrix[0]['"']=4;
    stateMatrix[4]['"']=TERMINAL;
.
.
.

Como se muestra en el código, saque provecho de la codificación ascii para que esto funcionara.

Ahora. Necesito implemetarlo en Python 3 sin usar re ni nada parecido. La idea es también hacerlo manualmente. El problema es que las cadenas de caracteres(string) en python ya usan unicode.

Para ser sincero, no quiero regresar al ascii, ya que eso impide cierto grado de portabilidad.

He estado pensando en alguna forma para hacerlo y pues solo se me ocurre la técnica de una larga lista de if-else.

Alguna idea de como tranformar este codigo en C a python??

Se los agradecería mucho.

Saludos

[razpeitia]

Puedes usar una lista y diccionarios para stateMatrix.

Código Python:

import string
 
stateMatrix = [
    {
        '(': PAR_A,
        ')': PAR_C,
        '[': COR_A,
        ']': COR_C,
        '|': OR,
        '<': 1,
        ':': 2,
        '"': 4,
    },
 
    {
        '>': REGLA,
    },
 
    {
        ':': 3,
    },
    
    {
        '=': ASSIGN,
    },
    
    {
        '"': TERMINAL,
    },
]
 
stateMatrix[1]['-'] = 1
for i in (string.ascii_uppercase + string.ascii_lowercase + string.digits):
    stateMatrix[1][input] = 1
 

[Instru]

Gracias por la respuesta.
Peero.
Temo que hay cosas que no comprendo bien.

Por lo que veo, usaste una lista de diccionarios.
Supongo que en este caso el orden de los diccionarios es la "coordenada" de los estados.
El valor de cada entrada en el diccionario seria el siguiente estado?

Que pasa si meto una letra con acento?

Oh. Y en este caso PAR_A, PAR_C... son constantes.
Hasta donde yo se, python no tiene constantes de forma nativa. Yo las uso mas bien como un enum, para que el codigo sea ligeramente mas legible.
Alguna alternativa?

Saludos

[razpeitia]

Si, bueno como no supe muy bien como estaba compuesto stateMatrix tuve que asumir ciertas cosas.

Si metes un carácter que no esta dentro del rango del ascii, eso dependerá de ti y de como manejes eso. Ya en el código que pusiste no veo nada mas que inicializar stateMatrix.

Para las constantes, igual que True y False en python 2, solo crea tus constantes y haz uso de estas variables y ya. Por ejemplo ASSIGN = 3 y ya. En python 3, a partir de python 3.4 habrá soporte para enum. http://docs.python.org/3.4/library/enum.html

Pero, incluso en tu código no veo que uses enums correctamente, ya que pareces mezclar constantes con números hardcodeados.

[Instru]

Tienes razon. En este caso statematrix no es mas que una matriz doble de caracteres. Pero como en C char es equivalente a un byte y aparte se usa por defecto el codigo ascii, decidi usar char.

Estoy probando tu idea de las listas de diccionarios. Me esta agradando. Puedo crear una lista de diccionarios vacios y luego irla llenando con el mismo codugo que uso en C.

Para las constantes, estoy usando justo lo que mencionaste. Tengo una lista larga de variables que uso como constantes. Supongo que asi la dejare.

La razon por la cual uso numeros y constante mezclados es porque las constantes con nombre son estados finales y los numeros son solo estados transitorios que no tienen ningun nombre mas que "q1, q2...", por eso decidi dejar solo los numeros.

Bueno, al final supongo que tendre que seguir encasillado con puro ascii. Mi idea es que pudiera leer texto mas general usando unicode.

Te agradezco mucho.

Saludos

[Italico76]

@Instru y @razpeitia : disculpen mi ignorancia...... esto sirve para hacer tanto un interprete como un compilador ?

Entiendo el compilador es mas complejo... pero es lo que tendrian en comun (el parseo)... cierto ?

[nup_]

@italico76
Correcto, el análisis léxico es el primer paso de la compilación.