Analizador lexico

[joshsua14]

Hola soy nuevo recien me registre, quisiera su ayuda.... estoy llevando el curso de Compiladores en la Universidad. Explico un poco tengo un archivo el cual leo desde mi programa caracter por caracter, al encontrar un espacio en blanco o retorno de carro comparo lo leido para saber si es una palabra reservada, si lo es me manda un mensaje "palabra reservada" y sino pues manda "Es un ID", el problema es al poner dos o mas espacios e blanco o dos o mas retornos de carro en el archivo ya que me manda el mensaje "es un ID" cuando realmente no es nada,.... dejo el codigo y si me pudieran ayudar muchisimas gracias......!!!!!

#include<stdio>
#include<conio>
#include<iostream>

void comparar();
void vaciar();

char pal[1];
char comp[15];
int y=0,a=0,ac=0;
FILE *codigo;

main()
{


cout<<"PRESIONE ENTER PARA LEER ARCHIVO\n";
getch();

codigo=fopen("Codigo.txt","r");
cout<<"\n";

while(!feof(codigo))
{
comp[y]=fgetc(codigo);
pal[0]=comp[y];
cout<<comp[y];

if(strncmp(pal," ",1)==0)
{
comparar();
}
if(strncmp(pal,"\n",1)==0)
{
comparar();
}
if(feof(codigo))
{
comparar();
}
if(a==1)
{
a=0;
y=0;
}
else
{
y++;
}
}
fclose(codigo);
getch();
return 0;
}

void comparar()
{
if(strncmp(comp,"int",3)==0)
{
gotoxy(8,3+ac);cout<<" Palabra Reservada\n";
a=1;
getch();
}
if(strncmp(comp,"josue",5)==0)
{
gotoxy(8,3+ac);cout<<" Palabra Reservada\n";
a=1;
getch();
}
if(strncmp(comp,"juan",4)==0)
{
gotoxy(8,3+ac);cout<<" Palabra Reservada\n";
a=1;
getch();
}
else
{
if(a==0)
{
gotoxy(8,3+ac);cout<<" ES UN ID\n";
a=1;
getch();
}
}
ac++;
vaciar();
}

void vaciar()
{
for(int z=0;z<=14;z++)
{
comp[z]=NULL;
}
}

[CalgaryCorpus]

Tienes que manejar el estado de tu maquina de estados. El estado podria ser, por ejemplo: fuera de una palabra o dentro de una palabra, inicialmente estas fuera, una vez que aparece un texto, estas dentro.

Cuando aparece un espacio o cambio de linea, vuelves a estar fuera y te quedas alli hasta que aparezca una letra.

Sin una variable que mantenga el estado, sera dificil. Segun veo, siempre asignas a la palabra y despues haces logica si lo que aparecio fue o no un separador.

Resumen: maneja el estado en una variable.

[joshsua14]

Podrías darme un ejemplo con código???

[CalgaryCorpus]

La idea indicada, en pocas lineas.
Los separadores que uso: el espacio en blanco, el tab y el cambio de linea. No uso comas o numeros, pero supongo que puedes extender facilmente para los otros separadores que quieras incorporar.

Código C++:

// Estado es una enum
   Estado estado = FUERA;
   string palabra = "";
 
   unsigned int i = 0;
   char c;
   while(( c = leer_caracter(s,i) ) != 0 ) {
       switch( estado ) {
         case FUERA:
                 if( c != ' ' && c != '\t' && c != '\n' ) { // etcetera
                     estado = DENTRO;
                     palabra = c;
                 }
                 break;
         case DENTRO: 
                 if( c == ' ' || c == '\t' || c == '\n' ) { // etcetera
                     estado = FUERA;
                     // se acabo la palabra, tiempo de hacer algo con ella
                     cout << "Palabra = " << palabra << endl;
                 }
                 else
                     palabra += c;
                 break;
         }
      ++i;
   }
   // revisar estado al final
   if( estado == DENTRO ) {
       cout << "Palabra final = " << palabra << endl;
   }
 

Puedes ver este mismo codigo ejecutandose aqui: http://goo.gl/OT36MN