Analizador

léxico baseado em
Python
Carlos Turibio, Cibelle Magalhães
 Analisador léxico
Um analisador léxico funciona através da utilização de expressões
regulares, que permitem identificar padrões específicos dentro do texto
a ser analisado. Cada padrão identificado é então associado a um tipo
de token, que representa uma categoria específica de elementos.
Como funciona?
O código implementa um analisador léxico em Python que lê um arquivo de entrada
contendo código fonte escrito em Python e identifica os tokens presentes no código. O
analisador utiliza expressões regulares para identificar os diferentes tipos de tokens, como
palavras reservadas, identificadores, operadores, operadores lógicos, pontuação e
constantes.

1|i=0
2 | while i <100:
3| i=i+1
Categorias de Símbolos
Os Símbolos presentes na linguagem de programação Python, foram divididos da seguinte maneira:

Palavras reservadas Palavras reservadas pela linguagem como: AND assert, break, def, del, elif, else, etc…

Identificadores Nomes de variáveis e funções, como: i, j, analisador_lexico, etc…

Operadores +, \, -, *, /, %, <, > e =.

Operadores Logicos And, or e not.

Pontuações Vírgulas, pontos e parênteses.

Constantes Números inteiros e decimais

Funções Implementadas
ler_arquivo exportar_simbolos
01 Usada para pegar os dados de
04 Exporta os símbolos identificados
entrada de um arquivo .txt com base na lista de entrada

gerar_tokens
02 05 analisador_lexico
Gera os Tokens com base na
entrada passada O código utiliza expressões
regulares para identificar tokens.
Em caso de caracteres inválidos,
exportar_tokens o código gera uma exceção para
03 Exporta os tokens identificados
indicar a entrada inválida
com base na lista de entrada