Universidade Federal de Pernambuco (UFPE)

Centro de Informática (CIn)

Coordenação de Pós-Graduação em Ciência da Computação

Tema para Pré-Projeto de Mestrado

Linha de pesquisa: Reconhecimento de Padrões & Processamento de Sinais
Melhoria de Imagens de Expressões Matemáticas Manuscritas para Fins de
Título:
Reconhecimento Automático
Proponente: Carlos Alexandre Barros de Mello

Descrição:
O reconhecimento de expressões matemáticas manuscritas (do inglês HMER - Handwritten Mathematical
Expression Recognition) é a conversão de imagens de expressões matemáticas em texto em formatos editáveis como Latex
ou até mesmo código fonte em alguma linguagem como Python. Existem diversas formas diferentes de lidar com essa tarefa:
considerando a forma de entrada os métodos podem ser online ou off-line. Na forma online, medidas de tempo, a sequência
da escrita dos símbolos, a pressão da caneta digital, etc, podem ser usados como características. Nos sistemas off-line,
apenas a imagem digital é a entrada. Como exemplos de sistemas online temos o TAP (Track, Attend, and Parse) [11] que é
composto por um tracker e um parser: o primeiro usando uma rede neural recorrente bidirecional com Gated Recurrent
Units (GRU), enquanto o segundo usa GRU com Guided Hybrid Attention (GHA) para gera notação Latex. No modelo off-
line, WAP (Watch, Attend and Parse) [9] trabalha diretamente na imagem, ao invés de representação em árvores ou grafos.
WAP é uma rede encoder-decoder com uma rede completamente conectada (o watcher) que converte a imagem de entrada
em uma representação intermediária que é transformada em código Latex por uma sequência de GRUs (o parser) com um
mecanismo de atenção focados em elementos matemáticos da imagem. Posteriormente, o WAP foi melhorado com a versão
chamada Dense-WAP [10]. Esses métodos foram testados nas bases de dados CRHOME (International Competition on
Recognition of Handwritten Mathematical Expressions) edições 2014 e 2016 [6, 7] com os melhores resultados.
Além desses métodos, existem ferramentas disponíveis para reconhecimento de expressões matemáticas
manuscritas, como: ExpressMatch [1], MathBrush [5],Wolfram Alpha [13], e MathPix Snip [12].
Existem casos, porém, onde essas técnicas são desafiadas com cenários reais de aplicações [Eu], como em casos de
imagens fracamente iluminadas, com sombreamento parcial, borramento, variação no padrão do papel ou na cor, variação na
largura do traçado ou da cor da tinta. Assim, este projeto visa ao desenvolvimento de técnicas de processamento de imagens
que atuem em uma fase de pré-processamento das imagens das expressões, buscando uma melhoria no desempenho das
técnicas e ferramentas de reconhecimento.

Referências Bibliográficas:
[1] Aguilar, F.D.J.J., e Hirata, N.S.T. ExpressMatch: A System for Creating Ground-Truthed Datasets of Online Mathematical Expressions. In: DAS
2012, pp.155–159 (2012)
[2] Costa, D. S., Mello, C.A.B, e d'Amorim, M.. A Comparative Study on Methods and Tools for Handwritten Mathematical Expression Recognition. In:
ACM DocEng (2021)
[3] Chan, C. Stroke extraction for offline handwritten mathematical expression recognition. In: IEEE Access, v. 8, pp.61565–61575 (2020)
[4] Hong, Z., You, N., Tan, J., e Bi, N. Residual BiRNN based Seq2Seq Model with Transition Probability Matrix for Online Handwritten Mathematical
Expression Recognition. In: ICDAR, pp.635–640 (2019)
[5] Labahn, G., Lank, E., MacLean, S., Marzouk, M., e Tausky, D. MathBrush: a system for doing math on pen-based devices. In: DAS 2008 (2008)
[6] Mouchère, H. et al. ICFHR 2014 competition on recognition of on-line handwritten mathematical expressions. In: 2014 ICFHR. IEEE, pp.791–796.
(2014)
[7] Mouchère, H., Viard-Gaudin, C., Zanibbi, R., e Garain, U. ICFHR2016 CROHME: Competition on Recognition of Online Handwritten Mathematical
Expressions. In: 15th ICFHR, pp.607–612, Shenzhen (2016)
[8] Zhang, T., Mouchere, H., e Viard-Gaudin, C. Tree-based BLSTM for mathematical expression recognition. In: ICDAR, pp.914–919 (2017)
[9] Zhang, J., et al. Watch, attend and parse: An end-to-end neural network based approach to handwritten mathematical expression recognition. In:
Pattern Recognition 71, pp.196–206 (2017)
[10] Zhang, J., Du, J., e Dai, L. Multi-Scale Attention with Dense Encoder for Handwritten Mathematical Expression Recognition. In: ICPR, pp.2245-2250
(2018)
[11] Zhang, J., Du, J., e Dai, L. Track, Attend, and Parse (TAP): An End-to-End Framework for Online Handwritten Mathematical Expression
Recognition. In: IEEE Transactions on Multimedia 21(1), pp.221–233 (2019)
[12] MathPix Snip: https://mathpix.com/
[13] Wolfram Alpha: https://rhttps://www.wolframalpha.com/.