Adaptação de ferramenta de reconhecimento e extração de entidades em
textos para a Web Semântica brasileira
RESUMO: Com o surgimento dos computadores veio a
necessidade de se implementar tarefas que envolvam a
linguagem humana, principalmente através do processamento
de textos. Para processar as informações é necessário fazer o
uso de tarefas de Extração de Informação como o
Reconhecimento de Entidades Nomeadas (NER). Atualmente, a
ferramenta FOX (Federated Knowledge Extraction Framework)
tem conseguido bons resultados ao combinar, através de
técnicas de aprendizado de máquina, outras ferramentas NER
para a língua inglesa. Embora já existam trabalhos para sua
adaptação para outros idiomas, ainda não foi feito um esforço no
sentido de adaptá-la para o português. O objetivo do presente
trabalho foi implementar a FOX na língua portuguesa. Após
analisar os resultados obtidos, com ajuda das visualizações
desenvolvidas em python, percebeu-se que no português ela
apresenta boa precisão em relação a outras ferramentas de
mesmo m, mas baixa abrangência, o que indica a necessidade
se treinar em mais Corpora anotados no português.
PALAVRAS-CHAVE: Comitê. Machine Learning. Processamento
de Linguagem Natural. Reconhecimento de Entidades
Nomeadas.
1. I​NTRODUÇÃO  Esse trabalho objetivou, portanto, implementar em seu
No contexto de Web Semântica, é de suma importância
o conhecimento de técnicas para estruturação da
informação. Uma área bastante estudada nos últimos anos é
a de Processamento de Linguagem Natural, através da qual
máquinas são capazes de processar a língua humana de
forma a permitir maior interoperabilidade. O Portal
Brasileiro de Dados Abertos encontra-se com 5273
conjuntos de dados, sendo apenas 24 conjuntos estruturados
nos formatos adequados a Web Semântica [1]. Tendo em
vista esse cenário brasileiro, faz-se necessário o
desenvolvimento de ferramentas que ofereçam suporte
automatizado à estruturação de dados e operem para o
português.
Uma ferramenta com bons resultados ao realizar o
Reconhecimento de Entidades Nomeadas (NER) é a FOX
[2] (Federated Knowledge Extraction Framework). Ela
combina, em sua última versão, outras quatro ferramentas
de NER através de abordagens de aprendizado de máquina,
com o uso de comitês. A FOX, no entanto, não está
disponível para a língua portuguesa, embora existam
RMCT VOL. 34 Nº3, 2017
REVISTA MILITAR DE CIÊNCIA E TECNOLOGIA
ABSTRACT: With the emergence of computers came the need to
implement tasks that involve human language, especially through
word processing. To process the information it is necessary to
make use of Information Extraction tasks such as Named Entity
Recognition (NER). Currently, the Federated Knowledge
Extraction Framework (FOX) tool has achieved good results by
combining, through machine learning techniques, other NER tools
for the English language. Although there are already works for its
adaptation to other languages, no effort has yet been made to
adapt it to Portuguese. The objective of the present work was to
implement FOX in Portuguese. After analyzing the results
obtained, with the help of the visualizations developed in python, it
was noticed that in Portuguese it presents good precision
concerning other tools of the same purpose, but low recall, which
indicates the need to train in more Corpora annotated in
Portuguese. 
KEYWORDS: Ensemble Learning. Machine Learning. Natural
Language Processing. Named Entity Recognition.
esforços no sentido de adaptá-la para outros idiomas [3].
comitê ferramentas com o suporte ao português,
especificamente as das organizações OpenNLP [4],
Stanford [5] e Spotlight [6]. Para isso, apresenta-se a
proposta de solução do trabalho na figura 1.
Após integração das três ferramentas, utilizou um
conjunto de dados para treinamento do comitê, e ainda,
outros conjuntos para avaliação. Tais conjuntos foram
preparados a partir de Corpora já conhecidos, como o
HAREM [7] e o SUMM-IT [8]. Parte desse conjunto teve
de ser convertido para o formato NIF, utilizado pela
ferramenta de benchmarking GERBIL (General Entity
Annotator Benchmark) [9] na qual realizou-se os
experimentos de avaliação. Além dos conjuntos de
avaliação elaborados manualmente (Segundo HAREM e
SUMM-IT) avaliou-se com os anotados automaticamente
advindos da ferramenta BENGAL [10]. Além disso
desenvolveu-se uma ferramenta em Python para possibilitar
uma melhor visualização dos dados obtidos nos
experimentos a fim de facilitar sua análise e discussão.
1

Fig. 1 – Solução proposta para implementação do idioma
português na ferramenta FOX.
2. F​ERRAMENTAS 
Diversas ferramentas reconhecidas na área de
Reconhecimento de Entidades Nomeadas e que possuem
ampla contribuição científica por serem de código aberto
são a FOX, OpenNLP, Stanford CoreNLP e DBPedia
Spotlight. Destas, apenas a FOX não possui suporte para a
língua portuguesa. Uma ferramenta de ​benchmarking que
se destaca pelos esforços da comunidade científica capaz de
avaliar o modelo português gerado é a GERBIL.
2.1 OpenNLP 
A iniciativa OpenNLP [4] busca oferecer suporte ao
processamento de linguagem natural através das atividades
de tokenização, segmentação de sentenças, etiquetagem
morfossintática (part-of-speech tagging), extração de
entidades nomeadas (NER), extração de sintagmas
(chunking), análise sintática (parsing), detecção de idioma e
resolução de referências pronominais. É uma ferramenta
baseada em aprendizado de máquina cuja biblioteca está
escrita em Java e conta com o auxílio da comunidade
científica.
2.2 Stanford CoreNLP 
O conjunto de ferramentas Stanford CoreNLP é uma
estrutura de anotação baseada em Java e que contém
diversos passos de processamento de linguagem natural. É
amplamente utilizada em meios governamentais,
comerciais, e principalmente na comunidade científica por
ser um projeto de código aberto [5]. O objetivo desse
projeto nos últimos anos tem sido tornar o uso desta
estrutura de anotação mais simples. Quanto mais acessível e
menos código de configuração for necessário, mais fácil é
de se utilizá-la como componente de sistemas maiores.
2.2 DBPedia Spotlight  A ferramenta BENGAL tem como entrada grafos
A ferramenta desenvolvida pela equipe do projeto
DBPedia também consiste num sistema de anotadores
automáticos para documentos de texto. A diferença para
outras ferramentas consiste principalmente no fato de usar
URIs da própria DBPedia para seus recursos. Foi
desenvolvida com a finalidade de vincular os documentos
de texto com a Linked Open Data. Esta ferramenta
contribui para o desenvolvimento da Web de Dados na
2 REVISTA MILITAR DE CIÊNCIA E TECNOLOGIA
medida em que permite usá-la como conhecimento básico
em aplicativos orientados a documentos, como faceted
browsing [6].
2.3 Federated Knowledge Extraction Framework 
O projeto FOX foi criado a fim de motivar a
transformação de dados não estruturados. Através de
comitê, busca aperfeiçoar o resultado de outras ferramentas
de Reconhecimento de Entidades Nomeadas. Verificou-se
quinze algoritmos diferentes de aprendizado de máquina e
foi atingido uma redução de erros em quarenta por cento ao
utilizar essas técnicas [2]. Em sua última versão na língua
inglesa, quatro destes instrumentos estavam integrados a
fim de traduzir conteúdos da linguagem natural em
informações estruturadas.
2.4 GERBIL 
A ferramenta GERBIL é um software para avaliar
anotações de entidades semânticas. Tem por finalidade
permitir de maneira fácil e rápida esse tipo de análise, de
forma detalhada em um âmbito grande de conjuntos de
dados. A GERBIL provê resultados que comparam
ferramentas através das métricas de F1, Abrangência e
Precisão, podendo ser micro ou macro. A métrica micro é
calculada através da soma de todos os verdadeiros positivos
e negativos de todos os documentos, enquanto a métrica
macro é a média dela dos documentos individuais. Possui
configurações nos tipos de experimentos com opções de
escolha de sistemas de anotação de entidade e conjunto de
dados. A saída dos experimentos, assim como as descrições
dos componentes, são todos colocados num banco de dados
sem servidor, para uma rápida implementação.
3. C​ONJUNTOS​ D​ E​ ​REFERÊNCIA 
3.1 BENGAL 
Devido aos altos custos de tempo e trabalho envolvidos
na obtenção de um conjunto de dados anotados para
avaliação de ferramentas de reconhecimento de entidades
nomeadas, é difícil encontrar conjuntos amplos de
benchmarking para este tipo de ferramenta [10]. Nesse
contexto aparece um esforço para desenvolver-se uma
forma automática de geração de benchmarking para
soluções de NER e EL: o BENGAL.
formados por triplas RDF e inicia sua abordagem com a
escolha de quais triplas do grafo são relevantes para a
informação que se deseja obter por meio de uma consulta
SPARQL SELECT. Gera-se então um subgrafo RDF com
os dados obtidos pela consulta, selecionando-se a
topografia do subgrafo a ser formado a partir de qual tipo
de informação se deseja extrair. Utiliza-se então um
processo de verbalização derivado do SPARQL2NL [11]
que transforma cada tripla em uma sentença. Por fim há
RMCT VOL. 34 Nº3, 2017
uma etapa de paráfrase visando a gerar um texto de
benchmarking mais diverso. Isso é feito através de duas
técnicas: a troca de termos repetidos por sinônimos e a
alteração de estruturas de sentenças que se repitam com
frequência.
3.1 HAREM  classificações que são encaminhadas para a rede MLP. Em
Para avaliação e desenvolvimento de ferramentas de
Entidades Nomeadas é necessário fazer uso de Corpora
capazes de nos auxiliar como referência. O Corpus do
HAREM é um projeto público da Linguateca cujos esforços
estão no processamento computacional para a língua
portuguesa. Já foram publicados dois conjuntos desde 2006
com anotações gold, ou seja, anotações manuais revisadas
por profissionais da área. [12]
A avaliação conjunta disposta como segundo HAREM
tem a vantagem de possuir meios para detectar o sucesso na
identificação, classificação tanto de entidades nomeadas
como das relações entre elas. Além disso, permite o
reconhecimento e normalização de entidades temporais [7].
Já lançadas em duas versões, o segundo HAREM, de menor
tamanho, possui 129 textos sendo 89.241 palavras anotadas
e distribuídas em categorias de entidades nomeadas
conforme a figura 2 mostra.
Fig. 2 – Corpus primeiro e segundo HAREM. Fonte [13]
perceptron com multicamadas (MLP). Desta forma, utilizou
este método de comitê para a versão português. A
ferramenta FOX recebe como entrada um arquivo e o
encaminha para as ferramentas implementadas. Cada
ferramenta então tem como saída o texto anotado. Desta
forma, cada palavra tem um vetor associado a ela com as n
sua camada de entrada, existe um neurônio para cada
combinação possível de ferramenta e categoria pré definida
enquanto na saída da rede MLP são geradas as palavras
classificadas nas categorias predefinidas na FOX. São as
classificações definitivas a serem dadas pela FOX. Desta
forma, essa rede perceptron é a responsável por definir as
classificações finais a serem dadas e, portanto, precisa ser
treinada. Cabe ressaltar que as ferramentas individuais
usadas como anotadores base do comitê não foram
treinadas novamente.
O conjunto de referência a ser usado para treino foram
coletados do Corpus Primeiro HAREM. A divisão em
conjunto de treino e conjunto de teste foi realizada
conforme do Amaral et al. (2014), com o Segundo HAREM
utilizado no processo de avaliação. Na figura 2 estão
expostas as informações recebidas para o aprendizado da
rede, contendo 1258 entidades classificadas como
localização, 946 como organização e 1040 como pessoas, o
restante considera-se na categoria nula (Null).
A Matriz de Confusão está disposta de acordo com as
categorias e a rotulação predefinida na ferramenta FOX
(BILOU), sendo a primeira linha composta pelas categorias
em suas rotulações e a primeira coluna como as realmente
classificadas, segundo a ordem de Localização,
Organização, Pessoa para cada rótulo. O campo Null nas
figuras 3 e 4 indicam os tokens sem categoria classificada
dentre as três anteriores. Os valores mostrados na figura 3
portanto são da quantidade de instâncias classificadas de
acordo com esses parâmetros. Na figura 4 são calculadas as
métricas baseadas nos resultados da figura 3.

3.1 SUMM-IT 
Além dos Corpora HAREM e BENGAL, o corpus
SUMM-IT quando foi elaborado tinha a intenção de
embasar pesquisas de discurso envolvendo relações
anafóricas e retóricas, e a sumarização automática [8]. Fig. 3 – Matriz de confusão da rede treinada com o Corpus
A sua construção foi anotada com o intuito de fornecer Primeiro HAREM.
contribuições para melhorar a Sumarização Automática,
isso tudo com informações discursivas. A fim de aprimorar
a coerência e o grau de informatividade dos sumários Fig. 4 – Métricas do treinamento da rede com o Corpus
Primeiro HAREM.
automáticos. Constitui-se de 50 textos jornalísticos do
caderno de Ciências da Folha de São Paulo retirados do
corpus PLN-BR. 5. A​VALIAÇÃO 
Através da ferramenta de benchmarking GERBIL foi
4. T​REINAMENTO  possível realizar experimentos com outras ferramentas de
NER que contêm suporte ao português, a fim de se
Dentre os algoritmos avaliados em Speck e Ngomo
comparar os resultados com o modelo obtido da FOX por
(2014), obteve-se melhores resultados com a rede

3
RMCT VOL. 34 Nº3, 2017
REVISTA MILITAR DE CIÊNCIA E TECNOLOGIA
esse trabalho. Foram utilizados os conjuntos de dados de
padrões Gold na obtenção desses resultados. As tabelas
apresentadas são multidimensionais podendo ser
representadas por cubos e para melhor compreensão
construiu-se gráficos com filtros considerados relevantes
para as análises.
6. T​RATAMENTO​ ​DE​ ​DADOS
Além de trabalho envolvendo a tradução da ferramenta
FOX versão português, foi-se criado em paralelo uma
forma de visualizar os resultados de maneira mais clara e
objetiva para realizar uma análise mais precisa dos
resultados dos experimentos. Utilizou-se a ferramenta
Jupyter Notebook 5.1 para escrever os códigos em Python
para com o intuito de automatizar e tornar mais rápido e
fácil a produção dos gráficos para a posterior análise.
A ideia para o desenvolvimento partiu da análise das
tabelas geradas pela GERBIL. É possível ver que a tabela
possuía uma estrutura de um cubo multidimensional e a
tarefa dessa visualização seria gerar cortes, tendo como
índices os Anotadores ou Conjunto de dados, que fossem
capaz de representar as métricas de forma a comparar esses
mesmo índices. Dessa forma, as possibilidades que seriam
mais viáveis seria agrupar esses campos em: anotadores,
conjunto de dados, micro métricas, macro métricas, e diante
disso permitir a geração de uma espécie de gráfico.
Encontra-se na figura 5 um esquema estrela que ilustra
como seria essa visão na forma de diagrama.
dados testados. Especificamente, no Segundo Harem, ela
obteve um aumento de 55,44% com relação ao melhor
classificador base utilizada em sua composição. Isso mostra
que entre as entidades reconhecidas pela FOX houve um
número baixo de falsos positivos. Por outro lado, a FOX
apresentou uma abrangência relativamente baixa em
relação às demais ferramentas, significando que houve uma
grande quantidade de falsos negativos. Perdeu-se 25,18%
de sua abrangência comparada ao melhor valor. Vê-se então
que é necessário utilizar de mais conjuntos de treino de
forma a melhorar abrangência da ferramenta. Ao observar a
medida F1 observa-se que nos conjuntos anotados
manualmente, a FOX foi capaz de superar as ferramentas
em seus resultados individuais assim como outras
disponíveis no mercado (vantagem de 12,16% no caso da
Babelfy no HAREM). Contudo, obteve resultados
inferiores nos conjuntos anotados automaticamente da
ferramenta BENGAL. Nestes casos, o uso de MLP como
comitê para as ferramentas se mostrou não vantajoso com
relação aos resultados obtidos pela ferramenta Spotlight.

Fig. 5 – Comparação entre as ferramentas de NER com

diversos conjuntos de dados.

Observa-se no gráfico que os resultados para precisão

foram parecidos entre os diferentes conjuntos de dados,
  com uma diferença máxima de 9,6% que ocorreu entre o
Fig. 5 – Esquema estrela simplificado da saída dos Bengal Sym e o Segundo HAREM. Para abrangência e
experimentos da GERBIL.  consequentemente para F1 a ferramenta obteve melhor
desempenho nos conjuntos SUMM-IT e Bengal Path. No
6. R​ESULTADOS​ ​E​ ​DISCUSSÕES  entanto, obtém pior desempenho em todas as medidas nos
dados do Bengal Star. Desta forma, entende- se que não é
Em um primeiro momento é feita a comparação da FOX
possível determinar a partir dos experimentos qual tipo de
versão português com ou- tras como: Babelfy, Spotlight,
conjunto de dados (automaticamente ou manualmente
Stanford e OpenNLP. Tendo em vista que a ferramenta
anotados) apresenta melhores resultados com a ferramenta.
Spotlight é o estado da arte com relação à Stanford e a
OpenNLP, os gráficos 6 e 7 gerados para a comparação de
resultados com a FOX versão português considerou apenas
as ferramentas Spotlight e Babelfy [14]. Para as análises
gráficas levou-se em consideração os valores micro. Ainda,
considerou os experimentos com anotação fraca, em que
correspondências parciais, entre as palavras de entidades
que contenham mais de uma, são consideradas corretas.
No gráfico 6 pode-se observar que a precisão da FOX é
superior às demais ferramentas em todos os conjuntos de

4 REVISTA MILITAR DE CIÊNCIA E TECNOLOGIA RMCT VOL. 34 Nº3, 2017


Fig. 6 – Comparação entre os resultados da FOX nos
conjuntos de dados.
7. C​ONCLUSÃO  SANTOS,D. Second harem: advancing the state of the art of named entity
Dados brasileiros estão em sua maioria publicados de
forma não estruturada, dificultando a interoperabilidade do
seu conteúdo. Nesse contexto de estruturar informações, é
de suma importância o campo do Processamento de
Linguagem Natural. Uma ferramenta de destaque nessa
área é a FOX. Visando implementar o idioma português
nela, treinou-se sua rede neural através do Corpus Primeiro
HAREM. Além disso, visando futuros trabalhos de
avaliação da ferramenta, converteu-se os conjuntos de
dados HAREM (Primeiro e Segundo) e SUMM-IT para o
formato NIF, utilizado pela ferramenta de benchmarking
GERBIL. Avaliou-se o modelo da FOX Português na
ferramenta GERBIL a fim de se comparar ao estado da arte.
Com isso também foi possível realizar comparações entre
conjuntos de referência anotados manual e p. 339–349.
automaticamente. Os resultados obtidos foram tratados com
a ferramenta Jupyter gerando visualizações mais fáceis de
serem analisadas. Através delas, percebeu-se uma boa
precisão da FOX em relação a outras ferramentas, mas
baixa abrangência, o que indica que a necessidade de se
treinar com mais Corpora anotado no português.
A​GRADECIMENTOS 
Agradeço a todas as pessoas que nos incentivaram,
apoiaram e possibilitaram esta oportunidade de ampliar
nossos horizontes. Nossos familiares e mestres,
especialmente aos nossos orientadores pelo tempo e
dedicação empregados em auxiliar na confecção desse
trabalho.
RMCT VOL. 34 Nº3, 2017
REVISTA MILITAR DE CIÊNCIA E TECNOLOGIA
R​EFERÊNCIAS 
[1]SECRETARIA DE TECNOLOGIA DA INFORMAÇÃO, MINISTÉRIO DO
PLANEJAMENTO, DESENVOLVIMENTO E GESTÃO. Conjunto de dados -
Portal Brasileiro de Dados Abertos. Disponível em:
<http://dados.gov.br/dataset>. Acesso em: 09 fev. de 2019.
[2] SPECK, R.; NGOMO, A.-C. N. Ensemble learning for named entity recognition.
In:INTERNATIONAL SEMANTIC WEB CONFERENCE, 1., 2014.Anais... [S.l.:
s.n.],2014, p. 519–534.
[3] SPECK, R.; NGOMO, A.-C. N. Ensemble learning of named entity recognition
algorithms using multilayer perceptron for the multilingual web of data. In:
PROCEEDINGS OF THE KNOWLEDGE CAPTURE CONFERENCE, 1.,
2017.Anais... [S.l.: s.n.], 2017,p. 26.
[4] BALDRIDGE, JASON.The opennlp project. Disponível
em:<http://opennlp.apache.org/index.html>. Acesso em: 08 mai. de 2019
[5] MANNING, C.; SURDEANU, M.; BAUER, J.; FINKEL, J.; BETHARD, S. ;
MCCLOSKY, D. The stanford corenlp natural language processing toolkit. In:
PROCEEDINGS OF 52ND ANNUAL MEETING OF THE ASSOCIATION FOR
COMPUTATIONAL LINGUISTICS: SYSTEM DEMONSTRATIONS, 1.,
2014.Anais...[S.l.: s.n.], 2014, p. 55–60.
[6] MENDES, P. N.; JAKOB, M.; GARCÍA-SILVA, A. ; BIZER, C. Dbpedia
spotlight:shedding light on the web of documents. In: PROCEEDINGS OF
THE 7TH INTERNATIONAL CONFERENCE ON SEMANTIC SYSTEMS, 1.,
2011.Anais... [S.l.:s.n.], 2011, p. 1–8.
[7] FREITAS, C.; CARVALHO, P.; GONÇALO OLIVEIRA, H.; MOTA, C. ;
recognition in portuguese. In: QUOT; IN NICOLETTA CALZOLARI; KHALID
CHOUKRI;BENTE MAEGAARD; JOSEPH MARIANI; JAN ODIJK; STELIOS
PIPERIDIS;MIKE ROSNER; DANIEL TAPIAS (ED) PROCEEDINGS OF THE
INTERNATIONAL CONFERENCE ON LANGUAGE RESOURCES AND
EVALUATION (LREC2010)(VALLETTA 17-23 MAY DE 2010) EUROPEAN
LANGUAGE RESOURCES ASSOCIATION, 1., 2010.Anais... [S.l.: s.n.],
2010, p. 1.
[8] COLLOVINI, S.; CARBONEL, T. I.; FUCHS, J. T.; COELHO, J. C.; RINO, L. ;
VI-EIRA, R. Summ-it: Um corpus anotado com informaç oes discursivas
visando a sumarização automática. In: PROCEEDINGS OF TIL, 27.,
2007.Anais... [S.l.:s.n.], 2007, p. 1605–1614.
[9] USBECK, Ricardo et al. GERBIL: general entity annotator benchmarking
framework. In: Proceedings of the 24th international conference on World
Wide Web. International World Wide Web Conferences Steering Committee,
2015. p. 1133-1143.
[10] NGOMO, A.-C. N.; RÖDER, M.; MOUSSALLEM, D.; USBECK, R. ; SPECK,
R. Ben-gal: An automatic benchmark generator for entity recognition and
linking. In: PROCEEDINGS OF THE 11TH INTERNATIONAL CONFERENCE
ON NATURAL LANGUAGE GENERATION, 1., 2018.Anais... [S.l.: s.n.], 2018,
[11] NGONGA NGOMO, A.-C.; BÜHMANN, L.; UNGER, C.; LEHMANN, J. ;
GERBER, D. Sorry, i don’t speak sparql: translating sparql queries into
natural language. In: PROCEEDINGS OF THE 22ND INTERNATIONAL
CONFERENCE ON WORLD WIDE WEB, 1., 2013. Anais... [S.l.: s.n.], 2013,
p. 977–988.
[12] FONSECA, E. B.; CHIELE, G. C. ; VANIN, A. A. Reconhecimento de
entidades nomeadas para o português usando o opennlp. Anais do Encontro
Nacional de Inteligência Artificial e Computacional (ENIAC 2015), s. pp, v. 1,
p. 1, 2015.
[13] DO AMARAL, D. O.; FONSECA, E.; LOPES, L. ; VIEIRA, R. Comparing
nerp-crf with publicly available portuguese named entities recognition tools.
In: INTERNATIONAL CONFERENCE ON COMPUTATIONAL PROCESSING
OF THE PORTUGUESE LANGUAGE, 1., 2014. Anais... [S.l.: s.n.], 2014, p.
244–249.
[14] DAIBER, J.; JAKOB, M.; HOKAMP, C. ; MENDES, P. N. Improving efficiency
and accuracy in multilingual entity extraction. In: PROCEEDINGS OF THE
9TH INTERNATIONAL CONFERENCE ON SEMANTIC SYSTEMS, 1.,
2013.Anais...[S.l.: s.n.], 2013, p. 121–124.
5