RELATÓRIO FINAL - IFSP

Título do relatório: Mineração de emoções em textos de política em português

Nome, telefone e e-mail do bolsista:

Fábio Seyiji Igarashi Anno

fabioseyiji@gmail.com

(16)93618-1901

Nome, telefone e e-mail da professora orientadora:

Eloize Rossi Marques Seno

eloize@ifsp.edu.br

(16) 98112-2433

Nome, endereço, telefone e e-mail da Instituição de vínculo da bolsa:

Instituto Federal de Educação, Ciência e Tecnologia de São Paulo-IFSP

Rua Pedro Vicente, 625 – Canindé – São Paulo-SP

CEP: 01109-010

Telefone: 11-3775-4570

e-mail: prp@ifsp.edu.br

RESUMO

O crescimento explosivo das mídias sociais tem possibilitado aos seus

usuários expressarem com facilidade opiniões e emoções/sentimentos sobre
produtos, eventos políticos etc. por meio de blogs, fóruns de discussão e redes
sociais. Algoritmos capazes de analisar opiniões/sentimentos são de fundamental
importância, uma vez que eles podem influenciar na tomada de decisão de outros
usuários da rede, por exemplo, ao adquirir um produto ou, ainda, ao escolher um
candidato a ser votado em uma eleição. Por essa razão, a mineração de emoções
tem sido objeto de estudo de muitas pesquisas. Os trabalhos da literatura
geralmente se baseiam em ferramentas/recursos linguísticos-computacionais para
identificar alvos de opiniões, aspectos e emoções que auxiliam nessa análise. Muitos
desses recursos/ferramentas são dependentes de idioma e, por consequência, as
pesquisas envolvendo o inglês, que dispõe de ferramentas mais maduras, têm
avançado muito nos últimos anos. Por outro lado, para outros idiomas como o
português os trabalhos ainda são emergentes e há uma carência de recursos para
domínios específicos como o político. Dado esse contexto, este estudo se
concentrou na investigação de métodos linguísticamente motivados de identificação
de alvos de opinião e de classificação de emoções em textos de política em
português.

APRESENTAÇÃO (INTRODUÇÃO, JUSTIFICATIVA E OBJETIVOS)

O enorme volume de textos opinativos compartilhados nas mídias sociais

como textos de avaliação de produtos em sites de comércio eletrônico, comentários
de notícias sobre política, publicações em redes sociais, etc. tem despertado um
interesse cada vez maior por algoritmos capazes de analisar a opinião pública.
Essas opiniões e sentimentos têm grande apelo comercial e acadêmico, por
influenciar nas tomadas de decisões dos indivíduos. A análise de opiniões
expressas em textos é o objeto de estudo da Análise de Sentimentos (AS), ou
Mineração de Opiniões, uma subárea do Processamento de Linguagem Natural
(PLN) que visa a utilização de recursos e ferramentas linguístico-computacionais
para analisar automaticamente as opiniões e sentimentos de pessoas com relação a
entidades como produtos, serviços, organizações e indivíduos (LIU; ZHANG, 2012).

A AS se divide em duas tarefas principais: (i) mineração de opinião e (ii)

mineração de emoção. A mineração de opinião está relacionada à detecção de
polaridade (ou valência) associada à opinião do autor de uma postagem a respeito
de uma entidade ou assunto em discussão, podendo ser positiva, negativa ou
neutra. A mineração de emoção refere-se à identificação da emoção associada ao
texto da postagem produzido pelo autor, como alegria, surpresa, raiva ou tristeza
(YADOLLAHI et al. 2017).

Na literatura, a AS tem sido aplicada a documentos, sentenças e aspectos

(SCHOUTEN; FRASINCAR, 2016; PEREIRA, 2021). No nível de documentos, o
sentimento é atribuído ao documento como um todo. No nível de sentenças, o
sentimento é atribuído a cada sentença de um documento, enquanto no nível de
aspectos os sentimentos relacionados a aspectos/atributos específicos das
entidades mencionadas no texto, chamados de alvos de opinião, são identificados e
posteriormente classificados de acordo com a polaridade (opinião) ou emoção. Por
exemplo, no comentário “Jerónimo de Sousa continua mal preparado.” sobre um
debate político para as eleições do parlamento europeu de 2018 (CARVALHO et al.,
2011) temos a entidade “Jerónimo de Sousa” (candidato político) como o alvo de
opinião e o aspecto “preparado” (i.e. no sentido de estar pronto para governar) com
polaridade negativa.

Embora o português esteja entre as seis línguas mais usadas nas mídias
sociais1 e, apesar dos avanços nas pesquisas nessa área nos últimos anos, há
poucos trabalhos voltados para o domínio político, sendo a maior parte deles
focados em analisar o sentimento geral conduzido por um documento (i.e. o
comentário todo) ou uma sentença em particular (por exemplo, vide CARVALHO et
al., 2017; CRISTIANI; CAMARGO, 2020 e CAPELLARO; CASELI., 2021). Contudo,
abordagens que analisam o sentimento geral de um documento/sentença
apresentam limitações, quando um mesmo comentário expressa opiniões sobre
diferentes alvos de opinião. Por exemplo, em outro comentário sobre debate político
presente no corpus de textos utilizado neste estudo (CARVALHO et al., 2011):
“Portas muito bem, Sócrates a patinar.”, o sentimento em relação ao candidato
“Portas” (alvo de opinião) é positivo, enquanto o sentimento em relação ao candidato
“Sócrates”, também alvo de opinião, é negativo.

Tendo como foco de interesse principal da pesquisa a análise de sentimentos

baseada em aspectos (ASBA) em comentários de política em português, é crucial
considerar os diferentes alvos de opinião expressos em um mesmo comentário, bem
como o sentimento/emoção associado a cada alvo. É neste contexto que este
trabalho de pesquisa se desenvolveu. Entre os objetivos que foram traçados para
esta pesquisa destacam-se dois principais: i) investigar e desenvolver modelos de
identificação/extração de alvos de opinião em textos e ii) investigar e desenvolver
modelos de classificação de sentimento (polaridade) e emoção orientados aos alvos
de opinião.
1

https://www.forbes.com/sites/bernardmarr/2018/05/21/how-much-data-do-we-create-every-day-the-mind-
blowing-stats-everyone-should-read/?sh=59ed2e8960ba (acessado em 31/08/2023).
 DESENVOLVIMENTO (METODOLOGIA E ANÁLISE)

A Análise de Sentimentos Baseada em Aspectos - ASBA geralmente envolve

três etapas de processamento: identificação, classificação e agregação
(TSYTSARAU; PALPANAS, 2012). A primeira etapa se refere à identificação de
pares de alvo de opinião e sentimento no texto. A segunda etapa é a classificação
de polaridade/emoção dos pares alvo-sentimento, segundo valores pré-definidos
(e.g. positivo e negativo). A última etapa, por fim, objetiva agregar os valores de
sentimentos para cada aspecto para fornecer uma visão geral concisa (por exemplo,
a agregação de aspectos similares como custo e preço de um produto em um único
aspecto). Na prática, a aplicação real de todas as etapas depende das necessidades
e requisitos específicos da aplicação. Nesta pesquisa o foco se deu na primeira e na
segunda etapa (identificação e classificação).

A metodologia de desenvolvimento deste trabalho foi baseada em corpus2, a

partir do qual foram extraídas diversas pistas linguísticas para auxiliar na
identificação de alvos de opinião em textos. Por exemplo, entidades nomeadas
como nome de partidos políticos e de candidatos e outros substantivos próprios ou
comuns, que possibilitaram a identificação de potenciais alvos de opinião, e palavras
representadas por meio de verbos e adjetivos que podem carregar algum sentimento
ou emoção.

Como corpus de trabalho foi usado o SentiCorpus-PT (CARVALHO et al.,

2011), que contêm comentários sobre debates eleitorais referentes às eleições do
parlamento português de 2009. A escolha desse corpus se deu pelo fato de que ele
dispõe de anotações de polaridade de referência (isto é, realizada por humanos) e
orientada aos alvos de opiniões presentes nos textos. O SentiCorpus-PT é composto
por 1.082 comentários a respeito dos debates, totalizando 3.868 sentenças
anotadas. Cada sentença no corpus pode ter diferentes alvos de opinião. Os alvos
de opinião são entidades humanas, nomeadamente políticos, organizações políticas
(geralmente utilizadas para se referir aos seus membros), personalidades da mídia
(por exemplo, jornalistas) ou usuários (comentadores). Cada sentença do corpus

2
Corpus, cujo plural é corpora, é um conjunto de textos que serve como base de análise.
dispõe também de anotações de polaridade variando de -2 (o valor negativo mais
forte) até 2 (o valor positivo mais forte) e de alvos de opinião. Entretanto, nos
experimentos realizados neste estudo a polaridade -2 foi mapeada para -1
(negativa) e a polaridade 2 foi mapeada para 1 (positiva), uma vez que os modelos
de classificação de polaridades investigados lidam com somente três classes
(positiva, negativa e neutra).

Como ambiente de programação e de experimentação foi selecionado o

Colaboratory3 (ou Colab), um ambiente colaborativo para a programação em Python,
oferecido como um serviço de nuvem gratuito pela Google. Diversas bibliotecas que
oferecem recursos linguísticos-computacionais para o pré-processamento de textos
em português foram investigadas e instaladas no ambiente, tais como as bibliotecas
NLTK4 e Spacy5, que dispõem de ferramentas como tokenizador6, que permite a
identificação dos tokens de cada sentença do corpus, lematizador7, que permite
identificar o lema de cada palavra, etiquetador morfossintático, que fornece a
categoria gramatical de cada palavra de uma sentença e o parser sintático de
dependências, que fornece os papéis sintáticos de cada palavra na sentença (ex.
sujeito, verbo e objeto) e suas dependências. Além dessas, a biblioteca Pandas8
também foi utilizada para a manipulação e análise de dados.

A seguir descrevemos as estratégias de identificação de alvo de opinião e de

classificação de polaridade/emoção orientada aos alvos de opinião investigadas
nesta pesquisa.

Estratégias de identificação de alvos de opinião

Para abordar a identificação dos alvos de opinião nos comentários sobre

debate político, inicialmente seis diferentes estratégias foram investigadas. A
primeira estratégia (SubPROP+SubCOM) consistiu na extração de todos
substantivos próprios e comuns presentes em cada comentário. A segunda
estratégia concentrou exclusivamente na extração de substantivos próprios

3
https://colab.research.google.com (acesso em 29/11/2023).
4
https://www.nltk.org (acesso em 29/11/2023)
5
https://spacy.io/usage#quickstart (acesso em 29/11/2023).
6
Um token é um elemento qualquer de uma sentença como uma palavra, um numeral ou um sinal de
pontuação.
7
O lematizador retorna o lema de uma palavra, isto é, a sua versão na forma canônica, por exemplo,
propõem -> propor.
8
https://pandas.pydata.org (acesso em 29/11/2023).
(SubPROP), uma vez que, segundo , alvos de opinião comuns em textos de política
se referem a entidades como partidos políticos, candidatos, entidades políticas
(ministros, senadores, etc.). A terceira estratégia fez uso do parser sintático de
dependência, disponível na biblioteca SpaCy, para identificar os substantivos
próprios e comuns com papel de sujeitos na sentença, adicionando contexto e
especificidade à identificação de potenciais alvos de opinião
(SubPROP+SubCOM(suj)). A quarta estratégia refinou ainda mais o escopo ao
selecionar somente os substantivos próprios que também exercem o papel de
sujeito na sentença (SubPROP(suj)). Além disso, a quinta estratégia envolveu a
seleção de substantivos (próprios e comuns) que estão associados a alguma palavra
de sentimento via relação de dependência sintática (SubPROP+SubCOM(sent)). Por
fim, a sexta estratégia focou em identificar e trazer à tona as entidades nomeadas
presentes no texto (EntNome).

Para a quinta estratégia foram usados dois léxicos de sentimentos que para
identificar palavras de sentimento na sentença, a saber: o LIWC-PT9 (BALAGE et al.,
2013) e o SentiLex-PT10 (CARVALHO; SILVA, 2015). O LIWC-PT é um léxico geral
do português constituído por 127.149 instâncias organizadas em categorias. As
categorias posemo e negemo indicam emoção (polaridade) positiva e negativa,
respectivamente. Há também categorias para mineração de emoções como afeto,
raiva, tristeza, etc., porém essas não foram exploradas neste estudo. O SentiLex-PT,
por sua vez, foi concebido especificamente para a análise de sentimento e opinião
sobre entidades humanas. Ele é composto por 7.014 lemas e 82.347 formas
flexionadas organizadas em adjetivos, substantivos, verbos e expressões
idiomáticas. Porém, as expressões idiomáticas não foram usadas nesta pesquisa.

Avaliação das estratégias de identificação de alvos de opinião

Para avaliar o desempenho de cada estratégia de identificação de alvos de

opinião nos comentários sobre debate político, foram avaliadas 50 amostras de
sentenças extraídas aleatoriamente do corpus. A análise foi realizada de forma

9
http://143.107.183.175:21380/portlex/index.php/pt/projetos/liwc (acessado em 27/11/2023).
10
https://github.com/sillasgonzaga/lexiconPT (acessado em 27/11/2023).
manual, comparando cada saída do sistema com a anotação original do corpus, ou
seja, com a anotação de referência.

A Tabela 1 traz os resultados obtidos por cada estratégia em termos de

precisão, cobertura e F1-score. A precisão representa o total de alvos de opinião
corretamente identificados por cada estratégia em relação ao total de alvos
identificados pela estratégia. A cobertura representa a quantidade de alvos de
opinião corretamente classificados sobre o total de alvos identificados na anotação
de referência do corpus. Por fim, F1-score representa a média harmônica entre a
Precisão e a Cobertura.

Tabela 1. Resultados obtidos por cada estratégia de identificação de

alvo de opinião

Conforme os resultados da tabela, a estratégia baseada apenas em

entidades nomeadas alcançou uma precisão de 100,0%, resultando no melhor
desempenho global, i.e., 65,3% de F1-score. Contudo, a cobertura obtida foi de
48,5%. A maior cobertura (81,8%) foi obtida pela estratégia que se baseou em
todos os substantivos, próprios e comuns, independente do seu papel sintático.
Todavia, essa estratégia obteve uma precisão muito ruim, ou seja, 26,1%.
Após a realização desse experimento preliminar usando uma pequena
amostra do corpus, que resultou em uma excelente precisão da estratégia
baseada na extração de entidades nomeadas (EntNome), decidimos explorar
três novas estratégias derivadas dessa estratégia, com o intuito de aumentar a
cobertura e de compreender qual o desempenho do algoritmo ao ser aplicado
no corpus todo.
As três novas estratégias consistiram na extração de i) entidades
nomeadas e substantivos comuns (EntNome+SubCOM), ii) entidades
nomeadas e substantivos comuns com função de sujeito na sentença
(EntNome+SubCOM(suj)) e iii) entidades nomeadas e substantivos comuns
associados a alguma palavra indicativa de polaridade (sentimento) via relação
sintática de dependência (EntNome+SubCOM(sent)).
Para avaliar as estratégias, utilizamos um parser mais robusto, do
Spacy-UDPipe11, que, apesar de ter um custo computacional mais elevado,
apresenta um desempenho bastante superior ao parser do SpaCy.
O desempenho das estratégias foi comparado com o desempenho do
ChatGPT para o mesmo conjunto de dados. Para tanto, foi usada a API
OpenAI com acesso ao modelo gpt-3.5-turbo, com o parâmetro de temperatura
configurado para zero, visando um modelo mais determinístico.
O ChatGPT é um modelo baseado em prompt. Ou seja, ele recebe como
entrada uma string contendo a descrição da tarefa a ser realizada pelo sistema
e gera as saídas esperadas. O principal desafio em lidar com ChatGPT
consiste em definir um prompt adequado para a tarefa. Após várias tentativas
de prompts chegou-se ao seguinte prompt usado pelo modelo:
“Dada a seguinte sentença, responda no formato [“alvo1”] o(s) alvo(s) de
opinião presente(s) na sentença.”
A Tabela 2 apresenta os resultados obtidos com cada estratégia de
identificação e pelo ChatGPT.

Tabela 2. Resultados obtidos por cada estratégia de identificação de

alvo de opinião para o corpus todo

11
https://ufal.mff.cuni.cz/udpipe/2
 Conforme os resultados da Tabela 2, embora a estratégia baseada na
extração de entidades nomeadas tenha apresentado uma piora na precisão ao
usar todo o corpus na avaliação, novamente ela superou todas as demais
estratégias, apresentando um desempenho global melhor do que o obtido pelo
modelo GPT (F1-score). A maior precisão foi obtida usando a estratégia
baseada na extração de substantivos próprios com função de sujeito na
sentença (65.93%), enquanto que a maior cobertura foi obtida com a estratégia
baseada na entidades nomeadas e em substantivos comuns (74,69%).
Esses resultados mostram que, apesar de ser uma estratégia bastante
simples, a extração de alvos de opinião com base apenas em informações de
identidades nomeadas tem um desempenho superior ao do ChatGPT no
domínio investigado (da política).

Estratégias de classificação de sentimentos

Para a classificação de sentimentos orientada aos alvos de opinião em

comentários sobre debate político em português, foram investigadas estratégias
clássicas da literatura baseadas no uso de léxicos de sentimentos e em
conhecimentos linguísticos (TABOADA et al., 2011) e duas estratégias recentes de
Processamento de Linguagem Natural baseadas em redes neurais profundas. Mais
especificamente, o ChatGPT e o modelo de transformers GoEmotions (HAMMES;
FREITAS, 2021).

Para a classificação de polaridade, a versão usada do ChatGPT se refere ao

modelo GPT 3.5, disponível online no período de 24 a 28 de junho de 2023. O
GoEmotions, por sua vez, é um ajuste fino do BERTimbau (SOUZA et al., 2020) para
a classificação de emoções em português. Esse modelo produz como saída uma
lista de emoções ranqueadas de acordo com um valor probabilístico. São 27
emoções possíveis mais a emoção “neutra”'. Quanto maior o valor associado à uma
emoção, maior a probabilidade dela ocorrer no texto. Assim, para associar uma
polaridade aos alvos de opinião, cada emoção foi mapeada para um sentimento
positivo (1), negativo (-1) ou neutro (0), conforme apresentado na Tabela 3.
 Tabela 3. Mapeamento das emoções retornadas pelo GoEmotions para
polaridades de opinião

Como léxicos de sentimentos foram usados o LIWC-PT (BALAGE et al.,

2013) e SentiLex-PT (CARVALHO; SILVA, 2015), os mesmos usados na
identificação de alvos de opinião.

O seguinte prompt foi usado para a tarefa de classificação de polaridade pelo

ChatGPT:

“Dada a sentença <sentença> e o alvo sendo <alvo> qual a polaridade

associada a ele, negativa (-1), positiva (1) ou neutra (0)?'', sendo <sentença> a
sentença do comentário e <alvo> o alvo de opinião marcado no córpus.”

A segunda abordagem investigada é baseada no GoEmotions. Para este

modelo duas estratégias também foram investigadas: (BASE) a que considera o
comentário como um todo para predição da emoção e (VIZ) a que considera apenas
a região de vizinhança seguindo abordagem similar à de Assi et al. (2022). A
polaridade atribuída é aquela resultante da combinação das top-3 melhores
emoções retornadas com pontuação maior ou igual a 0,3, mesmo limite adotado em
Assi et al. (2022).

Por fim, a terceira abordagem investigada faz uso de léxicos (LIWC-PT ou

SentiLex-PT). Essa abordagem consistiu em atribuir ao alvo de opinião do
comentário a polaridade resultante da soma das polaridades das palavras presentes
no léxico. Neste sentido, duas estratégias de atribuição de polaridade foram
investigadas: (BASE) uma que considera o comentário como um todo e (DEP) uma
que considera apenas as palavras associadas ao alvo do comentário, já fornecido
para cada sentença do corpus, via dependência sintática12. Assim, para cada
palavra com polaridade presente no léxico (SentiLex-PT ou LIWC-PT) que também
12
A dependência sintática neste caso foi gerada pelo modelo pt_core_news_lg do Spacy
(https://spacy.io/models/pt acessado em 29/11/2023).
estava presente no comentário recuperou-se sua polaridade. Na estratégia BASE
considerou-se como resultado a soma das polaridades de todas as palavras e no
caso da estratégia DEP apenas as polaridades das palavras associadas ao alvo por
alguma relação de dependência sintática.

Avaliação das estratégias de classificação de sentimentos

A avaliação das estratégias investigadas nesta pesquisa foi realizada
tendo como referência a anotação manual de polaridades associadas aos
alvos, fornecida pelo SentiCorpus-PT. Para a avaliação das estratégias de
classificação de sentimento foram usadas apenas 200 sentenças do corpus.
Este número limitado se deve ao fato de que a versão livre do ChatGPT não
dispõe de API e, portanto, o processamento do corpus é feito manualmente, ou
seja, os comentários são fornecidos em pequenas quantidades como entrada
para o sistema.
Apesar do corpus dispor da anotação de polaridade orientada aos alvos
de opiniões, optou-se por fazer uma nova anotação, a fim de verificar a
concordância entre a anotação original feita por falantes do português europeu
e a anotação realizada por falantes nativos do português na variante falada no
Brasil. A Figura 1 traz a distribuição de polaridade atribuída pela Referência
(anotação original), pelos humanos falantes do português do Brasil (bolsista e
supervisor desta pesquisa) e por cada uma das estratégias investigadas neste
trabalho.

Como é possível notar na Figura 1, a anotação de Referência tem a

maioria dos alvos associados à polaridade negativa. Os dois anotadores
humanos (brasileiros) e o ChatGPT geraram uma distribuição de classes
similar à da Referência, porém com uma quantidade maior de neutros do que
ela. Acredita-se que o fato da anotação original ter sido realizada por
anotadores que tinham um conhecimento do contexto do debate realizado em
Portugal pode ter influenciado a atribuição de polaridades negativas mesmo
quando o comentário em si não trazia explicitamente palavras ou sentimentos
que denotassem essa polaridade.
O gráfico também traz a distribuição de classes para as abordagens
baseadas em léxicos (SL e LW) e emoções (GE). Neste caso, nota-se que o
SentiLex é mais balanceado, o LIWC tende para o positivo e o GoEmotions,
para o neutro. As estratégias que limitam a associação de palavras de
polaridade àquelas ligadas por alguma relação de dependência sintática ao
alvo (DEP) levaram a um número muito grande de alvos não associados a
polaridades (N/A); enquanto que a análise de emoção usando apenas a região
de vizinhança do alvo (GE-VIZ) diminuiu a quantidade de alvos associados à
polaridade negativa e aumentou a quantidade de alvos associados à polaridade
neutra. Por fim, na parte inferior da figura são apresentados os valores para as
combinações das estratégias, sendo que combinou-se as estratégias base
(BASE) entre elas e as estratégias que consideram o alvo na determinação da
polaridade, seja por dependência sintática (DEP) ou região de vizinhança (VIZ),
entre elas.
A Tabela 4 traz os resultados da comparação das saídas geradas por
cada estratégia investigada neste artigo em comparação com a referência. Os
resultados (porcentagens) são apresentados para cada classe (positiva,
negativa e neutra) em termos de Precisão, Cobertura e F1-score. Seja c uma
classe qualquer, a Precisão considera a quantidade de instâncias da classe c
corretamente classificadas em relação ao total de instâncias classificadas como
sendo da classe c. A Cobertura representa a quantidade de instâncias da
classe c corretamente classificadas sobre o total de instâncias classificadas
como classe c na anotação de referência. Por fim, F1-score representa a
média harmônica entre a Precisão e a Cobertura. Após obter o F1-score de
cada classe, calculamos a média aritmética entre os valores de F1-score das
três classes, representada pela medida Macro-F1.

Tabela 4. Resultado obtidos pelas estratégias de classificação de

sentimentos
 Como é possível notar na Tabela 4, o ChatGPT apresentou o melhor
desempenho global (i.e. 58,5% de Macro-F1), comparado a todas as
estratégias avaliadas, ou seja, o modelo GPT foi o que mais se aproximou dos
valores obtidos pelos humanos. O segundo melhor desempenho (ou seja,
39,6%) foi alcançado com a combinação do SentiLex-PT e o GoEmotions sem
usar as dependências sintáticas (SL+GE-BASE). Os piores desempenhos
foram obtidos pelas estratégias baseadas no SentiLex e LIWC usando as
dependências sintáticas (i.e. SL-DEP, LW-DEP e SL+LW-DEP). Entretanto, a
estratégia SL+LW-DEP, que combina os dois léxicos com as dependências
sintáticas, alcançou um desempenho muito similar ao do ChatGPT em termos
de Precisão na classificação de sentimentos positivos e negativos e obteve
uma Precisão ainda superior à daquele modelo na classificação de sentimentos
neutros. Porém, essa estratégia obteve um desempenho muito ruim em termos
de Cobertura, o que prejudicou o seu desempenho global. A baixa cobertura
apresentada pelas estratégias que usaram dependência sintática pode estar
relacionada ao fato de que vários comentários no córpus não apresentam a
estrutura esperada de sujeito-verbo-objeto, o que pode ter impactado na
qualidade da análise de dependência gerada, fazendo com que a palavra com
polaridade não fosse corretamente associada ao alvo do comentário.
Quando se observa o desempenho de cada estratégia em relação a
cada classe de forma isolada, percebe-se que os melhores valores de F1-score
para todas as classes foram alcançados com o modelo GPT, sendo que ele
teve um desempenho melhor na classificação de sentimentos positivos do que
negativos e neutros. De maneira geral, todas as estratégias tiveram um pior
desempenho na classificação de sentimentos neutros, sendo que a estratégia
SL-DEP, baseada no SentiLex e nas dependências sintáticas, não conseguiu
classificar corretamente nenhuma das instâncias da classe neutra. Para esta
estratégia, especificamente, o valor de Macro-F1 foi calculado considerando os
F1-score apenas das classes positiva e neutra.

CONCLUSÃO (RESULTADOS DA PESQUISA)

 Esta pesquisa investigou, desenvolveu e avaliou diferentes modelos
computacionais para a identificação de alvos de opiniões e análise
(classificação) de sentimento e emoção associados a cada alvo de opinião em
comentários sobre política em português.
Foram investigadas tanto abordagens híbridas baseadas no uso de
conhecimento linguístico e de léxico de sentimentos como abordagens neurais
baseadas em aprendizado de máquina profundo (deep learning). Mais
especificamente, na tarefa de classificação de sentimentos/emoções foram
investigadas as potencialidades e limitações de uso do ChatGPT (modelo GPT
3.5) e de um modelo neural baseado em transformers, BERT, de identificação
de emoções. Os resultados de um experimento preliminar mostraram que o
ChatGPT tem um potencial maior na realização da tarefa proposta, comparado
ao modelo de transformers e às abordagens baseadas em léxicos e
conhecimentos linguísticos, apesar de não ser muito estável nas respostas. Até
onde se sabe, este é o primeiro trabalho para o português a investigar o uso do
ChatGPT na classificação de sentimento orientado ao alvo de opinião em
textos em português. Os resultados desse estudo foram publicados em um
artigo intitulado “Classificação de Polaridade Orientada aos Alvos de Opinião
em Comentários sobre Debate Político em Português”, apresentado de forma
oral no 14th Symposium in Information and Human Language Technology -
STIL13, e em outro artigo intitulado “Abordagens Baseadas em Léxicos para a
Classificação de Sentimentos Orientada aos Alvos de Opinião em Comentários
do Domínio Político”, apresentado como pôster no VIII Workshop de Iniciação
Científica em Tecnologia da Informação e da Linguagem Humana - TILIC14.
Para a identificação de alvos de opinião em textos sobre política foram
investigadas diversas estratégias baseadas em conhecimento linguístico como
entidades nomeadas, informações sobre o papel sintático das palavras no texto
(i.e., sujeito, verbo, etc.), entre outras. Essas estratégias foram comparadas ao
ChatGPT aplicado na mesma tarefa. Os resultados observados mostraram que
uma estratégia bastante simples, baseada na extração de alvos a partir de
entidades nomeadas, obteve desempenho superior ao apresentado pelo
13
https://www.bracis.dcc.ufmg.br/collocated-events/stil (acessado em 30/11/2023).
14
https://sites.google.com/view/tilic2023/?pli=1 (acessado em 3/11/2023).
ChatGPT. Os resultados desse experimento foram descritos em um artigo
intitulado submetido a 16th International Conference on Computational
Processing of Portuguese (PROPOR 2024). Um experimento preliminar usando
uma pequena amostra do conjunto de dados foi descrito em um artigo intitulado
“Avaliação de Estratégias de Identificação de Alvos de Opinião em
Comentários sobre Debate Político”, que foi apresentado de forma oral no 14º
CONICT - Congresso de Inovação, Ciência e Tecnologia do IFSP - 2023.
Como resultado principal desta pesquisa destacam-se os primeiros
modelos computacionais desenvolvidos e avaliados para a Análise de
Sentimentos Baseada em Aspectos (ASBA) em textos do domínio da política
escritos em português, a serem disponibilizados para a comunidade científica
após a publicação oficial dos artigos mencionados nos proceedings dos
eventos. É importante mencionar que esses modelos serão aprimorados e
aprofundados em outros dois trabalhos de iniciação científica que estão sendo
iniciados no grupo de pesquisa no qual este projeto foi desenvolvido, sendo um
deles financiado pelo CNPq (PIBIC).

REFERÊNCIAS BIBLIOGRÁFICAS

Assi, F. M., Candido, G. B., Silva., L. N. S., Silva, D. F., Caseli, H. M. UFSCar’s Team
at ABSAPT 2022: Using Syntax, Semantics and Context for Solving the Tasks. In
Montes-y-Gómez, M. et al. (eds.): Proceedings of the Iberian Languages Evaluation
Forum (IberLEF 2022), ABSAPT shared task.

Balage Filho, P.P.Aluísio, S.M.; Pardo, T.A.S. (2013). An Evaluation of the Brazilian
Portuguese LIWC Dictionary for Sentiment Analysis. In the Proceedings of the 9th
Brazilian Symposium in Information and Human Language Technology – STIL.
October 21-23, Fortaleza, Brasil, p. 215–219.

Capellaro, L. and Caseli, H. M. (2021). Análise de polaridade e de tópicos em tweets

no domínio da política no Brasil. In Anais do XIII Simpósio Brasileiro de Tecnologia
da Informação e da Linguagem Humana, pages 47–55, Porto Alegre, RS, Brasil.
SBC.

Carvalho, P., Teixeira, J., Sarmento, L., Silva, M. J. (2011). Liars and Saviors in a
Sentiment Annotated Corpus of Comments to Political Debates. In: 49th Annual
Meeting of The Association for Computational Linguistics, p. 564-568, Portland.

Carvalho, P. and Silva, M. (2015). SentiLex-PT: Principais características e

potencialidades. Linguística, Informática e Tradução: Mundos que se Cruzam, Oslo
Studies in Language, 7(1):425–438
Carvalho, C. M. A., Nagano, H., and Barros, A. K. (2017). A comparative study for
sentiment analysis on election Brazilian news. In Proceedings of the 11th Brazilian
Symposium in Information and Human Language Technology, pages 103–111,
Uberlândia, Brazil. Sociedade Brasileira de Computação.

Cristiani, A., Lieira, D., e Camargo, H. (2020). A sentiment analysis of brazilian

elections tweets. In Anais do VIII Symposium on Knowledge Discovery, Mining and
Learning, p. 153–160, Porto Alegre, RS, Brasil. SBC.

Liu, B. and Zhang, L. (2012). A survey of opinion mining and sentiment analysis.
Mining Text Data, pages 415–463.

Pereira, D. A. (2021). A survey of sentiment analysis in the portuguese language.

Artificial Intelligence Review, 54(2):1087–1115.

Schouten, K. and Frasincar, F. (2016). Survey on aspect-level sentiment analysis.

IEEE Transactions on Knowledge and Data Engineering, 28(3):813–830.

Hammes, L. O. A., Freitas, L. A. Utilizando BERTimbau para a Classificação de

Emoções em Português. In: Simpósio Brasileiro de Tecnologia da Informação e da
Linguagem Humana (STIL), 13. , 2021, Evento Online. Anais [...]. Porto Alegre:
Sociedade Brasileira de Computação, 2021 . p. 56-63. DOI:
https://doi.org/10.5753/stil.2021.17784.

Simões, A., Barreiro, A., Santos, D., Sousa-Silva, R., Tagnin, S. E. O. eds. (2015).
Linguística, Informática e Tradução: Mundos que se Cruzam, Oslo Studies in
Language 7(1), p. 425–438, ISSN 1890-9639 (printed)/ ISBN 978-82-91398-12-9
(eletronic).

Taboada, M., Brooke, J., Tofiloski, M., Voll, K., and Stede, M. (2011). Lexicon-based
methods for sentiment analysis. Computational Linguistics, 37:267–307.

TSYTSARAU, M.; PALPANAS, T. (2012). Survey on mining subjective data on the

web. Data Mining and Knowledge Discovery, v. 24, n. 3, p. 478–514.

Yadollahi, A., Shahraki, A. G., and Zaiane, O. R. (2017). Current state of text
sentiment analysis from opinion to emotion mining. ACM Computing Surveys,
50(2):1–33.

Assinatura do orientador:

Assinatura do bolsista: