Machine Translated by Google
Sessão 8: Social - Crowd Sourcing e análise de mídia social
Leitura de notícias falsas nas mídias sociais: um estudo de rastreamento ocular
Jakub Simko, Martina Hanakova, Patrik Racsko, Matus Tomlein, Robert Moro, Maria Bielikova Instituto de
Informática, Sistemas de Informação e Engenharia de Software, Faculdade de Informática
e Tecnologias da Informação, Universidade Eslovaca de Tecnologia em Bratislava
Bratislava, Eslováquia [jakub.simko,xhanakova,
xracsko,matus.tomlein,robert.moro,maria.bielikova]@stuba.sk
RESUMO
A disseminação online de notícias falsas (e desinformação em geral) foi
recentemente identificada como um grande problema que ameaça sociedades
inteiras . Grande parte dessa disseminação foi possibilitada por novos
formatos de mídia, como redes sociais e sites de mídia online. Pesquisadores
e profissionais têm tentado responder a isso caracterizando as notícias
falsas e desenvolvendo métodos automatizados para detectá-las. Até agora,
os métodos de detecção tiveram sucesso limitado, principalmente devido à
complexidade do conteúdo e contexto das notícias e à falta de conjuntos de
dados devidamente anotados. Uma maneira possível de aumentar a
eficiência dos métodos automatizados de detecção de desinformação é
imitar o trabalho de detecção de humanos. No sentido mais amplo de lidar
com a disseminação de notícias falsas, também é importante entender o
comportamento de consumo de notícias dos usuários online. Neste artigo,
apresentamos um estudo de rastreamento ocular, no qual permitimos que
[19] artigos
44 participantes lessem casualmente um feed de mídia social contendo postagens com foram propostas. A tendência predominante é usar abordagens aprendidas
de notícias.
Alguns dos artigos apresentados eram falsos. Em uma segunda rodada,
pedimos aos participantes que decidissem sobre a veracidade desses
artigos. Apresentamos a descrição do estudo, características do conjunto
de dados resultante (que aqui publicamos) e diversas descobertas.
CONCEITOS CCS
• Computação centrada no ser humanoÿ Estudos de usuários; Redes sociais.
PALAVRAS-CHAVE
notícias falsas; estudo do usuário; rastreamento ocular; mídia social;
desinformação; lendo
Formato de Referência ACM:
Jakub Simko, Martina Hanakova, Patrik Racsko, Matus Tomlein, Robert Moro,
Maria Bielikova. 2019. Leitura de notícias falsas nas mídias sociais: um estudo
de rastreamento ocular. Na 30ª Conferência ACM sobre Hipertexto e Mídia Social
(HT '19), 17 a 20 de setembro de 2019, Hof, Alemanha. ACM, Nova York, NY,
EUA, 10 páginas. https://doi.org/10.1145/3342220.3343642
1. INTRODUÇÃO
As notícias falsas (e a desinformação em geral) ganharam notoriedade
nos últimos anos por se espalharem no ambiente online, principalmente
A permissão para fazer cópias digitais ou impressas de todo ou parte deste trabalho para uso
pessoal ou em sala de aula é concedida sem taxa, desde que as cópias não sejam feitas ou
distribuídas com fins lucrativos ou vantagens comerciais e que as cópias contenham este aviso e a
citação completa na primeira página . Os direitos autorais dos componentes deste trabalho
pertencentes a terceiros que não a ACM devem ser respeitados. Abstraindo com crédito é permitido.
Para copiar de outra forma, ou republicar, postar em servidores ou redistribuir para listas, requer
permissão específica prévia e/ou uma taxa. Solicite permissões de permissions@acm.org.
HT '19, 17 a 20 de setembro de 2019, Hof,
Alemanha © 2019 Association for Computing Machinery.
ACM ISBN 978-1-4503-6885-8/19/09. . . $ 15,00
https://doi.org/10.1145/3342220.3343642
221
HT '19, 17 a 20 de setembro de 2019, Hof, Alemanha
através das redes sociais [7, 15]. Eles têm impacto na tomada de decisão
humana do mundo real, por exemplo, na política [3, 9]. Eles também estão
por trás de casos de danos off-line, como no domínio da saúde [10, 14].
O impacto negativo real e significativo da disseminação de notícias falsas
motivou intensos esforços de pesquisa. Alguns estudos têm sido direcionados
para a compreensão do fenômeno das fake news (ou seja, caracterização). Eles
analisam as propriedades das notícias falsas [15, 17, 20], como ganham a
confiança dos leitores [12], como as notícias falsas se espalham e o que
impulsiona sua disseminação [8, 23]. Os estudos existentes têm ajudado muito
na conceituação das notícias falsas. No entanto, esses estudos exigem ainda
mais estudos comportamentais para investigar os fatores de julgamento humano
durante a interação com notícias (falsas) [23].
Com base no conhecimento de estudos de caracterização, uma infinidade de
abordagens automatizadas de detecção de notícias falsas [6, 17, 20] e plataformas
por máquina. Enquanto alguns métodos analisam o conteúdo da notícia (seja
textual [1, 17] ou gráfico [11, 13]), outros dependem de aspectos contextuais,
como modelos fonte/autor/divulgador [5] ou interações de mídia social [22].
Apesar de tais esforços, a detecção confiável de desinformação online continua
sendo um problema não resolvido. Embora haja uma falta geral de conjuntos de
dados (que cobririam o problema em toda a sua heterogeneidade), a
dimensionalidade do conteúdo e do contexto das notícias é alta. Isso dificulta a
criação de modelos de classificação gerais e confiáveis .
Para abordar algumas das questões mencionadas acima, apresentamos
um estudo de rastreamento ocular do usuário que investiga o comportamento
humano durante o consumo de notícias falsas e avaliação de veracidade.
Neste estudo, 44 participantes primeiro consumiram notícias casualmente
em um feed semelhante a uma rede social (ou seja, a fase de consumo).
Depois disso, eles foram solicitados a estimar a veracidade dessas histórias
(ou seja, a fase de avaliação). A motivação para tal estudo tem dois núcleos
razões:
(1) Compreender o consumo de notícias falsas. Há uma falta geral de
compreensão de como as pessoas consomem notícias nas mídias
sociais em relação ao fenômeno das notícias falsas. Ao observar o
comportamento de consumo de notícias, podemos revelar o que
exatamente chama a atenção dos leitores de notícias em caso de
notícias falsas, quão minuciosos eles são no consumo das notícias, o
que precede suas ações explícitas (por exemplo, curtidas ou
compartilhamentos) ou em que condições eles ficam “espontaneamente”
desconfiados de uma notícia.
(2) Aprendendo com verificadores de fatos humanos. A alta dimensionalidade
da tarefa de detecção de desinformação pode ser facilitada pela seleção
inteligente de recursos relevantes. Observar o comportamento dos
participantes do estudo durante a fase de avaliação pode nos apontar
Machine Translated by Google

Sessão 8: Social - Crowd Sourcing e análise de mídia social HT '19, 17 a 20 de setembro de 2019, Hof, Alemanha

às características de conteúdo e contexto das notícias online, importantes dos participantes (44 contra 9) e analisar seu comportamento de forma
para a validação da veracidade. quantitativa. Nosso protocolo de estudo era silencioso (ao contrário de pensar
Com este trabalho pretendemos preencher uma lacuna na área do consumo e em voz alta), pois queríamos emular situações mais autênticas. Também
deteção de notícias falsas. Até onde sabemos, nenhum estudo de rastreamento empregamos rastreamento ocular para rastrear detalhadamente o comportamento
ocular de consumo de notícias falsas e avaliação de veracidade foi realizado. de leitura e tomada de decisão. O ambiente em nosso estudo é mais controlado
(em vez de criar uma conta falsa no Facebook real, criamos um aplicativo inteiro
Este trabalho tem as seguintes contribuições: (1) O imitando o feed do Facebook). Além disso, como a fonte da história (e sua
reputação) é evidentemente um forte indicador de veracidade para alguns
conceito do estudo de rastreamento ocular de notícias falsas. Apresentamos
usuários, omitimos propositadamente as fontes dos artigos usados como histórias.
o conceito de estudo como uma contribuição separada para o estado da
arte. Em primeiro lugar, não temos conhecimento de nenhum estudo
Além disso, todos os artigos (quando os participantes do nosso estudo decidiram
anterior feito em tal cenário. Em segundo lugar, reconhecemos a crescente
abri-los na íntegra) foram apresentados de forma gráfica unificada (e, portanto,
demanda por registros detalhados do comportamento dos usuários de
a fonte original também não pôde ser inferida dessa forma).
redes sociais e, portanto, desejamos fornecer um modelo para estudos futuros.
Em outro estudo, Heuer e Breiter examinaram os fatores que influenciam a
(2) O conjunto de dados de 44 participantes registrados de nosso estudo.
confiança dos usuários em relação às notícias compartilhadas nas mídias sociais
Com este artigo, disponibilizamos publicamente o conjunto de dados
[12]. Eles trabalharam com jovens adultos, que representam um dos grupos
reunido neste trabalho1 . Na seção 4, fornecemos uma análise descritiva
mais ameaçados pela desinformação, uma vez que esse grupo acessa notícias
dos dados comportamentais registrados. Também reportamos os
predominantemente online e nas mídias sociais (53% dos usuários de 18 a 24
resultados de um questionário, que emitimos aos participantes, que
anos relataram acessar notícias nas mídias sociais, de acordo com um relatório
recolheu informação de referência sobre a opinião dos participantes e o
recente da Reuters estudo [16]). Em nosso estudo, escolhemos o mesmo grupo
seu grau de interesse pelos temas do noticiário.
demográfico. No entanto, em contraste com Heuer e Breiter, não avaliamos a
(3) Os resultados sobre o consumo e a avaliação da veracidade dos usuários
confiabilidade da fonte de notícias, nem outros sinais de mídia social, como
de mídia social. Usando os dados obtidos durante a fase de consumo do
número de curtidas ou comentários (que Heuer e Breiter não encontraram
experimento, investigamos e relatamos as influências que as notícias
falsas têm sobre o comportamento do usuário dentro influenciando significativamente as avaliações dos usuários).

o feed do site de mídia social. Ao analisar os dados registrados durante a

Torres, Gerhart e Negahban [21] propuseram um modelo de comportamento
avaliação de veracidade, relatamos as estratégias empregadas por
de verificação de notícias , que eles verificaram por meio de uma pesquisa
anotadores de sucesso.
administrada a 541 participantes (estudantes universitários; 64,2% tinham entre

2. TRABALHO RELACIONADO 19 e 24 anos). Eles encontraram a credibilidade da mídia, a intenção dos usuários
de compartilhar, sua consciência de notícias falsas e sua confiança na rede como
Até onde sabemos, não há estudos de rastreamento ocular que examinem o
preditores relevantes do comportamento de verificação de notícias. No entanto,
comportamento humano durante o consumo ou verificação de notícias
essas descobertas não foram mais avaliadas em um experimento ou estudo de usuário.
falsas . Existem, no entanto, vários estudos similares sem rastreamento
Vários estudos existentes de rastreamento ocular foram focados no
ocular. Podemos extrair deles metodologicamente e complementar suas
comportamento de leitura de notícias em geral. Arapakis et ai. [2] examinou
descobertas com nosso estudo.
o que interessa aos leitores de notícias online. Os autores conduziram um
Das pesquisas existentes, a mais semelhante ao nosso estudo é o trabalho
estudo de rastreamento ocular, no qual mediram o engajamento em 114
recente de Flintham et al. [8], que investigaram o comportamento de leitura de
artigos apresentados a 57 participantes. Os artigos tinham propriedades
notícias falsas de usuários de redes sociais. Primeiro, eles entrevistaram 309
diferentes quanto ao seu sentimento e polaridade, o que de fato influenciava
respondentes do questionário sobre a experiência com notícias falsas e suas
sua atratividade e, conseqüentemente, o comportamento do leitor. O trabalho
características. Em segundo lugar, eles realizaram um estudo qualitativo com 9
de Ara pakis et al. também tem algumas implicações para o nosso estudo. O
participantes, que interagiram com um feed de conta falsa do Facebook, que
comportamento deve ser investigado em vários tópicos encontrados nas
continha histórias verdadeiras e falsas de vários tipos usando a tipologia de
notícias, pois os interesses pessoais de longo prazo dos participantes podem
Rubin et al. [18]. Os autores investigaram até que ponto os usuários de mídias
influenciar seu consumo, bem como o comportamento de avaliação da
sociais estão preocupados com a disseminação de notícias falsas e quais
veracidade. Os interesses tópicos e as opiniões dos participantes devem ser
recursos (conteúdo ou contexto) os convencem a acreditar que uma informação
controlados por meio de questionários.
é falsa. Usando análises qualitativas baseadas no protocolo think-aloud, Flintham
Por último, já existem alguns trabalhos de identificação de indicadores
et al. identificaram três estratégias gerais usadas pelos leitores de notícias
de notícias credíveis vs. não credíveis. Nosso estudo apresentado neste
durante a avaliação da veracidade.
artigo também visa abordá-los analisando estratégias de usuários bem-
A primeira abordagem foi inferir a veracidade apenas com base na reputação da
sucedidos (ou seja, usuários que podem detectar notícias falsas com alta precisão).
fonte. O segundo era avaliar o conteúdo da história e confirmar a suposição com
Zhang et ai. [24] propuseram um conjunto de indicadores de conteúdo e contexto
a reputação da fonte. A terceira estratégia baseou-se apenas no conteúdo. Ao
(recursos) que avaliaram em um conjunto de dados de 40 artigos com anotadores
analisar o conteúdo, os participantes confiaram principalmente em avaliações de
humanos e especialistas de domínio. A partir dos recursos de conteúdo, o título
plausibilidade e análises de títulos e estilo de escrita.
clickbait e a presença de uma falácia lógica (por exemplo, uma ladeira
escorregadia) acabaram sendo bons preditores da credibilidade de um artigo; a
Nosso próprio estudo, apresentado neste artigo, é complementar ao
partir de fatores de contexto, os bons preditores foram o resultado da verificação
trabalho de Flintham et al. [8]. Nosso objetivo era envolver um conjunto maior
de fatos (artigo sendo sinalizado como falso), número de chamadas sociais e de
1http://bit.ly/fake-news-reading-dataset listas de discussão (ou seja, chamadas para compartilhar o artigo ou para se inscrever

222
Machine Translated by Google
Sessão 8: Social - Crowd Sourcing e análise de mídia social
a uma lista de mala direta) e colocação de anúncios e chamadas sociais (ou
seja, o quão agressivos eram). No entanto, a avaliação automática de algumas
dessas características pode ser um problema e os autores não discutem como
superá-lo.
3 DESCRIÇÃO DO ESTUDO
Para coletar dados detalhados sobre como os usuários de mídia social
percebem e consomem notícias falsas, realizamos um estudo controlado ao
vivo com 44 participantes. Primeiro, pedimos aos participantes que navegassem
(e opcionalmente lessem) histórias semelhantes a notícias (postagens) em uma
interface de usuário experimental semelhante a um feed de mídia social (ou
seja, a fase de consumo ou a primeira passagem). Em seguida, pedimos que
navegassem nas mesmas histórias novamente (ou seja, a fase de avaliação ou
a segunda passagem). Desta vez, os participantes tiveram que determinar (de
acordo com seu próprio julgamento) a veracidade (veracidade) das histórias.
Cada passe levou exatamente 12 minutos e contou com 50 histórias, algumas
das quais eram verdadeiras e outras fabricadas. Cada história pertencia a um
dos 11 tópicos bastante controversos.
Ao longo do estudo, o comportamento dos participantes no feed da
mídia social foi registrado em detalhes, incluindo o uso de rastreamento ocular.
Além disso, emitimos um questionário que pesquisou o grau de interesse e as
posições de opinião dos participantes em cada um dos 11 temas.
3.1 Questões de pesquisa O estudo foi
motivado pelas seguintes questões gerais de pesquisa :
QP1 Quais traços de comportamento caracterizam o consumo de notícias
falsas em um ambiente de feed de rede social?
RQ2 Como os interesses e opiniões de longo prazo dos participantes
influenciam o comportamento de consumo?
RQ3 Quais traços de comportamento caracterizam os participantes que
foram relativamente bem-sucedidos nas avaliações de veracidade?
RQ4 Existem alguns recursos de conteúdo aparente, que os anotadores
bem-sucedidos usam para suas avaliações (e podem ser potencialmente
usados em abordagens de detecção automatizada)?
O estudo tem em grande parte um caráter exploratório. Não levantamos nenhuma
hipótese de antemão.
3.2 Participantes A
experiência contou com a participação de 44 participantes (27 homens
e 17 mulheres). A idade dos participantes variou de 16 a 20 anos.
Todos os participantes eram alunos do ensino médio. Selecionamos esse
grupo demográfico específico por dois motivos. A primeira razão foi o esforço
para reduzir os possíveis fatores de confusão. Faria sentido, é claro, tentar
cobrir todo o espectro demográfico convidando uma amostra representativa. No
entanto, isso introduziria muitas variáveis não controladas e potenciais fatores
de confusão no estudo (como a variabilidade na alfabetização informacional em
diferentes grupos demográficos). Assim, restringimos o estudo a um grupo
específico e mais homogéneo – os alunos do ensino secundário.
A segunda razão para restringir a um grupo específico foi que queríamos
trabalhar com um grupo um tanto suscetível à desinformação online (abordagem
semelhante a [12]). Na Eslováquia, onde foi realizado o estudo, os alunos do
ensino médio representam esse grupo. Havia também outros grupos específicos
que valia a pena convidar. Para
223
HT '19, 17 a 20 de setembro de 2019, Hof, Alemanha
Por exemplo, os idosos também são conhecidos por sua suscetibilidade à
desinformação. A escolha dos alunos do ensino médio foi, nesse caso, motivada
por uma maior disponibilidade prática dos participantes.
Apesar do uso de um grupo demográfico específico, consideramos o
desenho do estudo utilizável para outros grupos ou amostra da população em
geral também.
3.3 Ambiente e equipamento A gravação
do estudo foi realizada nos laboratórios do User Experience
and Interaction Research Center2 na Slovak University of
Technology em Bratislava.
A gravação foi feita em um laboratório de rastreamento ocular em grupo, o
que significa que vários participantes participaram do estudo e foram gravados
em paralelo (esse método de rastreamento ocular é descrito detalhadamente
em [4]). Embora essa configuração não seja exigida pelo projeto do estudo, nós
a usamos para executar o estudo mais rapidamente. Os estudos de rastreamento
ocular em grupo requerem ajustes de cenário específicos para moderação de
grupo e são um pouco mais exigentes para o pessoal de manutenção. Eles
também exigem infraestrutura especial para suportar o registro e a coleta de dados.
O investimento vale, no entanto, a pena: a parte de gravação deste estudo foi
feita em cerca de 4 horas (em 4 sessões de uma hora, incluindo despesas
gerais). Se o mesmo estudo fosse feito com uma configuração sequencial,
levaria mais de 40 horas.
Os participantes trabalharam em computadores desktop com monitores de
24 polegadas (1900x1200), montados com rastreadores oculares Tobii X2-60.
O experimento foi executado usando o software Tobii Studio (para a primeira e
segunda fase). O questionário (terceira fase) foi aplicado por meio do Google
Forms. As estações de trabalho foram colocadas em uma sala com condições
de iluminação estáveis. O layout da sala é estilo sala de aula com 20 estações
de trabalho (embora no máximo 13 estações de trabalho tenham sido ocupadas
durante uma única sessão). O ambiente foi silencioso durante os passes de 12
minutos (instruções foram dadas oralmente antes, depois e entre os passes).
Para efeito do estudo, criamos um site que imita a interface de usuário real
da rede social (Facebook). O site é composto por um “post feed” (ver figura 1),
através do qual o participante pode rolar e que também permite opções limitadas
de interação (por exemplo, curtir, compartilhar na primeira fase e avaliar a
veracidade na segunda fase). Um participante também pode abrir o artigo
completo (veja a figura 2) clicando na imagem, título ou texto teaser na
postagem do feed.
3.4 Cenário de estudo (tarefas)
Cada sessão começava com a chegada dos participantes ao laboratório de
rastreamento ocular em grupo. Primeiramente, nós os apresentamos ao estudo
(“Este estudo investiga os hábitos de leitura das pessoas em sites de redes
sociais...”). Em seguida, eles foram informados sobre o funcionamento da
tecnologia de rastreamento ocular e a calibração do rastreador ocular foi
realizada com cada participante.
Em seguida, os participantes foram solicitados a realizar as seguintes
tarefas: Tarefa 1: Consumo de notícias (a primeira passagem). Os
participantes foram convidados a navegar/ler casualmente o feed
da rede social e os artigos aos quais as postagens estavam
vinculadas. A tarefa durou 12 minutos e teve como objetivo registrar
o comportamento de consumo de notícias em uma situação semelhante ao casual
2http://uxi.sk
Machine Translated by Google
Sessão 8: Social - Crowd Sourcing e análise de mídia social
Figura 1: Para fins do experimento, criamos um site que se assemelha
à interface de usuário real da rede social.
Figura 2: Exemplo de artigo completo (exibido quando um participante
decide abri-lo no feed). Todos os artigos foram criados no mesmo
layout e estilo.
feed de rede social “check-out”. A parte principal das instruções foi
formulada da seguinte forma: “Exibiremos uma imitação de uma
interface de rede social para você. Por 12 minutos, navegue
casualmente pelo feed da história. Você pode abrir os artigos
completos. Você também pode gostar, não gostar, compartilhar ou
relatar qualquer história – faça isso se sentir que faria isso em uma
situação real.” Além disso, restringimos a atividade dos participantes
ritmo. A sessão inteira (foram 4) durou entre 35 a 40 minutos.
ao nosso aplicativo experimental (pedimos que não visitassem outros sites).
Tarefa 2: Avaliação da veracidade das notícias (a segunda
passagem). Informamos aos participantes que alguns dos artigos
do feed são notícias falsas. Pedimos a eles que olhassem o feed
novamente e estimassem a veracidade dos artigos com base em
seu conteúdo (na postagem do feed ou na versão completa).
Observe que, até este ponto, os participantes não foram insinuados
de forma alguma, que o verdadeiro objetivo do estudo é investigar
o comportamento de leitura de notícias falsas (tivemos o cuidado
de não estragar seu comportamento durante a tarefa 1). A parte
principal das instruções foi formulada da seguinte forma: “Você
verá novamente os mesmos artigos em um ambiente semelhante.
Desta vez, porém, sua tarefa será diferente. Seu objetivo é determinar se um
224
HT '19, 17 a 20 de setembro de 2019, Hof, Alemanha
Figura 3: Esquerda: exemplo de postagem em rede social durante a
primeira tarefa (fase de consumo de notícias). Um participante pode
gostar, não gostar, compartilhar ou denunciar o artigo. Direita: o
mesmo posto durante a segunda tarefa (fase de avaliação da
veracidade). O participante poderia indicar sua estimativa de
veracidade (opções: definitivamente verdadeiro, provavelmente
verdadeiro, provavelmente falso, definitivamente falso e a opção: não sei na segunda
é verdade ou não. Alguns dos artigos no feed não são baseados
na verdade.” Antecipamos que a avaliação da veracidade pode
levar algum tempo para cada artigo. Portanto, instruímos ainda mais
aos participantes: “Por favor, avalie os artigos no seu próprio ritmo,
não é necessário que você avalie todos.” A tarefa durou 12 minutos.
Os participantes indicaram a veracidade usando uma das cinco
opções disponíveis em cada postagem (certamente verdadeiro,
bastante verdadeiro, bastante falso, certamente falso, não sei, veja
a figura 3).
Tarefa 3 - questionário Pedimos aos participantes que preenchessem
o questionário para avaliar dados demográficos, opiniões e
interesses pelos temas em destaque. O questionário é descrito na
seção 3.6. Esta tarefa não foi rastreada ocular.
Todas as instruções foram dadas oralmente para todo o grupo ao
mesmo tempo. As instruções referentes às tarefas sempre foram dadas
imediatamente antes do início de uma tarefa. Uma tarefa sempre foi
explicada e demos aos participantes a oportunidade de fazer perguntas
antes do início da tarefa. Esse estilo “sincronizado” de organização do
estudo foi sugerido pela configuração de rastreamento ocular do grupo. As
duas primeiras tarefas tiveram duração fixa (12 + 12 minutos). Durante a
terceira tarefa, deixamos que os participantes trabalhem em seu próprio
3.5 Estímulos (características do conteúdo)
Tanto na primeira quanto na segunda tarefa, o feed exibido aos
participantes continha 50 postagens. Cada postagem representava
um artigo. Os artigos completos tinham aproximadamente 350 palavras
(para que o texto inteiro coubesse na tela quando o artigo completo
fosse aberto, vide figura 2). Cada artigo completo tinha um título, uma
imagem que o ilustrava, um parágrafo inicial e o restante do texto. A
representação da postagem do artigo (no feed) apresentava o mesmo
título e imagem e o início do parágrafo principal (truncado, caso não
coubesse nas duas linhas alocadas na interface da postagem), veja a
figura
3. Observe
determinado que omitiram propositadamente as fontes e os autores dos artigos
artigo
Machine Translated by Google

Sessão 8: Social - Crowd Sourcing e análise de mídia social HT '19, 17 a 20 de setembro de 2019, Hof, Alemanha

e também optou pela configuração visual unificada na visualização completa do artigo (ou
seja, todos os artigos pareciam visualmente iguais).
Os artigos foram escritos em eslovaco (todos os participantes eram
falantes nativos de eslovaco). O estilo de redação lembrava notícias ou
artigos de revistas e esperava-se que fosse facilmente compreendido pelos
participantes.
Cada um dos artigos pertence a um dos 11 tópicos (categorias de
conteúdo ), escolhidos a dedo para este estudo: qualidade alimentar,
redução de peso pessoal, muçulmanos na UE, indústria farmacêutica,
3.6 Questionário O objetivo
principal do questionário foi obter informações sobre posições de opinião e
grau de interesse dos participantes para cada um dos 11 tópicos. Emitimos
este questionário como a terceira (e última) tarefa do estudo para evitar
efeitos de priming no comportamento dos participantes nas tarefas 1 e 2.
O questionário teve a seguinte estrutura:
(1) Questões sobre dados demográficos (sexo e idade).

direitos LGBT, extremismo de direita3, vacinação, vida extraterrestre , (2) Questões sobre posições de opinião. Estes foram organizados em 11 conjuntos

aquecimento global , desmatamento, migração. (um para cada tópico). Cada conjunto continha entre 5 a 7 questões específicas.

A presença de notícias falsas (ou desinformação, em geral) é mais ou

menos comum para cada um dos tópicos (dentro do contexto social da (3) Perguntas sobre grau de interesse (uma pergunta para cada tópico).

Eslováquia, de onde os participantes foram retirados).

Para adquirir as posições de opinião (dos participantes) dentro das
Cada um dos 11 tópicos também carrega algum grau de controvérsia.
dimensões da disputa, optamos por múltiplas perguntas específicas (em
Em cada um dos tópicos, pode-se encontrar uma dimensão dominante de
vez de fazer uma pergunta geral para adquirir a posição como um todo).
disputa (ou seja, há duas posições de opinião geral opostas). Por exemplo,
Fizemos isso porque temíamos que os participantes não pudessem se
no tema do aquecimento global, podemos reconhecer as posições opostas
avaliar diretamente.
de um negador e de um alarmista.
As questões sobre posições de opinião tinham a forma de afirmações às
Para cada categoria, reunimos 4 artigos para preencher cada uma das combinações
quais os participantes expressavam sua concordância/discordância usando
de veracidade e posição de opinião. Isso significa que sempre tivemos pelo menos um
uma escala Likert de cinco níveis ((+2) concordo totalmente, (+1) concordo
artigo verdadeiro apoiando cada posição de opinião e pelo menos um artigo falso apoiando
um pouco, (0) não posso julgar, (-1 ) discordo um pouco, (-2) discordo
cada posição de opinião.
totalmente ).
Como exemplos, podemos listar os títulos de 4 artigos do tema
Como exemplo, podemos tomar o conjunto de declarações correspondentes
aquecimento global:
ao tema do aquecimento global:
• verdadeiro alarmista: “Tanto gelo desapareceu do Ártico,
(1) “O aquecimento global é uma invenção e não está realmente acontecendo
que o atlas mundial precisava ser atualizado”
ing.”
• verdadeiro negador: “Cientistas japoneses: o aquecimento global não é causado
(2) “O aquecimento global é uma séria ameaça para todo o nosso planeta.”
por humanos”4
(3) “As pessoas causam o aquecimento da Terra.”
• falso alarmista: “Um estudo publicado descreve as consequências catastróficas
(4) “Pessoalmente, não contribuo para o aquecimento global.”
do aquecimento” • falso negador: “DiCaprio se vendeu a uma propaganda
(5) “O aquecimento global não teve e não terá nenhum efeito sobre
pobre , dizendo que a mudança climática é a maior ameaça ao futuro de nossa
mim."
sociedade”
Como se vê, um enunciado tem sempre em si uma polaridade de opinião

Reunimos a maioria dos artigos diretamente de sites de notícias própria e pode ser algo sugestivo. Portanto, em cada conjunto de perguntas,
eslovacos conhecidos e (no caso de notícias falsas) de notórias fontes incluímos afirmações direcionadas nos dois sentidos. No exemplo acima, as

eslovacas de desinformação. Como os artigos originais tinham tamanho declarações no. 1, 4 e 5 foram direcionados para a posição negadora,

variável , adaptamos alguns deles para o tamanho exigido pela nossa enquanto as afirmações no. 2 e 3 para a posição alarmista. A posição geral

configuração. Para algumas combinações de temas e posições de opinião, da opinião foi então computada como resposta média para todas as

foi impossível encontrar exemplos de fake news. Por exemplo, não afirmações do conjunto. Antes disso, no entanto, as contribuições das

encontramos nenhuma notícia falsa que apoiasse a causa da vacinação. declarações com viés para uma das posições (escolhidas arbitrariamente)

Nesses casos, nós mesmos criamos os artigos de notícias falsas necessários, eram multiplicadas por -1. No exemplo acima, poderíamos “inverter” as

geralmente alterando os artigos existentes usando exagero (por exemplo, contribuições das declarações 2 e 3 ou das declarações 1, 4 e 5.

aumentando 10 vezes o número de vítimas do sarampo), alterando fatos

Com relação às questões sobre grau de interesse, estas foram formuladas uma por
(por exemplo, alterando os nomes de protagonistas notoriamente conhecidos)
cada tópico da seguinte forma: “Selecione seu grau de interesse nos seguintes tópicos”.
e imagem e título mudando (então os artigos eram mais sugestivos).
Esta instrução foi seguida pela lista de 11 tópicos, cada um atribuído com uma escala de
No total, usamos 50 artigos no experimento. Isso significa que para
5 graus variando de ''Não estou nem um pouco interessado'' a 'Estou muito interessado'.
algumas combinações de tema, veracidade e posição de opinião, houve
mais de um exemplo. No total, isso aconteceu em 6 casos.
A razão para incluir mais artigos foi que às vezes nos deparamos com vários
exemplos interessantes (geralmente notícias falsas) que eram distintos 3.7 Processamento de dados
entre si em algum sentido e queríamos registrar
Após a gravação, usamos o Tobii Studio para calcular os eventos de
comportamento dos participantes sobre ambos. fixação do olhar (usando a implementação integrada do filtro de fixação IVT).
Também usamos o Tobii Studio para definir áreas de interesse (AOIs) em
3Os artigos deste tópico giram em torno de uma figura política específica da Eslováquia. cada postagem no feed: imagem, título, perex (texto do parágrafo inicial),
4Este artigo em particular era verdadeiro, embora se referisse a um estudo bastante antigo. botões de ação (curtir, compartilhar etc.)

225
Machine Translated by Google
Sessão 8: Social - Crowd Sourcing e análise de mídia social
post (incluindo todas as AOIs anteriores). Os dados de fixação (com hits AOI) foram
exportados e processados usando scripts Python.
4 DESCOBERTAS
4.1 Estatísticas de primeira e segunda passagem Os participantes
gastaram em média 5,1 (DP 2) em 12 minutos navegando no feed na primeira passagem. Na
segunda passagem, eles gastaram 5,3 minutos (SD 2,6) em média de 12 minutos navegando no
feed. O tempo restante foi gasto lendo artigos completos. Os participantes abriram em média 7
artigos (DP 4) na primeira passagem e 9 (DP 5) na segunda passagem.
Na primeira passagem do experimento, os participantes viram em média 41
postagens no feed (SD 10). Definimos a “visão de uma postagem” (impressão )
como uma situação na qual registramos pelo menos 10 eventos de fixação atingindo
a área de interesse que denota a postagem. Isso normalmente significa alguns
segundos e, ao impor isso, queríamos filtrar a rolagem rápida no feed e outros
artefatos possíveis.
22 dos participantes realizaram um total de 122 ações explícitas de curtir, não
gostar, denunciar e compartilhar. Um número igual de ações (61) foi realizado tanto
para artigos verdadeiros quanto para artigos falsos, porém a distribuição das ações
para artigos verdadeiros e falsos diferiu.
Assemelhando-se ao uso pretendido das ações, os artigos verdadeiros receberam mais curtidas e
compartilhamentos do que os artigos falsos, e os artigos falsos foram rejeitados e relatados com
mais frequência do que os artigos verdadeiros. A Tabela 1 mostra o número total de ações explícitas
no feed separadamente para artigos verdadeiros e falsos. O número total de ações explícitas é baixo
em comparação com as milhares de impressões que registramos e, embora possamos ver uma
tendência geral aqui, nenhuma conclusão apoiada por estatísticas pode ser tirada delas. No entanto,
podemos ver algum potencial na ação de denúncia que foi usada muito mais para os artigos falsos
do que para os verdadeiros.
Tabela 1: Número de ações registradas para artigos verdadeiros e falsos na
primeira passagem.
Não gostei gostei Compartilhamento de relatórios
Artigos Verdadeiros 18 43 2 7
Artigos falsos 21 34 10 5 participantes seguiram seus interesses ao explorar o feed na fase de consumo do
Na segunda passagem do experimento, os participantes foram um pouco mais lentos na
passagem pelo feed: viram em média 32 postagens no feed (DP 13). Desses, avaliaram a veracidade
de 29 artigos em média (DP 16). A Tabela 2 mostra o número total de classificações de veracidade
para artigos verdadeiros e falsos. Há uma diferença estatisticamente significativa na distribuição das
classificações de veracidade para artigos falsos e reais (teste t não pareado de avaliações por
participante e tópico resulta em valor p < 0,001). Dada uma escala de 1 a 5, onde 1 representava
classificação de veracidade certamente verdadeira, a classificação média de veracidade de artigos
verídicos foi de 2,5 (DP 1). A classificação média de veracidade dos artigos falsos foi de 3,4 (DP 1).
4.2 Opinião e interesse nos temas As respostas da
pesquisa nos permitiram explorar as distribuições de interesse, força e polaridade
(posição) das opiniões dos participantes dentro dos temas relevantes.
226
HT '19, 17 a 20 de setembro de 2019, Hof, Alemanha
Tabela 2: Número de avaliações feitas para artigos verídicos e falsos na
segunda passagem.
Certamente Em vez de Não pode Em vez de Certamente
Verdadeiro Verdadeiro Contar Falso Falso
Artigos Verdadeiros 134 214 77 131 45
Artigos falsos 65 172 72 174 206
A Figura 4 compara a distribuição de força de interesse e força de opinião dos
participantes. O interesse representa o interesse em um tópico conforme declarado
explicitamente na última parte do questionário.
Por outro lado, a força da opinião representa o extremo das respostas às questões
de posição de opinião.
Na maioria dos tópicos, a força da opinião corresponde ao interesse dos participantes (o que é
um resultado esperado). No entanto, existem vários tópicos em que a distribuição da força da opinião
é relativamente maior em comparação com a distribuição da força do interesse – por exemplo,
extremismo de direita, casamento entre pessoas do mesmo sexo e vacinação. Nesses tópicos,
vemos uma concordância mais consistente na polaridade de opiniões dos participantes, conforme
mostrado na Figura 5. Não podemos interpretar com segurança essa observação. Uma sugestão
pode ser que as opiniões dos participantes foram moldadas por seus ambientes externos.
Estudamos ainda a relação entre o interesse explicitamente declarado dos
participantes e seu interesse implícito observado a partir de seu comportamento
durante a leitura do artigo na primeira passagem (fase de consumo) do experimento.
Em comparação com participantes com desinteresse declarado (bastante
desinteressado, nada interessado), os participantes com interesse declarado
(bastante interessados e muito interessados) abriram mais artigos (média 0,8, SD
0,9 em comparação com 0,3, SD 0,7) e passaram mais tempo lendo-os (média de
1,5 minutos, SD 1 em comparação com 1,3 minutos, SD 1,2). Esse achado mostra
que o comportamento de leitura implícito dos participantes na primeira passagem
do experimento refletiu seu interesse explicitamente declarado, ou seja, os
experimento.
Por outro lado, o comportamento de leitura na segunda passagem do experimento foi menos
influenciado pelo interesse dos participantes.
Em comparação com os participantes com desinteresse declarado, os participantes
com interesse declarado abriram apenas um pouco mais artigos (média de 0,8, SD
1 em comparação com 0,7, SD 1) nos tópicos. A Figura 6 mostra a diferença na
influência do interesse nos tópicos sobre a área total de artigos vistos na primeira e
na segunda passagem. A área total de artigos vistos reflete a profundidade em que
os participantes leem artigos completos abertos (conforme registrado nos dados do
olhar). Em contraste com a primeira passagem do experimento, os participantes
leram artigos em tópicos nos quais não estavam interessados mais profundamente
quando incumbidos de avaliar sua veracidade. No entanto, uma influência do
interesse sobre o comportamento de leitura na segunda passagem ainda pode ser
observada na distribuição da área total vista em tópicos.
Isso difere um pouco das descobertas de Flintham et al., que, ao contrário,
observaram que as histórias nas quais os participantes não estavam
interessados “importavam pouco para eles, apesar de repetidas
solicitações” para avaliar sua veracidade [8].
Machine Translated by Google

Sessão 8: Social - Crowd Sourcing e análise de mídia social HT '19, 17 a 20 de setembro de 2019, Hof, Alemanha

Figura 4: Comparação das distribuições de força de interesse e força de opinião dos participantes dentro dos tópicos com base nas respostas da
pesquisa final. Força da opinião calculada com base na concordância com as declarações da pesquisa. Forte concordância ou discordância é
representada usando o valor 2 e a falta de opinião como 0.

Figura 6: Área total de artigos dentro dos tópicos vistos na primeira

Figura 5: Polaridade de opinião calculada com base na concordância
com as afirmações da pesquisa. A concordância com declarações
com polaridade oposta é representada como discordância. Nas
distribuições mostradas, há tópicos em que os participantes
geralmente se inclinam para uma única extremidade do espectro de
polaridade (por exemplo, extremismo de direita), bem como tópicos
em que ambas as polaridades são representadas (por exemplo,
indústria farmacêutica).
4.3 Exatidão das classificações de veracidade A Figura
7 mostra as distribuições das classificações de veracidade por participante
classificadas pelo número de classificações corretas (parte superior) e a precisão
geral das classificações de cada participante (parte inferior). Classificando os participantescomposto por 25% dos participantes com a maior precisão de suas avaliações,
e na segunda passagem do experimento em relação ao interesse
declarado dos participantes. A influência do interesse na área total
vista dos artigos é muito maior na primeira passagem em comparação
com a segunda passagem.
por precisão fornece uma ordem quase espelhada em comparação com a
classificação pelo número de classificações corretas. Isso sugere que os
participantes que classificaram a veracidade de menos artigos, enquanto levaram
mais tempo para julgar cada um, obtiveram maior precisão de suas classificações de veracidade.
Para estudar ainda mais as diferenças entre os participantes que
tiveram sucesso e não tiveram sucesso na classificação da veracidade
dos artigos, separamos dois grupos de participantes: grupo de sucesso

227
Machine Translated by Google
Sessão 8: Social - Crowd Sourcing e análise de mídia social
e grupo malsucedido composto por 25% dos participantes com a
menor precisão de suas avaliações.
Há uma diferença significativa (p=0,008 usando o teste t não pareado) na
distribuição do tempo médio gasto olhando os cabeçalhos das postagens no
feed na fase de avaliação do experimento entre os grupos de sucesso e
insucesso. O grupo de participantes bem-sucedidos gastou em média 2
segundos (DP 0,6) por post no feed olhando seu cabeçalho, enquanto o grupo
de participantes menos bem-sucedidos gastou em média 2,9 segundos (DP
0,8). Não há diferença significativa no tempo gasto observando imagens ou
textos de parágrafo inicial (perex) de postagens no feed.
Isso sugere uma maior confiança nas informações fornecidas no feed
para os participantes que tiveram menos sucesso em comparação com os
participantes mais bem-sucedidos. A descoberta é corroborada pela
comparação do tempo total gasto lendo artigos na primeira e na segunda
passagem do experimento mostrado na Figura 8, bem como na comparação
do tempo gasto olhando as postagens no feed mostrado na Figura 9.
4.4 Limitações do estudo À
medida que prosseguimos com a análise dos dados, notamos uma
variabilidade na dificuldade dos participantes em avaliar a veracidade dos
artigos individuais (ou seja, dificuldade do artigo, para abreviar). Durante a
preparação dos estímulos, não controlamos a dificuldade do artigo. Apesar
da maioria dos artigos parecer razoavelmente difícil de avaliar, todo o conjunto
de artigos variou de “quase impossível” a “muito fácil”. A Figura 10 ilustra a
distribuição da dificuldade do artigo usando um histograma de precisão das
avaliações de veracidade dos artigos. Embora a maioria dos artigos (70%)
fosse melhor do que a adivinhação aleatória os avaliaria, 8 artigos (16%)
alcançaram precisão de 0,25 ou menos, o que significa que eles não eram
apenas difíceis de avaliar, mas eram totalmente enganosos. Essa dificuldade
variável pode potencialmente distorcer algumas descobertas futuras e em
outros estudos semelhantes e sugerimos controlar a dificuldade por meio de
pilotos.
Outras limitações decorrem do estudo realizado no ambiente controlado
de laboratório, em vez de um ambiente mais natural de uma rede social real.
Em nosso estudo, omitimos intencionalmente a fonte das notícias, bem como
os sinais de mídia social, como curtidas, comentários, etc., para reduzir o
número de variáveis (de contexto) e focar nos sinais de conteúdo. Além disso,
nossa amostra de participantes consistia apenas de alunos do ensino médio
(candidatos em potencial à universidade); no entanto, não controlamos a
localização geográfica de sua escola de ensino médio ou seu tipo, nem a
origem socioeconômica dos participantes, que podem ser fatores que
influenciam suas opiniões ou seu nível de pensamento crítico.
5 CONCLUSÃO E TRABALHOS FUTUROS
Apresentamos um estudo em que participantes humanos foram rastreados
durante sua interação com notícias (falsas) em uma interface de mídia social .
O conceito deste estudo responde à demanda expressa pela literatura
relacionada: a pesquisa da caracterização e detecção de notícias falsas pode
se beneficiar da análise do comportamento humano.
Isso significa (1) o consumo de notícias por usuários “desprevenidos” e (2) a
avaliação da veracidade das notícias, quando os usuários procuram ativamente por
pistas de veracidade. A observação do primeiro serve para a compreensão geral do
fenômeno das notícias falsas. Este último pode orientar a criação de abordagens de
detecção automatizada.
228
HT '19, 17 a 20 de setembro de 2019, Hof, Alemanha
Neste artigo, contribuímos com o desenho do estudo, o conjunto de dados
resultante e algumas das descobertas que resultam da análise dos dados. As
descobertas incluem:
• O comportamento de leitura dos participantes foi menos influenciado por seus
interesses quando incumbidos de avaliar a veracidade dos artigos em
comparação com a navegação no feed sem esse objetivo em mente. •
Ações explícitas (por exemplo, curtidas, compartilhamentos) raramente eram
usadas espontaneamente (como esperado devido às limitações do estudo).
Seu poder indicativo (para detecção de falsificação), portanto,
permanece questionável. A exceção é a ação reportar. Das 12 vezes
que foi usado, 10 vezes apontou para artigos falsos. • Em contraste
com os participantes que foram bem-sucedidos nas estimativas da
veracidade dos artigos, os participantes malsucedidos confiaram mais
nas informações fornecidas no feed do que nos artigos completos
reais. • A força da opinião reflete a força do interesse dos participantes
pela maioria dos tópicos. No entanto, em vários tópicos onde o interesse
foi geralmente menor, os participantes tiveram opiniões relativamente
fortes com uma polaridade comum. Isso é difícil de explicar, mas
pode sugerir que as pessoas são frequentemente afetadas pelo
ambiente externo para formar suas opiniões.
Vemos vários caminhos para trabalhos futuros. O conceito de estudo pode (e
deve) ser implantado para mais grupos demográficos. Quando o conjunto de
dados registrados for maior, mais padrões de comportamento estáveis
observáveis surgirão. Isso permitirá a introdução de mais variáveis
dependentes no projeto. Ou seja, mais recursos de informação podem ser
adicionados à interface de usuário atual (bastante reducionista). No cenário
atual, faltam elementos de interação social como comentários, curtidas,
compartilhamentos etc. e é relevante perguntar como (se é que o fazem) os
usuários os levam em consideração em ambas as tarefas. Além disso, a
heterogeneidade de fontes de artigos e design visual (que foi omitido em
nosso trabalho atual) pode ser colocada em jogo.
Outro caminho de trabalho futuro é o envolvimento de especialistas em
verificação de fatos (por exemplo, jornalistas, ativistas, acadêmicos) como
participantes de um estudo semelhante. Semelhante porque convidar tais
pessoas como participantes “desconfiados” para a tarefa de consumo não faz
muito sentido (eles saberiam o motivo de seu convite específico). No entanto,
convidar especialistas para as tarefas 2 e 3 pode fornecer informações
interessantes sobre como eles abordam a tarefa de avaliação da veracidade das notícias.
AGRADECIMENTOS
Este trabalho foi apoiado por bolsas no. 002STU-2-1/2018 financiado pelo
Ministério da Educação, Ciência, Pesquisa e Esporte da República Eslovaca,
Agência Eslovaca de Pesquisa e Desenvolvimento sob os contratos nº
APVV-17-0267 e APVV-15-0508 e
a Agência de Subsídios Científicos da República Eslovaca concede os nºs VG
1/0725/19 e VG 1/0667/18.
REFERÊNCIAS
[1] Oluwaseun Ajao, Deepayan Bhowmik e Shahrzad Zargari. 2018. Identificação de Fake
News no Twitter com Modelos Híbridos CNN e RNN. In Proceedings of the 9th
International Conference on Social Media and Society - SMSociety '18. ACM Press, Nova
York, Nova York, EUA, 226–230. https://doi.org/10.1145/3217804. 3217917
arXiv:1806.11316
[2] Ioannis Arapakis, Mounia Lalmas, B. Barla Cambazoglu, Mari-Carmen Marcos e Joemon
M. Jose. 2014. Engajamento do usuário em notícias online: sob o escopo do sentimento,
interesse, afeto e olhar. Jornal da Associação de Ciência e Tecnologia da Informação
65, 10 (outubro de 2014), 1988–2005. https://doi.org/10.1002/asi.
23096
Machine Translated by Google

Sessão 8: Social - Crowd Sourcing e análise de mídia social HT '19, 17 a 20 de setembro de 2019, Hof, Alemanha

Figura 7: Distribuição das avaliações de veracidade para cada participante. No gráfico superior, os participantes são classificados pelo número de
avaliações corretas. O gráfico inferior mostra os participantes classificados pela precisão de suas avaliações de veracidade. A classificação por
precisão fornece uma ordem quase espelhada dos participantes do que a classificação por número de avaliações corretas, o que sugere que os
participantes que passaram mais tempo avaliando artigos individuais obtiveram maior precisão.

Figura 9: Tempo médio gasto olhando postagens no feed por Figura 8: Diferença no tempo total gasto lendo artigos entre um grupo
participante para os grupos de 25% dos participantes mais e menos de 25% dos participantes mais bem-sucedidos (participantes bem-
bem-sucedidos. Os participantes malsucedidos confiaram nas sucedidos) na classificação da veracidade dos artigos e 25% dos
informações dadas no feed, o que pode ser visto pelas demoras mais participantes menos bem-sucedidos (participantes mal-sucedidos).
longas nas postagens, especialmente na segunda passagem da experiência. Os participantes bem-sucedidos gastaram em média 8 minutos (DP 3)
mento. lendo artigos na primeira passagem e 7 (DP 3) na segunda passagem.
Os participantes malsucedidos gastaram em média 7 minutos (DP 3)
lendo na primeira passagem e 5 (DP 3) na segunda passagem.

[3] Meital Balmas. 2014. Quando as notícias falsas se tornam reais. Communication Research
41, 3 (abril de 2014), 430–454. https://doi.org/10.1177/0093650212453600

Figura 10: Histograma de acurácia das avaliações de veracidade dos

artigos. Artigos com precisão de 1 receberam apenas classificações
corretas de veracidade. As classificações “Não sei dizer” não são consideradas.

229
Machine Translated by Google
Sessão 8: Social - Crowd Sourcing e análise de mídia social
[4] Maria Bielikova, Martin Konopka, Jakub Simko, Robert Moro, Jozef Tvarozek, Patrik Hlavac e
Eduard Kuric. 2018. Rastreamento ocular em massa: estudos de usuários em grupo,
infraestrutura de laboratório e práticas. Journal of Eye Movement Research 11, 3 (2018), 1–
15. https://doi.org/10.16910/jemr.11.3.6
[5] Christina Boididou, Symeon Papadopoulos, Markos Zampoglou, Lazaros Aposto
lidis, Olga Papadopoulou e Yiannis Kompatsiaris. 2018. Detecção e visualização
de conteúdo enganoso no Twitter. International Journal of Multimedia Information
Retrieval 7, 1 (2018), 71–86. https://doi.org/10.1007/s13735-017-0143-x [6] Niall
J Conroy, Victoria L Rubin e Yimin Chen. 2015. Detecção automática de engano:
métodos para encontrar notícias falsas. In Anais do 78º Encontro Anual da
ASIS&T: Ciência da Informação com Impacto: Pesquisa na e para a Comunidade.
Sociedade Americana de Ciência da Informação, Silver Springs, MD, EUA, 82. https://dl.
acm.org/citation.cfm?id=2857152{&}CFID=1003643593{&}CFTOKEN=16803981 [7] Miriam
Fernandez e Harith Alani. 2018. Desinformação online: desafios e direções futuras. Acompanhando
a The Web Conference 2018 na The Web Conference 2018 - WWW '18. ACM Press, Nova
York, Nova York, EUA, 595–602. https://doi.org/10.1145/3184558.3188730
[8] Martin Flintham, Christian Karner, Khaled Bachour, Helen Creswick, Neha Gupta e Stuart Moran.
2018. Caindo em Fake News. Nos Anais da Conferência CHI 2018 sobre Fatores Humanos
em Sistemas Computacionais - CHI '18. ACM Press, Nova York, Nova York, EUA, 1–10.
https://doi.org/10.1145/3173574.3173950 [9] R. Kelly Garrett. 2011. Consequências
preocupantes de boatos políticos online.
Human Communication Research 37, 2 (abril de 2011), 255–274. https://doi.org/10. 1111/
j.1468-2958.2010.01401.x [10] Lisa Neal Gualtieri e Lisa Neal. 2009. O médico como segunda
opinião e a internet como primeira. In Proceedings of the 27th international conference extends
abstracts on Human factors in computing systems - CHI EA '09. ACM Press, Nova York, Nova
York, EUA, 2489. https://doi.org/10.1145/1520340.1520352 [11] Aditi Gupta, Hemank Lamba,
Ponnurangam Kumaraguru e Anupam Joshi.
2013. Faking Sandy: caracterizando e identificando imagens falsas no Twitter
durante o furacão Sandy. Em Anais da 22ª Conferência Internacional sobre World
Wide Web - WWW '13 Companion. ACM Press, Nova York, Nova York, EUA, 729–
736. https://doi.org/10.1145/2487788.2488033 [12] Hendrik Heuer e Andreas
Breiter. 2018. Confie nas novidades nas redes sociais. In Pro ceedings of the 10th
Nordic Conference on Human-Computer Interaction - NordiCHI '18. ACM Press,
Nova York, Nova York, EUA, 137–147. https://doi.org/10.1145/ 3240167.3240172
[13] Zhiwei Jin, Juan Cao, Yongdong Zhang, Jianshe Zhou e Qi Tian. 2017. Novos
recursos visuais e estatísticos de imagens para verificação de notícias em microblogs.
IEEE Transactions on Multimedia 19, 3 (2017), 598–608. https://doi.org/10.1109/
TMM.
2016.2617078
[14] Ana Kata. 2010. Uma caixa de Pandora pós-moderna: Desinformação anti-vacinação na Internet.
Vacina 28, 7 (2010), 1709–1716. https://doi.org/10.1016/j.vaccine.
2009.12.022
230
HT '19, 17 a 20 de setembro de 2019, Hof, Alemanha
[15] Srijan Kumar e Neil Shah. 2018. Informações falsas na Web e mídias sociais: uma pesquisa.
Em Social Media Analytics: Avanços e Aplicações. Imprensa CRC, Boca Raton, Flórida, EUA.
[16] Nic Newman, Richard Fletcher, Antonis Kalogeropoulos, David AL Levy e Rasmus Kleis Nielsen.
2018. Relatório de notícias digitais do Reuters Institute 2018. Relatório técnico . Instituto
Reuters. http://media.digitalnewsreport.org/wp-content/ uploads/2018/06/digital-news-
report-2018.pdf
[17] SB Parikh e PK Atrey. 2018. Detecção de notícias falsas ricas em mídia: uma pesquisa. Em
2018, Conferência IEEE sobre Processamento e Recuperação de Informações Multimídia (MIPR).
IEEE, Miami, FL, EUA, 436–441. https://doi.org/10.1109/MIPR.2018.00093 [18] Victoria
L. Rubin, Yimin Chen e Niall J. Conroy. 2015. Detecção de engano para notícias: três tipos de
falsificações. In Anais do 78º Encontro Anual da ASIS&T: Ciência da Informação com Impacto:
Pesquisa na e para a Comunidade (ASIST '15).
Sociedade Americana para Ciência da Informação, Silver Springs, MD, EUA, Artigo 83, 4
páginas. http://dl.acm.org/citation.cfm?id=2857070.2857153 [19] Diego Saez-Trumper. 2014.
Fake Tweet Buster: uma ferramenta da Web para identificar usuários que promovem notícias falsas
no Twitter. In Proceedings of the 25th ACM conference on Hypertext and social media - HT
'14. ACM Press, Nova York, Nova York, EUA, 316–317. https://doi.org/10.1145/2631775.2631786
[20] Kai Shu, Amy Sliva, Suhang Wang, Jiliang Tang e Huan Liu. 2017. Detecção de notícias
falsas nas mídias sociais: uma perspectiva de mineração de dados. ACM SIGKDD Explorations
Newsletter 19, 1 (set 2017), 22–36. https://doi.org/10.1145/3137597.3137600 arXiv:1708.01967
[21] Russel Torres, Natalie Gerhart e Arash Negahban. 2018. Epistemologia na era das notícias
falsas: uma exploração dos comportamentos de verificação de informações entre usuários de
sites de redes sociais. Banco de dados ACM SIGMIS: o DATABASE for Advances in
Information Systems 49, 3 (julho de 2018), 78–97. https://doi.org/10.1145/
3242734.3242740
[22] Svitlana Volkova, Kyle Shaffer, Jin Yea Jang e Nathan Hodas. 2017. Separando Fatos da
Ficção: Modelos Linguísticos para Classificar Postagens de Notícias Suspeitas e Confiáveis
no Twitter. Em Anais da 55ª Reunião Anual da Associação de Linguística Computacional
(Volume 2: Short Papers). Association for Computational Linguistics, Stroudsburg, PA, EUA,
647–653. https://doi.org/10.18653/v1/
P17-2102
[23] Soroush Vosoughi, Deb Roy e Sinan Aral. 2018. A disseminação de notícias verdadeiras e
falsas online. Science 359, 6380 (março de 2018), 1146–1151. https://doi.org/10.1126/
science.aap9559 [24] Amy X Zhang, Martin Robbins, Ed Bice, Sandro Hawke, David Karger,
An Xiao Mina, Aditya Ranganathan, Sarah Emlen Metz, Scott Appling, Connie Moon Sehat, Norman
Gilmore, Nick B Adams, Emmanuel Vincent e Jennifer Lee. 2018. Uma resposta estruturada à
desinformação: Definindo e anotando indicadores de credibilidade em artigos de notícias.
Acompanhando a The Web Conference 2018 na The Web Conference 2018 - WWW '18. ACM
Press, Nova York, Nova York, EUA, 603–612. https://doi.org/10.1145/3184558.3188731