UNIVERSIDADE METODISTA DE SÃO PAULO

Programa de Pós-Graduação em Comunicação Social

KRISHMA ANAÍSA COURA CARREIRA

Reportagem Investigativa sobre os Sistemas de Decisões

Automatizadas

São Bernardo do Campo, 2021

 1

UNIVERSIDADE METODISTA DE SÃO PAULO

Programa de Pós-Graduação em Comunicação Social

KRISHMA ANAÍSA COURA CARREIRA

Reportagem Investigativa sobre os Sistemas de Decisões

Automatizadas

Tese apresentada ao Programa de Pós-

Graduação em Comunicação Social, da
Universidade Metodista de São Paulo
(Umesp), na área de concentração
“Processos Comunicacionais” e linha de
pesquisa “Comunicação midiática,
processos e práticas socioculturais”, como
exigência parcial para a obtenção do título de
Doutora em Comunicação Social.
Orientador: Prof. Dr. Dimas A. Künsch.

São Bernardo do Campo, 2021

 2

FICHA CATALOGRÁFICA

C232r Carreira, Krishma Anaísa Coura

Reportagem investigativa sobre os sistemas de decisões automatizadas /
Krishma Anaísa Coura Carreira. 2021.
153 p.

Tese (Doutorado em Comunicação Social) --Diretoria de Pós-Graduação

e Pesquisa, Programa de Pós-Graduação em Comunicação Social da
Universidade Metodista de São Paulo, São Bernardo do Campo, 2022.
Orientação de: Dimas A. Künsch.

1. SDAs – Sistemas de decisões automatizadas 2. RISDA – Reportagens

investigativas sobre decisões automatizadas 3. Jornalismo investigativo 4.
Algoritmos I. Título.
CDD 302.2
 3

A tese de doutorado intitulada: “REPORTAGEM INVESTIGATIVA SOBRE OS

SISTEMAS DE DECISÕES AUTOMATIZADAS”, elaborada por KRISHMA ANAÍSA
COURA CARREIRA, foi apresentada e aprovada em 15 de dezembro de 2021,
perante banca examinadora composta por Prof. Dr. Dimas Künsch
(Presidente/UMESP), Profa. Dra. Cilene Victor da Silva (Titular/UMESP), Prof. Dr.
Fábio Botelho Josgrilberg (Titular/UMESP), Profa. Dra. Daniela Osvald Ramos
(Titular/USP) e professor Dr. Sergio Amadeu da Silveira (Titular UFABC).

________________________________________
Prof. Dr. Dimas Künsch
Orientador e Presidente da Banca Examinadora

________________________________________
Profa. Dra. Camila Escudero
Coordenadora do Programa de Pós-Graduação

Programa: Pós-Graduação em Comunicação Social

Área de Concentração: Processos Comunicacionais
Linha de Pesquisa: Comunicação midiática, processos e práticas socioculturais
 4

Aos meus filhos, João Pedro e Mariana,

na esperança de que tenham
um mundo melhor.
 5

AGRADECIMENTOS

Esta tese é uma sobrevivente! Ela sobreviveu à alteração do corpo discente

da Umesp; ao fim da linha de pesquisa que ingressei; à mudança de orientador; à
separação; à mudança de cidade da minha filha; ao ritmo incessante de dois
empregos novos; à pandemia; ao isolamento e a um sentimento de saudade constante
e dilacerador. Mas ela sobreviveu! E isso só aconteceu graças à ajuda, ao carinho e
ao incentivo de pessoas que fazem toda a diferença na minha vida. E também à bolsa
concedida pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior
(Capes).
Às queridas Margareth Boarini e à Amanda Vieira Ferrari, amigas que tive a
sorte de encontrar no Mestrado, qualquer agradecimento é ínfimo em função de tudo
que fizeram por mim na reta final desta tese. Elas me deram as mãos, fizeram revisões
e sugestões com todo o cuidado e carinho. Podem contar com meu afeto sempre!
À Fernanda Budag, grata pela sua generosidade e oferta de apoio no momento
em que eu estava mais precisando.
Aos amigos que tanto gosto e que ouviram tantos “nãos” da minha parte aos
convites para saídas e encontros, por conta da tese, obrigada por não desistirem de
mim. Em especial, agradeço à Alexandra Pericão, que além de tudo, tirou minhas
dúvidas sobre leis, regulamentos e contribuiu com o envio de matérias e textos
relacionados à tese.
Ao querido Fabio Palamedi, que é mais uma vítima da Covid-19 e da barbárie
de um governo genocida, obrigada por todas as nossas conversas sobre tecnologia e
pela imensidão de dúvidas esclarecidas.
E por falar em dúvidas sobre tecnologia, meu muito obrigada a Fernando
Ferreira e a Rafael Custódio, que na fase final ajudaram com uma questão que me
intrigava sobre a Inteligência Artificial.
À professora Dra. Deyse Feitosa, coordenadora de Jornalismo da FAPCOM,
agradeço por compreender o momento vivido, me apoiando com carinho!
À Janaína Linhares, Paula Alface e Paula Barcellos, meu muito obrigada pelos
meus dias de folga para cuidar da tese. Sem este presente, a tese não seria possível.
À Flávia Costa e à Paula Ângelo, só tenho a agradecer! Com as folgas, o
trabalho sobrou para vocês. Podem contar comigo sempre!
 6

À professora Dra. Cilene Victor da Silva, com quem tenho a honra de trabalhar,
grata por tudo! Tudo mesmo! Obrigada pelo apoio, socorro, dicas e por aceitar fazer
parte da minha banca.
Agradeço também pelo tempo e conhecimento compartilhados pelos demais
integrantes da banca: muito obrigada à professora Dra. Daniela Osvald, ao professor
Dr. Fábio Botelho Josgrilberg e ao professor Dr. Sergio Amadeu da Silveira, que muito
me inspirou em seus trabalhos. E, principalmente, ao professor Dr. Dimas Künsch,
por me aceitar como orientanda.
 7

“Modelos de previsão são, cada vez mais, as ferramentas

com as quais contaremos para administrar nossas
instituições, aplicar nossos recursos e gerenciar nossas
vidas. (...) Esses modelos são construídos não apenas de
dados, mas das escolhas que fazemos sobre em quais
dados prestar atenção - e quais deixar de fora. Essas
escolhas não tratam apenas de logística, lucros e
eficiência. Elas são fundamentalmente morais. Se nos
afastarmos delas e tratarmos os modelos matemáticos
como forças neutras e inevitáveis, como o clima ou as
marés, estaremos abdicando de nossa responsabilidade”.
Cathy O’Neil (2020, p. 337)
 8

CARREIRA, Krishma Anaísa Coura. Reportagens Investigativas Sobre Sistemas de

Decisões Automatizadas. 2021. 151f. Tese (Doutorado em Comunicação Social) -
Universidade Metodista de São Paulo, São Bernardo do Campo.

RESUMO

Os Sistemas de Decisões Automatizadas (SDAs) têm um papel crescente na

contemporaneidade, com profundo impacto político, econômico e social. Eles podem
gerar inúmeros benefícios, como aumento de produtividade e eficiência, mas também
podem produzir resultados errados, ampliar riscos, estimular a desigualdade social e
causar inúmeras formas de discriminação. Apesar deste poder, as operações destes
sistemas são opacas e, muitas vezes, tão complexas, que fica difícil saber como uma
decisão foi tomada ou mesmo descobrir que ela foi decidida de forma automatizada.
Este tema tem pautado diversos trabalhos, em diferentes campos do conhecimento,
com discussões que envolvem desde ética à accountability. Também surgiram, nos
últimos tempos, iniciativas em todo o mundo e regulamentações, que tratam
principalmente da inteligência artificial. Do ponto de vista da cobertura na imprensa,
os Sistemas de Decisões Automatizadas viram notícias apenas quando são
aplaudidos nas editorias de inovação e tecnologia ou em matérias que mostram os
riscos, mas sem a necessária profundidade. A partir da tipologia de Gislene Silva
(2005), esta tese defende que os SDAs atendem aos critérios de noticiabilidade com
base na origem (impacto, conflito, polêmica, raridade, surpresa, governo,
tragédia/drama, justiça e erros) e na visão dos fatos, em especial ao critério de
noticiabilidade de interesse público que, dentro da tradição democrática, desperta a
necessidade de ampliar a vigilância e o monitoramento crítico dos sistemas
sociotécnicos que envolvem as decisões automatizadas. E, por isso, propõe que eles
podem (e devem) ser objetos de reportagens investigativas, em especial quando estes
sistemas são usados pela administração pública. Este trabalho apresenta um método,
que foi nomeado de RISDA (Reportagens Investigativas sobre Decisões
Automatizadas), que busca propor caminhos para identificar irregularidades, vieses e
erros que impactam a vida dos cidadãos. As reflexões propostas partem de um estudo
exploratório, com base em uma ampla revisão bibliográfica interdisciplinar de autores
de Comunicação, Jornalismo, Sociologia, Antropologia, Direito, Filosofia da
Tecnologia, Tecnologia e Inteligência Artificial.
 9

Palavras-chave: Sistemas de Decisões Automatizadas. Reportagens investigativas

sobre Sistemas de Decisões Automatizadas. Jornalismo Investigativo e Algoritmos.
Investigação algorítmica. Impactos dos sistemas automatizados.
 10

ABSTRACT

Automated Decision-Making Systems (ADS) have an increasing role in modernity, with

profound impacts in the economy, in politics and in society. They can generate
numerous benefits, such as productivity boosts and efficiency, but can also
miscalculate, increase risks, stimulate inequality, and cause multiple forms of
discrimination. Despite this power, the operation of these systems is opaque and at
times so complex that it is hard to tell how a decision was taken, or even if it was
automated at all. This theme has been the subject of various works in different fields,
with discussions ranging from ethics to accountability. In recent times, regulation
efforts regarding Artificial Intelligence have also taken place. From the press point of
view, ADS tend to become news only when applauded in innovation and tech editorials,
or in articles exposing risks, but always lacking the necessary thoroughness. Under
the light of Gislene Silva´s (2005) typology, this thesis defends that ADS attend to
noticeability criteria based on origin (impact, conflict, controversy, rarity, surprise,
government, tragedy/drama, justice and error) and in the vision of facts, especially the
public interest noticeability criteria that, in democratic tradition, sparks the need to
increase surveillance and critical monitoring of socio-technical systems that involve
automated decisions. Thereby, it proposes that they can (and must) be targets of
investigative reports, especially when systems are used in public administration. This
paper presents a method, named IRADS (Investigative Reports on Automated
Decision-Making Systems) that seeks to find ways to identify irregularities, biases, and
errors that impact citizens’ lives. The insights here proposed come from an exploratory
study, based on a wide revision of interdisciplinary literature by scholars in
Communications, Journalism, Sociology, Anthropology, Law, Philosophy of
Technology, Tech and Artificial Intelligence.

Keywords: Automated Decision-Making Systems. Investigative reports on Automated

Decision-Making Systems. Investigative Journalism and Algorithms. Algorithmic
investigation. Impacts of automated systems.
 11

LISTA DE FIGURAS

Figura 1. Protesto contra o algoritmo elitista……………………………………….... p.13

Figura 2. Protesto estudantil contra algoritmo …………………………………….....p.14
Figura 3. Subcampos da inteligência artificial………………………………………...p.38
Figura 4. Visão computacional usada para classificação e localização de
produto…………………………………………………………………………………….p.42
Figura 5. Esquema de decisões de julgamento dos SDAs …………………...…….p.45
Figura 6.Tipos de vieses de acordo com as etapas do modelo ……….…………...p.47
Figura 7. Reconhecimento facial: pontos nodas……………………………………..,p.63
Figura 8. Portaria no.793, de 24 de outubro de 2019………………………………..p.68
Figura 9.Crescimento do interesse do Ministério da Justiça e Segurança Pública.p.68
Figura 10. Cambridge Analytica também impactou a vitória do Brexit (saída do Reino
Unido da União Europeia)…………………………………………………….....p.92
Figura 11. Componentes de um algoritmo ..………………………...…………..…. p.118
Figura 12. Técnicas sobre Reportagens Investigativas sobre os SDAs………….p.131
 12

Lista de Tabelas

Tabela 1. Catálogo de 39 IAs usadas por órgãos governamentais no Brasil……..p.51

Tabela 2. Reconhecimento facial na Segurança Pública no Brasil (2018-2019).....p.69

Tabela 3. Reconhecimento facial e o recorte de gênero………………………….....p.81

Tabela 4. Análise da Transparência Brasil sobre uma aplicação de PLN pelo

DPF………………………………………………………………………………………...p.83

Tabela 5. Significados relacionados ao conceito de accountability………………...p.97

Tabela 6. Relação de grupos e projetos sobre SDAs……………………….…….....p.99

Tabela 7. Relação de leis e marcos legais………………………………………...…p.106

Tabela 8. Países com estratégias publicadas de IA………………………………...p.110

Tabela 9. Critérios de noticiabilidade…………………...………………………...…..p.129

Tabela 10. Sistema de apuração da RISDA…………...………………………..…..p.133

 13

LISTA DE ABREVIATURAS E SIGLAS

CAR - Reportagem com Auxílio de Computador

IA - Inteligência Artificial
PLN - Processamento de Linguagem Natural
RAC - Computer Assisted Report
RISDA - Reportagem Investigativa sobre Sistemas de Decisões Automatizadas
SDA - Sistemas de Decisões Automatizadas
TAR - Teoria Ator-Rede
 14

Introdução………………………………………………………………………………..p.13
1 A era da automação………………………………………………………………….p.22
1.1 Por dentro dos algoritmos…………………………….…………………….p.26
1.2 Um breve mergulho na história da Inteligência Artificial ………………..p.31
1.3 Vieses automatizados……………………………………....……………….p.43
1.3.1 A opacidade dos Sistemas de Decisões Automatizadas …………….p.49
2 O lado sombrio dos SDAs……………………………………….....……………….p.52
2.1 Vou conseguir um empréstimo? …………………….....………………….p.53
2.2 Chefe algorítmico …………….....…………………………………….…….p.56
2.2.1 Trabalhador-dado….....……………………….…………….…….p.60
2.3 Reconhecimento facial……………………………….....…………….…….p.62
2.3.1 Um raio-x do uso do reconhecimento facial……..……….…….p.64
2.3.1.1 O cenário brasileiro……….…………………………..….p.67
2.3.2 Os perigos do reconhecimento facial………………………..….p.72
2.4 O lado B do processamento da linguagem natural…………….….....….p.81
2.5 Máquinas de (in)justiça……………………………………..……….....…...p.83
2.6 Democracia………………………………………...………..……….....…...p.88
3 De olho nos SDAs: responsividade e responsabilização.…….……….….....p.96
3.1 Mas, quem está mesmo de olho nos SDAs?……………………............p.98
3.2 Como navegar em um cenário de
incerteza?..…...……...….................p.111
4 Entra em cena o Jornalismo ..……………………………………..….................p.114
4.1 Jornalismo de Precisão, RAC, Jornalismo com Dados e Jornalismo
Computacional..……...…..................……...…..……...….............................p.11
6
4.2 Desvendando os SDAs..……...…...................……...……….................p.118
4.3 Jornalismo investigativo …...…...................……...……...……..............p.124
4.4 Reportagens Investigativas sobre Decisões Automatizadas (RISDA).p.127
4.4.1 Uma proposta de investigação……………….…………………p.128
4.4.2 Critérios de noticiabilidade da RISDA…….……………………p.129
4.4.3 Técnicas da RISDA………………………………………………p.130
4.4.4 A dinâmica de apuração da RISDA…………………………….p.131
4.4.5 Resultados da RISDA……………………………………………p.135
5 Conclusão…......……...…….........…...…...................……...………...................p.136
Referências…...…......…...…...................……….............……...………................p.138
 15

Introdução

Até pouco tempo atrás, um protesto que aconteceu, em agosto de 2020, no

Reino Unido, seria algo impensável. Chamado de “Fuck the algorithm", ele atraiu
alunos com cerca de 18 anos, que estavam revoltados com o resultado dos exames
finais que têm grande impacto no acesso às universidades, pois elas oferecem vagas
com base nas notas obtidas. Naquele ano, a pontuação foi atribuída por um sistema
de decisão automatizada (SDA), com base na classificação do aluno no colégio e no
desempenho histórico da instituição de ensino em que ele estudava.
Os resultados despertaram raiva porque os dados sugeriram que as escolas
privadas se beneficiaram mais do que as públicas: as primeiras tiveram 4,7% a mais
de nota A e as segundas, 2%. Isso ocorreu, entre outros motivos, porque o SDA deu
mais importância para a escola de origem do que para a produção do estudante.
Portanto, ele valorizou mais alunos de médio desempenho em um colégio “melhor” do
que os estudantes de alto desempenho de uma escola com performance menor. Ou
seja, o esforço individual acabou perdido nas estatísticas.
Mas a revolta foi potencializada ainda mais pela percepção de que os
resultados refletiam os preconceitos estruturais do sistema educacional do Reino
Unido. Pressionado, o governo decidiu ignorar as notas determinadas pelos Sistemas
de Decisões Automatizadas (PORTER, 2020).
Figura 1 - Protesto contra o algoritmo elitista

Fonte HuffPost:1

1
Disponível em: https://www.huffingtonpost.co.uk/entry/calls-for-a-level-results-u-
turn_uk_5f3a2e87c5b69fa9e2fdb680. Acesso: 25 ago. 2020.
 16

Figura 2 - Protesto estudantil contra algoritmo

Fonte: The Guardian2

No mundo hiperconectado da sociedade em rede (CASTELLS, 1999), com o

uso intensivo de softwares (MANOVICH, 2013) e a explosão de dados digitais
(MAYER-SCHÖNBERGER; CUKIER, 2013; BEER; 2016), os SDAs passaram a ter
um papel cada vez maior na nossa vida digital e offline, com impactos políticos,
econômicos e sociais. Muitos autores se referem a esses sistemas como algoritmos,
sistemas algorítmicos ou inteligência artificial (IA), como veremos ao longo desta tese.
Mas prefiro usar a expressão Sistemas de Decisões Automatizadas, seguindo Lorena
Jaume-Palasi3, que é diretora da Ethical Tech Society e os documentos da iniciativa
Algorithm Watch, da qual ela é cofundadora, mas que não participa mais.
Os SDAs executam tarefas, fazem diagnósticos, tomam decisões-chave de
forma totalmente automática, suportam as escolhas humanas e antecipam nossos
desejos (SILVEIRA, 2019). Eles governam o acesso à informação, atuam na seleção
e entrega dos resultados de uma pesquisa na internet e sobre o que aparece (ou não
aparece) na sua timeline, fazendo o papel de curadores (CORRÊA; BERTOCCHI,
2012). Tem também os que são capazes de apurar, produzir e distribuir notícias de
forma totalmente automatizada (CARREIRA, 2017). Alguns SDAs estão por trás do
índice de sucesso de um filme e da identificação do parceiro ideal em uma plataforma
de relacionamento online. Também existem os que avaliam a segurança do tráfego

2
Disponível em:https://www.theguardian.com/commentisfree/2020/aug/19/ditch-the-algorithm-
generation-students-a-levels-politics. Acesso: 25 ago.2020.
3
Disponível em: https://digitalfuturesociety.com/qanda/lorena-jaume-palasi/. Acesso:10 out. 2021.
 17

de uma companhia aérea e de pontes (MARCONI; DALDRUP, PANT, 2019). Outros

governam o acesso às oportunidades, a concessão de um empréstimo e têm impacto
nas chances de uma entrevista de emprego ou de alguém contratar um plano de
saúde. Tem os que criam sistemas de previsão de crimes com base em dados. Há os
que buscam até determinar quem é homessexual4 ou se uma pessoa é viciada em
drogas5. Algoritmos já fazem parte até de conselhos de empresas. Desde 2014, o Vital
ocupa uma das cinco cadeiras de direção da Deep Knowledge Ventures, em Hong
Kong, para recomendar investimentos, inclusive com direito a voto6. Na Estônia, um
SDA decide quem irá receber benefícios familiares, sem necessidade de solicitação.
Isso só é possível porque são produzidos bancos de dados com informações que
são coletadas desde o nascimento de um bebê e também sobre sua família. Já na
França, os dados das redes sociais podem ser extraídos para alimentar algoritmos de
aprendizado de máquina empregados para detectar fraudes fiscais. Durante a
pandemia da Covid-19 o uso dos Sistemas de Decisões Automatizadas aumentou
ainda mais. A iniciativa Algorithms Watch chegou a elaborar um relatório preliminar
específico sobre o tema, que foi lançado em agosto de 2020, após entender que, para
contribuir com a segurança da saúde pública, vários países passaram a adotar
soluções baseadas em dados e em automação de forma apressada, o que poderia
representar vários riscos. Um deles, por exemplo, está relacionado ao uso intensivo
de tecnologias de reconhecimento facial.

Os algoritmos penetram no modo de ver, olhar e escutar da sociedade e, assim,

também reformatam a nossa subjetividade, modulam nosso comportamento, nossas
escolhas políticas e têm impacto nas condições e procedimentos indispensáveis à
existência da democracia (SILVEIRA, 2019). Introna (2016 p. 25), com base na
perspectiva de Barocas, Hood e Ziewitz, argumenta que os algoritmos são poderosos
e perigosos, entre outras coisas, porque podem ser realizados automaticamente, sem
necessidade da presença e da fiscalização humana. Introna (2016, p. 27) segue a
visão de Law, segundo o qual, as ações dos algoritmos não estão apenas no mundo,
mas também fazem mundos!

4
Disponível em: https://www.bbc.com/portuguese/geral-41250020. Acesso em: 2 fev 2018.
5
Disponível em: https://www.bbc.com/portuguese/geral-42908496. Acesso em: 19 jun. 2018.
6
Disponível em: https://www.businessinsider.com/vital-named-to-board-2014-5. Acesso em: 7 jun.
2017.
 18

Muitos pesquisadores que têm os SDAs como foco de estudos no campo da

humanidades abordam suas consequências negativas:

● Vivemos em uma ditadura algorítmica (DOMÉNECH, 2017);

● Algoritmos são poderosos, perigosos e performativos (INTRONA, 2016);

● São objetos técnicos que são jogadores decisivos nas esferas política,
econômica e cultural (MAYER-SCHONBERGER, CUKIER, 2013);

● Os algoritmos violam a privacidade (MARCONI; DALDRUP; PANT,

2019);

● Algoritmos como ideologia e mecanismos de geração de injustiças

(O'NEIL, 2020) e de marginalização de minorias (CRAWFORD, 201),
discriminação e preconceito algorítmico (SWEENEY, 2013, SILVA,
2020; BOZDAG, 2013; WEST, WHITTAKER, CRAWFORD, 2016);
violadores de direitos civis (RICHARDSON; SCHULTZ; CRAWFORD,
2019);

● Algoritmos podem causar destruição em massa, aumentar a

desigualdade e ameaçar a democracia a partir de modelos opacos, que
podem crescer de forma exponencial, causando danos diversos
(O’NEIL, 2020).

● Algoritmos do Facebook escondem manifestações contra violência

policial (TUFEKCI, 2014) e não mostram posts sobre genocídio em
Burma (HAO, 2021);

● Algoritmos de anúncios de emprego do Google favorecem homens

(CARPENTER, 2015);

● Software que analisa reincidência prejudica réus negros e favorece réus

brancos (ANGWIN et al., 2016);
 19

● Algoritmos de recomendação do Youtube favorece vídeos de

conspiração e que favoreciam Trump em campanha (LEWIS;
MCCORMICK, 2018);

● Visão computacional e racismo algorítmico (SILVA, 2020).

Mas nem todo sistema de decisão automatizada envolve danos individuais e

sociais. Estou longe de ter uma visão apocalíptica, pois vários SDAs têm resultados
relevantes e benéficos em diversos setores. O problema é que a maioria está dentro
de uma caixa-preta (DIAKOPOULOS, 2013; PASQUALE, 2015) e é inescrutável
(INTRONA, 2016, p. 25; SEAVER, 2014, p. 2), tornando difícil compreender o que
levou a uma decisão que afeta nossas vidas - inclusive aquelas que dizem respeito
aos serviços públicos. Muitas vezes, nem sabemos que ela foi tomada por um SDA.
E se alguém reclamar de algo, outros SDAs poderão avaliar seu pedido, como permite
a Lei Geral de Proteção de Dados brasileira, que entrou em vigor em 2020.
O mundo dos Sistemas de Decisões Automatizadas começou a me atrair
durante o meu mestrado. Pesquisando sobre as mudanças no jornalismo durante o
período de ampliação da digitalização, encontrei notícias sobre a automação de
conteúdo. Acabei transformando totalmente meu problema de pesquisa que,
inicialmente, tratava de telejornalismo. No final, elaborei a dissertação “Notícias
automatizadas: a evolução que levou o jornalismo a ser feito por não humanos”
(CARREIRA, 2017), que foi financiada pelo CNPq (Conselho Nacional de
Desenvolvimento Científico e Tecnológico). E a partir daí, mergulhei cada vez mais
neste universo.
Esta tese, que é financiada pela Coordenação de Aperfeiçoamento de Pessoal
de Nível Superior (Capes), foi desenvolvida no curso de doutorado do Programa de
Pós-Graduação em Comunicação Social da Universidade Metodista de São Paulo
(Umesp). Ela está inserida na área de concentração de Processos Comunicacionais
e na linha de pesquisa Comunicação Midiática, Processos e Práticas Socioculturais.
A pesquisa foi estimulada por alguns questionamentos iniciais:
 20

● Como funcionam os Sistemas de Decisões Automatizadas e onde eles

estão sendo implementados? O que compõe esses sistemas
sociotécnicos? Todo SDA é uma inteligência artificial ou nem sempre?

● Quais são os motivos de sua implantação? Qual é a diferença entre o

discurso para justificá-la e a prática?

● Até que ponto a implantação dos Sistemas de Decisões Automatizadas

é inevitável?

● Quais são os impactos dos SDAs na democracia e em questões que

envolvem justiça, segurança, igualdade ou de ordem identitária?

● Como é a demanda e a resposta por transparência, acesso, testes e

prestação de contas? O direito à informação sobre os Sistemas de
Decisões Algorítmicas pode ser considerado um direito humano? Se
sim, por quê?

● Os Sistemas de Decisões Automatizadas realmente representam um

interesse público? E se sim, devem ser pauta de matérias jornalísticas?
Qual é o principal critério de noticiabilidade que pode justificar a
transformação dos SDAs em pauta?

● A investigação sobre os Sistemas de Decisões Automatizadas se

enquadra nos critérios definidores de Jornalismo Investigativo? Como
investigá-los?

Nesta tese estudei os Sistemas de Decisões Automatizadas, partindo de quatro

hipóteses:

● Os sistemas sociotécnicos, em que os algoritmos têm papel tão actante

como os seres humanos, enquadram-se em critérios de noticiabilidade,
como o interesse público, e representam um fértil e necessário objeto de
atenção;
 21

● Os SDAs enquadram-se nos critérios de definição de Jornalismo

Investigativo;

● Os SDAs podem ser investigados com técnicas tradicionais do

Jornalismo Investigativo, com e sem o domínio das técnicas de
Jornalismo de Dados ou de Jornalismo Computacional;

● A formação de redes que envolvem pessoas com competências diversas

será cada vez mais essencial para ajudar no processo de entendimento
e denúncia dos SDAs que contenham falhas, produzam discriminações
e comprometam a igualdade, a justiça e a democracia.

O objetivo geral deste trabalho, portanto, é compreender quando e como os

Sistemas de Decisões Automatizadas podem ser investigados pelos jornalistas e
desvelar métodos que possam auxiliar a produção do que denomino de Reportagens
Investigativas sobre Sistemas de Decisões Automatizadas (RISDA).

Os objetivos específicos são:

● Entender a amplitude dos impactos sociais, políticos e econômicos das

decisões algorítmicas e como elas podem afetar a cidadania, a
democracia, justiça, igualdade e questões identitárias;

● Ajuda a des(en)cobrir o véu da ideia de objetividade dos SDAs;

● Identificar reportagens, métodos, veículos, projetos e redes que buscam

transparência e prestação de contas dos Sistemas de Decisões
Automatizadas;

● Promover a literacia sobre os SDAs.

Enquanto já existem várias iniciativas e organizações que tratam dos SDAs no

Brasil e no mundo, principalmente relacionadas às demandas de transparência,
 22

responsabilidade e responsabilização, na academia ainda existem relativamente

poucos estudos do campo jornalístico que abordam as investigações sobre o SDAs.
A maioria, apesar de usar o termo investigar, não produz de fato uma matéria
investigativa.
Para desenvolver esta tese, os trabalhos, a seguir, foram essenciais para sua
consolidação:

● Investigação sobre os algoritmos como uma nova vertente do

Jornalismo de Dados e do Jornalismo Computacional (DIAKOPOULOS,
2014);

● Como divulgar informações em camadas sobre os algoritmos

(DIAKOPOULOS; KOLISKA, 2016);

● Como os jornalistas podem analisar os algoritmos (TRIELLI;

DIAKOPOULOS, 2020);

● Sinaliza o que deve ser observado nos algoritmos (DIAKOPOULOS,

2018);

● Ângulos e métodos de investigação (GRAY; BOUNEGRU, 2019);

● Jornalistas precisam entender como os algoritmos trabalham e

impactam as pessoas e a sociedade. Sugestões de percursos
metodológicos (MARCONI; DALDRUP; PANT, 2019).

Nesta tese,a pesquisa bibliográfica de caráter exploratório e interdisciplinar é

adotada como percurso metodológico.

Ao tratar da pesquisa bibliográfica, é importante destacar que

ela é sempre realizada para fundamentar teoricamente o
objeto de estudo, contribuindo com elementos que subsidiam
a análise futura dos dados obtidos. Portanto, difere da
revisão bibliográfica uma vez que vai além da simples
observação de dados contidos nas fontes pesquisadas, pois
imprime sobre eles a teoria, a compreensão crítica do
significado neles existente (LIMA; MIOTO, 2007).
 23

Seguimos ainda a proposta de Salvador (1986), no sentido de realizar uma

leitura reflexiva e crítica para verificar o ponto de vista dos autores pesquisados,
ordenar e sumarizar as informações contidas nos materiais analisados e também de
fazer uma leitura interpretativa para estabelecer a interrelação entre os autores, fazer
associações de ideias e comparar propósitos.
Esta pesquisa envolve consulta a livros, artigos, dissertações, teses, sites,
periódicos, leis, regulamentos e outras publicações sistematizadas nacionais e
internacionais, que contemplam o problema de pesquisa. Em um primeiro momento,
realizei um amplo levantamento e revisão dos estudos sobre os SDAs, algoritmos e
sobre o campo da Inteligência Artificial. Depois, fiz sobre os seus respectivos
impactos, fazendo uma interface principalmente com estudos da Sociologia,
Antropologia, Filosofia e Direito. Em uma terceira etapa, busquei trabalhos
acadêmicos no campo da Comunicação, em especial dentro do Jornalismo
Investigativo, do Jornalismo de Dados e Jornalismo Computacional.
A tese está dividida em quatro capítulos. O primeiro aborda mais a tecnologia
em si, tratando dos Sistemas de Decisões Automatizadas, dos algoritmos, do big data,
da inteligência artificial e de seus diferentes campos e discutindo também a caixa-
preta dos SDAs e porque eles carregam ideologias, preconceitos e subjetividades.
Já o capítulo dois traz o lado b destes sistemas, mostra como eles podem
dificultar o acesso a empréstimos e minimizar as chances de conquistar um emprego
em função de raça e gênero, ampliando a discriminação e o racismo estrutural. Este
capítulo também trata de como os SDAs estão por trás de algumas demissões, discute
os perigos do reconhecimento facial, traz alguns alertas que devem ser levados em
consideração sobre aplicações com processamento de linguagem natural, além de
abordar impactos negativos na área de Justiça e na própria democracia.
O terceiro capítulo foi estruturado para discutir as questões centrais sobre
responsabilidade e responsabilização (accountability) dos SDAs e apresentar
projetos, iniciativas, leis, regulamentos e marcos legais que foram estudados para esta
tese.
Para finalizar, o capítulo quatro mostra como os SDAs podem e devem ser alvo
de reportagens investigativas, aponta caminhos possíveis para esta produção, e
discute também suas interseções com o Jornalismo de Dados e o Computacional.
 24

Para concluir este trabalho, lembrei, diversas vezes, de Morin (2015, p. 6).
Principalmente quando ele diz que “a consciência da complexidade nos faz
compreender que jamais poderemos escapar da incerteza e que jamais poderemos
ter um saber total.” (MORIN, 2015, p. 69). Por isso, sem a pretensão de ter uma visão
completa, espero, com esta tese, pelo menos despertar alguns jornalistas e
professores para uma prática que julgo ser instigante e necessária.

1 A ERA DA AUTOMAÇÃO

“Vivemos no limiar de uma transição, em que

a automação ocupará cada vez mais
espaços na sociedade, num claro
deslocamento dos humanos.”

Ricardo Fabrino Mendonça, Fernando

Filgueiras e Virgílio Almeida, professores da
UFMG

O projeto Algorithm Watch, que durante a redação desta tese somava

pesquisadores de 16 países, definiu, no relatório Automating Society (2020), o
sistema automatizado de tomada de decisão como uma estrutura sociotécnica que
engloba:
a) Um modelo de tomada de decisão;
b) Algoritmos que traduzem este modelo em código computável;
c) Dados de entrada usados para aprender e analisar;
d) \toda a política e economia que envolvem sua utilização;
e) Programadores, proprietários de plataformas, empresas, governos e
usuários7.

7
Ronaldo Lemos (2021a) cunhou o termo usuado. Ele defende o fim do emprego de usuário, pois esta
palavra passa uma imagem de que alguém usa alguma coisa. “Só que no mundo de hoje não é o
usuário que usa a tecnologia, mas é utilizado por ela” A palavra usuário passa a ideia de comando ou
agência, “mas o usuário atual não tem isso. Quando usa a tecnologia, é também usado por ela”. Lemos
opta por usuado, como um neologismo do inglês, misturando user (uso) com used (usado).
 25

Para o antropólogo Nick Seaver (2017, p. 5-6), que pesquisa como as pessoas
usam a tecnologia, estes sistemas são arranjos intrincados e dinâmicos de pessoas e
códigos e como consequências de uma variedade de práticas humanas.
Nesta tese, como abordado na introdução, segui esta concepção, adotando a
expressão Sistemas de Decisões Automatizadas (SDAs)89. A palavra sistemas
permite reforçar a presença de muitos atores. Optei por automatizadas no lugar de
algoritmo porque a automação é fruto da decisão de alguém que deseja que uma
tarefa deixe de ser realizada manualmente. Neste sentido, a palavra automatizada
também reforça o caráter sociotécnico destes sistemas, que são o resultado de
escolhas humanas, corporativas e governamentais. Por isso, eles carregam
subjetividades e ideologias (O’NEIL, 2020).
Para analisar os SDAs seguimos a perspectiva da Teoria Ator-Rede - TAR
(LATOUR, 2012) que permite compreender seus elementos técnicos, como os
algoritmos, como atores ou actantes que estabelecem várias formas de associação,
sem nenhum tipo de hierarquia com os humanos. A TAR permite identificar nuances
de poder, descobrir as decisões humanas, os imperativos organizacionais e as
questões materiais destes sistemas, possibilitando uma compreensão relacional e não
determinista da tecnologia (ANDERSON; MAYER, 2015, p. 4; CARREIRA, 2017)
Por isso também, considero que sistema de decisão automatizada é melhor do
que sistema de decisão algorítmica, para evitar que a palavra algoritmo tivesse
primazia em relação aos demais actantes. A expressão Sistemas de Decisões
Automatizadas também é melhor do que inteligência artificial porque, ao contrário
da IA, estes sistemas não contêm somente artefatos tecnológicos e podem ser muito
menos sofisticados ou “inteligentes” do que os algoritmos de machine learning ou deep
learning, por exemplo.

8
Anne Kaun (2021, p. 7 e 13), em um artigo sobre decisões automatizadas no serviço público na Suécia,
analisa, a partir de um conjunto de decisões judiciais, que formas diferentes de definir os sistemas têm
implicações para o público em geral. A partir de entrevistas, ela identificou que: parte da administração
pública sueca usava a expressão sistema de apoio à decisão; outra parte da administração pública
e o público empregavam o termo robô; os jornalistas utilizavam código de software e os sindicatos e
tribunais chamavam de registro público. Para Kaun, o jeito que nomeamos as novas tecnologias ajuda
a consolidar visões sobre como elas podem ser usadas ou sobre como determinados aspectos sobre
elas podem ser ignorados. Esta análise reforça a importância da escolha adequada da forma de nomear
os Sistemas de Decisões Automatizadas.
9
Pierre Devaux (1964, p. 10) definiu automatização como a universalização do automatismo e
automatismo, como uma disciplina geral que permite substituir as pessoas por máquinas.
 26

Apesar dessas considerações, em alguns momentos, utilizo os termos

algoritmos e inteligência artificial quando há necessidade de falar de um ponto de
vista mais técnico ou quando é a forma citada por alguns autores. Por fim, a palavra
decisões foi escolhida porque interessa para esta tese os sistemas que envolvem a
tomada de decisões automatizadas.
Os defensores mais entusiastas dos SDAs levantam principalmente a bandeira
de que eles garantem maior eficiência e controle, ambas justificativas comuns ao
emprego de todos os tipos de tecnologias (FEENBERG, 2005, p.48). Em relação à
eficiência, geralmente ela é indicador que envolve redução de custo, agilidade,
otimização ou aumento de produtividade (SEAVER, 2014 p. 1). Para a matemática
Cathy O’Neil (2020, p. 318), o sucesso é quase sempre algo que pode ser contado
sem levar em consideração o que estes mecanismos podem causar para a sociedade,
democracia ou economia como um todo. Eles também têm um grau considerável de
subjetividade, pois representam escolhas e opiniões. Deu certo para quem? Deu
errado para que pessoa, empresa, organização ou órgão governamental?

‘’Um componente-chave de todo o modelo, seja formal

ou informal, é sua definição de sucesso.(...) Em cada
caso, devemos nos perguntar não somente quem
desenhou o modelo, mas também o que aquela
pessoa ou empresa está tentando alcançar. Se o
governo da Coréia do Norte criar um modelo para as
refeições da minha família, por exemplo, ele poderá
ser otimizado para nos manter acima do limite da fome
ao menor custo possível com base no estoque de
comida disponível. Gastos pessoais contariam pouco
ou nada. Em contrapartida, se meus filhos estivessem
criando um modelo, sucesso seria sorvete todos os
dias” (O’NEIL, 2020, p. 35).

Kaun (2021, p.2) reforça que os sistemas automatizados são defendidos como
eficientes não só por empresas, mas também pelo setor público, onde apoiam ou
tomam decisões sobre serviços como a concessão (ou negação) de benefícios
sociais10. Assim como no setor privado, eles carregam a promessa de redução de

10
No Brasil, o governo federal publicou, em 2021, a portaria da Estratégia Brasileira de Inteligência
Artificial (EBIA). Em um documento a respeito dela, o Ministério da Ciência, Tecnologia e Inovações
afirma que “espera-se que a IA possa trazer ganhos na promoção da competitividade e no aumento da
produtividade brasileira, na prestação de serviços públicos, na melhoria da qualidade de vida das
pessoas e na redução das desigualdades sociais, entre outros” (EBIA, 2021, p. 4). O documento sofreu
diversas críticas. Ronaldo Lemos (2021d), em coluna na Folha de S. Paulo, chamou a Estratégia
Brasileira de Inteligência Artificial de patética, afirmando que, se o País depender do documento para
 27

custos, de decisões mais justas e de liberarem os funcionários de tarefas repetitivas

e monótonas para que possam executar as que exigem a presença humana, criando
o que ela e Dencik e Kaun (2020) denominam de serviços públicos algorítmicos e que
representam, segundo KAUN, que vive na Suécia, um novo regime do estado de bem-
estar (2021. p.5).
Sodré (2021, p.121) lembra que algoritmos são “termos técnicos, mas também
bandeiras de uma nova utopia que se manifesta no discurso dos especialistas em
computação como um ‘mundo inteligente, conectado e seguro’”.
No relatório Automating Society, de 2020, os Sistemas de Decisões
Automatizadas são citadas como armadilhas tecnossolucionistas, pois partem do
princípio de que os problemas sociais são bugs11 que podem (ou devem) ser corrigidos
por meio da tecnologia. De acordo com o relatório, o solucionismo tecnológico, em
geral, é trabalhado intensamente pela mídia e pelos políticos, o que pode alimentar
um cenário propício à adoção acrítica dos SDAs.
A adoção entusiasta e desprovida de reflexões sobre os riscos também precisa
ser analisada dentro de uma perspectiva de que o contexto atual é o da renovação
neoliberal do capitalismo clássico. “Dúvida não há mais de que aí se encontra o foco
de uma modernização centrada no mercado como a ‘boca do mundo’; isto é, como
princípio organizador da totalidade social (SODRÉ, 2021, p. 25). Nesta mesma linha,
Kaun (2021, p. 5), ao analisar os SDAs do serviço público, reforça que eles são
caracterizados por novas formas de privatização, que trazem novos atores e
empresas de tecnologia para o campo da administração pública, que fica cada vez
mais dependente de sistemas tecnológicos complexos.
Os SDAs também costumam passar uma imagem de algo inevitável. As
pessoas, em geral, “dão de ombros como se dissessem ‘bem, fazer o quê?''' (O'NEIL,
2020, p.19). Se você que lê esta tese, achar que esta frase é exagerada, reflita:
quantas vezes passou a usar um aplicativo (e tudo o que ele implica), pensando que
não tem outra alternativa? Este é o canto da sereia das aplicações que convivemos
todos os dias. Mas como a própria O’Neil reforça (2020, p.309), a ideia de que são
inevitáveis precisa ser combatida. Entender as tecnologias poderia nos mostrar que

estruturar respostas aos desafios da tecnologia, o futuro será tenebroso. Ele sinaliza problemas como
domo a falta de meta, orçamento organização ou planejamento
11
Bugs são falhas ou erros no código de um programa que leva ao seu mau funcionamento.
 28

elas não precisam ser necessariamente do jeito que são atualmente (BIJKER e LAW
apud MAGER, 2012, p. 2).

1.1 Por dentro dos algoritmos

"Estamos todos lutando, diariamente, contra o

determinismo algorítmico."
Amy Webb, futurista

O algoritmo tornou-se uma das palavras tecnológicas da moda (FANJUL,

2018). Mas afinal, o que ele é de fato? Como funciona? Por que adquiriu tanto poder?
Qual é a origem? Desde os primórdios, as pessoas sempre buscaram métodos para
resolver problemas matemáticos. O primeiro registro de operações algorítmicas foi
achado em um tablete de barro sumério de quatro mil anos. Encontrado perto de
Bagdá, ele descreve um esquema para uma longa operação de divisão (CHRISTIAN;
GRIFFITHS, 2017). Mas a primeira vez que este tipo de procedimento recebeu o nome
de algoritmo foi no século IX, em um tratado do matemático persa Abu Abdullah
Mohammed ben Musa Al-Khwarizmi, cujo escrito original nunca foi encontrado. O
texto ficou conhecido através da tradução do latim (Algoritmi), de onde vem a origem
da palavra algoritmo, que também pode ter tido influência do termo grego arithmós.
O algoritmo pode ser entendido como uma receita com etapas e instruções
lógicas e exatas que devem ser seguidas para resolver um determinado problema ou
executar uma tarefa. Ou seja, ele reúne “procedimentos codificados que, com base
em cálculos específicos, transformam dados em resultados desejados” (GISLEPPIE,
2018, p. 97). Com base neste entendimento, podemos dizer que os algoritmos não
são necessariamente softwares (GISLEPPIE, 2018, p. 97) e suas operações podem
ser feitas também por pessoas e pela própria natureza (DIAKOPOULOS, 2013, p.3).
Quando uma pessoa vai atravessar uma porta, por exemplo, ela calcula, mesmo que
inconscientemente, o espaço necessário para cruzá-la, de forma que não bata no
batente enquanto realiza seu objetivo. Esse tipo de cálculo mental é um processo
algorítmico usado por nós todos os dias.
 29

Do ponto de vista tecnológico, os algoritmos ocupam um lugar central na

ciência da computação (SILVEIRA, 2019) e no capitalismo de plataforma, conforme o
canadense Nick Srnicek (2017) define a fase atual do regime ao refletir sobre como
as empresas com modelos de negócios baseados em infraestruturas digitais de oferta
e compra de bens e serviços crescem tanto em importância e poder que passam a
dominar o jogo político e econômico. Mager (2012) ao analisar o Google 12, mas com
uma visão que se aplica às demais plataformas, acredita que estes modelos são
inerentes ao capitalismo de rede global informacional.
O professor Sérgio Amadeu da Silveira (2019), em um artigo que trata da
responsabilidade algorítmica, personalidade eletrônica e democracia, lembra que o
Fórum Econômico Mundial, em 2015, ajudou a acelerar a transformação digital,
estimulando sua adoção entre os líderes políticos e empresariais. Assim, as
plataformas tornaram-se essenciais e indispensáveis, pavimentando a concentração
de vários serviços (hospedagem dados de inteligência artificial) em data centers das
gigantes Amazon, Microsoft e Google, por exemplo.
As plataformas têm duas características principais: elas fazem o papel de
intermediação, como um ponto focal de vantagens que permite a realização de
transações essenciais para os envolvidos, e são dependentes do efeito de rede,
dentro de uma realidade conexionista (MAGER, 2012). Ou seja, quanto mais usuários,
mais valiosa ela é. E para atrair usuários, elas precisam conhecê-los extremamente
bem, devorando todos os dados possíveis sobre tudo e todos. (SILVEIRA. 2019).
Se antes, o colonialismo visava à propriedade, hoje, “o recurso somos nós.
Nossas vidas, nossas experiências estão sendo convertidas em valor por meio dos
dados” (PACHECO, 2019). Muniz Sodré (2021, p. 123) aponta que está evidente que
a soma da concentração de dados, tecnologia digital e da inteligência artificial
pavimenta “o caminho da apropriação de instituições sociais por organizações de
indústria” e o colonialismo de dados, que seria uma nova forma de colonialismo na
perspectiva de conexão tecnológica como nova forma de colonialismo. Muitas
universidades, centros de pesquisas de referência, Tribunais de Justiça e empresas
passaram a hospedar seus sistemas de informação em nuvem, o que pode permitir a

12
Para Marger (2012), o Google é uma máquina de vigilância e de exploração do usuário final que,
segundo TEIXEIRA (2015, p.57), mantém uma aparência de utilidade pública, enquanto produz e
atualiza enormes bancos de dados em tempo real.
 30

localização de dados até mesmo fora do País (SILVEIRA, 2019), possibilitando a era
do capitalismo de vigilância (ZUBOFF, 2021).
O princípio-guia da Era da Informação é “quanto mais dados, melhor'', explica
Cathy O’Neil (2020, p. 233).13 Com petabytes de dados comportamentais na ponta
dos dedos, “as oportunidades para a criação de novos modelos de negócios são
vastas” (O’NEIL, 2020, p. 245), pois a internet oferece o maior laboratório de dados
que já existiu (p.120). A crescente digitalização e o contínuo armazenamento de todas
as atividades humanas em grandes depósitos de dados levou ao Big Data .
Schönberger e Cukier (2013, p .6) contam que este conceito começou a ser formulado
quando o volume de dados cresceu tanto que a quantidade que poderia ser analisada
já não se encaixava na memória que os computadores usavam para processamento.
Por isso, foi preciso reformular as ferramentas usadas.
A expressão Big Data, portanto, é usada para representar o armazenamento
de grandes volumes de dados, obtidos através de fontes muito variadas, para que
eles sejam gerenciados e analisados, por algoritmos, de forma extremamente veloz,
possibilitando a tomada de decisões e a geração de insights. A quantidade passa a
ser exposta “como a grande matriz da nova qualidade do conhecimento” (SILVEIRA,
2019), pautada na quantificação da vida humana às últimas consequências
(TEIXEIRA, 2015, p. 58) e configurando o que Schönberger e Cukier (2013) chamam
de datafication14. O que medimos afeta o que fazemos, lembra David Beer ao refletir
sobre o big data (2016, p. 3).
Para os algoritmos operarem, são criados modelos, que envolvem
representações abstratas de processos a partir da observação de comportamentos.
As modulações fazem projeções sobre o que somos, o que queremos de café da
manhã, com quem podemos nos relacionar e qual informação devemos ler, entre
tantas outras possibilidades. Mas, ao mesmo tempo, eles não veem o indivíduo real
na ponta. Como lembra O’Neil (2020, p. 249, 263), no fundo, somos vistos como
membros de tribos comportamentais, quase sempre geradas totalmente por máquinas
(O’NEIL, 2020, p. 266), seja pelo CEP, atitudes, histórico de pagamento ou por outros
proxies, que são indicadores aproximados, uma espécie de dados substitutos para o

13
No livro Algoritmos de Destruição em Massa, Cathy conta que a startup ZestFinance, criada por um ex-diretor
de operações do Google, que queria usar Big Data para calcular os riscos envolvidos na oferta de empréstimos
consignados, processava até dez mil pontos de dados por requerente (O’NEIL, 2020, p. 246).
14
Termo sem tradução precisa em português.
 31

caso de faltar outros que seriam mais interessantes para as decisões automatizadas
(p. 29).
Somos colocados secretamente em “baldes” estatísticos com outras pessoas
que tudo indica que parecem ser como nós, o que permite traçar correlações a partir
de raça, religião e conexões familiares. Com isso, é possível, por exemplo, predizer
se pessoas como você são confiáveis ou não para quitar empréstimos, desempenhar
funções, etc. (p .225). No fundo, o modelo criado “pega o que sabemos e usa isso
para prever respostas em situações variadas. Todos nós carregamos milhares de
modelos em nossas cabeças. Eles nos dizem o que esperar e guiam nossas decisões”
(p. 31). Mas por melhor que sejam, sempre “há um grau de incerteza inevitável
envolvida” (p. 31).
As tecnologias usadas para montar nossos dossiês digitais (SOLOVE, 2004),
indicando o que gostamos e prevendo tudo o que pode nos agradar, trazem novo
fôlego às ideias positivistas. Como lembra o pesquisador Sergio Amadeu da Silveira
(2019),

é possível ver uma forte presença das expectativas do

Marquês de Condorcet e de Auguste Comte nos
discursos dos consultores do Big Data. Em 1842,
Comte propugnou que o ‘verdadeiro espírito positivo
consiste sobretudo em ver para prever, em estudar o
que é a fim de concluir o que será’. A sociedade
informacional, ao expandir as tecnologias de
armazenamento, processamento e distribuição de
dados, ao gerar uma intensa digitalização de nossos
registros cotidianos, tornou o mercado de dados um
dos segmentos mais importantes da economia
mundial e revigorou as promessas positivistas
abaladas pela crise dos paradigmas da ciência.

A expansão algorítmica pode ser observada em uma série de plataformas e

aplicações - que podem ou não usar inteligência artificial (SILVEIRA, 2019;
CARREIRA, 2017; LATZER et al., 2014, p. 6). Compartilho alguns exemplos:

● Gestão das plataformas de relacionamento online e dos aplicativos

móveis;
● Sistemas de ranqueamento e pontuação (crédito, análise de risco,
seguro de saúde, recursos humanos, etc.);
 32

● Tendências, previsões e prognósticos;

● Buscadores;
● Aplicações de filtragem;
● Aplicações de recomendação (Spotify, Netflix, etc.);
● Detecção de fraude (governos, auditorias; bancos; etc.);
● Atividades de segurança e vigilância, (virtual e presencial, pública e
privada);
● Logística (definição de trajetos e horários, etc.);
● Ciências (aplicações nos laboratórios, capacidade de predição; etc);
● Educação (análise de perfil para concessão de bolsas, rankings; aulas,
etc;);
● Saúde (chatbots para atendimento; pulseiras de rastreamento);
● Aplicações de localização (Google Maps, etc.);
● Agregadores (Google News, Reddit, Digg; etc);
● Reconhecimento de fala (convertida em texto digitalizado);
● Assistentes digitais (Siri, Alexa, etc.);
● Produção de conteúdo e de notícias automatizadas;
● Serviços de compartilhamento de viagens (Uber, etc.).

Dentro dos Sistemas de Decisões Automatizadas, os algoritmos fazem,

portanto, a gestão de vários campos da nossa vida política, econômica e social,
inseridos em instituições governamentais, serviços públicos, empresas e tomam
decisões que afetam um grande número de pessoas em todo o mundo, determinando
o que é relevante, possível e acessível para cada pessoa (LATZER et al., 2014, p.1).
A capacidade de tomar decisões rápidas, em grande escala e que têm o potencial de
afetar um grande número de pessoas confere um grande poder aos algoritmos
(DIAKOPOULOS, 2018).
Por isso, eles podem ser considerados instituições que representam relações
de poder, não hierárquicas, “mas do tipo sutil, pervasivo e onipresente de redes
invisíveis (e não avistáveis), (...) com regras, padrões e procedimentos onipresentes
e onipotentes, sem que consigamos, sequer vislumbrar de forma mais concreta o
contexto e que nos inserimos” (MENDONÇA; FILGUEIRAS; ALMEIDA, 2021).
Os professores da Universidade Federal de Minas Gerais sinalizam que:
 33

● É necessário refletir sobre a historicidade dos algoritmos;

● É preciso entender os impactos da dependência de suas trajetórias, pois

eles têm objetivos que influenciam o coletivo. E mesmo que sejam
desenvolvidos para lidar com a incerteza e que sejam flexíveis para uma
adaptação a partir de novos dados, “algoritmos são a própria reificação
da dependência de trajetória ao projetar passos subsequentes, que eles
ajudam a construir em uma eterna profecia autorrealizável”
(MENDONÇA; FILGUEIRAS; ALMEIDA, 2021);

● O fato de serem percebidos como uma instituição envolve a necessidade

de critérios de responsabilização dos algoritmos.

Substituindo o termo algoritmos por Sistemas de Decisões Automatizadas, e

ainda com base em Mendonça, Filgueiras e Almeida, também compreendemos os
SDAs como instituições.

1.2. Um breve mergulho na história da inteligência artificial

“Se a IA seduz é porque às vezes beira o

mágico e o encantamento”
João de Fernandes Teixeira, filósofo

A obsessão por emular o raciocínio e o cérebro humano tem uma longa

trajetória histórica. Na Antiguidade, esta possibilidade estimulava filósofos, poetas e
matemáticos, que refletiam sobre um futuro com a existência de seres artificiais. A
ideia da criação de autômatos já estava presente na Ilíada e Aristóteles falava sobre
uma Vênus de madeira, construída por Dédalo, que era movida por um motor
(DEVAUX, 1964, p. 13.).
O sonho antigo atravessou séculos até que os autômatos começaram a ser
construídos antes mesmo da palavra robô ser cunhada, em 1920, em uma peça do
dramaturgo checo Karel Capek, com o significado de trabalho forçado ou labuta. Ele
tinha horror ao pensar sobre a eventualidade das máquinas tomarem o lugar das
 34

pessoas. Para Capek, a sobrevalorização da mecânica era imperdoável e

representava um insulto à vida (NILSSON, 2010, p. 23).
Com o passar do tempo, os avanços de diversos campos do saber criaram as
condições necessárias para o que, mais tarde, viria a ser chamado de Inteligência
Artificial (IA), o que só foi possível com a junção de saberes interdisciplinares.

As máquinas que nos cercam, e das quais

dependemos cada vez mais, (...) são o resultado de
um longo processo de acumulação de conhecimento
a respeito das propriedades dos corpos, dos materiais
e dos fenômenos da natureza” (VIEIRA PINTO, 2005,
p. 72).

Uma das bases lógicas da Inteligência Artificial, por exemplo, vem do silogismo
aristotélico, que buscava, como a própria etimologia da palavra indica, fazer cálculos
para conectar ideias e organizar o raciocínio. Mas a IA também buscou inspiração em
muitas outras áreas do conhecimento, como no positivismo lógico do Círculo de Viena;
no behaviorismo de Skinner, na probabilidade de Thomas Bayes; na lógica e
quantificação de Gottlob Frege, nos ensinamentos matemáticos de Gottfried Leibniz15,
George Boole16 e John von Neumann, matemático húngaro de origem judaica,
naturalizado estadunidense, e que formalizou o projeto lógico do computador. Von
Neumann acreditava que as informações recebidas pelas máquinas deveriam ficar
armazenadas na memória, assim como acontece com o cérebro humano. Outra
influência vital foi a do matemático inglês, Alan Turing, que formulou a partir de 1936,
o modelo de uma máquinha capaz de tratar a informação binária e que ficou famoso
por decifrar o código nazista ENIGMA, durante a Segunda Guerra Mundial. Em 1950,
ele publicou Computing Machinery and Intelligence, artigo em que propôs a seguinte
pergunta: "as máquinas podem pensar?" Turing, então, apresentou um teste com o

15
O matemático e filósofo Gottfried Leibniz publicou Dissertatio de Arte Combinatoria, propondo um
alfabeto do pensamento humano. Para ele, todas as ideias poderiam ser vistas como combinações de
um número relativamente pequeno de conceitos simples. Ele tinha como ambição alcançar uma
linguagem perfeita para obter uma representação direta das ideias. As reflexões de Leibniz sobre a
natureza da lógica marcaram profundamente a cibernética e a “ideia segundo a qual o pensamento
pode se manifestar no interior de uma máquina. (... ) Para Leibniz e seus contemporâneos, a busca de
métodos de cálculo mais rápidos visa responder às exigências da formação do desenvolvimento do
capitalismo moderno” (MATTELART, 2002, p. 12 - 13).

16
A Álgebra Booleana envolve um conjunto de operadores e um conjunto de axiomas, em que cada
variável pode assumir um dentre dois valores (falso ou verdadeiro / alto ou baixo, etc.). Criada no século
19, ela foi fundamental para o desenvolvimento da computação moderna.
 35

objetivo de determinar se um computador seria capaz de responder perguntas sem

que uma pessoa percebesse que estava se comunicando com uma máquina. Ou seja,
o que ele propunha era verificar se a máquina poderia demonstrar a mesma
inteligência que um ser humano.
O termo Inteligência Artificial surgiu pouco depois da publicação da ideia do
Teste de Turing. Em 1955, quatro cientistas, John McCarthy, Marvin Minsky, Nathaniel
Rochester e Claude Shannon, propuseram reunir, um grupo de 10 homens17, no
Dartmouth College, em Hanover, cidade do estado de New Hampshire, nos Estados
Unidos. O quarteto acreditava que, se juntasse outros cientistas proeminentes, seria
possível tentar descobrir o que poderia ser feito para que as máquinas começassem
a usar linguagem, formassem abstrações e conceitos, e resolvessem os problemas
que só os seres humanos eram capazes até então. Eles partiam do princípio de que
cada aspecto do aprendizado ou qualquer outra característica da inteligência humana
poderia ser, em tese, descrita com precisão para que as máquinas fossem capazes
de simulá-la. Eles também queriam descobrir como elas poderiam evoluir sozinhas.
John McCarthy, um dos nomes do grupo que propôs a Conferência, foi quem
sugeriu o nome de Inteligência Artificial para ser usado no evento. McCarthy era
professor de Matemática no Dartmouth College e trabalhou em uma série de questões
relacionadas à natureza da matemática no processo de pensamento, incluindo a teoria
das máquinas de Turing, a velocidade dos computadores, a relação de um modelo
cerebral com o ambiente e o uso de linguagens por máquinas.
Outro cientista do grupo era o também matemático Marvin Minsky, que
construiu a primeira máquina para simular a aprendizagem por redes neurais,
chamada de Snarc. Ele entendia que a mente humana e o computador funcionam do
mesmo jeito.
O engenheiro elétrico Nathaniel Rochester também ajudou a elaborar a
proposta da Conferência no Dartmouth College. Ele era gerente de pesquisa de
informações da International Business Machines (IBM) e foi responsável pelo
desenvolvimento da Inteligência Artificial na companhia.

17
O termo homens é usado no documento original (“We propose that a 2 month, 10 man study of
artificial intelligence be carried out during the summer of 1956 at Dartmouth College in Hanover, New
Hampshire”). Disponível em: http://raysolomonoff.com/dartmouth/boxa/dart564props.pdf. Acesso em:
03 de ago. 2018.
 36

Por fim, o matemático e engenheiro elétrico Claude Shannon 18, que na época
trabalhava para a Bell Telephone Laboratories, também fazia parte do grupo original.
Antes da companhia norte-americana, ele foi assistente do projeto de um computador
analógico de Vannevar Bush19, conhecido como Analisador Diferencial, Shannon
aplicou princípios de lógica simbólica para descrever os circuitos de relés do sistema,
criando o design de circuitos digitais que fundamenta a computação moderna. Com
isso, ele mostrou que bastavam apenas dois números para realizar as equações: 0
(para circuito fechado) e 1 (para circuito aberto).
Essas unidades binárias passaram a ser chamadas de bits20 (SHANNON,
1948) e tornaram-se medidas de informação. A informação, por sua vez, começou a
ser vista por Shannon como algo mensurável, quantificável e de natureza
probabilística (GLEICK, 2013, p. 12). Esta ideia foi apresentada na monografia que
ele produziu, em 1948, com o título “Uma teoria matemática da comunicação”, cujos
princípios para calcular a informação passaram a integrar a “Teoria da Informação”
junto com contribuições de outros estudiosos de áreas como ciências exatas e
desenvolvimento de sistemas de computação e comunicação (MARTINO, 2014, p.
253).
Mas mesmo que a Inteligência Artificial tenha avançado muito depois da
Conferência de Dartmouth, ela enfrentou quase 45 anos de altos e baixos. Muitas
vezes, os projetos não tinham sucesso, o que acabou conhecido como o Inverno da
IA, fase em que muitas expectativas infladas levaram a grandes desilusões. Isso levou
a uma redução das atividades comerciais e científicas ligadas à inteligência artificial
durante uma determinada época.

18
Shannon foi influenciado pelos trabalhos de outros pesquisadores, como seu professor Norbert
Wiener e John von Neumann, que faziam parte do grupo que ficou conhecido como cibernético. Esta
palavra foi escolhida pelo próprio Wiener (1950, p.15), com base no termo grego kubernetes (piloto ou
timoneiro), e passou a ser empregada como controle de um sistema de informação. Para ele (WIENER,
1950, p.26), os seres vivos e as máquinas faziam o mesmo esforço para controlar a informação vinda
do mundo exterior e torná-la acessível a partir da transformação interna da mesma. Na visão da
Cibernética, o funcionamento de qualquer sistema depende, em boa medida, da interação entre as
partes, que precisam saber o que fazer (MARTINO, 2015, p.22).
19
Bush é um dos pioneiros da Computação. Ele desenvolveu uma série de computadores analógicos
e pesquisava intensamente sobre armazenamento e consulta de dados. Em 1945, Bush escreveu um
artigo chamado de Memex (Memory Extender). Ele é considerado o precursor da ideia do hipertexto
(KRIPKA, VIALI; LAHM, 2016).
20
Ralph V.L. Hartley, em 1927, propôs a primeira medida precisa de informação associada à emissão
de símbolos, o ancestral do bit (binary digit), conforme citam Armand Mattelart e Michèle Mattelart
(2012, p. 59).
 37

Tudo mudou na virada dos anos dois mil, quando entramos na era do Big Data21
e novas máquinas computacionais foram produzidas com capacidade surpreendente
para processar dados de uma forma mais rápida, precisa e com um custo menor
(BRYNJOLFSSON e McAFEE (2015, p. 52-53). O mundo mergulhou em um período
impulsionado pelo que o engenheiro Ray Kurzweil chama de “Lei dos Retornos
Acelerados”, em que a potência computacional aumenta exponencialmente com o
passar do tempo (KURZWEIL, 2013, p. 50-51), principalmente com as tecnologias
digitais.
Hoje, a IA faz parte de nosso dia a dia, configurando-se como uma tecnologia
de propósito geral, sem a qual as demais têm dificuldade de viver, como citou o
sociólogo Glauco Arbix em uma entrevista (FACHIN, 2020).

Uma tecnologia de propósito geral, fazendo um

paralelo aqui, é como a gente tem hoje a eletricidade
e o computador, que estão presentes em todos os
lugares. Não perguntamos porque isso ocorre. Na
verdade, é o contrário. Quando você chega num lugar
e não tem energia, as pessoas ficam surpresas. A IA
vai estar assim também, permeada em todos os
lugares. E a gente vai ficar se perguntando: “não está
aplicando IA aqui? Deveria!” Ela não vai resolver
todos os problemas do mundo, esse não é o
propósito, mas com certeza ela vai estar bem mais
presente e a gente vai começar a achar estranho
quando não estiver (ÁVILA, 2021).

A Inteligência Artificial, portanto, viabiliza várias tecnologias, como

reconhecimento de voz; assistentes virtuais; que buscam entender as dúvidas dos
usuários e que em alguns casos podem interagir em chats; apps que analisam
sentimentos para detectar humor22; aplicativos de exercício físico, que cresceram,
durante a pandemia, montando combinações de treinos específicos para cada
usuário, com base nas informações processadas pelo algoritmo23, entre tantas outras
inteligências artificiais.
A IA pode ser definida como a “atividade de fazer máquinas inteligentes”
(NILSSON, 2010, p. 13), lembrando que “as pequenas e grosseiras tentativas” de

21
Vale lembrar que nem toda aplicação de IA usa big data.
22
Este tipo de IA usa Processamento de Linguagem Natural (PLN) para entender, interpretar e gerar
texto humano.
23
Disponível em: https://canaltech.com.br/apps/app-usa-ia-para-facilitar-acesso-a-exercicios-fisicos-
durante-a-pandemia-185943/. Acesso em: 30 mai. 2021.
 38

conseguir reproduzir a inteligência humana, “que foram feitas até agora, sugerem que
ela é muito diferente da inteligência natural. Entretanto, ainda assim é inteligência”
(WHITBY, 2004, p.120).
Para a IBM, de acordo com o uso popular,

a inteligência artificial se refere à capacidade que uma

máquina tem de imitar capacidades da mente humana
como aprender com exemplos e experiências,
reconhecer objetos, compreender, responder, tomar
decisões e resolver problemas. A combinação dos
pontos anteriores e a capacidade de realizar funções
que um ser humano pode realizar, é IA24.

Nesta tese, consideramos a definição de Inteligência Artificial da Organização

para a Cooperação do Desenvolvimento Econômico (OCDE), em função dela ser
adotada por várias redes de pesquisadores.
Um sistema de IA é um sistema baseado em máquina
que pode, para um determinado conjunto de objetivos
definidos pelo homem, fazer previsões,
recomendações ou decisões que influenciam
ambientes reais ou virtuais. Os sistemas de IA são
projetados para operarem com vários níveis de
autonomia25.

De um jeito simplificado, é possível compreender os sistemas de IA, seguindo

a lógica de como eles operam, com base em três componentes do raciocínio humano:
avaliar, inferir e prever. “A cada segundo de cada dia precisamos responder à
pergunta do que está acontecendo ao nosso redor, o que isso significa e o que vai
acontecer a seguir” (HAMMOND, 2015, p.18). Os sistemas de IA estão fazendo
exatamente o mesmo processo.
Parte do que ouvimos falar sobre Inteligência Artificial ainda não foi colocada
em prática. Por isso, entender suas subdivisões também ajuda a compreender um
pouco mais sobre sua fase atual
Sendo assim, a IA se divide em:

24
Disponível em: https://www.ibm.com/br-pt/analytics/journey-to-ai. Acesso em: 29 mai. 2021.
25
No original: “An AI system is a machine-based system that can, for a given set of human-defined
objectives, make predictions, recommendations, or decisions influencing real or virtual environments.
AI systems are designed to operate with varying levels of autonomy”.Disponível em:
https://www.oecd.ai/ai-principles. Acesso em: 30 abr. 2021.
 39

● IA fraca (também chamada de Narrow AI ou Artificial Narrow

Intelligence) possibilita várias tecnologias que fazem parte do nosso dia
a dia, realizando tarefas específicas, como a Alexa da Amazon, o
computador da IBM Watson, que venceu os competidores humanos no
Jeopardy (jogo de perguntas e respostas) e os carros autônomos.

● A IA forte ou Artificial General Intelligence26 tem uma relação maior

com a autonomia do cérebro humano (pode resolver muitos tipos de
problemas e selecionar os que ela deseja resolver sem intervenção
humana). Mas ela ainda é completamente teórica, sem exemplos
práticos de uso. “Porém, isso não significa que os investigadores não
estejam explorando com cuidado a superinteligência artificial.” 27 HAL, o
assistente informático de “2001: Uma Odisseia no Espaço” poderia ser
um exemplo de IA Forte.

Ao mergulhar no entendimento da IA, detecta-se que, muitas vezes, alguns

subcampos da Inteligência Artificial são tratados de forma simplista, sem levar em
consideração suas especificidades28 (a figura 3 ajuda a entender a relação entre
eles).

Figura 3 - Subcampos da Inteligência Artificial

26
O filósofo e linguista, John Searle, em 1980, elaborou um engenhoso experimento mental que foi
chamado de “o quarto chinês” e acabou sendo um dos argumentos mais fortes contra a possibilidade
de desenvolvimento de uma IA geral. No experimento, uma pessoa que não fala chinês está trancada
em um quarto com um computador capaz de interpretar e responder nesta língua. Uma pessoa de fora
do quarto passa, de vez em quando, caracteres por baixo da porta e quem está dentro passa a
classificá-los, de alguma forma, para o computador, que devolve com as respostas no idioma chinês.
Quando a pessoa que está fora recebe essas respostas, ela conclui - de forma errada - que quem está
dentro do quarto sabia falar chinês. Com o experimento, Searle quis mostrar que o computador é capaz
de executar o programa sem entender de fato o significado do que está fazendo.
27
Disponível em: https://www.ibm.com/br-pt/analytics/journey-to-ai. Acesso em: 31 mai. 2021.
28
Na coluna que chamou a primeira versão da Estratégia Brasileira de Inteligência Artificial de patética,
Ronaldo Lemos (2021d) disse que o documento tratou a IA como uma coisa só, sem levar em
consideração suas complexidades.
 40

Inteligência
artificial
Machine Learning

Deep Learning Supervi

sionad
o
Visão
computacional Não

Supervi
sionad
o
Reforç
o

Fonte: elaborada pela autora

Machine learning ou aprendizagem de máquina é uma técnica de IA, que

começou a ser desenvolvida na década de 1980, e está em grande expansão. Ela é

um subcampo da ciência da computação que estuda

a construção de algoritmos que extraem padrões a
partir de grandes volumes de dados de exemplos de
determinado fenômeno - também chamados de dados
de treinamentos. O termo também pode ser definido
como o processo de resolução de problemas práticos
por meio de 1) coleta de dados e 2) da construção
algorítmica de um modelo estatístico baseado nos
dados coletados [Burkov 2019]. Este modelo é usado
então, para resolver, além do problema original,
outros problemas similares.(RUBACK; AVILA;
CANTEIRO, 2021, p. 3).

A aprendizagem de máquina é mais flexível do que outras técnicas de IA, pois

ela não usa uma programação pré-definida, com regras que indicam exatamente o
que está buscando encontrar (O’NEIL, 2020, p. 121). Seus algoritmos também podem
reprogramar-se à medida que recebem mais dados. Em função de suas
características, este tipo de IA pode gerar resultados com padrões inesperados
(HURWITZ; KIRSCH, 2018).

Cada vez mais as máquinas estão examinando

nossos dados, por conta própria, procurando por
nossos hábitos e esperanças, medos e desejos. Com
machine learning (...), o computador mergulha nos
dados seguindo apenas instruções básicas. O
algoritmo encontra padrões por si próprio e, então,
com o tempo, traça relações entre padrões e
 41

resultados. Em certo sentido, ele aprende (O’NEIL,

2020, p. 120-121).

Os programas que identificam padrões a partir do textos postados por usuários

são bons exemplos de como os algoritmos de machine learning são mais flexíveis do
que os programas tradicionais. Entre a década de sessenta e o começo dos anos
2000, os cientistas da linguagem tentavam ensinar os computadores a lerem
programando definições e regras gramaticais. Mas há tantas sutilezas na língua, que
eles não conseguiam avançar muito. Com o avanço da internet e tudo o que ela
propicia a partir do que é redigido nos mecanismos de buscas, redes sociais, etc.,
ficou mais fácil para as máquinas treinarem a linguagem natural humana. Assim,
“entre 2008 e 2015, mais ou menos, as habilidades linguísticas passaram do prezinho
ao ensino fundamental, e [foram] muito além no caso de certas aplicações'' (O'NEIL,
2020, p. 122). Dessa forma, os programas passaram a “saber” o que uma determinada
palavra significa para associá-la a certos comportamentos, por exemplo,
possibilitando também algumas previsões. Por isso, para Muniz Sodré (2021, p. 129),
machine learning é o “nome genérico para a tecnologia de compreensão e captação
dos desejos do usuário”. E prever desejos possibilita influenciar as percepções e as
ações das pessoas, da compra de um produto ao voto (como mostra o escândalo da
Cambridge Analytica).
Os sistemas de machine learning são classificados em duas categorias:
aprendizagem supervisionada e não supervisionada. A primeira é quando a
aplicação tem exemplos de entrada e de saída esperada. Imagine uma máquina
treinada para reconhecer uma bicicleta a partir de um conjunto de dados de bicicletas
e não-bicicletas. Ela vai buscar inferir o que é o veículo que busca a partir de
determinados padrões. Já com a aprendizagem não supervisionada, a máquina
sozinha explora os dados e aprende possíveis relacionamentos entre eles, sem ter
nenhuma ideia prévia de quais são os resultados que poderá encontrar.
Existe também o aprendizado por reforço, que envolve o treinamento de
modelos de aprendizado de máquina para tomar uma sequência de decisões A partir
de uma série de tentativas e erros, o sistema aprende a atingir uma determinada meta
em um ambiente que é incerto e complexo. Neste processo, a IA recebe recompensas
ou penalidades para as ações que executa, buscando sempre maximizar os ganhos
positivos. Em outras palavras, isto quer dizer que o aprendizado por reforço é mais
 42

comum quando um objetivo é conhecido, mas o percurso para atingi-lo não é. Este
tipo de aprendizado é muito usado nos modelos que aprendem jogos .

O deep learning ou aprendizagem profunda é um subcampo da

aprendizagem de máquina. Ele também é uma tecnologia central para o
funcionamento da IA que conhecemos hoje. A técnica, que foi inspirada no
funcionamento do cérebro humano, usa algoritmos mais complexos, que são
baseados no princípio das redes neurais, e, por isso, faz análises mais profundas.

Enquanto o aprendizado de máquina trabalha de forma linear, a aprendizagem

profunda trabalha em camadas. Elas são encadeadas de forma hierárquica, o que
possibilita o reconhecimento e o tratamento de um número muito maior e mais
complexo de dados (imagens, textos, áudio, etc.). Este tipo de IA é usado, por
exemplo, nas classificações de imagens do Google e no reconhecimento de voz.

Uma ilustração simples da diferença entre o deep

learning e outro machine learning é a diferença entre
a Siri da Apple ou a Alexa da Amazon (que
reconhecem seus comandos de voz sem treinamento)
e os aplicativos que convertiam voz em texto de uma
década atrás, que exigiam que os usuários
“treinassem” o programa (e rotulassem os dados)
falando dezenas de palavras ao sistema antes de usá-
lo. Mas os modelos de deep learning alimentam
aplicativos muito mais sofisticados, incluindo sistemas
de reconhecimento de imagem que podem identificar
objetos do cotidiano com mais rapidez e precisão do
que os humanos.29

A visão computacional é um tipo de técnica, que avançou muito com deep

learning, a partir de 2012. O sistema é treinado com um número significativo de dados
visuais como fotos e vídeos e possibilita classificar, detectar e rastrear,
automaticamente, rostos, biometria, objetos e outras representações imagéticas.
À medida em que novas imagens são mostradas à
rede, ela adivinha o que há nelas. Inevitavelmente, as
primeiras tentativas saem erradas, mas após cada
suposição as conexões entre suas camadas de
neurônios são ajustadas, até que a máquina aprende
a produzir um rótulo correspondente ao que os
desenvolvedores querem. Esse ajuste é feito por

29
Disponível em: https://www.ibm.com/br-pt/cloud/learn/what-is-artificial-intelligence#toc-aplicativo-
LCOINXXr. Acesso em: 31 mai. 2021.
 43

cálculos de pesos. Com o passar do tempo, as

camadas internas de tais redes vieram a se
assemelhar ao córtex visual humano: as primeiras
camadas detectam características simples, como
bordas, enquanto as camadas posteriores realizam
tarefas mais complexas, como escolher formas. Isto
revolucionou o campo da visão computacional
(TIBAU, 2021).

Exemplos de aplicações de visão computacional:30

● Trânsito;
● Produtos: monitorar a qualidade ou quantidade nas gôndolas;
● Saúde: detectar doenças como tumores;
● Fábricas: contar e classificar itens nas linhas de produção;
● Mídia: analisar a eficácia do posicionamento de propagandas;
● Energia: inspeção remota de infraestrutura usando drones;
● Vigilância pública e privada.

A figura, a seguir, mostra um modelo que é treinado para classificar imagens

do refrigerante Coca-Cola e para localizar a posição da garrafa na imagem.

30
Uma descrição mais aprofundada, mas ao mesmo tempo didática, pode ser encontrada em:
https://www.tecmundo.com.br/software/155645-introducao-visao-computacional.htm. Acesso: 21 jun.
2021.
 44

Figura 4- Visão computacional usada para classificação e localização de produto

Fonte: Tecmundo - com base no Guia de Introdução ao IBM Visual Insights e no Guia de Introdução
ao Watson Visual Recognition 31

Lívia Ruback, Sandra Avila e Lucia Cantero (2021) em uma releitura do

framework de Suresh e Guttag apontam as seguintes etapas dos sistemas de
aprendizagem de máquina:

● Coleta de dados: pode ser feita pelos programadores, mas, em geral, eles
utilizam dados pré-existentes para construírem e treinarem os modelos;

● Pré-processamento: fase em que os dados são limpos a partir da remoção ou

da substituição dos que são incompletos ou inválidos;

31
Disponível em: https://www.tecmundo.com.br/software/155645-introducao-visao-
computacional.htm. Acesso em: 21 jun.2021.
 45

● Criação do modelo: com base nos dados de treinamentos para que possam
aprender e fazer previsões;
● Avaliação do modelo: com base nos dados de teste, que avaliam o
desempenho a partir de diferentes métricas;

● Pós-processamento: em geral, os modelos são retroalimentados com

feedbacks, o que possibilita que eles aprendam com os próprios erros,
melhorando constantemente o seu desempenho.

1.3 Vieses automatizados

"O progresso conquistado na era dos direitos

civis pode ser desfeito sob o disfarce da
neutralidade da máquina.”

Joy Buolamwini, cientista da computação e

fundadora do Algorithmic Justice League

Os seres humanos, em geral, transferem uma cega confiança na matemática

para os Sistemas de Decisões Automatizadas. Seus processos, operações e
resultados são apresentados e percebidos como precisos e exatos. O caráter técnico
reforça, portanto, uma ideia de garantia de imparcialidade, neutralidade e objetividade
(CAPLAN; et al. 2018, p.6).32 Esta percepção foi comprovada em pesquisas que
mostram que os leitores de notícias automatizadas tendem a achá-las mais objetivas
do que as redigidas por jornalistas (CLERWALL, 2014; KAA, KRAHMER, 2014;
GRAEFE et al. 2016; CARREIRA, 2017).
Tarleton Gillespie, pesquisador do Microsoft Research Lab, em New England,
nos Estados Unidos, e professor da Universidade Cornell (2018, p. 107-109), ao
comparar a promessa de objetividade algorítmica com a jornalística, entende que elas
são bem diferentes. A última depende de uma promessa institucional e é incorporada
a um conjunto de normas que o jornalista aprende e que busca executar com base
em um compromisso de deixar (ou, ao menos, tentar deixar) os preconceitos e

32
Objetividade é empregada aqui, com base na etimologia da palavra, como qualidade de algo que
existe “independentemente do julgamento do espírito, do julgamento, de nossa avaliação” (FERREIRA
in MARCONDES FILHO, 2009, p. 365).
 46

convicções pessoais de lado. Por outro lado, a promessa de objetividade algorítmica

é tecnicamente influenciada pela ideia de neutralidade mecânica, que busca aparentar
que os sistemas automatizados estão livres de intervenção humana, já que fazem
parte de uma máquina.
Com base nos argumentos de Pfaffenberger (1992), Gillespie entende que a
mensagem de que os algoritmos são neutros e imparciais contribui para certificá-los
como atores sociotécnicos confiáveis, concedendo relevância e credibilidade aos seus
resultados. Este mecanismo é extremamente relevante para a disseminação dos
Sistemas de Decisões Automatizadas.
Mas a realidade segue em outra direção (SEAVER, 2014, p.4). Os SDAs
refletem objetivos, preferências e ideologias (O’NEIL, 2020).33 São decisões que
também são fundamentalmente morais e que representam “opiniões fechadas em
matemática” (O’NEIL, 2020, p. 337). Uma série de fatores impactam no
desenvolvimento destes sistemas. Quem construiu um determinado modelo? Para
qual empresa ou governo? Quais variáveis foram consideradas? Quais dados foram
escolhidos para alimentar o SDA?
Todo modelo (matemático ou não) é um processo realizado com base em uma
visão sobre o que é relevante para ser incluído e o que pode ser excluído. As
representações abstratas criam versões simplificadas do mundo a partir da qual é
possível inferir fatos e ações (O’NEIL, 2020, p.33), mas que reduzem as
complexidades da realidade.

Qualquer conhecimento opera por seleção de dados

significativos e rejeição de dados não significativos:
separa (distingue ou disjunta) e une (associa,
identifica); hierarquiza (o principal, o secundário) e
centraliza (em função de núcleo de noções-chave);
essas operações, que se utilizam da lógica, são de
fato comandadas por princípios “supralógicos” de
organização do pensamento ou paradigma, princípios
ocultos que governam nossa visão das coisas e do
mundo em que tenhamos consciência disso (MORIN,
2005, p. 10).

De acordo com Diakopoulos (2016), os SDAs são desenhados a partir de

quatro tipos de escolhas (figura 5):

33
Cathy O’Neil (2020) emprega ideologia no sentido de conjunto de ideias, crenças e doutrinas de uma
determinada época.
 47

● A priorização ocorre durante o processo de escolha do que será

enfatizado (em detrimento de outro dado ou informação);

● A classificação é feita a partir da observação das características de um

dado elemento, que vai determinar a categoria a que ele pertence,
estabelecendo que existem entidades distintas e outras semelhantes;

● As associações são estabelecidas a partir da criação de relações entre

as entidades;

● A filtragem envolve a inclusão ou exclusão de dados com base em

vários parâmetros que, muitas vezes, levam em consideração decisões
de priorização, classificação ou associação, como acontece em
aplicativos em que cada usuário visualiza uma notícia com base em seu
perfil.

Figura 5: Esquema de decisões de julgamento dos SDAs

Prioriz Classifi
ação cação
2
1 3

Assoc
iação Filtrag
em

Fonte: elaborada pela autora (adaptação de Diakopoulos, 2016)

Outra observação torna-se bastante relevante sobre os SDAs. Os modelos,

geralmente, são desenvolvidos por profissionais com um perfil muito homogêneo.

O Relatório do Fórum Econômico Mundial (The Global

Gender Gap Report, 2018) chama atenção ainda para
a baixa presença feminina em profissões ligadas à IA,
 48

correspondente a apenas 14% de mulheres entre os

profissionais de IA no Brasil. (...) Outro problema é o
hiato racial de profissões de TI. Embora nos últimos
anos as big techs tenham investido em políticas de
diversidade na composição de sua equipe técnica, os
percentuais ainda são baixos: nos EUA, enquanto
12% da população é considerada negra, apenas 3.7%
dos técnicos do Google são negros. Os índices são
igualmente baixos no Facebook (1.5%), Microsoft
(4.4%), e Netflix (4%). (EBIA, 2021, p. 32).

A falta de diversidade entre os profissionais é capaz de contribuir para o

desenvolvimento de SDAs enviesados e que podem gerar resultados errados,
distorcidos, pouco representativos da sociedade e até mesmo discriminatórios.
Enquanto fazem os modelos, estes profissionais podem fazer escolhas que não são
racionais, mas que partem de associações automáticas às suas experiências de vida
(RUBACK; AVILA; CANTERO, 2021).
Em relação às aplicações de inteligência artificial, Hammond (2016) aponta
cinco fontes inesperadas de vieses,34 contribuindo para demonstrar que estes
sistemas não são objetivos ou neutros:

● Dados tendenciosos: qualquer IA que aprenda (machine ou deep

learning) a partir de dados terá resultados determinados pelos dados
que recebe;
● Viés pela interação: as IAs que aprendem através da interação podem
reproduzir vieses que identificaram nos usuários;
● Tendência emergente: sistemas apresentam resultados que
correspondem ao gosto detectado dos usuários (filtro bolha), gerando
um ciclo vicioso;
● Preconceito de similaridade: é possível que o preconceito seja o
resultado de um sistema que está fazendo o que foi projetado para fazer.
Um exemplo é o Google News. Ele exibe notícias que correspondem às
consultas dos usuários, em geral, trazendo visões semelhantes e que
corroboram umas às outras. Sistemas deste tipo não apresentam

34
Algumas ferramentas têm sido desenvolvidas para identificar vieses nos SDAs. Mas de acordo com
Avila, em entrevista à autora (2021), elas não funcionam para todos os sistemas, o que denota a
complexidade desta tarefa.
 49

diferentes pontos de vista para a tomada de decisão (também seguem

a lógica do filtro bolha);
● Preconceito de objetivos conflitantes: sistemas com componentes de
aprendizagem que são baseados no comportamento de clique buscam
sempre maximizar o número de cliques, o que, em certos casos, pode
reforçar estereótipos.

Em um artigo sobre reconhecimento facial, Ruback, Avila e Cantero (2021)

discutem como os vieses podem ocorrer em todas as etapas do modelo (figura 6):

Figura 6 - Tipos de vieses de acordo com as etapas do modelo

 50

Fonte: Ruback, Avila, Contero (2021) - adaptação de Suresh e Guttag (2019)

● Viés histórico: ocorre na etapa anterior à coleta de dados. Em função

deles, os resultados refletem vieses que podem ser discriminatórios, e
reforçam julgamentos e preconceitos como o racismo;

● Viés de representação ou de amostra: pode acontecer durante a

coleta de dados e ocorre quando eles não são representativos da
população que será modelada;

● Viés de avaliação: são inseridos na etapa de avaliação do

desempenho do modelo, cujo tipo de métrica usado também pode
introduzir viés;

● Viés de interpretação humana: ocorre na etapa de pós-

processamento, quando uma pessoa checa o resultado do SDA para
determinar se ele está correto ou não.

Muitos SDAs são adotados para a detecção de padrões. Aqui também cabem
observações importantes. Como os modelos matemáticos são baseados no passado,
 51

eles partem do pressuposto de que as tendências irão se repetir (O’NEIL, 2020, p.

62). Mas, às vezes, isto não acontece e esta pressuposição pode prejudicar muitas
pessoas, como será demonstrado em alguns exemplos mais adiante, como a negativa
de empréstimo ou o cálculo de probabilidade de reincidência criminal que pode
impactar no tempo de prisão de um condenado. Também é preciso levar em
consideração que mesmo que um conjunto de dados aponte para uma tendência, este
padrão pode desaparecer (ou ir no sentido contrário) quando os subconjuntos de
dados são analisados, configurando o que os estatísticos chamam de Paradoxo de
Simpson. Ou seja, nem tudo o que parece ser é de fato!

1.3.1 A opacidade do Sistemas de Decisões Automatizadas

"Estamos rumando a um modelo silencioso,

no qual seremos vigiados, controlados
socialmente e individualmente empurrados,
medidos e classificados, de uma forma que
não perceberemos. (...) Não é o que a IA fará
conosco por conta própria, é o que os
poderosos farão usando a IA.”

Zeynep Tufekci, PhD, autora de Twitter and

Tear Gas

Como vimos até aqui, os SDAs não são nem precisos nem objetivos. E a forma
com que são desenvolvidos, sua lógica e operações, em geral, também não são nada
transparentes. Até mesmo os que prestam um serviço público. Por isso, Frank
Pasquale (2015), professor da Brooklyn Law School de Nova Iorque, denomina o
contexto contemporâneo, em que os sistemas automatizados tomam inúmeras
decisões no dia a dia, de “sociedade da caixa-preta”.

No livro “The black box society: the secret algorithms that control money and
information”, Pasquale (2015) cita que as justificativas a favor da invisibilidade dos
códigos dos SDAs giram em torno de argumentos sobre as necessidades de segredo
comercial e jurídico, assim como de ofuscar as técnicas para inviabilizar a
compreensão do processo, evitando que os usuários possam burlar os sistemas.
Neste sentido, para Trielli e Diakopoulos (2017), o público enfrenta duas caixas-
pretas: 1) o próprio algoritmo e 2) o sigilo das empresas.
 52

Por causa dessa blindagem, muitos SDAs de interesse social não permitem ver
o código ou testar as soluções desenvolvidas (STRAY, 2018). A iniciativa Algorithm
Watch, em seu relatório Automating Society, de 2020, aponta que a metáfora da caixa-
preta ainda se aplica a todos os 16 países estudados para a produção do material,
pois, de forma geral, os Sistemas de Decisões Automatizadas não são
suficientemente transparentes nos setores privado e público. A opacidade é ainda
mais preocupante neste último, já que a publicização das ações das diversas
instâncias (municipal, estadual e federal) e poderes (executivo, legislativo e judiciário)
configura um direito fundamental.

A política do segredo reduz “as possibilidades de controle popular e de

participação do cidadão no exercício das atividades da administração. Destaque-se
que a visibilidade necessariamente conferida à administração possibilita o combate à
ineficácia das disposições de garantia legalmente instituídas” (MOTTA, 2018). Em um
texto em que discute publicidade e transparência, Fabrício Motta, que é procurador-
geral do Ministério Público de Contas (TCM-GO) e professor da Universidade Federal
de Goiás (UFG), explica que a “necessidade de tornar visíveis as relações entre
administração e cidadãos é decorrência do Estado de Direito, e nessa máxima se
inspira o artigo 15 da Declaração dos Direitos do Homem e do Cidadão, de que "a
sociedade tem o direito de pedir contas a todo agente público pela sua administração".

Apesar disso, um trabalho da Transparência mostra que a visibilidade dos

SDAs não é regra. Entre as aplicações de Inteligências Artificiais usadas por órgãos
governamentais no Brasil, a iniciativa catalogou 39.

As informações foram coletadas por meio de pedidos

de acesso à informação, busca nos sites oficiais e por
um questionário elaborado em parceria com a
Controladoria-Geral da União (CGU), o Ministério da
Ciência, Tecnologia e Inovação (MCTI) e o Centro de
Estudos sobre Tecnologias Web (Ceweb.br). O
questionário foi enviado em setembro de 2020 a
órgãos da administração pública direta e indireta do
Executivo federal. O catálogo foi elaborado pelo
Centro de Estudos sobre Tecnologias Web
(Ceweb.br) do Núcleo de Informação e Coordenação
do Ponto BR (NIC.br).35

35
Disponível em: https://www.transparencia.org.br/projetos/transparencia-algoritmica. Acesso: 24 jul.
2021.
 53

Tabela 1 - Catálogo de 39 IAs usadas por órgãos governamentais no Brasil

Órgão Quantidade de IAs

catalogadas

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior 2

(CAPES)

Empresa Brasileira de Pesquisa Agropecuária (Embrapa): 5

Universidade Federal de Alfenas: 1

Universidade Federal do Tocantins 1

Universidade Federal do Rio Grande do Sul 1

Universidade Federal de Santa Maria 1

Universidade Federal do Rio Grande do Norte 1

Hospital Universitário da Universidade Federal do Maranhão 1

Hospital das Forças Armadas 1

Agência Nacional de Vigilância Sanitária (Anvisa) 1

Agência Nacional de Telecomunicações (Anatel) 1

Agência Nacional de Transportes Terrestres 1

Instituto Nacional de Seguro Social (INSS) 1

Instituto de Pesquisa Econômica Aplicada (IPEA) 1

Comissão de Valores Mobiliários 1

Controladoria Geral da União 2

Conselho Administrativo de Defesa Econômica (Cade) 1

Banco Nacional de Desenvolvimento Econômico e Social 2

Banco do Brasil: 5

Caixa Econômica Federal 3

Polícia Federal 4

Centro de Análise de Sistemas Navais 1

 54

Empresa Brasil de Comunicação (EBC) 1

Fonte: Elaborada pela autora com base no Catálogo da Transparência Brasil 36

Entre as 39 IAs catalogadas:

● somente 13 permitem acesso ao algoritmo da ferramenta;

● 8 têm código aberto;
● em 24 foi considerada a obrigatoriedade de revisão humana das
decisões automatizada no desenvolvimento e/ou implementação da
ferramenta;
● em 18 foram considerados possíveis vieses no desempenho e/ou
implementação da ferramenta;
● 23 tinham métricas para verificação de eficácia;
● 13 usavam dados pessoais para o treinamento da ferramenta;
● 13 usavam dados sigilosos para o treinamento da ferramenta;
● 18 IAs faziam diagnósticos ou análises;
● 19 sugeriam ações;
● 1 tomava decisões de forma automática;
● 1 tomava decisões ou sugeria ações de acordo com o contexto.

2. O lado sombrio dos SDAs

“Os dados são reflexo da história, então o

passado está marcado em nossos
algoritmos. Os dados revelam as iniquidades
que já ocorreram.”

Joy Buolamwini, cientista da computação e

fundadora do Algorithmic Justice League

36
Disponível em:https://catalogoia.omeka.net/items/browse?collection=1. Acesso em: 25 set.
2021.
 55

Os Sistemas de Decisões Automatizadas podem trazer inúmeros benefícios,

como acelerar, otimizar processos e ampliar a eficiência. Mas eles são construídos,
como vimos, com base em interpretações subjetivas e podem produzir erros. No artigo
“The violence of algorithms” (“A violência dos algoritmos”), de 2015, Taylor Owen
lembra que muitas das falhas, destes sistemas, em questões sociais têm relação com
um erro básico. Os algoritmos trabalham com probabilidades e não com certezas,
explica o professor de mídias digitais. E é comum confundirem as duas coisas. Ao
discorrer sobre alguns modelos que chama de armas de destruição em massa, O’Neil
(2020. p.15) acredita que eles tendem a punir os mais pobres na sociedade.

Os questionamentos principais que precisam ser feitos são: quem enfrenta os

danos colaterais desses Sistemas de Decisões Automatizadas? Quem são as
vítimas? As decisões (re)produzem injustiças e desigualdades? E até que ponto os
efeitos danosos podem ser eliminados, já que os sistemas são opacos e, muitas
vezes, é impossível saber que a decisão que afetou uma pessoa foi totalmente
decidida por um SDA ou definida com base em alguma sugestão dele?

Para mostrarmos algumas possíveis consequências desses sistemas que são

tão empregados em nosso dia a dia, veremos como eles podem impactar áreas como
concessão de crédito, a conquista de um emprego, ações tomadas na pandemia,
segurança pública, justiça e democracia37.

2.1. Vou conseguir um empréstimo?

“Primeiro, a gente tem que perguntar qual é

o problema que a gente está resolvendo e
qual é o público-alvo? Geralmente, o que tem
acontecido é que as pessoas estão propondo
modelos e estão dizendo que aqueles
modelos podem ser aplicados para qualquer
coisa. Eu acho que os nossos modelos
deveriam sair com uma bula de remédio: isso

37
Segundo, Big Brother Watch, grupo de ativistas do Reino Unido, qualquer pessoa cuja vida é
influenciada, de certa forma, pelo estado de bem-estar social (assistência social, benefícios, habitação)
pode ser afetada por perfis de dados secretos, análises preditivas e decisões algorítmicas). Disponível
em: https://bigbrotherwatch.org.uk/campaigns/welfare-data-watch/. Acesso em: 12 out. 2021.
 56

aqui é indicado para isso, isso é

contraindicado para aquilo, não use esse
porque isso vai ter problemas!”
Sandra Ávila, professora de Ciência da
Computação na Unicamp

Para liberar crédito para uma pessoa, até certo tempo atrás, um bancário
avaliava se uma pessoa seria capaz de pagar a dívida olhando para a forma como ela
estava vestida, como falava, onde trabalhava, sua raça, religião e conexões familiares.
Ou seja, ele analisava, de forma consciente ou não, uma série de dados que eram
proxies ou indicadores aproximados. Esse funcionário não olhava para a pessoa como
um indivíduo, mas a analisava com base em determinado grupo, que ele julgava que
fazia parte, estabelecendo uma série de correlações. O raciocínio era do tipo:
“pessoas do seu tipo são confiáveis ou não”. O sistema era bem injusto. E isso não
quer dizer que, em alguns lugares, este modelo tenha deixado de existir.
Mas, com a ideia de diminuir esse tipo de problema, estabelecendo critérios
mais objetivos, foram desenvolvidos escores que analisam os dados financeiros
importantes da pessoa. De forma resumida, o escore é uma pontuação que vai de 0
a 1000 e que define se uma pessoa tem pouca, média ou grande chance de atrasar
um pagamento, com base em seu histórico.

● 0 a 300: indica alto risco de inadimplência;

● 301 a 700: sinaliza médio risco de falta de pagamento;

● 701 a 1000: indica baixo risco de inadimplência.

Muitas empresas se baseiam no escore para saber se é um bom negócio

conceder um cartão de crédito, empréstimo ou financiamento para alguém. Esta
pontuação, portanto, tem um impacto grande na vida das pessoas e pode ajudar a
viabilizar a realização de sonhos, como comprar um carro, uma casa e até mesmo
fazer uma viagem.
 57

O escore vinculado ao CPF, por exemplo, propicia uma análise sobre um

determinado indivíduo, com base em seu comportamento passado de pagamento,
descartando supostas correlações em favor de dados financeiros importantes para a
tomada de decisão.
No entanto, muitos outros escores continuam a reproduzir modelos injustos,
como os que são atrelados ao CEP, e que, de certa forma, mantêm o tipo de
comportamento de funcionário de banco que descrevemos há pouco.

Hoje, somos somados de todas as formas possíveis

conforme estatísticos e matemáticos organizam como
puderem uma salada de dados, de nossos CEPs e
padrões de navegação na Internet a nossas compras
recentes. Muitos de seus modelos pseudocientíficos
tentam estimar nossa credibilidade, dando a cada um
de nós assim chamados e-escores. Esses números,
que raramente vemos, abrem portas para alguns de
nós, enquanto as batem na cara de outros. (O’NEIL,
2020, p. 222).

Muitos cientistas de dados acham que o uso de CEP é uma opção melhor do
que usar critérios como raça como input no modelo. Mas como aponta O´Neil (2020,
p.226), este caminho também pode reproduzir injustiças. Afinal, “ quando incluem um
atributo como ‘CEP”, estão expressando a opinião de que o histórico do
comportamento humano naquela porção de imóveis deveria determinar, ao menos em
parte, que tipo de empréstimo uma pessoa que mora ali deveria obter” (O’NEIL, 2020,
p. 226).
Dessa forma, um sistema de decisão automática, com base em um modelo
treinado em dados demográficos pode, por exemplo, dar ao tomador de empréstimo
de uma favela brasileira um escore mais baixo porque muitas pessoas na comunidade
podem ser inadimplentes (desconsiderando os motivos reais, como talvez um alto
índice de desemprego). E esta decisão irá dificultar ainda mais a vida desta pessoa,
já que esse sistema pode representar menos crédito disponível para ela ou taxas de
juros mais altas para quem já enfrenta muitos obstáculos. Em outras palavras, ela
pode virar o dano colateral deste modelo e entrar em um ciclo vicioso de feedback que
se retroalimenta.
2.2. Chefe algorítmico
 58

“Que as máquinas acabariam substituindo os

trabalhadores humanos, é algo que os ludistas
britânicos do século XIX já sabiam, e que Charles
Chaplin nos mostrou de forma bastante eloquente
no filme Tempos Modernos de 1936. O que não
esperávamos era que as máquinas fossem se
transformar em nossos chefes.”
Miquel Echarri, jornalista espanhol

A forma como os SDAs julgam as pessoas também impacta na conquista de

um emprego. Vejamos um exemplo. A Reuters, em 2018, fez uma matéria 38 que
conta como a Amazon passou a usar aprendizado de máquina, a partir de 2014, para
o recrutamento de candidatos a empregos, automatizando a busca por melhores
talentos. O quadro de funcionários da empresa estava crescendo muito e a IA
representava um excelente auxílio de baixo custo. Com machine learning, a Amazon
queria rastrear a internet para encontrar pessoas interessantes para seus quadros.
Para isso, a empresa desenvolveu 500 modelos de computador focados em funções
e locais de trabalho específicos e passou a pontuar os interessados.
Mas em 2015, a empresa percebeu que o sistema não fazia classificações de
forma neutra em termos de gênero. A Amazon declarou que a tecnologia acabou não
sendo usada pelos recrutadores para escolher os candidatos, mas não negou que
eles analisaram as recomendações da IA. Isto significa que mesmo que não tenham
confiado cegamente nas classificações, no mínimo, ela foi usada como suporte às
decisões. Como o sistema fazia a triagem e pontuava gêneros de forma diferente,
provavelmente os recrutadores focaram nos melhores pontuados, que provavelmente
eram homens.
E por que isso ocorreu? Porque os 500 modelos foram treinados para examinar
os candidatos, de acordo com observações de padrões em currículos enviados à
Amazon durante uma década. Cada um deles reconhecia 50 mil termos nos currículos
de candidatos anteriores. Mas a grande maioria foi enviada por homens, o que reflete
o domínio da presença masculina na área da tecnologia, como já citado anteriormente.

38
Disponível em https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-
scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G. Acesso em: 27
jun. 2021.
 59

Em função disso, a IA da varejista online aprendeu que deveria preferir os candidatos

do sexo masculino, enquanto “penalizava” os currículos que tinham a palavra
“feminino”, como “polo aquático feminino” e as faculdades exclusivamente femininas.
De acordo com algumas pessoas ouvidas pela Reuters, a Amazon programou
a IA para ser neutra ao gênero. Mas isso não garantiu que ela descobrisse outras
maneiras para classificar os candidatos, agindo de forma discriminatória como
denunciado à época. Para Meredith Broussard39, “a máquina estava replicando o
mundo tal qual ele existe. Não estava tomando decisões éticas. Só estava tomando
decisões matemáticas. (...) Usando modelos de aprendizagem de máquina para
replicar nosso mundo como ele é, não vamos progredir socialmente.”. Diante dos
resultados, estes modelos foram aposentados (ou reconfigurados) pela varejista.
Da experiência da Amazon, para cá, muitos empregadores passaram a usar
cada vez sistemas automatizados no processo de recrutamento e seleção para ajudar
em uma tarefa que é exaustiva, principalmente para as grandes empresas. Além
disso, eles têm custo menor e capacidade de processar grandes volumes de
candidatos, o que amplia a lista de argumentos a favor de sua utilização
Leslee Remsburg, diretora em uma empresa de recolocação e transição de
carreira, conta que 99% das empresas Fortune 500 usam um Sistema de
Rastreamento de Candidatos (ATS) para gerenciar cada etapa do processo de
contratação. Ela explica que estes sistemas utilizam buscas por palavras-chave para
fazer uma varredura rápida e, teoricamente, passam o currículo mais qualificado para
recrutadores humanos e gerentes de contratação avaliarem o que foi selecionado de
forma automatizada40.
Muitos empregadores entendem que, além de uma seleção mais rápida e mais
barata a partir de um cardápio muito maior de opções, os sistemas automatizados
podem propiciar uma diminuição da subjetividade no processo seletivo. No entanto, o
algoritmo não é necessariamente justo, muito menos objetivo, como vimos.
Cathy O´Neil também aponta outra questão importante destes sistemas.

Naturalmente, estes programas de contratação não

incorporam informações sobre qual seria a real
performance do candidato na empresa. Isso está no
futuro, portanto é desconhecido. Então, como muitos

39
Questão abordada por Meredith Broussard no documentário Coded Bias de 2020.
40
Disponível: https://computerworld.com.br/carreira/5-segredos-para-desenvolver-um-curriculo-
atraente-para-os-robos-de-recrutamento/. Acesso em: 15 ago. 2021.
 60

dos programas do Big Data, eles contentam-se com

proxies, os indicadores aproximados. E, como vimos,
proxies na certa serão inexatos e muitas vezes
injustos. (O’NEIL, 2020, p. 169)

Para a matemática, as empresas que usam os sistemas automáticos podem

ficar muito satisfeitas, mas as pessoas que são excluídas e prejudicadas por eles
sofrem (e sem saberem, em geral, que seus currículos não chegaram nas mãos dos
recrutadores porque foram descartados por algum SDA). Então, o acesso ao emprego
passou, em certa medida, a depender muito da habilidade de convencer as máquinas.

Tanto é que, alguns especialistas, como Leslee Remsburg, têm dado dicas
sobre como desenvolver um currículo atraente para um robô de recrutamento,
evitando cabeçalhos, tabelas e caixas de textos e não usando palavras-chave para
enganar o sistema41.

Mas o impacto dos SDAs no acesso ao emprego pode começar muito antes da
seleção ou exclusão de um candidato. Ele existe até na visualização (ou não) de
anúncios de vagas. Vejamos alguns casos relatados.

Um grupo de pesquisadores da Carnegie Mellon University mostrou, em um

estudo, que o Google exibiu menos anúncios de empregos executivos com altos
salários para mulheres do que para homens42. Através de uma ferramenta que rastreia
como o comportamento do usuário do buscador influencia os anúncios personalizados
que cada usuário vê, a equipe descobriu que, quando o Google entendia que os
usuários eram homens que buscavam emprego, era mais provável que eles vissem
empregos executivos com altos salários. A ferramenta dos pesquisadores identificou
que, durante o experimento, o Google mostrou os anúncios 1.852 vezes para o grupo
masculino e 318 para o feminino. O motivo para isso acontecer não foi identificado
pela equipe da Carnegie Mellon University.

41
Disponível: https://computerworld.com.br/carreira/5-segredos-para-desenvolver-um-curriculo-
atraente-para-os-robos-de-recrutamento/ Acesso em: 15 ago. 2021.
42
Disponível em: https://www.washingtonpost.com/news/the-intersect/wp/2015/07/06/googles-
algorithm-shows-prestigious-job-ads-to-men-but-not-to-women-heres-why-that-should-worry-
you/?noredirect=on. Acesso em: 15 de ago. 2021.
 61

Um outro estudo43 foi realizado por especialistas da Northeastern University,

da University of Southern California e do grupo de defesa de interesse público Upturn.
Desta vez, o objetivo do estudo foi a exibição de anúncios pelo Facebook. O grupo
identificou que esta rede social pode ser potencialmente discriminatória, mesmo
quando os anunciantes definem parâmetros de segmentação altamente inclusivos.

Os pesquisadores criaram diversos anúncios de emprego, sem alvo

demográfico, e observaram que o Facebook os exibiu da seguinte forma:

● Empregos na indústria madeireira: público 72% branco e 90% homens;

● Posições de caixa de supermercado: 85% mulheres;
● Empregos em empresas de táxi: 75% de negros.

A pesquisa também identificou que os anúncios de vagas para

desenvolvedores de inteligência artificial eram direcionados majoritariamente para
brancos e os de secretária, para mulheres.

Em geral, o discurso da rede social é que o usuário recebe um anúncio de

acordo com o seu perfil para evitar que ele seja bombardeado por coisas que não têm
sentido para ele. Mas os filtros de personalização levam às bolhas invisíveis
(PARISER, 2012), diminuindo a visualização de outras informações na mesma rede.
Ou seja, pegando o exemplo da vaga de secretária, por exemplo, se uma mulher
acaba clicando no anúncio não é porque necessariamente ela deseja a vaga de fato,
mas talvez porque o Facebook só exibe este tipo de oportunidade para ela.

Uma pesquisa posterior44, realizada pela University of Southern California,

revisitou o estudo que acabamos de citar. Ela também concluiu que o Facebook opera
com disparidades de gênero, mesmo quando os candidatos são igualmente
qualificados. Como em 2019, a equipe deste segundo experimento criou uma série
de anúncios de vagas de emprego e pagou o Facebook para exibir listas de
oportunidades nas empresas Domino´s para o maior número possível de pessoas.
Novamente, nenhum grupo demográfico foi especificado.

43
Disponível em: https://theintercept.com/2019/04/03/facebook-ad-algorithm-race-gender/ Acesso em:
15 de ago. 2021.
44
Disponível em: https://theintercept.com/2021/04/09/facebook-algorithm-gender-discrimination/.
Acesso em:15 ago. 2021.
 62

No mundo offline, o Domino’s tem mais motoristas homens e a Instacar, mais

mulheres. E com os anúncios online, mesmo sem a especificação da exigência de
gênero por parte dos pesquisadores, o Facebook reforçou a assimetria. O
experimento não identificou o porquê, mas uma explicação plausível é que os SDAs
podem ter sido treinados por anúncios parecidos do passado em que este padrão já
acontecia. De acordo com esta possibilidade, o Facebook pode, apesar da indicação
clara do anunciante, ter determinado a visualização dos anúncios com base em taxas
históricas de cliques, limitando o alcance e impondo dificuldades à ampliação da
diversidade.

2.2.1. Trabalhador-dado

Mas se os algoritmos podem varrer currículos, selecionar pessoas e avaliar

desempenhos, eles também podem demiti-las - sem nenhuma intermediação humana.
Em uma matéria no El País sobre o tema, o jornalista Miquel Echarri (2021) alerta,
que “você será demitido por um algoritmo. Parece profecia de mau agouro, mas esse
é destino que aguarda a maior parte das pessoas empregadas neste agitado primeiro
terço do século XXI”.

A demissão de trabalhadores por bots também foi tema de uma matéria da

Bloomberg, que abordou a tendência da Amazon de cortar funcionários com base em
critérios informáticos (SOPER, 2021). Um deles foi Stephen Normandin. Durante mais
de quatro anos, ele entregou pacotes para a varejista online, em Phoenix, nos
Estados Unidos. Um dia, Stephen recebeu um e-mail automático. Os algoritmos que
o rastrearam decidiram que ele não estava fazendo seu trabalho corretamente. Foi
assim que ele foi demitido por uma máquina e sem saber quais foram os critérios que
nortearam esta decisão.

Em uma entrevista à CNBC, Jeff Bezos, que é fundador da Amazon, disse que
somente as decisões estratégicas precisam ficar nas mãos de seres humanos. O
resto, segundo ele, por mais importante que sejam, podem e devem ser tomadas pela
IA. A justificativa? Por que os Sistemas Decisões Automátizadas levam em
consideração um grande volume de dados relevantes e não têm interferência humana
na tomada de decisão (ECHARRI, 2021).
 63

Outro caso emblemático chamou a atenção da mídia, em agosto de 2021, em

função do grande volume de demissões que ocorreu de uma única vez. Xsolla, filial
russa de uma empresa de software e serviços interativos com sede nos Estados
Unidos, seguiu a recomendação de uma inteligência artificial e demitiu, sem aviso
prévio, 150 dos 450 funcionários dos escritórios de Perm e Moscou. A IA considerou
que um terço dos trabalhadores eram improdutivos e estavam pouco comprometidos
com os objetivos da Xsolla. O fundador da empresa fez uma declaração sobre a
decisão à edição russa da Forbes, alegando que não estava totalmente de acordo
com a avaliação da máquina, mas que era obrigado a acatá-la por conta dos
protocolos que foram pactuados com a assembleia de acionistas. O jornalista Miquel
Echarri (2021) reforça que o que é realmente novo nesse caso da Sxolla “é que as
funções que a máquina assumiu nesta ocasião são nada menos do que as da
diretoria-geral de operações e das divisões de recursos humanos e gestão de talentos”

Um dos problemas dos SDAs é que para eles tudo se resume a um dado. Eles
não “enxergam” quem de fato está na ponta do processo, o que essa pessoa está
passando, se perdeu alguém querido, se está estressado, se enfrenta alguma
frustração ou qualquer outro sentimento ou realidade que pode prejudicar
eventualmente o seu desempenho. Assim, para uma inteligência artificial, temos um
trabalhador-dado, completamente reduzido e dissociado das complexidades que o
tornam humano.

Ao discutir o que vem acontecendo com os algoritmos que decidem quem pode
ser mandado embora de uma empresa, Echarri (2021) traz uma abordagem muito
relevante de Frank Pasquale no livro “News Laws of Robotic” (“Novas Leis da
Robótica”). Para o intelectual,

(...) a inteligência artificial nunca deve suplantar a

experiência e a capacidade de raciocínio humanas em
“áreas que tenham claras implicações éticas”. Ou
seja, uma máquina nunca pode decidir em quem atirar
nem a quem demitir, porque fará isso baseada
exclusivamente em critérios de eficiência. Decisões
desse tipo não podem ser automatizadas. Não podem
ser dissociadas de um processo de "reflexão
responsável", uma ferramenta exclusivamente
humana. Para o professor Pasquale, o "chefe digital"
sempre será um tirano, porque desumaniza as
pessoas ao tratá-las como se não fossem seres
humanos, "ao transformá-las em meras ferramentas e
 64

negar a sua condição de criaturas racionais e livres"

(ECHARRI, 2021).

2.3. Reconhecimento facial

“Hoje, você é vigiado por uma rede de

sistemas de vigilância inteligentes. Você é
rastreado por seus dispositivos pessoais,
monitorado por plataformas sociais e visado
por corporações invasoras. Você pode não
saber seus nomes. Mas eles sabem o seu.
Cada decisão é coletada e arquivada, em
algum lugar, por alguém. Não consentimos.
Não nos submetemos.” 45

Big Brother Watch

O reconhecimento facial, já citado no capítulo 1, é um sistema de decisão

automática que vem sendo cada vez mais utilizado, no Brasil e no mundo, em áreas
diversas. Seu uso é justificado, principalmente, pela narrativa de promoção da
segurança, redução de fraude e eficiência. Esta tecnologia visa à identificação de
objetos, rostos e biometrias e à verificação da identidade através de imagens.
A partir da captação da imagem do rosto (foto ou vídeo), os sistemas de
aprendizado de máquina fazem uma análise da geometria das faces, buscando
reconhecer os 80 pontos nodais, em média, como a distância entre os olhos, a largura
do queixo e o comprimento da boca, que contribuem para uma espécie de “assinatura
facial”. Ela é única, como acontece com a digital de dedo e, em função disso, pode
ser considerada um dado biométrico46. “Assim, quando as assinaturas faciais são
compatíveis, é possível identificar um sujeito de forma automatizada” (REIS;
ALMEIDA; DA SILVA e DOURADO, 2021, p. 3).

45
No original: “Today, you are watched by a network of intelligent surveillance systems.You are tracked
by your personal devices, monitored by social platforms and targeted by invasive corporations. You may
not know their names. But they know yours. Every decision is collected and archived, somewhere, by
someone. We do not consent. We do not submit.” Disponível: https://bigbrotherwatch.org.uk/about/.
Acesso em: 12 out. 2021.
46
De acordo com o decreto nº 10.543, de 13 de novembro de 2014, a validação biométrica é definida
como a confirmação da identidade da pessoa natural a partir da aplicação de método de comparação
estatístico de medição biológica das características físicas de um indivíduo com objetivo de identificá-
lo unicamente com alto grau de segurança.
 65

Figura 7 - Reconhecimento facial: pontos nodais

Fonte: Tecmundo47

O uso destas aplicações é bem amplo no nosso dia a dia e só foi possível a
partir da explosão de dados48. Elas são empregadas em pontos de venda para
melhorar a experiência do consumidor, na publicidade, nos filtros do Instagram, no
cadastro de clientes de bancos, no sistema de acesso de vários modelos de celular,
até em sistemas de segurança privada e pública, monitorando de aeroportos a ruas.
De forma resumida, estes sistemas podem ser usados para:

● Análise facial: Identifica e autentica o usuário de um serviço ou produto,

inferindo características a partir das marcas biométricas como idade ou
estado emocional. Neste caso, a pergunta que a tecnologia faz é: “você
é quem afirma ser?”;

● Reconhecimento facial: verifica a identidade de uma pessoa (como no

desbloqueio de celulares) ou identifica uma pessoa em meio a várias
outras (como o caso de monitoramento de ruas). Nesta categoria, o
sistema busca responder à pergunta: “quem é você?” Para isso, ele
compara a imagem captada com uma base de dados (procurados pela
polícia, desaparecidos, RG, etc.)

47
Disponível em:
https://www.tecmundo.com.br/camera-digital/10347-como-funcionam-os-sistemas-de-
reconhecimento-facial.htm.Acesso em: 06 set. 2021.
48
Atualmente, a produção e captura de novos dados está estimada, em nível global, em torno de 40
zettabytes segundo a IDC, que prevê o crescimento desses novos dados para 175 zettabytes em 2025
(REINSEL; GANTZ; RYDNING 2018).
 66

Para fazer o reconhecimento facial, o machine learning faz uma classificação,

atribuindo uma probabilidade de que uma face de entrada corresponda a uma outra
presente nos dados. A partir disso, o classificador determina se é verdadeiro ou falso.

Assim que o modelo é construído pelo algoritmo de

aprendizagem a partir dos dados de treinamento, um
outro conjunto é utilizado para avaliar o modelo,
chamado de dados de teste. Os dados de teste são
compostos por exemplos que o algoritmo de
aprendizagem nunca viu antes. Um modelo que
desempenha bem predizendo estas novas entradas é
entendido como um modelo que generaliza bem
[Burkov, 2019]. ( (RUBACK; AVILA; CANTEIRO,
2021, p.3 ).

2.3.1. Um raio X do uso do reconhecimento facial

O 11 de Setembro, dia do histórico ataque contra os Estados Unidos, ampliou

o desenvolvimento e o uso de tecnologias de vigilância, como o reconhecimento facial,
pelo governo norte-americano e pelo mundo em geral. O Centro Carnegie Endowment
for International Peace publicou, em 2019, o estudo The Global Expansion of AI
Surveillance (A expansão global da vigilância por inteligência artificial) cita que 75 dos
176 países estudados estavam usando tecnologias de vigilância por IA, “incluindo
plataformas de cidade inteligente e cidade segura, sistemas de reconhecimento facial
e policiamento inteligente, segundo as classificações do índice”49.
Na China, uma lei determina que todos os chineses tenham seu rosto
arquivado nos bancos de dados do governo. Para isso acontecer, é obrigatório que
cada pessoa digitalize o rosto ao contratar uma nova linha de celular ou novo plano
de dados por telefone. O reconhecimento facial é usado para autenticar serviços
diários como a realização de pagamentos, a entrada no metrô e alimentar o sistema
de “crédito social”, um tipo de classificação que afeta tudo. Este sistema chinês avalia
cada cidadão por meio de dados coletados na internet, em registros governamentais
e reconhecimento facial, para definir uma pontuação a partir da qual serão

49
Disponível em:
https://www.estadao.com.br/infograficos/internacional,tecnologia-usada-na-guerra-ao-terror-deixa-era-
da-hipervigilancia-como-legado,1193640. Acesso em: 07 set. 2021.
 67

estabelecidas punições ou recompensas. Um crédito ruim pode eliminar, por exemplo,

a chance de uma pessoa ser matriculada em uma escola menor.
Ainda na China, existe um projeto de vigilância de áreas públicas através de
reconhecimento facial chamado de Sharp Eyes.

Lançado em 2015 e inicialmente focado em áreas

rurais, para suprir a carência de policiamento nessas
regiões, nos últimos anos, o Sharp Eyes vem
expandindo sua atuação na China por meio da
integração entre as áreas urbanas e o campo. A meta
para 2020 era estabelecer uma rede nacional e criar
uma vigilância total, sem pontos cegos, para
acompanhar 1,4 bilhão de habitantes.50

A pandemia de Covid-19 também estimulou a implantação de uma infinidade

de Sistemas de Decisão Automática, que usam tecnologias como reconhecimento
facial, para ajudar a conter o surto, identificando, por exemplo, as pessoas que não
usam máscara ou não respeitam a quarentena.51 Moscou, capital da Rússia, é um
destes casos. Com 170 mil câmeras, em 2020, 100 mil delas eram capazes de
identificar um rosto automaticamente para reconhecer quem não cumpria as
determinações, multar e até prender.52.

O reconhecimento facial, rapidamente, está se tornando a norma. Esta é a

conclusão do relatório Automating Society de 2020, da iniciativa Algorithm Watch53.
Para se ter uma ideia sobre o crescimento exponencial do emprego de
reconhecimento facial, o Comparitech, site que reúne pesquisas sobre uso de
tecnologias, analisou 100 países54 e sinalizou que, de 2020 a 2025, o mercado global
desta tecnologia em particular vai saltar de 3,8 bilhões de dólares para 8,5 bilhões55.

50
Disponível em: https://www.uol.com.br/tilt/noticias/redacao/2021/03/23/china-ja-usa-
reconhecimento-facial-em-quase-100-dos-seus-espacos-publicos.htm. Acesso: 07 set. 2021.
51
Um bom mapeamento sobre usos de tecnologias no combate à Covid pode ser encontrado no
relatório ADM Systems in the COVID-19 Pandemic: A European Perspective da Algorithm Watch.
Disponível em: https://algorithmwatch.org/en/automating-society-2020-covid19/. Acesso: 11 nov. de
2020.
52
Disponível em: https://canaltech.com.br/inteligencia-artificial/russia-esta-usando-reconhecimento-
facial-contra-a-covid-19-162328/. Acesso: 23 de nob. 2020.
53
No original: “The face recognition seems to be rapidly becoming the norm.” Disponível em: <
https://automatingsociety.algorithmwatch.org/wp-content/uploads/2020/12/Automating-Society-Report-
2020.pdf. Acesso em: 08 nov. 2020.
54
Segundo a Comparitech os resultados da Coreia do Norte foram omitidos devido à falta de dados
claros.
55
Disponível em:
https://www.comparitech.com/blog/vpn-privacy/facial-recognition-statistics/. Acesso em: 30 ago. 2021.
 68

Os principais achados da Comparitech, que foram divulgados em junho de

2021, são:
● 6 países não tinham evidências de uso de reconhecimento facial.
Provavelmente por: orçamentos / falta de tecnologia / oposição à
tecnologia;
● 2 países no mundo baniram o reconhecimento facial - Bélgica e
Luxemburgo;
● 7 em cada 10 governos estão usando reconhecimento facial em larga
escala;
● 70% das forças policiais têm acesso a alguma forma de reconhecimento
facial;
● 60% dos países têm reconhecimento facial em alguns aeroportos;
● Quase 20% dos países têm reconhecimento facial em algumas escolas;
● Quase 80% dos países estão usando reconhecimento facial em algumas
de suas instituições bancárias / financeiras;
● Cerca de 40% dos países implementaram reconhecimento facial em
alguns locais de trabalho;
● 2% dos países têm reconhecimento facial em alguns ônibus, enquanto
30% têm em alguns trens / metrôs;
● Mais de 40% dos países estão usando o reconhecimento facial de
alguma forma para tentar rastrear, monitorar ou reduzir a transmissão
de Covid-19.

2.3.1.1 O cenário brasileiro

O reconhecimento facial também tem sido muito usado pelo setor público
brasileiro. Segundo o Instituto Igarapé56, o primeiro caso reportado foi um piloto
realizado em 2011 em Ilhéus na Bahia. Mas o uso aumentou mesmo a partir de 2019:
30 municípios de 16 estados estavam usando esta tecnologia. O Instituto levantou que

56
O Instituto Igarapé é uma ONG focada nas áreas de segurança pública, climática e digital e suas
consequências para a democracia. Seu objetivo é propor soluções e parcerias para desafios globais
por meio de pesquisas, novas tecnologias, comunicação e influência em políticas públicas, com
soluções baseadas em dados.
 69

naquele ano existiam 47 iniciativas público-privadas em áreas como transporte (21),

segurança pública (13), educação (5), controle de fronteiras (4) e outros (4) 57.
Por que houve um aumento em 2019? Neste ano, uma comitiva de
parlamentares do Brasil foi à China para importar o sistema de câmeras de rua, que é
empregado pelo governo daquele país para o reconhecimento facial dos cidadãos 58.
O incentivo para o emprego de reconhecimento facial foi ampliado ainda mais quando,
também em 2019, o ex-ministro da Justiça e Segurança Pública, Sergio Moro, baixou
uma portaria para incentivar a adoção da tecnologia na segurança pública através de
apoio financeiro.

Figura 8 - Portaria nº 793 de 24 de outubro de 2019

57
Disponível em: https://igarape.org.br/infografico-reconhecimento-facial-no-brasil/. Acesso:06 set.
2021.
58
Disponível em https://olhardigital.com.br/2019/01/16/noticias/sistema-de-reconhecimento-facial-
chines-pode-chegar-ao-brasil-ainda-em-2019/. Acesso: 13 nov. 2020.
 70

O Panóptico, projeto do Centro de Estudo e Cidadania (CESec), tem analisado

o aumento do interesse pelo uso de reconhecimento facial pelas instituições de
segurança pública, como mostra a figura abaixo.

Figura 9 - Crescimento do interesse do Ministério da Justiça e Segurança Pública

Fonte: Panóptico59

59
Disponível em: https://opanoptico.com.br/. Acesso em: 03 jun. 2021.
 71

Entre 2018 e 2019, o projeto identificou 10 casos de sistemas de

reconhecimento facial que foram implantados na área de segurança pública, como
mostra a tabela a seguir.

Tabela 2 - Reconhecimento facial na segurança pública no Brasil (2018 a 2019)

Ano Cidade Estado Órgão

2018 Campinas São Paulo Prefeitura

2018 Salvador Bahia Secretaria de Segurança Pública

2019 Parintins Amazonas Secretaria de Segurança Pública

2019 Fortaleza Ceará Secretaria de Segurança Pública e

Defesa Social

2019 Campina Grande Paraíba Prefeitura

2019 Pilar Alagoas Guarda Municipal

2019 Feira de Santana Bahia Secretaria de Segurança Pública

2019 Belo Horizonte Minas Gerais Polícia Civil e Polícia Militar

2019 Rio de Janeiro Rio de Janeiro Secretaria de Estado de Polícia

Militar e Polícia Civil

2019 Porto Alegre Rio Grande do Sul Secretaria Municipal de Segurança

Fonte: Panóptico60

Um levantamento do Intervozes sobre o discurso dos candidatos às eleições

municipais concluiu que, dos 26 prefeitos de capitais que tomaram posse em 2021,
17 apresentaram propostas com a previsão do uso de tecnologias de informação e
comunicação na segurança pública. Quatro deles defenderam, expressamente, o
reconhecimento facial (MELO, 2021) com uma das respostas à violência e aliado do
setor público:

● Florianópolis (Santa Catarina) - DEM: ampliação do

videomonitoramento, com uso de tecnologia de reconhecimento facial e
análise de comportamento dissonante;

60
Disponível em: https://opanoptico.com.br/. Acesso em: 03 jun. 2021.
 72

● Vitória (Espírito Santo) - Republicanos: análise de reconhecimento facial

e comportamental e mapeamento das áreas com maior incidência de
crimes (integração das câmeras de segurança com o sistema de
monitoramento eletrônico);

● Aracaju (Sergipe) - PDT: Implantação do cercamento eletrônico da

cidade, com câmeras e softwares, leitura de placas e reconhecimento
facial;

● Palmas (Tocantins) - PSDB: implantação de um sistema integrado de

reconhecimento facial e utilização das tecnologias de comunicação e
informação para combate à criminalidade.

O Lapin (Laboratório de Políticas Públicas e Internet) também tem monitorado

o uso do reconhecimento facial, mas sem restringir a pesquisa à segurança pública.
A iniciativa divulgou um relatório, em 2021, que aponta, pelo menos, 22 casos de
monitoramento facial pela administração pública brasileira (municipal, estadual e
federal) em todas as regiões do País.
O levantamento foi feito com base em notícias, 25 questionários via Lei de
Acesso à Informação e em 14 entrevistas com pesquisadores, representantes de
autoridades públicas e de empresas. No relatório, o Lapin reúne casos de uso de
reconhecimento facial pelo poder público com seis finalidades: segurança pública;
transporte urbanos; escolas; sistemas para gestão de benefícios sociais; controle
alfandegário e validação de identidade.

● Segurança pública: além do uso de câmeras de videomonitoramento,

a tecnologia tem sido usada principalmente para identificar procurados
pela polícia. Segundo o Lapin, até janeiro de 2021, mais de 201
foragidos foram identificados através de reconhecimento facial usado
pela Secretaria de Segurança Pública da Bahia;

● Transporte urbano: a tecnologia é empregada para identificar se quem

está usando um benefício, como o passe livre, é a realmente a pessoa
 73

que tem o direito à assistência. A cidade de São Paulo e o Distrito

Federal têm usado reconhecimento facial com esta finalidade;

● Escolas e benefícios sociais: as Secretarias Estaduais de Alagoas,

Goiás e Tocantins usam para controle de presença escolar e acesso a
benefícios sociais, confirmando a identidade do estudante ou
beneficiário;

● Controle Alfandegário: usado pela Receita Federal em diferentes

aeroportos brasileiros;

● Validação de identidade: tecnologia da empresa pública Serviço

Federal de Processamento de Dados (SERPRO) para validar a
identidade junto a órgãos públicos e empresas privadas, com base em
dados biométricos da face disponibilizados na foto da Carteira Nacional
de Habilitação (CNH).

Outro levantamento foi feito pela iniciativa Coding Rights, que tem foco nos
estudos sobre tecnologia, gênero e direitos humanos61. Ela lançou uma pesquisa em
janeiro de 2021, com apoio da ONG Privacy International, analisando os sistemas de
reconhecimento facial usados no Brasil para verificação da identidade, como a CNH.

Gradualmente, de cada vez mais serviços públicos

que passam a ser disponíveis via a plataforma
meugov.br62, por exemplo, serviços do INSS, Receita
Federal, MEI, ENEM, entre outros. (...) Na maioria
desses serviços, o Serviço Federal de Processamento
de Dados (SERPRO), empresa pública de tecnologia
da informação, é o provedor de software de
reconhecimento facial (SILVA; VARON, 2021, p. 43).

61
A Coding Rights é uma organização feminista “focada em mostrar as assimetrias de poder por trás
do uso e implementação de determinadas tecnologias. Fazemos análises feministas e de direitos
humanos sobre o uso de tecnologias, sempre pautadas pela troca em redes de coletivos e defensoras
de direitos humanos, particularmente coletivas de ciberfeministas e de mulheres e população LGBTQI+.
(SILVA; VARON, 2021, p. 43).
62
O Meu gov.br é um aplicativo que, através de reconhecimento facial, permite que o cidadão possa
buscar o Portal gov.br e solicitar os mais de 1,5 mil serviços digitais (federais, estaduais ou municipais)
com um um login único. Disponível em: https://www.gov.br/pt-br/apps/meu-gov.br.
Acesso em: 07 set. 2021.
 74

As pesquisadoras do estudo da Coding Rights fizeram várias perguntas,

através de 10 pedidos de Lei de Acesso à Informação, para o SERPRO, Ministério da
Economia, INSS, Receita Federal, Dataprev e Banco do Brasil. Uma das questões
buscou entender quais sistemas que usam a tecnologia de reconhecimento facial e
com qual finalidade. A resposta, enviada de 07 de agosto de 2020, informa que

O SERPRO possui diversos serviços que utilizam a

tecnologia de reconhecimento facial, dentre eles o
Datavalid63, o Biovalid64, CDT, CPF-Digital, Acesso
Gov Br, ID Estudantil, Embarque Seguro. Esses
softwares foram desenvolvidos pelo SERPRO para os
nossos clientes a fim de prover maior segurança no
provimento de seus serviços, e ofertar serviços ao
mercado que promovam maior segurança na
prevenção de fraudes, proteção ao crédito, validação
de prova de vida, etc. (SILVA; VARON, 2021, p. 44).

Até agora, apontamos os principais usos da tecnologia de reconhecimento

facial que, como já citamos, são empregados com um discurso de ampliação da
segurança e eficiência. Mas como refletem Mariah Rafaela Silva e Joana Varon (2021,
p. 9), a questão central é “segurança e eficiência para quem? Pois, muitas vezes, a
implementação dessas tecnologias automatiza e massifica velhos preconceitos e
estigmas sociais, alimentando estruturas de dominação”. E desta foram, elas geram
“riscos principalmente às populações historicamente vulnerabilizadas e
estigmatizadas, em especial pessoas negras, LGBTI e pobres”, como veremos a
seguir.

2.3.2. Os perigos do reconhecimento facial

63
O Datavalid é um serviço que valida as informações e faz a verificação dos dados ou imagens de
uma pessoa. No caso da validação biométrica, ele compara a foto da face da pessoa com a da CNH.
Ele pode ser usado em serviços públicos ou privados; por entidades de classe; instituições financeiras;
locadoras de veículos; aplicativos; companhias aéreas; seguradoras, e-commerce; empresas de
tecnologia e de varejo, entre outras. Disponível em https://www.loja.serpro.gov.br/datavalid. Acesso: 07
set. 2021.
64
O BioValid é um aplicativo para fazer “prova de vida”. Ele promete comprovar a identidade do usuário
sem a necessidade da presença física do mesmo e pode ser usado em serviços públicos ou privados;
por entidades de classe; instituições financeiras; locadoras de veículos; aplicativos; companhias
aéreas; seguradoras, e-commerce; empresas de tecnologia e de varejo, entre outras. Disponível
em:https://www.loja.serpro.gov.br/biovalid. Acesso em: 07 set. 2021.
 75

Em função dos riscos e impactos negativos que podem ser causados pelos
Sistemas de Decisões Automatizadas com base nas tecnologias de reconhecimento
facial, alguns lugares baniram totalmente esta tecnologia como nos Estados Unidos e
a Europa tende a proibi-lo por considerá-lo uma intrusão profunda e não democrática
na vida privada das pessoas65.
O Instituto Igarapé e o Data Privacy Brazil Research elaboraram um estudo,
em 202066, sobre regulação do reconhecimento facial no setor público em quatro
países: Inglaterra, França, Estados Unidos e Brasil. Este trabalho aponta que o ponto
fraco, no caso do Brasil, é
a ausência de uma legislação única, ou de um órgão
central que faça a fiscalização do emprego dos
sistemas de reconhecimento facial dificulta a
observância dos princípios, de modo que violações a
direitos e garantias individuais possam ocorrer
sem a devida responsabilização (negrito da autora,
FRANCISCO; HUREL; RIELLI, 2020).

Com base nos estudos da Transparência Brasil, Coding Rights, Lapin, O’Neil
(2020), Silva (2021), entendo que o reconhecimento facial:

● Impacta negativamente o princípio da presunção de inocência;

● Não observa os princípios da transparência;
● Pode favorecer excessos policiais;
● Favorece projetos autoritários e a consolidação de um estado de
hipervigilância;
● O custo-benefício da implantação não compensa;
● Não é possível pressupor boa-fé de empresas de tecnologia;
● Vazamentos de dados sensíveis,67 como a biometria, geram danos
irreversíveis e imprevisíveis;

65
Disponível em: https://www1.folha.uol.com.br/tec/2021/04/reconhecimento-facial-deve-ser-banido-
na-uniao-europeia-diz-regulador-de-privacidade.shtml. Acesso em: 02 mai. 2021.
66
Disponível em: https://igarape.org.br/wp-content/uploads/2020/06/2020-06-09-
Regula%C3%A7%C3%A3o-do-reconhecimento-facial-no-setor-p%C3%BAblico.pdf. Acesso em: 22
de abr. 2021.
67
De acordo com a Lei Geral de Proteção de Dados no Brasil (LGPD, é considerado um dado pessoal
sensível o que revela “origem racial ou étnica, convicção religiosa, opinião política, filiação a sindicato
ou a organização de caráter religioso, filosófico ou político, dado referente à saúde ou à vida sexual,
dado genético ou biométrico, quando vinculado a uma pessoa natural”. Disponível em:
http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm#art65. Acesso 03 out. 2021.
 76

● É impreciso;
● Viola os direitos humanos;
● Viola os direitos de crianças e adolescentes;
● Reproduz vieses, potencializam discriminações e preconceitos
estruturais.

Para a iniciativa Transparência Brasil (2020b), as tecnologias de

reconhecimento facial ferem o princípio de inocência 68 e invertem

a lógica do direito penal em um Estado Democrático

de Direito em que toda investigação que impacte
direitos (no caso, direito à intimidade, privacidade e
proteção de dados pessoais) deve partir de uma
suspeita fundada. Enquanto o reconhecimento facial
estabelece a vigilância a priori de todos os cidadãos
de maneira geral, onipresente e remota, isto é, sem
controle e percepção do cidadão.69

Em relação à opacidade destes sistemas, segundo entendimento da

Transparência Brasil (2020b), “ainda que as atividades de segurança pública estejam
excluídas da aplicação da Lei Geral de Proteção de Dados, elas precisam estar em
adequação aos seus princípios. A própria Lei prevê a necessidade de uma lei
regulamentadora sobre a questão70. A falta de transparência dificulta a defesa sobre
as determinações resultantes destes tipos de SDAs.
Tarcízio Silva (2021) cita alguns estudos que mostram que o fato das pessoas
verem essas tecnologias como neutras e objetivas ajuda a favorecer os excessos
policiais, estimulando ações impulsivas a partir dos indícios oferecidos por elas. O
pesquisador exemplifica dois casos de reconhecimento facial: em um deles, um
homem chegou a ser preso em Michigan, apesar da grande diferença entre sua
imagem e a que os policiais buscavam.

68
A Transparência Brasil analisou três ferramentas de reconhecimento facial usadas pelo
Departamento de Polícia Federal no Brasil: uma ferramenta que utiliza técnicas de reconhecimento de
imagens, reconhecimento facial e perfil criminal; uma ferramenta de classificação de imagens que
estima o índice de determinada imagem conter nudez, e uma ferramenta de reconhecimento facial e
classificação de imagens que: i) auxilia na identificação de rostos; ii) classifica rostos em grupos de
idades, iii) identificar objetos em cenas e, iv) estima a probabilidade de determinada imagem conter
nudez.
69
Disponível em:https://www.transparencia.org.br/projetos/transparencia-algoritmica. Acesso em: 03
de mar. 2021.
70
Disponível em:https://www.transparencia.org.br/projetos/transparencia-algoritmica. Acesso em: 03
de mar. 2021.
 77

A outra situação citada por Silva (2021) ocorreu em Londres. Um estudo

etnográfico71 revelou que era comum que os policiais não esperassem pelo processo
de decisão, na sala de controle, após o alerta do sistema. Ou seja, havia uma
presunção a favor da intervenção. Entretanto, os alertas emitidos pela tecnologia eram
precisos em menos de 20% das ocorrências.
Em um relatório de 2018, o grupo do Reino Unido Big Brother Watch conta que
descobriu em uma campanha que:

● As correspondências de reconhecimento facial da Polícia Metropolitana

eram 98% imprecisas;

● A polícia armazenava fotos de todas as pessoas inocentes

incorretamente correspondidas por reconhecimento facial por um ano.
Este procedimento acontecia sem o conhecimento delas e ajuda a
formar um banco de dados biométrico de 2.451 pessoas inocentes.

Um dos principais problemas sobre as taxas de erros são os falsos positivos,

quando uma pessoa é identificada erroneamente como se fosse outra. Mas também
ocorrem os falsos negativos, quando o sistema não reconhece quem ela é de fato.
No caso das tecnologias de reconhecimento facial, “os erros podem
representar constrangimentos, prisões arbitrárias e violações de direitos humanos”
(NUNES, 2019), como o que aconteceu com uma mulher no Rio de Janeiro, que foi
presa após ser identificada por um sistema de reconhecimento facial com uma mulher
condenada72.
Tarcízio Silva (2021) acredita que o custo-benefício para a captura de
condenados não justifica a coleta massiva de dados biométricos. Sobre o caso de
Londres, ele lembra que a milionária implementação da tecnologia de reconhecimento
facial reuniu fotos de mais de 2400 pessoas. O resultado? Oito prisões. “Dados
proporcionais ainda piores são reportados no Brasil, onde a gigantesca infraestrutura
de reconhecimento facial foi implementada na Micareta de Feira de Santana, Bahia,

71
O estudo citado por Tarcízio Silva é o de Fussey e Murray. Disponível em:
https://48ba3m4eh2bf2sksp43rq8kk-wpengine.netdna-ssl.com/wp-content/uploads/2019/07/London-
Met-Police-Trial-of-Facial-Recognition-Tech-Report.pdf. Acesso em: 16 mai. 2021.
72
Disponível em: https://www.metropoles.com/ distrito-federal/transporte-df/biometria-facial-nos-
onibus-nao-reconhece-mudanca-visual-de-alunos. Acesso em: 8 abr. 2021. Acesso em: 19 set. 2020.
 78

[em 2019], coletando e vulnerabilizando 1,3 milhões de rostos para o cumprimento de

apenas 18 mandatos”, reflete SILVA (2021)73. E os 18 mandados resultaram em 15
prisões. Ou seja, mais de 96% dos alertas não tiveram resultado.
Este tipo de ação pode ser comparada “ao envio de uma ambulância para
socorrer um possível paciente. Se 9 de cada 10 chamadas não houver uma
emergência real, teremos o desperdício do dinheiro público e a alocação inútil de
tempo e pessoal (NUNES, 2019). Além disso, como explica Nunes, pessoas que
querem escapar do monitoramento podem usar camuflagem como pinturas faciais,
como já ocorreu com manifestantes em Hong Kong. No caso do carnaval brasileiro,
essa questão também tem que ser levada em consideração, uma vez que muitos
foliões usam maquiagem. Um caso de como a tecnologia pode ser falha e que não
envolve a questão de segurança, mas também de identificação, ocorreu em Brasília.
Uma estudante não foi reconhecida pelo sistema de reconhecimento facial porque
passou a usar cabelo cacheado. Por causa disso, ela teve o benefício do passe livre
bloqueado74.
Mesmo com denúncias de imprecisão e com o questionamento sobre a relação
custo-benefício, o uso de reconhecimento facial nos espaços públicos está
crescendo, o que aumenta a preocupação quanto à consolidação de uma sociedade
de vigilância, com a formação de um espaço de “suspeição contínua e indiscriminada"
(SILVA, 2021), o que representa grande serventia a projetos autoritários e
antidemocráticos. O relatório da LAPIN de 2021 concluiu que a vigilância em massa
através de dados biométricos ocorre de forma irrestrita, sem definição prévia de um
alvo específico e, muitas vezes, de forma ininterrupta.
Para Silva (2021), “a infraestrutura estabelecida em contextos com alguma
garantia institucional pode ser facilmente arma de potencial inédito de dado em
ditaduras ou guerras civis”. Na China, por exemplo, há denúncias de que a tecnologia
de reconhecimento facial foi usada para rastrear a minoria étnica uigure, com base
em sua aparência, consolidando um registro de seus deslocamentos. 75 Rafaela Silva

73
Para entender o que aconteceu na Bahia, ver
https://g1.globo.com/ba/bahia/noticia/2019/04/29/feira-de-santana-registra-33-prisoes-por-
reconhecimento-facial-durante-micareta.ghtml. Acesso em: 19 set. 2020.
74
Disponível em: https://www.metropoles.com/ distrito-federal/transporte-df/biometria-facial-nos-
onibus-nao-reconhece-mudanca-visual-de-alunos. Acesso em: 20 jun. 2021.
75
Disponível em: https://www1.folha.uol.com.br/mundo/2019/04/como-a-china-usa-a-inteligencia-
artificial-para-rastrear-minoria-etnica.shtml. Acesso em: 15 dez. 2020.
 79

e Varol (2021) reforçam que o potencial de vigilância em massa das tecnologias de

reconhecimento facial focam principalmente em corpos “suspeitos” por causa de
estereótipos arraigados como veremos logo adiante.
Sobre como o reconhecimento facial pode violar os direitos humanos, o
relatório da LAPIN aponta que seu uso “afronta a privacidade, a liberdade de ir e vir,
e a presunção de inocência, já que permite o monitoramento e identificação das
pessoas quando ocupam espaços públicos como se fossem suspeitas”. Sobre os
direitos de crianças e adolescentes, a LAPIN considera que eles também podem ser
violados com o uso do reconhecimento facial. “Por serem sujeitos de direito em seu
desenvolvimento, crianças e adolescentes têm capacidade de discernimento ainda
em formação, o que as deixa mais vulneráveis ao mau uso dos seus dados pessoais
por terceiros”.
Os bancos de dados biométricos envolvem um grande risco em função da
possibilidade de vazamentos de dados, sem contar que, como já vimos, alguns deles,
mesmo públicos, como os que fazem parte da base do Departamento Nacional de
Trânsito (Denatran), são usados pelo SERPRO para validarem operações de
empresas privadas.
Mesmo sem acesso direto, por parte dessas corporações,

ainda assim, existe um problema grave de consentimento e

transparência. Pois não sabemos quais empresas estão
utilizando o software do SERPRO que, como empresa pública,
tem acesso a base de dados biométricos de milhões de
brasileiros cadastrados na base do Denatran. Mesmo que a
empresa tenha afirmado que todo o processamento das
requisições é realizado dentro do DATACENTER do
SERPRO, sem transferência para fora da empresa no
processamento ou validação, teoricamente não cedemos
nossos dados para qualquer uma das empresas privadas que
utilizam o Biovalid. Lembrando que o princípio da finalidade é
diretriz fundamental na Lei Geral de Proteção de Dados, ou
seja, se consentimos com a coleta e processamento do uso
de nossos dados biométricos para a CNH, a finalidade não foi
alimentar um software de reconhecimento facial para
empresas (SILVA; VARON, 2021).

Em relação aos sistemas de reconhecimento facial, vale retornar à questão dos

vieses, que foi introduzida no capítulo 1. Como citado, o viés é uma tendência
associada a fatores externos e às experiências passadas. Os preconceitos e
julgamentos enviesados sobre determinados grupos ou pessoas também podem ser
 80

incorporados em diferentes pontos do processo de desenvolvimento da tecnologia de

reconhecimento facial.
De acordo com a Rede de Observatórios de Segurança (2019) 76, que
acompanhou o reconhecimento facial em cinco estados no Brasil, 90,5% dos presos
por monitoramento facial no Brasil são negros. Portanto, esta tecnologia não
minimizou, até agora, o preconceito das abordagens presenciais, mas acaba sendo
“uma atualização high-tech para o velho e conhecido racismo que está na base do
sistema do sistema de justiça criminal e tem guiado o trabalho policial há décadas”
(NUNES, 2019).
Os modelos racistas geram e confirmam suposições tóxicas, baseadas em
dados e “que parecem confirmá-las e fortalecê-las. Portanto, racismo é o mais
desleixado dos modelos de previsão. Ele é alimentado por coleta irregular de dados e
correlações espúrias, reforçado por injustiças institucionais e contaminado por viés de
confirmação” (O’NEIL, 2020). Isso ocorre, segundo Meredith Broussard 77, porque os
modelos matemáticos são baseados no passado e na ideia de que os padrões irão se
repetir em um looping incessante. Nos sistemas de inteligência artificial, os dados são
sinônimos de destino e se usarmos os modelos de aprendizagem de máquina para
replicarmos nosso mundo como ele é, não vamos progredir socialmente
Na releitura do framework de Suresh e Guttag, Ruback, Avila e Cantero (2021)
apresentam os principais vieses que podem ser inseridos no reconhecimento facial:
a) Viés histórico na pré-coleta: no caso do racismo, por exemplo, este
tipo de viés acontece em função dele ser estrutural. Por isso, ele acaba,
muitas vezes, refletido, como já citado, na construção de dados de
treinamento desbalanceados;

b) Viés de representação ou de amostra (durante a coleta de dados):

o caso da ganaense-americana e cientista de computação, Joy
Buolamwini, que apontamos anteriormente, é um exemplo do viés de
representação. Joy conta no documentário The Coding Bias78, lançado
em 2020, na plataforma Netflix, que quando começou a desenvolver um

76
Disponível em: https://theintercept.com/2019/11/21/presos-monitoramento-facial-brasil-negros/.
Acesso em: 22 fev. 2020.
77
Meredith Broussard aborda essa questão no documentário Coded Bias de 2020.
78
Disponível em: https://www.netflix.com/title/81328723. Acesso em: 05 de ago. 2021.
 81

trabalho para uma disciplina no Media Lab do Instituto de Tecnologia de

Massachusetts (MIT), pegou uma câmera com um software de visão
computacional e se surpreendeu quando ele não registrou seu rosto. Ela
tentou fazer o registro de várias formas. Só deu “certo” quando colocou
uma máscara branca, pois os conjuntos de dados predominantes no
sistema que ela estava usando eram de homens de pele clara. Por isso,
eles não reconheciam rostos como o dela. Foi a partir de sua própria
experiência, que a pesquisadora começou a investigar a questão do viés
na tecnologia. Joy e Gebru (2018) analisaram sistemas de
reconhecimento facial da Microsoft, IBM e da chinesa Face++ na
pesquisa Gender Shades e concluíram que, em geral, homens e
pessoas brancas são melhores classificados e as mulheres negras são
piores (quanto mais escuro for o tom da pele, mais o sistema tem
dificuldades para reconhecer). Isso ocorre em função desta tecnologia
se basear em dados de treinamento desbalanceados, com forte
referencial branco e masculino. Em um vídeo, Joy mostra que os
sistemas erraram o gênero até de personalidades públicas como Oprah
Winfrey e Michelle Obama, que têm uma ampla variedade de fotos na
internet;79

c) Viés de avaliação (etapa de avaliação do desempenho do modelo)80:

quando os dados de teste não representam de forma balanceada os
diferentes subgrupos da população, eles conduzem a este tipo de viés.
Por isso, é importante usar métricas alternativas que trabalham com
impactos desproporcionais e que consideram a razão entre grupos não
privilegiados e privilegiados;

d) Viés de interpretação humana (etapa de pós-processamento): o

norte-americano Robert Julian-Borchak Williams81 foi uma das vítimas

79
Disponível em: Disponível em: https://youtu.be/QxuyfWoVV98. Acesso em: 10 ago. 2021.
80
Quando os dados de teste não representam de forma balanceada os diferentes subgrupos da
população, eles conduzem ao viés de avaliação. Por isso, existem métricas alternativas que trabalham
com impactos desproporcionais e que consideram a razão entre grupos não privilegiados e
privilegiados.
81
Disponível em:
 82

deste tipo de viés. Ele foi preso na frente das duas filhas e da esposa,
sem que os policiais dissessem o motivo. Seu caso pode ser o primeiro
relato conhecido de um americano preso de forma injusta com base em
uma correspondência falha de um algoritmo de reconhecimento facial,
representando um caso de falso positivo82, que ocorre principalmente
com os negros. Para evitar injustiças como a de Robert, a identificação
de um suspeito pelo SDA deve sempre ser checada por uma pessoa.
Mas, em algumas circunstâncias, como vimos, “as autoridades que
buscam a punição criminal de alguém já consideram o resultado do
modelo como prova da prática do crime, muitas vezes sem dar
continuidade às investigações” (RUBACK; AVILA; CANTERO, 2021).

Existem ainda muitos outros casos de vieses nos sistemas de reconhecimento

facial. Um estudo da Universidade do Colorado (EUA), de 2019, também concluiu que
a tecnologia erra mais em rostos de pessoas trans em comparação às que se
identificam com o sexo em que nasceram (cisgêneros). Em relação às pessoas não-
binárias, agêneros e queer, ocorreram erros em todas as tentativas analisadas no
trabalho.

Tabela 3- Reconhecimento facial e o recorte de gênero

Gênero Precisão Gênero Precisão

Mulheres cis 98,3% Mulheres trans 87,3%

Homens cis: 97,6% Homens trans 70,5

https://noticias.uol.com.br/internacional/ultimas-noticias/2020/06/30/reconhecimento-facial-nao-
funciona-95-das-vezes-diz-policia-de-detroit.htm. Acesso em: 10 jul. 2020.
82
Para deixar mais claro o conceito de “falso positivo”, iremos dar um exemplo, de um SDA que
determina se uma pessoa é assaltante ou não a partir do reconhecimento das imagens. a- verdadeiro
positivo: a pessoa é o assaltante e a IA prediz “assaltante”; b- verdadeiro negativo: a pessoa não é o
assaltante e a IA prediz “não é o assaltante”; c- falso positivo: a pessoa é o assaltante, mas a IA prediz
“não é o assaltante”; d- falso negativo - a pessoa não é o assaltante, mas a IA prediz “é o assaltante”.
 83

Fonte: Alves (2021)

No Brasil, o estudo da Coding Rights discute como a adoção da tecnologia de

reconhecimento facial para verificar identidade “pode ameaçar conquistas alcançadas
no campo da personalidade humana e no próprio direito à autodeterminação de
gênero” (SILVA; VARON, 2021, p.14). Ainda segundo as pesquisadoras, tecnologias
que classificam de maneira automática corpos e gênero, a partir de modelos
algoritmos cisgêneros e binários de classificação (p. 41), reforçam os “velhos
paradigmas de classificação das diferenças entre homens e mulheres” (SILVA;
VARON, 2021, p.14), em uma “sociedade que se baseia, em geral, em critérios que
oscilam entre ‘normal’ e ‘anormal’’ (p. 41). E quando ocorre um erro, o sistema reitera
práticas de exclusão, eliminação e separação (p. 15).

2.4 O lado B do Processamento de Linguagem Natural

Toda vez que alguém usa um celular, um computador ou outro equipamento

tecnológico, utiliza uma interface para efetuar comandos e receber respostas
(feedback). Para nós, a forma mais fácil disso ser realizado é através de nossa
linguagem natural. Mas a máquina tem sua própria linguagem para processar
informações. Então, foi preciso desenvolver uma forma de fazer as máquinas
compreenderem a nossa fala ou escrita. Foi aí que entrou em cena o campo de
estudos, dentro da Inteligência Artificial, chamado Processamento de Linguagem
Natural (PLN) ou, em inglês, Natural Language Processing (NLP).

O PLN tem vários desafios para compreender a linguagem natural. Eles

envolvem questões como o entendimento de suas nuances; vários significados para
uma mesma palavra; compreensão da ironia e de conceitos abstratos; análise da
gramática; contexto e cultura. A máquina também precisa levar em conta o tom de voz
e o encadeamento das frases. Além disso, ela precisa dar uma resposta “adequada”
com base nas decisões tomadas automaticamente.

O Processamento de Linguagem Natural tem várias aplicações, como:

 84

● Mecanismos de busca: eles necessitam entender tanto o que os usuários

digitam quando buscam alguma coisa como compreender o conteúdo de cada
página da web;
● Análise de sentimento: é muito usada para descobrir a opinião de clientes em
posts nas redes sociais, identificando reações positivas ou negativas;
● Assistentes pessoais virtuais: o Siri e o Google Assistant, por exemplo, abrem
aplicativos, enviam mensagens e procuram respostas na internet após
receberem um comando de voz. Também tem os assistentes que operam em
casa, como o Google Home e o Amazon Echo, e que, ao receberem comandos
de voz, agem controlando desde a iluminação ao sistema de climatização;
● Chatbots: robôs (bots) que trocam mensagens (chat) com os usuários,
possibilitando um atendimento automatizado. Os mais simples trabalham com
comandos preestabelecidos, usando uma “árvore de respostas” para as
pessoas escolherem opções com números, por exemplo, para o atendimento
continuar. Já os chatbots mais complexos conseguem interpretar a linguagem
natural. A partir de uma base de dados construída com diálogos do passado,
eles podem aprender sozinhos qual é a melhor resposta para determinado caso
(aprendizagem de máquina).

Apesar das inúmeras possibilidades de uso, a conclusão do levantamento da

Transparência Brasil (2020a) sobre o emprego de ferramentas de inteligência artificial
como o processamento de linguagem natural é que elas podem carregar vieses contra
pessoas de baixa renda que não tenham um bom domínio da norma culta da língua
ou que usem termos e expressões mais informais, abreviações ou gírias. Em função
disso, o PLN pode impactar negativamente pessoas de grupos sociodemográficos
marginalizados, principalmente no caso da segurança pública, podendo levar à
privação de liberdade e, em algumas vezes, até à ameaça à vida.

O quadro, a seguir, apresenta uma análise feita pela Transparência Brasil sobre
uma ferramenta usada no Brasil durante o levantamento.

Tabela 4 -Análise da Transparência Brasil sobre uma aplicação de PLN pelo DPF

Órgão DPF – Departamento de Polícia Federal

 85

Ferramenta Ferramenta que utiliza processamento de linguagem natural para realizar

estimativas de risco (incluindo a detecção de fraudes). A ferramenta
auxilia no reconhecimento de entidades (nomes de pessoas, empresas,
endereços, valores, e-mails, números de telefone, etc)

Impacto negativo a Os sistemas de PLN na segurança pública, quando não analisados para
direitos detecção de possíveis vieses, podem impactar negativamente o
princípio da presunção de inocência.

Ainda que as atividades de segurança pública estejam excluídas da

aplicação da Lei Geral de Proteção de Dados, precisam estar em
adequação aos seus princípios.

Esta ferramenta não observa os princípios da transparência e da

não-discriminação, uma vez que não há indícios dos cuidados que
foram adotados para sua utilização.

Tem impacto no ambiente social por meio de bases de dados

possivelmente enviesadas.

O fato de o sistema funcionar melhor com textos que seguem a norma

culta da língua pode levar a falsos positivos ou falsos negativos,
prejudicando pessoas com diferentes níveis de escolaridade e a ausência
de transparência sobre os critérios aplicados para evitar possíveis vieses,
podem acentuar o impacto negativo da ferramenta.

Fonte: Transparência Brasil, relatório de fevereiro/2020b, p. 41 (grifo da autora)

2.5 Máquinas de (in)justiça

As decisões dos Sistemas de Decisões Automatizadas, como vimos, são

tomadas a partir das probabilidades identificadas com base em avaliações estatísticas

de dados. Desta forma, eles decidem ou suportam escolhas que impactam desde a

concessão ou não de um empréstimo, a conquista de um emprego, até a condenação

à prisão. Mas não podemos imaginar que os SDAs satisfaçam, através de formulações
 86

matemáticas, as definições do que é justo e de justiça (CORBETT- DAVIES et al.,

2017).

Como adjetivo, o dicionário Michaelis define justo como:

● Conforme à justiça, razão e ao direito;

● Que é imparcial no julgamento, íntegro, probo, reto;

● Exato;

● Que tem fundamento; fundado, legítimo;

● Que é devido por direito ou dever; merecido;

● Que é moralmente correto, que tem justeza;

● Que se adapta perfeitamente; adequado.

O mesmo dicionário define justiça como a qualidade ou caráter do que é justo

e direito. Mas se justo é imparcial e, como observamos, os SDAs não são objetivos e
também são capazes de codificar vieses, eles não podem, necessariamente, tomar
ou apoiar decisões que sejam sempre justas.
Cathy O’Neil (2020, p. 40) conta que, nos Estados Unidos, 24 tribunais haviam
escolhido sistemas algorítmicos com modelos de reincidência, alegando que eles
diminuem preconceitos e contribuem com sentenças mais justas. Estes SDAs
ajudavam um juiz a avaliar cada condenado, com a promessa de evitar decisões
aleatórias.
De acordo com O’Neil (2020, p. 41), um dos modelos mais populares é
conhecido como Level of Service Inventory - Revised. Ele opera com base nos
resultados de um questionário respondido pelo detento, que tem questões do tipo:
número de condenações anteriores, o papel de outras pessoas no delito e perguntas
para entender sua vida de forma mais aprofundada.

É fácil imaginar como os detentos de origem privilegiada iriam

responder de um jeito e aqueles vindos das árduas ruas do
centro da cidade, de outro. Pergunte a um criminoso que
cresceu num confortável bairro nobre sobre “a primeira vez em
que você se envolveu com a polícia”, e ele pode não ter um
único incidente a relatar além daquele que o fez ser preso.
Homens negros jovens, em contrapartida, provavelmente já
foram parados pela polícia dezenas de vezes mesmo sem ter
feito nada de errado. (...) Então, se o “envolvimento” precoce
 87

com a política indica reincidência, pessoas pobres e minorias

raciais parecem muito mais perigosas (O’NEIL, 2020, p. 41-
42).

Ainda segundo O’Neil, o questionário foi dado a milhares de detentos desde

que foi criado em 1995. A base de dados formada a partir dele passou a ser usada
para criar modelos que estabelecem categorias de risco alto, médio e baixo de
(re)infração.

Mesmo que coloquemos de lado, por um instante, a questão

crucial da imparcialidade, nos vemos caindo num nocivo ciclo
de feedback da ADM. É mais provável que uma pessoa
marcada como de “alto risco” esteja desempregada e venha
de um bairro em que muitos de seus amigos e familiares
tenham tido algum problema com a lei. Em parte graças à alta
pontuação resultante da avaliação, ele ganha uma sentença
maior, prendendo-o por mais anos numa prisão em que é
rodeado por colegas detentos - o que aumenta a probabilidade
de voltar a ser preso. Ele é finalmente solto no mesmo bairro
pobre, desta vez com um antecedente criminal, o que torna
mais difícil encontrar um emprego. Se ele cometer outro crime,
o modelo de reincidência pode reivindicar outro sucesso. Mas
na verdade, o próprio modelo contribui com um ciclo destrutivo
e ajuda a mantê-lo de pé (O’NEIL, 2020, p. 43-44).

Portanto, estes modelos são injustos e os danos colaterais são as pessoas já

marginalizadas na sociedade. Uma outra análise relevante de O’Neil ( 2021, p. 324) é
que eles preveem comportamentos com base em informações que não seriam aceitas
em um tribunal, como quais pessoas quem está sendo avaliado conhece, que tipo de
emprego tem e até mesmo sua classificação de crédito.
Uma prova de problemas com os modelos de reincidência foi dada em 2016,
pela ProPublica, que é um grupo independente e sem fins lucrativos de jornalismo
investigativo nos Estados Unidos. As jornalistas (ANGWIN et al., 2016) analisaram
mais de 10 mil réus, em Broward County, na Flórida, e compararam as taxas de
reincidência previstas pelo SDA com o que realmente ocorreu em um período de dois
anos.
A equipe de reportagem investigou o COMPAS (Correctional Offender
Management Profiling for Alternative Sanctions ou, em português, Gerenciamento de
Perfil de Infrator para Sanções Alternativas), que foi desenvolvido pela empresa
Northpointe Inc. Quando eram autuados em Broward Count, os presos recebiam o
questionário do COMPAS. A partir das respostas, um sistema de aprendizagem de
 88

máquina fazia uma pontuação de 1 a 10 (de baixo a alto risco), prevendo “risco de
reincidência” e “risco de reincidência violenta”. Essa classificação servia de base para
o resultado gerado pelo SDA, em termos de pena.
A reportagem investigativa da Propublica concluiu que as predições do
COMPAS foram inviesadas contra os negros, prejudicando essa parcela da população
e camuflando racismo na tecnologia:
● Frequentemente, previa-se que os réus negros corriam um risco maior
de reincidência do que a realidade. Os que não reincidiram em um
período de dois anos tinham quase o dobro de probabilidade de serem
classificados erroneamente como “risco mais alto” em comparação com
os brancos (45% contra 23%);

● Frequentemente, previa-se que os réus brancos tinham menos chances

de reincidência do que tinham de fato. Os que reincidiram nos próximos
dois anos foram rotulados erroneamente como de “baixo risco” quase
duas vezes mais do que negros reincidentes (48% contra 28%);

● Em geral, os réus negros tinham 45% mais chances de receberem

pontuações de risco mais altas do que os brancos.

Sobre o risco de reincidência violenta (assassinato, homicídio culposo, estupro,

roubo e agressão):

● Os réus negros tinham duas vezes mais probabilidade do que os

brancos de serem classificados erroneamente como um “risco maior de
reincidência violenta”;

● Os reincidentes violentos brancos tinham 63% mais probabilidades de

serem classificados erroneamente como um “risco baixo de reincidência
violenta” em comparação ao negros na mesma categoria;

● Em geral, réus negros tinham 77% mais probabilidades de

receberem pontuações de risco mais altas do que réus brancos.
 89

No Brasil, O Centro de Inovação, Administração e Pesquisa do Judiciário da

Fundação Getúlio Vargas, sob a coordenação do Ministro Luis Felipe Salomão, fez
uma pesquisa, em 2020, para mapear o uso da inteligência artificial em determinados
tribunais brasileiros (Supremo Tribunal Federal, Superior Tribunal de Justiça, Tribunal
Superior do Trabalho, Tribunais Regionais do Trabalho, os Tribunais Regionais
Federais e Tribunais de Justiça). Foram identificados 64 projetos em 47 Tribunais,
além da Plataforma Sinapses do Conselho Nacional de Justiça (CNJ). Isso representa
que, durante o período pesquisado, a inteligência artificial já estava presente na
metade dos tribunais brasileiros.
Em 2020, o Conselho Nacional de Justiça do Brasil aprovou a Resolução nº
332, que trata sobre “a ética, a transparência e a governança na produção e no uso
de Inteligência Artificial no Poder Judiciário, e dá outras providências.” Ela aborda
pontos como respeito aos direitos fundamentais; necessidade de amostras de dados
representativas, reforça que as decisões apoiadas em IA devem respeitar a igualdade,
a não discriminação, a pluralidade e a solidariedade, contribuindo com um julgamento
justo. Além disso, o CNJ trata da necessidade de realizar o levantamento e a
documentação dos riscos identificados com o uso da IA, e de identificar as causas de
dano causado, apresentando o método de auditoria do sistema.

Especificamente em matéria penal, o CNJ tem uma postura

mais protetiva no sentido de não estimular o uso da IA, em
especial de sistemas que realizem análises preditivas, mas
estabelece algumas exceções para a utilização de solução
computacionais automatizadas para o cálculo de penas,
prescrição, verificação de reincidência, mapeamentos,
classificações e triagem dos autos, para fins de gerenciamento
de processo.(SALOMÃO, 2020. p. 22, grifo nosso)

Ainda sobre a postura do Conselho Nacional de Justiça, “no que concerne

propriamente à verificação da reincidência penal, a IA não deve indicar uma solução
mais prejudicial ao réu do que aquela que o magistrado determinaria de forma
autônoma, ou seja, sem o auxílio do cálculo computacional". Aqui, considero
importante registrar algumas reflexões: como parametrizar corretamente a solução
para que ela não prejudique cada réu? Ou, em outras palavras: como é possível saber
o que um juiz poderia estabelecer como pena para que a solução não seja mais
prejudicial do que ela? Portanto, garantir que um sistema de inteligência artificial tenha
um resultado justo é algo extremamente complexo.
 90

Além disso, como lembram Corbertt-Davies et al. (2017), algo extremamente

relevante e que deve ser levado em consideração é que os algoritmos estimam
probabilidade, mas não podem ditar políticas. Eles podem até acertar o índice de
reincidência de uma determinada pessoa, mas isso não pode ser o único fator a
determinar o curso de uma ação, levando-a à prisão ou fazendo com que ela fique
presa por mais tempo. Para Cathy O’Neil (2020, p. 150), talvez, a melhor solução seja
sacrificar um pouco de eficiência proporcionada pelos algoritmos em prol da justiça.

2.6. Democracia

“Os algoritmos só poderão servir à

democracia se forem transparentes e
governáveis.”
Sérgio Amadeu da Silveira, sociólogo,
professor UFABC

Os SDAs funcionam como uma espécie de janela para o mundo. São

curadores83 algorítmicos (CORRÊA; BERTOCCHI, 2012) e ocupam o papel de
gatekeepers na internet. Eles substituem nossos trabalhos de escolha, definem o que
vemos, o que lemos e o que passamos a visualizar, sempre vasculhando
incansavelmente o que fazemos na internet, a partir do que pesquisamos, compramos
ou interagimos nas redes sociais.
A coleta de dados de comportamento de usuário, a partir dos traços de
personalidade, idade, nascimento, localização, gênero, preferências, entre outras
informações, permite alimentar modelos preditivos que revelam padrões e tendências

83
Sobre os algoritmos curadores vale uma reflexão. No Dicionário da Comunicação, Cunha (2009)
aponta alguns significados de curadoria que torna-se interessante recuperar para fazer uma correlação
com os SDAs. Originada do latim, a palavra curadoria tem o sentido de cuidar, zelar por algo ou vigiar.
Do ponto de vista do direito, o curador é um tutor que toma decisões em nome de alguém incapaz. Em
comunicação, a curadoria é empregada como seleção, organização e apresentação de informações,
gerando um valor agregado qualitativo. Em relação aos SDAs, a curadoria pode esconder formas sutis
de vigilância devido à opacidade dos Sistemas de Decisões Automatizadas. Do ponto de vista de
conteúdo, ela tem grandes consequências sociais, políticas e até econômicas, como descrito ao longo
desta tese.
 91

de comportamento. Este conhecimento, que é capaz de consolidar um dossiê digital

sobre cada um de nós, é sinônimo de poder!
Traçar previsões permite entregar, sob medida, o que o usuário deseja, ou
melhor, o que o usuado quer, seguindo a proposta do termo apontado por Lemos
(2021a) e explicada anteriormente. Conhecendo bem os usuados, os sistemas de
aprendizagem de máquina podem, por exemplo, descobrir qual é o melhor discurso,
slogans e até imagens para afetar de modo eficaz um eleitor ou mesmo
microssegmentos (SILVEIRA, 2019).
Existem inúmeras formas de conceituar a democracia. Como demonstra
Norberto Bobbio, Nicola Matteucci, Gianfranco Pasquino (1993), três grandes
tradições do pensamento político confluem na teoria contemporânea da democracia:

● Teoria clássica ou aristotélica, segundo a qual existem três formas de governo:

do povo (de todos os cidadãos), governo de um só e aristocracia (governo de
poucos);

● Teoria medieval: apoiada na soberania popular;

● Teoria moderna ou de Maquiavel: segundo a qual, a democracia tem a forma

de república,

Os autores descrevem ainda as concepções de democracia e liberalismo,

democracia e socialismo e democracia e elitismo, e consideram que a democracia é
compatível com doutrinas de diversos conteúdos ideológicos. Mas, na teoria política
contemporânea, principalmente nos países de tradição democrática liberal, “as
definições de Democracia tendem a resolver-se e a esgotar-se num elenco mais ou
menos amplo, segundo os autores de regras de jogo, ou como também se diz de
‘procedimentos universais’ (BOBBIO; MATTEUCCI; PASQUINO, 1993, p. 326-327).
Eles elencam nove regras, entre elas:

● Todos os eleitores devem ter liberdade de votar segundo a própria opinião, que
deve ser formada da forma mais livre possível;
 92

● Os eleitores também devem ter alternativas reais. Não pode haver, por
exemplo, lista única ou bloqueada de candidatos.

Ou seja, para ter democracia, é preciso que as forças políticas tenham as

mesmas oportunidades de manifestar opiniões e propostas. Para isso acontecer, a
comunicação precisa ser simétrica e democrática. Mas isso não ocorre na internet,
contrariando as expectativas iniciais em relação à rede mundial e de pesquisadores
que a identificaram como redes de indignação e esperança (CASTELLS, 2013).
O sociólogo Sérgio Amadeu da Silveira (2019) analisou como os sistemas
algorítmicos podem afetar a democracia. Ele parte da compreensão de que eles atuam
sobre as condições mínimas de equidade entre os grupos que disputam as eleições,
controlando o debate público a partir do que deixam visível na rede. E fazem isso sem
a necessária transparência sobre os critérios de curadoria, distribuição e
hierarquização de conteúdo.
Agindo assim, os sistemas algorítmicos podem beneficiar uma força política em
detrimento dos adversários. “Atuando num largo período de tempo, os algoritmos
podem criar assimetrias invisíveis e desequilíbrios performativos completamente
antidemocráticos”. Isso não acontece apenas com eleições para cargos executivos e
legislativos. Também pode influenciar plebiscitos ou estimular outras formas de ações
políticas.
Ao alterarem nossa liberdade de escolha e restringirem as opções que nos são
apresentadas, os Sistemas de Decisões Automatizadas acabam, portanto, modulando
os processos de formação e formatação da opinião pública (SILVEIRA, 2019). O
professor usa modulação em contraposição à teoria funcionalista da comunicação que
fala de manipulação, com a ideia de que as mensagens podem atingir um público-alvo
levando-o a agir ou pensar de determinado modo.
A modulação empregada por Sérgio Amadeu está ligada à comunicação
distribuída em rede, em que partidos, governos e empresas podem investir na compra
de resultados de buscas específicas para consultas com certas palavras, frases ou
temas, possibilitando a apresentação de um determinado cardápio de conteúdo para
cada usuado. “O problema das plataformas privadas que se colocam como espaços
públicos é que suas regras são decididas monocraticamente pelos seus donos”
(SILVEIRA, 2019) e, através delas, é possível modular comportamentos, interferindo
no processo democrático.
 93

O escândalo que envolveu a Cambridge Analytica, empresa de assessoria

política britânica, é um caso clássico que mostra como os SDAs podem definir os
conteúdos que vemos a partir do conhecimento de nossos dados, impactando o
cenário político. O jornal The Guardian84 denunciou em 2018 que tudo começou
quando um grupo de acadêmicos do Reino Unido criou um quiz que permitiu entender
o perfil dos usuados do Facebook e classificá-los de acordo com cinco traços de
personalidade: abertura a ideias, conscienciosidade, extroversão, amabilidade e
neuroticismo (O´NEIL, 2020).

Depois, os acadêmicos venderam essas informações para a Cambridge

Analytica, que empregou o conhecimento sobre os dados privados de, no mínimo, 50
milhões de usados do Facebook com fins políticos. Com isso, enviaram publicidade
política adaptada para ajudar o republicano Donald Trump a ganhar a eleição, em
2016, contra a candidata democrata Hillary Clinton (figura 9)85. Cabe lembrar que, o
ideólogo deste esquema foi Steve Bannon. Ele foi o assessor mais próximo de Donald
Trump até 2017, dirigiu a Cambridge Analytica 86 e tem laços, no Brasil, com o
bolsonarismo87.

Figura 10- Cambridge Analytica também impactou a vitória do Brexit (saída do Reino Unido da União
Europeia)

84
https://www.theguardian.com/news/2018/mar/17/cambridge-analytica-facebook-influence-us-
election
85
https://g1.globo.com/mundo/noticia/cambridge-analytica-teria-tido-papel-crucial-no-brexit-diz-ex-
diretor-de-pesquisa.ghtml
86
https://www.theguardian.com/news/2018/mar/17/data-war-whistleblower-christopher-wylie-faceook-
nix-bannon-trump
87
https://brasil.elpais.com/brasil/2020-08-20/os-lacos-do-cla-bolsonaro-com-steve-bannon.html
 94

Fonte: G188

No documentário Privacidade Hackeada (The Great Hack)89, de 2019, a

jornalista investigativa do The Guardian, Carole Cadwalladr, afirma que os governos
autoritários em ascensão estão usando a política de ódio e medo no Facebook,

88
https://g1.globo.com/economia/tecnologia/noticia/2019/01/09/cambridge-analytica-se-declara-
culpada-por-uso-de-dados-do-facebook.ghtml
89
Disponível em: https://www.netflix.com/title/80117542. Acesso em: 24 ago. 2021.
 95

citando o exemplo do Brasil e acusando o WhatsApp de estar implicado na divulgação

de fake news aqui no País.

Ela aponta outros casos como Myanmar, onde conta que há evidências de que
a rede social de Mark Zuckerberberg foi usada para incitar o ódio racial, levando ao
genocídio. Ela também acusa os russos de usarem o Facebook. Segundo ela, eles
fizeram memes falsos do movimento Vidas Negras Importam e quando as pessoas
clicaram neles, foram levadas para páginas em que eram convidadas para protestos
organizados pelo governo russo, sem saberem de fato quem estava por trás do
movimento. Enquanto isso, eles faziam a mesma coisa com grupos adversários,
insuflando, por exemplo, o Vidas Azuis Importam, alimentando o medo e o ódio. Para
a Cadwalladr, as plataformas estão sendo usadas como armas. “ E é impossível saber
o que é o quê porque está acontecendo nas mesmas plataformas onde conversamos
com nossos amigos ou compartilhamos fotos de bebês. Nada é o que parece”, explica
a jornalista no documentário Privacidade Hackeada. A Procuradoria Geral do Distrito
de Columbia, nos Estados Unidos, informou, em outubro de 2021, que pretendia
acionar Mark Zuckerberg, que é criador e presidente do Facebook, como um dos réus
em um processo de proteção ao consumidor que envolve a Cambridge Analytica
(SANTIAGO, 2021).

Ainda sobre o poder de modulação do Facebook, vale lembrar que ele divulgou
um estudo sobre a própria rede social, em que avaliou como dois diferentes tipos de
postagens afetaram o comportamento eleitoral nas eleições legislativas norte-
americanas de 2010 e na presidencial de 2012. Para um grupo, o Facebook exibiu a
mensagem "hoje é o dia da eleição". Para outro, mostrou postagens de amigos
dizendo “eu votei”. Os experimentos levaram os pesquisadores à seguinte conclusão:
ver que os amigos já tinham votado estimulou a participação de 340 mil pessoas. O
número é muito significativo, uma vez que, nos Estados Unidos, George W. Bush, por
exemplo, venceu as eleições de 2000 por uma margem de 537 eleitores na Flórida. E
as eleições de 2016 foram decididas por 100 mil votos. A pesquisa demonstra que, a
atuação dos Sistemas de Decisões Automatizadas do Facebook sobre o que os
usuados viram (ou não) poderia mudar os rumos das eleições do Congresso e até
mesmo a presidencial. E tudo isso sem ninguém perceber o que ocorreu de fato, pois
como cada pessoa tem seu próprio feed, não dá para fazer uma comparação com o
que foi postado para as demais pessoas no Facebook. A rede social “pode decidir
 96

eleições apertadas sem ninguém perceber. Talvez, com um toque mais pesado, possa
decidir eleições menos apertadas. E, se eles decidissem fazer isso, neste momento,
estamos à mercê da palavra deles”, explica Zeynep Tufekci, autora de Twitter and
Tear Gas no documentário Coded Bias (Twitter e Gás Lacrimogêneo, Viés Codificado,
tradução da autora)90.

Mas isso não acontece só com o Facebook. Também pode se aplicar, por
exemplo, ao Google, lembra Cathy O’Neil (2020, p. 286). Os resultados de buscas

poderiam ter um efeito dramático sobre o que as pessoas

aprendem e em como votam. Dois pesquisadores, Robert
Epstein e Ronald E. Robertson, recentemente pediram a
eleitores indecisos dos EUA e Índia para usarem um buscador
a fim de aprender sobre as eleições vindouras. Os buscadores
que usarem foram programados para enviarem os resultados,
favorecendo um participante em relação a outro. Esses
resultados, disseram, alteraram as preferências de voto em 20
por cento.

Um estudo de Jeffries, Yin, Mattu (2020) mostrou que até o Gmail pode ter um
papel na modulação a partir do momento que também pode filtrar os e-mails políticos
de candidatos, grupos de reflexão, os de defesa e os de organizações sem fins
lucrativos que chegam à caixa de entrada principal. Os pesquisadores fizeram um
experimento em que fizeram a própria inscrição em diversos sites para receber
comunicados por e-mails. Mas apenas 11% deles chegaram à caixa de entrada
principal, que é a primeira que o usuado vê ao abrir o Gmail. Metade foi para a guia
de “promoções”, que a empresa diz que é para negócios, ofertas e outros e-mails de
marketing e 40%, para o spam.

Como aponta Jeffries, Yin, Mattu (2020), os candidatos e campanhas de

causas políticas norte-americanos recebem uma quantia importante de doações por
e-mail. O fato do Gmail desviar parte das mensagens para guias menos visíveis, tem
um efeito significativo. Além disso, este mecanismo também pode afetar o número de
assinaturas de petições. “O fato de o Gmail ter tanto controle sobre nossa democracia,
sobre o que acontece e a respeito de quem arrecada dinheiro, é assustador” 91, disse
Kenneth Pennington, que é consultor de campanha digital. “É assustador que, se o

90
Disponível em:https://www.netflix.com/title/81328723. Acesso em: 05 de ago. 2021
91
No original: “The fact that Gmail has so much control over our democracy and what happens and
who raises money is frightening” Disponível em:https://themarkup.org/google-the-
giant/2020/02/26/wheres-my-email. Acesso em: 25 abr. 2020.
 97

Gmail mudar seus algoritmos, eles teriam o poder de impactar nossa eleição” 92,
completa ele.

Estes casos reforçam o poder dos SDAs. Norberto Bobbio, Nicola Matteucci,
Gianfranco Pasquino (1993, p. 933) tratam de alguns conceitos de poder em seu
Dicionário de Ciência Política, que podem ser empregados no caso dos Sistemas de
Decisões Automatizadas. Vejamos o porquê. Eles lembram que no significado mais
geral, o termo revela a capacidade ou a possibilidade de agir e de produzir efeitos.

O grupo de cientistas políticos descreve também a diferença entre poder

potencial e o poder atual. Segundo eles, o primeiro acontece quando existe uma
possibilidade de determinar o comportamento de outras pessoas. E quando esta
capacidade existe? Em primeiro lugar, é preciso ter recursos que podem ser usados
para exercer o poder. “Os recursos deste tipo são numerosos: riqueza, força,
informação, conhecimento, prestígio, legitimidade, popularidade, amizade, assim
como ligações íntimas com pessoas que têm altas posições de Poder” (BOBBIO;
MATTEUCCI; PASQUINO; 1993 p.937).

Mas, segundo os pensadores italianos, não basta ter isso. Quem busca exercer
o poder precisa saber converter esses recursos em poder atual, colocando em prática
uma série de atitudes. “Quando no exercício do Poder, a capacidade de determinar o
comportamento dos outros é posto em ato, o Poder se transforma, passando da
simples possibilidade à ação” (BOBBIO; MATTEUCI; PASQUINO, 1993, p.334).

Os cientistas refletem sobre o poder entre as pessoas ou sobre como pessoas

que controlam determinadas coisas exercem, através delas, controle sobre alguns
grupos. Mas nesta tese, sugerimos aplicar esses conceitos aos SDAs, entendendo
que eles têm tanto poder atual como poder potencial, pois possuem grandes recursos
essenciais, como dados, informações, conhecimento, capital econômico e financeiro
e possuem as técnicas para empregá-los com maestria.

92
No original: “It’s scary that if Gmail changes their algorithms,” he added, “they’d have the power to
impact our election.” Disponível: https://themarkup.org/google-the-giant/2020/02/26/wheres-my-email.
Acesso em: 25 abr. 2020.
 98

No documentário “Coded Bias”, Cathy O´Neil explica que o mais preocupante

na questão dos algoritmos é a relação de poder, que é assimétrica entre os donos dos
códigos e as pessoas em geral. A matemática completa:

quem não recebeu ofertas de crédito não pode dizer:

'ah, vou usar minha IA contra a empresa de cartões.'
É uma relação totalmente assimétrica. As pessoas
estão sofrendo danos algorítmicos, não são
informadas sobre o que se passa, e não há recurso
possível, não há responsabilização. Por que
aceitamos isso?93

3. De olho nos SDAs: responsividade e responsabilização

“Se você tem algo que pode fazer coisas no

mundo de forma autônoma e aprendendo, de
modo que pode mudar seus próprios
programas, sua atividade requer
entendimento de certo e errado: ética”

Luciano Floridi, professor de Filosofia e Ética

da Informação e diretor do Laboratório de
Ética Digital da Universidade de Oxford.

Em um texto de 1990, a doutora em Administração Pública, Anna Maria

Campos, conta, na introdução, que havia ouvido a palavra accountability pela primeira
quinze anos antes, durante uma aula de um curso de pós-graduação nos Estados
Unidos. Mesmo dominando o Inglês, ela não tinha conseguido entender aquele termo.
Anna Maria Campos pesquisou nos dicionários, conversou com outras pessoas que
dominavam a língua e nada. Foi assim que ela começou a se interessar sobre as
consequências da ausência do conceito para a realidade da administração pública
brasileira. Buscando um significado, ela explica que começou a suspeitar de um “elo
entre accountability e a necessidade de proteger o cidadão da má conduta burocrática”
(CAMPOS, 1990, p. 32).
Fabiano Angélico, que é jornalista e consultor sênior da Transparência
Internacional, também lembra da história contada por Anna Maria Campos em seu
livro “Lei de Acesso à Informação”. Ao analisar a evolução do conceito de

93
Disponível em: https://www.netflix.com/title/81328723. Acesso em: 05 de ago. 2021
 99

accountability, ele explica que o termo passou a envolver as ideias de prestação de

contas e de responsabilização (ANGÉLICO, 2015, p. 17). De acordo com Schedler
(1999), o conceito contém, de forma genérica, três formas de prevenção e correção
dos abusos de poder: 1) obrigação de se abrir ao público; 2) obrigação de explicar e
justificar ações e 3) possibilidade de sanções. Angélico (2015, p. 19-20) acredita
ainda, com base nos apontamentos de Schedler, que accountability envolve uma ideia
de obrigação, que demanda regras bem construídas, com as seguintes
características:

● ser obrigatória;
● apoiar-se em informação; justificativa e responsabilização;
● ser pública;
● ser multifacetada;
● ter complementaridade de controles;
● ter recursividade intransitiva.

Aprofundando as reflexões sobre accountability, Angélico (2015, p. 21) concluiu

que é possível afirmar que o conceito, portanto, diz respeito, à ideia de
‘responsividade’ (answerability), que envolve informação e justificativa; e de
‘responsabilização’, que apresenta a possibilidade de sanção (enforcement).

Tabela 5- Significados relacionados ao conceito de accountability

Accountability

Responsividade Responsabilização

Informação Complementaridade de controles

Necessidade de justificar-se Possibilidade de sanções

Obrigatoriedade

Pública

Multifacetada

Fonte: elaborado pela autora com base em Angélico (2015)

 100

Ao trazer a discussão de accountability para os complexos Sistemas de

Decisões Automatizadas, que são compostos por diversos atores (humanos e não-
humanos), seguimos o conceito proposto por Angélico (2015), entendendo que é
preciso responsividade, para explicar o desenvolvimento e o funcionamento dos
sistemas, e garantir responsabilização, com a possibilidade de aplicações de sanções
sempre que for necessário (CAPLAN et. al., 2018), mesmo que a identificação dos
responsáveis seja difícil e obscura (daí a importância das regulamentações e códigos).
Os estudos sobre algorithmic accountability começaram a ser realizados a
partir da segunda década do século 21 (HAMILTON; TURNER, 2009; ROSENBLAT,
KNEESE, BOYD, 2014; DIAKOPOULOS, 2013, 2014, 2015, 2016; LINDEN, 2016;
STRAY, 2018; FINK, 2017; BRAUNEIS, GOODMAN, 2017), quando houve a explosão
dos Sistemas de Decisões Automatizadas. Eles discutem temas como a capacidade
ou incapacidade do mercado controlar as SDAs; debatem formas (e níveis) de
regulamentação governamental e o papel da imprensa neste processo. Seguindo a
visão de Sérgio Amadeu da Silveira (2020, p. 94), a IA pode “ter profundas implicações
sociais, econômicas e políticas. Por isso, precisam ser regulamentadas, para reduzir
o gigantesco poder das plataformas, e democratizadas, para que possam servir a
diversos propósitos sociais e não somente aos interesses do mercado”

3.1 Mas, quem está mesmo de olho nos SDAs?

Apresenta-se, a seguir, uma relação de organizações e projetos que têm se

dedicado aos diversos tipos de impactos dos SDAs. Elas estão listadas na tabela 6 e
são descritas logo adiante. Cabe ressaltar que esta tese não tem a pretensão de citar
todos, mas sim apresentar os que foram acompanhados para o desenvolvimento
deste trabalho.

Tabela 6 - Relação de grupos e projetos sobre SDAs

 101

Fora do Brasil No Brasil

Organisation for Economic Co-operation and Laboratório de Políticas Públicas e Internet

Development - OECD (LAPIN)

Big Brother Watch Panóptico

Data Scores in the UK Coding Rights

Observatory for Artificial Intelligence in Work and Centro de Inteligência Artificial do Brasil (C4AI)
Society – AI Observatory

AlgorithmWatch Transparência Algorítmica

The Ethical Tech Society

Digital Future Society

Algorithmic Justice League

Algorithm Tips

Association for Computing Machinery (ACM):

Algorithmic Control

Fonte: elaborado pela autora

Fora do Brasil

● A Organisation for Economic Co-operation and Development - OECD

(Organização para a Cooperação e Desenvolvimento Econômico)94 tem o
Observatório de Políticas de AI (OECD.AI), que aproveita o impulso da
Recomendação da OCDE sobre Inteligência Artificial ("Princípios da OCDE AI")
- o primeiro padrão intergovernamental sobre IA - adotado em maio de 2019
pelos países da OECD e que ganhou a adesão de vários parceiros. Os
princípios da OECD AI forneceram a base para os Princípios do G20 AI
endossados pelos Líderes em junho de 2019 (e para diversos outros países,
como o Brasil). São eles: 1) crescimento inclusivo, desenvolvimento

94
Disponível em: https://www.oecd.ai/countries-and-initiatives/stakeholder-initiatives. Acesso em: 28
jul. 2021.
 102

sustentável e bem-estar; 2) valores centrados nos seres humanos e na

equidade; 3) transparência e explicabilidade; 4) robustez, segurança e proteção
e 5) accountability (entendida como prestação de contas ou responsabilização).

● Big Brother Watch95: grupo de campanha pelas liberdades civis do Reino

Unido que é crítico em relação ao uso de tecnologias de reconhecimento facial
e outras formas de vigilância através da tecnologia. Eles publicam
investigações e fazem campanhas.

● Data Scores in the UK - parte do projeto “Data Scores as Governance” 96

(Pontuação de Dados como Governança). Eles desenvolveram uma ferramenta

para mapear e investigar os usos da análise de dados e algoritmos em serviços
públicos no Reino Unido, uma vez que pouco se sabe sobre a implementação
dos sistemas que pontuam cidadãos.

● Observatory for Artificial Intelligence in Work and Society – AI

Observatory (Observatório de Inteligência Artificial no Trabalho e na
Sociedade - Observatório de IA)97. Foi criado pelo Ministério Federal do
Trabalho e Assuntos Sociais em Berlim, na Alemanha, em 2020. O
Observatório parte do princípio de que se a IA é tão usada, é preciso buscar e
encontrar respostas para muitas perguntas, garantir conexões e fomentar
engajamento sobre o tema.

● O Algorithm Watch:98 é uma organização alemã de pesquisa e defesa sem

fins lucrativos que, durante a produção da tese, reunia uma rede de
pesquisadores de 16 países, diversa do ponto de vista de culturas e disciplinas.
Esta organização entende que a tecnologia fica cada vez mais complexa, mas
que isso não pode significar que ela seja necessariamente incompreensível.
Por isso, a organização analisa os efeitos dos processos de tomada de decisão
algorítmica no comportamento humano e aponta os conflitos éticos. O

95
Disponível em:<https://bigbrotherwatch.org.uk/about/>. Acesso: 12 out. 2021.
96
Disponível em: <https://data-scores.org/>. Acesso: 16 set.. 2021.
97
Disponível em: <https://www.ki-observatorium.de/en/>. Acesso: 29 jun. 2021.
98
Disponível em: https://algorithmwatch.org/en/what-we-do/. Acesso em: 07 . 2020.
 103

Algorithm Watch, portanto, tem o objetivo de desenvolver ideias e estratégias

para alcançar a inteligibilidade dos SDAs através de tecnologias,
regulamentação e instituições de supervisão adequadas.

● The Ethical Tech Society99 (A Sociedade Ética da Tecnologia): fundada, em

Berlim, pela filósofa espanhola Lorena Jaume-Palasí, que é cofundadora da
Algorithm Watch. O objetivo da Ethical Tech Society é compreender as
dimensões sociais da tecnologia. Eles elaboraram estudos para gerar mais
conhecimento sobre quais são as reais consequências e benefícios sociais
decorrentes do uso da tecnologia, buscando identificar suas lacunas éticas e
também criar uma teoria. Tem um grupo diversificado de cientistas, artistas,
sociólogos e personalidades do setor público e privado.

● Digital Future Society100 (Sociedade Digital do Futuro): programa apoiado

pelo Ministério de Assuntos Econômicos e Transformação Digital do Governo
da Espanha em colaboração com a Mobile World Capital Barcelona. O
programa trabalha em quatro áreas principais: inovação pública, confiança e
segurança digital, crescimento eqüitativo e inclusão, e empoderamento do
cidadão. Reúne formuladores de políticas, organizações da sociedade civil,
especialistas acadêmicos e cidadãos.

● Algorithmic Justice League (Liga da Justiça Algorítmica)101 foi criado, nos

Estados Unidos, por Joy Buolamwini. Ela é uma pesquisadora de IA que,
motivada por experiências pessoais de discriminação algorítmica, compartilhou
sua história em uma palestra no TED, teve mais de 1,2 milhão de visualizações
e lançou a Algorithmic Justice League102. Esta organização combina arte e
pesquisa para iluminar as implicações sociais e os danos da inteligência
artificial, reduzindo os preconceitos e malefícios gerados pela IA na atualidade.

99
Disponível em: https://www.ethicaltech-society.org/. Acesso em: 20 out. 2021.
100
Disponível em: https://digitalfuturesociety.com/. Acesso em: 20 out. 2021.
101
Disponível em: https://www.ajl.org/. Acesso em: 21 jun.. 2021.
102
Disponível em: https://www.ajl.org/about. Acesso em: 3 ago. 2021.
 104

● Algorithm Tips (Dicas de Algoritmos):103 é um projeto do Laboratório de

Jornalismo Computacional da Universidade de Northwestern, nos Estados
Unidos, que foi concebido pelo professor Nicholas Diakopoulos.

● Association for Computing Machinery (ACM): o Conselho de Políticas

Públicas da Sociedade Internacional de Computação, que tem sede nos
Estados Unidos, e é a maior sociedade de computação científica do mundo,
elaborou uma declaração sobre transparência algorítmica e responsabilidade
que defende a necessidade de seguir alguns princípios em todas as fases de
desenvolvimento e implantação dos sistemas para minimizar os danos. Com
base em vários estudos, incluindo o do professor Nicholas Diakopoulos, a ACM
elenca 7 princípios: conscientização; acesso e reparação; accountability;
explicação; proveniência dos dados; auditabilidade e validação e testes.

● Algorithmic Control (Controle Algorítmico):104 projeto norte-americano, que é

fruto de uma parceria entre o MuckRock e o Rutgers Institute for Information
Policy & Law (Instituto de Política e Legislação da Informação da Faculdade de
Direito da Universidade de Rutgers). MuckRock é um site colaborativo de
notícias sem fins lucrativos que reúne jornalistas, pesquisadores, ativistas e
cidadãos que trabalham em prol da transparência. O projeto Algorithmic Control
busca pesquisar o uso de big data, inteligência artificial e algoritmos pelo
governo. Através de entrevistas com os principais especialistas e solicitações
de registros públicos arquivadas em todo o país, um jornalista investiga
contratos municipais, solicitações de propostas e o desenvolvimento interno
desses sistemas de governança para construir um banco aberto de dados, que
seja capaz de alimentar pesquisas sobre como essas tecnologias estão sendo
usadas. Eles pesquisam dados usados, modelos e resultados dos SDAs e as
políticas que permitem que eles sejam implementados.

103
Disponível em: http://algorithmtips.org/. Acesso em: 01. jul. 2019.
104
Disponível em: <https://www.muckrock.com/project/algorithmic-control-automated-decisionmaking-
in-americas-cities-84/>. Acesso: 09 set. 2021.
 105

No Brasil

● Laboratório de Políticas Públicas e Internet (LAPIN):105 centro de pesquisa,

que começou a atuar em 2016, e busca investigar, analisar e compreender os
desafios sociais, econômicos, éticos e jurídicos gerados pelas tecnologias
digitais, procurando informar, incluir e ensinar as pessoas sobre estes desafios
e propor algumas soluções. Ele tem quatro eixos temáticos: vigilância digital;
inteligência artificial e novas tecnologias; desinformação; governança de dados
e economia digital. A intenção do Lapin é formar uma rede de proteção aos
direitos fundamentais e liberdades civis no mundo digital.

● Panóptico:106 é um projeto do Centro de Estudo de Segurança e Cidadania

(CESeC) que monitora o uso da tecnologia de reconhecimento facial pelas
instituições brasileiras de segurança pública. O Centro descobriu que quase
90% dos presos com o uso desta tecnologia são negros. O Panóptico busca
revelar os municípios e estados que adotaram o reconhecimento facial, mostrar
o papel dos governos e das empresas do financiamento dessa tecnologia e
apontar os vieses que reproduzem o racismo estrutural.

● Coding Rights: é uma organização com olhar feminista interseccional para

defender os direitos humanos no desenvolvimento, regulação e uso das
tecnologias. Ela busca promover a proteção e a promoção de direitos humanos
no mundo digital.

● Centro de Inteligência Artificial do Brasil (C4AI):107 ele foi lançado pela

Universidade de São Paulo, em 2020, em parceria com a IBM e a Fapesp.
Entre as atividades de pesquisa, foi criado o grupo IA Humanity, que busca
mapear, entender e lidar com IA em países emergentes. Os líderes do grupo
são Glauco Arbix, que é professor de Sociologia da USP e João Paulo Veiga,
professor do Departamento de Ciências Políticas . O IA Humanity objetiva: 1)
analisar os impactos da IA nas estratégias individuais de busca de emprego,

105
Disponível em: <http://lapin.org.br/> Acesso: 04 nov. 2020.
106
Disponível em: https://opanoptico.com.br/sobre/. Acesso em: 30 jun. 2021.
107
Disponível em: http://c4ai.inova.usp.br/pt/home-2/. Acesso em: 15 out. 2020.
 106

nas políticas de recrutamento da empresa, na ética corporativa e na definição

de qualificações profissionais; 2) identificar as novas competências exigidas
pela IA e definir diretrizes para a qualificação dos profissionais, de forma a
mitigar os impactos no emprego e o aumento da desigualdade; 3) avaliar o
progresso das técnicas biométricas e do quadro regulatório em formação no
país, de forma a garantir a segurança e privacidade dos dados pessoais; 4)
avançar o debate sobre ética empresarial, regulação e autorregulação; 5)
classificar as empresas brasileiras com base em indicadores de ética
corporativa e compará-las com indicadores internacionais; 6) analisar a relação
entre a qualidade da informação de interesse público e a qualidade da
democracia; 7) explorar as interações entre humanos e robôs sociais
inteligentes, com especial atenção ao contexto social, cultural e econômico, a
fim de formular diretrizes e protocolos para o desenvolvimento e aplicação de
tecnologia que busca estabelecer relações éticas e seguras entre humanos e
máquinas.

● Transparência Algorítmica:108 é um projeto brasileiro com parcerias com

representantes do meio acadêmico (Universidade de Northwestern), da
sociedade civil (Ceweb) e do governo federal (Controladoria-Geral da União e
Ministério da Ciência, Tecnologia e Inovações). Ele monitora o uso de
algoritmos de IA pelo governo brasileiro com o objetivo de contribuir para a
transparência e a governança. O projeto faz parte da Transparência Brasil,
organização criada em 2000 por um grupo que tem a proposta de ajudar no
combate à corrupção e que elaborou um documento com recomendações de
governança para o uso de IA no setor público, indicando a necessidade de
bases de dados representativas e apropriadas e de supervisão humana como
salvaguarda para a revisão de decisões automatizadas; efetiva proteção dos
dados pessoais do cidadão, transparência e explicabilidade dos sistemas.

108
Disponível em: https://www.transparencia.org.br/projetos/transparencia-algoritmica. Acesso em: 27
jun. 2021.
 107

Em 6 de abril de 2021, foi publicada pelo Ministério da Ciência, Tecnologia,

Inovações e Comunicações, no Diário Oficial da União, a portaria no. 4617, que ficou
conhecida como Estratégia Brasileira de Inteligência Artificial (EBIA). De acordo com
o Índice de Inteligência Artificial de 2021 da Universidade Stanford, o Brasil é o 33º
país a ter uma estratégia para a inteligência artificial109.
A EBIA teve como objetivo pensar em estratégias para o crescimento e o
desenvolvimento da inteligência artificial no Brasil. Para isso, apresentou três eixos
transversais no documento (legislação, regulação e uso ético; governança e aspectos
internacionais) e seis eixos verticais (educação; força de trabalho e capacitação; PD&I
e empreendedorismo; aplicação nos setores produtivos; aplicação no poder público e
segurança pública).
A Estratégia Brasileira de Inteligência Artificial foi recebida com críticas por
parte dos especialistas. Entre os motivos apontados estão: a demora na apresentação
das estratégias, ser generalista, não ser aprofundada, não incluir a realidade brasileira
e não ter diretrizes orçamentárias claras nem critérios para nortear a atuação.
De forma resumida, a EBIA indica que:
1) È preciso avaliar os tipos de decisão que podem ser delegados a uma
máquina e quais devem exigir a intervenção humana;
2) Deve ser feita uma curadoria e seleção dos dados empregados para
aprendizagem de máquina, criando rotinas de gerenciamento de riscos,
monitoramento e de supervisão humana durante todo o ciclo de vida);
3) Deve seguir, no design, princípios de privacidade e segurança;
4) As preocupações com a dignidade humana e bem-estar devem estar
presentes desde a concepção das ferramentas até seus impactos;
5) Os sistemas precisam seguir princípios éticos;
6) Os sistemas não devem ter vieses;
7) As empresas (a EBIA não cita o governo nessa parte) devem cumprir o que
está previsto na Lei Geral de Proteção de Dados (LGPD), fornecendo, mediante
solicitação, informações claras e adequadas sobre os critérios e procedimentos
usados para a decisão automática;
7) É desejável (e não obrigatório) que as decisões tomadas por sistemas
automatizados sejam passíveis de explicação e de interpretação;

109
Disponível em https://www1.folha.uol.com.br/mercado/2021/07/brasil-apressa-lei-para-
inteligencia-artificial-dizem-especialistas.shtml. Acesso em: 07 ago. 2021.
 108

8) Deve seguir o princípio da precaução, estabelecendo que é preciso fazer

uma análise para identificar as aplicações de alto risco, como as que envolvem
monitoramento de espaço público, segurança e saúde.

Durante os estudos para a elaboração desta tese, também consultei algumas

leis, regulamentações e marcos legais, relacionadas na tabela abaixo.

Tabela 7 - Relação de leis e marcos legais

Fora do Brasil No Brasil

Regulamento Geral sobre a Proteção de Marco Civil da Internet

Dados (RGPD) - União Europeia

1a. Regulação de Algoritmo - China Lei de Acesso à Informação

Decreto da Política de Dados Abertos do Poder

Executivo Federal

Lei Geral de Proteção de Dados (LGPD)

Marco Legal para a Inteligência Artificial

Fora do Brasil

● Regulamento Geral sobre a Proteção de Dados (RGPD) da União

Europeia110: de 2016, ele estabelece as regras relativas ao tratamento, por
uma pessoa, uma empresa ou uma organização, de dados pessoais relativos
a pessoas na União Europeia. Em abril de 2021, a Comissão Europeia propôs
novas regras, estabelecendo um quadro regulamentar em matéria de
inteligência artificial. Elas objetivam garantir, por um lado, a segurança e a
defesa dos direitos fundamentais das pessoas e das empresas com o uso de
inteligência artificial, e, por outro, reforçar o investimento e a inovação. A
intenção declarada da proposta é colocar o ser humano no centro e respeitar
os direitos fundamentais. As novas regras estabelecem uma abordagem

110
Disponível em: https://ec.europa.eu/info/law/law-topic/data-protection/reform/what-does-general-
data-protection-regulation-gdpr-govern_pt. Acesso em: 24 out. 2021.
 109

baseada em quatro tipos de riscos, determinando sanções e valores que devem

ser pagos por quem não cumpri-las: 1) Risco inaceitável: são os que
representam uma clara ameaça à segurança, aos meios de subsistência e aos
direitos pessoais e, por isso, o regulamento indica que esta IA deve ser
proibida. Este risco inclui sistemas e aplicações que podem, por exemplo, ser
usados por governos para criar uma classificação social e os que podem
manipular o comportamento humano para iludir a liberdade de escolha; 2)
Risco elevado: incluem a IA que é usada em infraestruturas críticas (em
transportes, por exemplo, que podem colocar a vida e a saúde das pessoas em
risco); educação ou formação profissional (que possa determinar o acesso à
educação e à evolução profissional); componentes de segurança de produtos
(como IA em cirurgia assistida por robôs); emprego, gestão de trabalhadores e
acesso ao trabalho por conta própria (como o uso de software de análise de
currículos em processos de contratação); serviços públicos e privados
essenciais (como pontuação de crédito que impeça a obtenção de
empréstimos); aplicação coercitiva da lei (que possa impactar direitos
fundamentais, como a avaliação do grau de confiabilidade de provas); gestão
de migração, do asilo e do controle de fronteiras (como verificação de
autenticidade de documentos de viagem); administração da justiça e processos
democráticos e sistemas de identificação biométrica à distância (uso pela
polícia, em tempo real em espaços acessíveis ao público, é em princípio
proibido, salvo exceções regulamentadas, ficando sujeito, nestes casos,à
autorização de um órgão judicial ou de outro organismo independente e a
limites com prazos, alcance geográfico e bases de dados pesquisadas); 3)
Risco limitado: caso do chatbot (o utilizador deve estar ciente de que está
interagindo com uma máquina para decidir se quer continuar com a conversa
ou não e 4) Risco mínimo: a grande maioria dos sistemas baseados em IA
estão dentro desta categoria.

● A 1a. Regulação de algoritmos foi feita pela China em 2021. As normas

aplicam-se ao uso de tecnologias de recomendação (personalização, rankings,
seleção, busca, filtragem, tomadas de decisão e outras formas de oferta de
informação). A regulação determina que as empresas de tecnologia tomem
cuidado ao criar modelos de classificação dos usuários. Elas não podem usar
 110

informações ou palavras-chave que possam prejudicá-los ou discriminá-los. A

regulação também abre a possibilidade de inspecionar o funcionamento dos
algoritmos, determinando a abertura dos parâmetros de funcionamento de
alguns casos Em termos gerais, os algoritmos devem seguir princípios como
ética, equidade, justiça, abertura e transparência.

No Brasil

● Lei de Acesso à Informação (Lei nº 12.527 de 18 de novembro de 2011):111

regula o acesso a informações previsto na Constituição Federal e dispõe sobre
os procedimentos que devem ser observados pela União, Estados, Distrito
Federal e Municípios, com o fim de garantir o acesso a informações.

● Marco Civil da Internet (Lei nº 12.965, de 23 de abril de 2014):112 estabelece

princípios, garantias, direitos e deveres para o uso da Internet no Brasil,
regulando como se daria, neste contexto, a atuação da União, dos Estados, do
Distrito Federal e dos Municípios.

● Política de Dados Abertos do Poder Executivo Federal (Decreto Nº 8.777,

de 11 de maio 2016)113: objetiva promover a publicação de dados contidos em
bases de dados de órgãos e entidades da administração pública federal direta,
autárquica e fundacional sob a forma de dados abertos; aprimorar a cultura de
transparência pública; franquear aos cidadãos o acesso, de forma aberta, aos
dados produzidos ou acumulados pelo Poder Executivo federal, sobre os quais
não recaia vedação expressa de acesso; facilitar o intercâmbio de dados entre
órgãos e entidades da administração pública federal e as diferentes esferas da
federação; fomentar o controle social e o desenvolvimento de novas
tecnologias destinadas à construção de ambiente de gestão pública
participativa e democrática e à melhor oferta de serviços públicos para o

111
Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm. Acesso
em: 24 out. 2021.
112
Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2014/lei/l12965.htm. Acesso
em: 24 out. 2021.
113
Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2016/decreto/d8777.htm.
Acesso em: 24 out. 2021.
 111

cidadão; fomentar a pesquisa científica de base empírica sobre a gestão

pública; promover o desenvolvimento tecnológico e a inovação nos setores
público e privado e fomentar novos negócios; promover o compartilhamento de
recursos de tecnologia da informação, de maneira a evitar a duplicidade de
ações e o desperdício de recursos na disseminação de dados e informações e
promover a oferta de serviços públicos digitais de forma integrada.

● Lei Geral de Proteção de Dados (LGPD):114 Lei Federal n. 13.709, de 14 de

agosto de 2018, que entrou em vigor em setembro de 2020. Ela dispõe sobre
o tratamento de dados pessoais, por pessoa natural ou por pessoa jurídica de
direito público ou privado, para proteger os direitos fundamentais de liberdade
e de privacidade. Ela cria normas que devem ser seguidas por empresas e
governos para a coleta e o tratamento de dados pessoais (como nome, gênero,
data e local de nascimento, CPF, endereço, telefone, localização via GPS, foto,
prontuário de saúde, cartão bancário, renda, histórico de pagamentos, hábitos
de consumo, preferências de lazer, endereço de IP, cookies, entre outros) e de
dados sensíveis, que são informações com potencial de gerar discriminação
(como biometria, informações sobre raça, dados genéticos, dados biométricos,
informações sobre a saúde e a vida sexual, convicções religiosas e políticas,
filiação sinidcal, dados sobre crianças e adolescentes, etc.). Regras que as
empresas precisam seguir: informar a finalidade da coleta dos dados; garantir
adequação à finalidade divulgada; coletar somente os dados que forem
necessários; dar acesso gratuito à forma que os dados são tratados; deixar os
dados exatos e atualizados; ser transparente com o titular dos dados; investir
em segurança para coibir invasões; investir em prevenção de danos e não
permitir atos ilícitos com os dados tratados.

● Marco Legal para a Inteligência Artificial: o PL 21/2020, projeto do deputado

Eduardo Bismarck (PDT/Ceará), foi aprovado pela Câmara dos Deputados do
Brasil em 29 de março de 2021 por 413 votos favoráveis e 15 contrários. O PL
teve o apoio de todos os partidos políticos, menos do PSOL. Durante a
conclusão deste trabalho, ele seguiu para a análise do Senado. O projeto define

114
Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/L13709.htm. Acesso
em: 17 ago. 2019.
 112

os fundamentos e princípios para o desenvolvimento e a aplicação da IA,

incluindo diretrizes para o fomento e a atuação do poder público no tema. O
projeto de lei estabelece como sistemas de inteligência artificial as
representações tecnológicas do campo da informática e da ciência da
computação. O texto, inspirado nos conceitos e diretrizes propostos na
Recomendação sobre IA da Organização para Cooperação e Desenvolvimento
Econômico, diz ainda que caberá à União legislar e editar normas sobre a
matéria e também estabelece alguns fundamentos para os respeitos aos
direitos humanos e os valores democráticos. Ele prevê a figura do agente de
desenvolvimento (que implanta o sistema) e o agente de operação (que opera
o sistema). Ambos têm deveres, como responder legalmente pelas decisões
tomadas pela IA, assegurando o respeito à Lei Geral de Proteção de Dados
(LGPD). A proposta também contém direitos dos usuários dos sistemas, como:
ciência das instituições que são responsáveis pelos sistemas e direito de
acesso a informações claras e adequadas sobre os os critérios e
procedimentos adotados nos sistemas de inteligência artificial. O texto do
projeto de lei recebeu algumas críticas, como o fato de que os detalhes da
regulamentação podem ser definidos por diferentes juízes do País. A falta de
uniformidade pode criar insegurança jurídica.

Tabela 8 Países com estratégias publicadas de IA

Ano Países

2017 Canadá, China, Japão, Finlândia, Estados Árabes Unidos

2018 União Europeia, França, Alemanha, Índia, México, Reino Unido, Suécia, Taiwan

2019 Estônia, Rússia, Singapura, EUA, Coreia do Sul, Colômbia, República Checa,
Lituânia, Luxemburgo, Malta, Holanda, Portugal, Qatar

2020 Indonésia, Arábia Saudita, Hungria, Noruega, Sérvia, Espanha

2021 Brasil
Fonte: elaborada pela autora

Em uma entrevista para a Folha de S. Paulo, o professor Luciano Floridi

apresentou a opinião de que, apesar das diversas críticas de que os regulamentos e
códigos atuais sobre Inteligência Artificial não são específicos e aprofundados, eles
 113

são melhores do que nada. “Mas é só isso: melhor que nada. Alguns deles são
completamente inúteis.” O entrevistado ainda afirma que a IA é

uma tecnologia muito poderosa, que nas mãos certas e com a

governança correta, poderia fazer coisas fantásticas. Me
preocupa um pouco o fato de que não estamos fazendo isso,
estamos perdendo a oportunidade. O motivo de a ética ser tão
importante é exatamente porque a aplicação correta dessa
tecnologia precisará de um projeto geral sobre a nossa
sociedade. Gosto de chamá-lo de “projeto humano”. O que a
sociedade irá querer? Qual futuro queremos deixar para as
próximas gerações? Estamos preocupados com outras coisas
como usar IA para gerar mais dinheiro, basicamente.
(HERNANDES, 2020).

3.2. Como navegar em um cenário de incerteza?

O Dicionário Michaelis descreve precaução como cautela para evitar dano,

perigo ou qualquer tipo de mal. Este cuidado pode ser uma boa escolha para eliminar
riscos em decorrência de alguns SDAs, tanto da parte de quem criou, como de quem
manteve e adquiriu os sistemas (SILVEIRA, 2021, p. 92-93). Com base em Wedy,
Silveira explica que a precaução é diferente da prevenção. Esta última busca evitar
riscos previsíveis. Já a precaução atua sobre eventos que não são totalmente
prováveis, mas que são possíveis.
Mas na era que Schwab (2016) denomina de Quarta Revolução Industrial 115, a
“lógica do bom suficiente” tem sido mais comum do que a de precaução. A expressão
foi usada por Robert Capps (2009), que foi editor da revista norte-americana Wired,
que trabalha com matérias que mostram como as tecnologias impactam a cultura. Ele
utilizou a expressão ao se referir à tendência que uma boa parte da sociedade tem de
abrir mão de um certo padrão de qualidade, desde que os objetos técnicos tragam
facilidades, sejam mais baratos, flexíveis e convenientes. No caso do SDAs, eles
podem até ajudar a otimizar processos, trazendo mais eficiência, mas e os impactos
sociais? Quem é beneficiado? Quem é prejudicado? Por isso, é preciso cautela. Antes

115
Schwab (2016, p. 17) chama a fase atual de Quarta Revolução Industrial partindo da premissa de
“a tecnologia e a digitalização irão revolucionar tudo” e Brynjolfsson e McAfee (2015), de a Segunda
Era das Máquinas. Muito antes de chegarmos na fase atual, VIEIRA PINTO (2005a, p. 43) já lembrava
que o conceito de ‘era tecnológica’ constitui importantíssima arma do arsenal dos poderes supremos,
empenhados em obter estes dois inapreciáveis resultados: (a) revesti-lo de valor ético positivo; (b)
manejá-lo na qualidade de instrumento para silenciar as manifestações de consciência política das
massas”.
 114

de implantar um sistema, é preciso analisar todos os cenários futuros (ao contrário do

que está sendo feito no Brasil com alguns sistemas de reconhecimento facial, por
exemplo).
No artigo Anticipatory Ethics and the Role of Uncertainty (Ética antecipatória e
o papel da incerteza), Nanayakkara, Diakopoulos e Hullman (2020) refletem que a
ideia de prever resultados futuros pode ser assustadora. Mas como existem diferentes
tipos de incerteza, estabelecer uma tipologia pode ajudar na construção de cenários
exploratórios, antecipando algumas consequências. Sendo assim, eles propõem três
tipos de incerteza: epistêmica, ontológica e aleatória.
Há incerteza epistêmica, por exemplo, sobre os valores dos parâmetros de
um modelo para mídia social, em que deepfakes são compartilhadas, na proporção
em que ele captura os caminhos em que as informações falsas circulam mais
rapidamente do que as verdadeiras. Mas quando os pesquisadores codificam a ideia
de que as informações verdadeiras são disseminadas de forma mais veloz, esta
parametrização vai ter um impacto no cenário resultante, que será diverso do primeiro
caso. Existem ainda outras incertezas desse tipo, como a possibilidade (ou não) dos
pesquisadores serem incapazes de considerar adequadamente os fatores do mundo
real ou se são capazes (ou não) de capturarem interações entre os parâmetros.
Quanto mais um pesquisador domina uma área e entende o contexto, melhor é a
parametrização.
A incerteza ontológica surge com a inclusão ou exclusão de parâmetros. É
ontologicamente incerto se os pesquisadores irão escolher um conjunto “certo” de
parâmetros para incluir. Por exemplo, se eles não levarem em consideração as mídias
sociais para a análise de deepfakes eleitorais, eles não poderão compreender
cenários onde elas desempenham um papel nos espaços sociais online. Os autores
acreditam que para reduzir esse tipo de incerteza, uma saída é contar com
perspectivas e ideias de outros campos, que permitam enxergar o cenário através de
lentes diversas, com um leque mais amplo de possibilidades. Como exemplo, eles
citam que o entendimento sobre como o colonialismo molda as dinâmicas de poder
geopolíticas e culturais atuais pode ajudar a compreender o contexto da inteligência
artificial, ampliando o conjunto de parâmetros de análise relevantes e diminuindo o
grau de incerteza. A incerteza ontológica também surge em torno de questões sobre
o que pode ser uma consequência positiva ou negativa, como no caso de resultados
 115

discriminatórios. Eles são evidentemente negativos, mas pode ser que não exista um
acordo sobre o que é justiça.
Por fim, a incerteza aleatória resulta da aleatoriedade de alguns processos,
da imprevisibilidade e variabilidade do comportamento. São elementos e situações
inesperadas que, por serem frutos do acaso, o pesquisador não pode identificar com
antecedência, por mais informações que tenha. Os sistemas de deep learnings estão
recheados de incertezas aleatórias. Como operam a partir de redes neurais, eles são
tão complexos e criam tantas camadas intermediárias, que as operações para
alcançar os resultados não são conhecidas em sua totalidade. Por essa razão, Deep
learning é um sistema praticamente impenetrável e incompreensível.
Neste sentido, torna-se necessário entender os caminhos possíveis em torno
da defesa da transparência e como isso pode ocorrer de fato e até que ponto. Mas
sabendo de antemão que esta meta tem limites. Nick Seaver (2014) lembra que
existe um simplismo em torno da ideia de que a transparência pode permitir por si só
romper a opacidade dos sistemas algorítmicos. Em outro artigo de 2017, em que
defende o emprego de táticas de etnografia, para compreender os sistemas
algorítmicos, ele diz que a transparência não é uma revelação do que sempre esteve
escondido, mas é uma reconfiguração metódica da cena social que a transforma em
direção a determinados fins. Então, para Seaver, não basta fazer uma auditoria
alterando, por exemplo, os dados de entrada de um sistema para desvendar
determinadas operações responsáveis por certos resultados. Como antropólogo, ele
acredita que é preciso ir além dos objetos técnicos, buscando a lógica que norteia as
escolhas, regras e rotinas.
No artigo em que se dedica à análise da responsabilidade algorítmica,
personalidade eletrônica e democracia, Sérgio Amadeu da Silveira (2020, p. 94)
acrescenta, no caso dos inescrutáveis sistemas de deep learning, uma outra
preocupação de ordem política: “como é possível aceitar que o Estado Democrático
utilize algoritmos de relevância pública (GILLESPIE, 2018) cujas operações não se
podem conhecer?”
Com base no que foi apresentado até o momento, entendo que o Jornalismo
tem um papel essencial no processo de tentar desvendar alguns pontos dos
intrincados Sistemas de Decisões Automatizadas, denunciando abusos e erros.
4 . Entra em cena o Jornalismo
 116

“O jornalismo é um dos atores mais

importantes dos processos de comunicação
pública, e, consequentemente, sob o viés de
uma teoria democrática deliberativa,
configura uma instituição imprescindível à
própria democracia.”
Basilio Alberto Sartor

Apesar de, muitas vezes, reproduzir as relações de poder existentes na

sociedade, ajudando a preservar visões hegemônicas (HALL et al., 1999; MEDITSCH,
2010), o Jornalismo é uma instituição imprescindível à democracia, pois pode ajudar
a revelar o que está oculto, dando visibilidade para certos temas e acontecimentos,
além de demonstrar as causas e os efeitos de decisões que afetam a vida das
pessoas, fazer contextualizações, estimular debates e ampliar vozes. Esta visão é
fruto da tradição democrática, que confere ao Jornalismo um papel de salvaguarda da
democracia e dos direitos dos cidadãos. Como os Sistemas de Decisões
Automatizadas podem afetar ambos - democracia e direitos -, eles também precisam
estar sob a mira dos jornalistas, pois são um caso de interesse público.
Para Gislene Silva (2005, p. 95), professora da Universidade Federal de Santa
Catarina, o interesse público faz parte de um dos critérios de noticiabilidade, que ela
sistematiza com base em três instâncias: 1) origem do fato (seleção primária dos fatos
/ valores-notícia), seguindo atributos como conflito, curiosidade, tragédia, proximidade
etc; 2) tratamento dos fatos (seleção hierárquica dos fatos e na produção da notícia,
desde condições organizacionais e materiais até cultura profissional); e 3) visão dos
fatos, com base nos fundamentos ético-epistemológicos, como objetividade, verdade,
interesse público, etc. Gislene Silva (2005, p. 96) compreende noticiabilidade como

todo e qualquer fator potencialmente capaz de agir no

processo da produção da notícia, desde características do
fato, julgamentos pessoais do jornalista, cultura profissional da
categoria, condições favorecedoras ou limitantes da empresa
de mídia, qualidade do material (imagem e texto), relação com
as fontes e com o público, fatores éticos e ainda circunstâncias
históricas, políticas, econômicas e sociais
 117

Mesmo que a expressão interesse público seja exaustivamente empregada,

seu significado só alcança o status de evidente por força ideológica. Ao ser
problematizado e examinado “à luz das teorias políticas e sociais, o feito de
transparência e naturalização que se produz sobre o termo desaparece” (SARTOR,
2016, p. 228). Por isso, o pesquisador Basilio Alberto Sartor buscou compreender os
sentidos que jornalistas atribuem à noção de interesse público como princípio
normativo do jornalismo e critério de noticiabilidade. Ele teve como base um
arcabouço teórico que posiciona o jornalismo como instituição social e como forma de
conhecimento.
Sartor fez entrevistas com jornalistas e empregou a Análise de Discurso para
interpretar seus relatos, encontrando duas formações discursivas da noção de
interesse público: uma iluminista-democrática, que se relaciona com a ideia de
apreensão e transmissão da verdade, como algo essencial para o progresso social e
o desenvolvimento democrático e outra econômico-mercadológica, que vê o
interesse público como algo que satisfaz os consumidores, com o objetivo final de
garantir a sobrevivência e o crescimento econômico-financeiro das empresas
jornalísticas.
Sartor conclui que os sentidos de interesse público se atualizaram, no campo
jornalístico, e podem ser entendidos como relevância pública, esclarecimento,
vigilância, espaço comum e preferência de consumo.
Nesta tese, seguimos os sentidos de interesse público que Sartor identificou
que estão vinculados ao ideal iluminista-democrático, excluindo, portanto, a
preferência de consumo. Mas o que considero ter maior vínculo com o tema deste
trabalho é o sentido de vigilância. Para Sartor (2016, p. 237), ele “implica preservar e
ampliar o monitoramento crítico do Estado, mas também das organizações dos
diversos campos sociais”. Considero, portanto, que reportagens jornalísticas sobre
os Sistemas de Decisões Automatizadas cumprem o sentido de vigilância,
preservando e ampliando o monitoramento crítico de escolhas tomadas pelos SDAs
que impactam todos nós em diversas esferas da nossa vida.

4.1 Jornalismo de Precisão, RAC, Jornalismo com Dados e Jornalismo

Computacional
 118

O jornalista Philip Meyer lançou, em 1973, o livro Precision Journalism,

propondo o uso de métodos das ciências sociais na prática jornalística, como análise
de registros públicos, experiências em campo e entrevistas de dados categorizados.
Para Meyer (2002), o Jornalismo de Precisão adotava o método, objetividade e ideais
científicos. Foi em 1967 que ele começou a aplicar essa associação para entender os
protestos nos subúrbios de Detroit, nos Estados Unidos, enquanto trabalhava no The
Detroit Free Press.
Os dados são a matéria-prima do jornalismo e demandam uma abordagem
criteriosa. Neste sentido, o Jornalismo de Precisão exige algumas competências
profissionais para saber como: a) encontrar informações; b) avaliar informações; c)
comunicá-las de forma adequada para o público interessado e d) determinar a
precisão (BOGONI e KRAEMER, 2015). Para tanto, o repórter deve partir de uma
hipótese, testá-la através de método científico e apresentar os resultados através de
um esquema teórico capaz de deixar o raciocínio evidente, apontando e o percurso
realizado pelo jornalista (MEYER, 2002, p. 14).
Este trabalho acabou incentivando o surgimento, na década de 1990, do que
ficou conhecido como Reportagem com Auxílio de Computador (RAC) ou, em inglês,
Computer Assisted Report (CAR). A RAC é, portanto, uma vertente do Jornalismo de
Precisão, que usa técnicas e ferramentas instrumentais como a utilização de planilhas
de cálculo e banco de dados e acesso aos dados públicos. A partir da argumentação
de Brant Houston, Bogoni e Kraemer (2015, p. 9) pontuam que a RAC é mais utilizada
na investigação jornalística com a intenção de lidar com contextos sociais mais
amplos. E com base em José Luis Dader, as autoras explicam que o Jornalismo de
Precisão pode contribuir de forma efetiva com o Jornalismo Investigativo, mas ambos
são distintos, apesar de compartilharem, em certas circunstâncias, alguns métodos e
objetivos.

Enquanto que no Jornalismo Investigativo a busca de

informações ocorre com o intuito de revelar algum tipo
de transgressão, falha ou ilegalidade por meio da
apresentação de fatos inéditos; no Jornalismo de
Precisão, também há busca por elementos novos e
ainda ocultos, mas, nesse caso, o que o jornalista
procura são dados .(BOGONI e KRAEMER, 2015,
p.9).
 119

Com o avanço das ferramentas computacionais e a explosão de dados digitais,

surgiram novos desdobramentos e possibilidades na atividade jornalística. Leonardo
Mancini e Fabio Vasconcellos (2016, p. 73) citam que para Mark Coddington, a RAC,
o Jornalismo de Dados e o Computacional representam três categorias que se
sobrepõem, mas que possuem diferenças importantes.
Coddington propõe uma tipologia que, com base em quatro dimensões, procura
caracterizar as práticas jornalísticas:

1) Natureza profissional: diferenças entre jornalistas muito experientes e os que

buscam uma formação em rede, baseada em troca de conhecimentos, inclusive
com quem não é jornalista;

2) Transparência das técnicas e reportagens produzidas para leitores e

profissionais interessados;

3) Analisa as reportagens feitas a partir de amostras quantitativas orientadas ou

com o uso de estruturas mais robustas, como Big Data;

4) Como os jornalistas compreendem o papel de seu público.

Como Mancini e Vasconcellos (2016, p. 73) argumentam, Coddington conclui,

com base na tipologia que criou, que há “um fosso entre as orientações profissionais
e epistemológicas da RAC, por um lado, e do JD [Jornalismo de Dados] e do JC
(Jornalismo Computacional), por outro. Essas divisões teriam um fundo cultural a
partir do qual cada um procura fazer jornalismo”.
A RAC busca unir as técnicas das ciências sociais ao jornalismo profissional e,
de certa forma, ao jornalismo investigativo. Já o Jornalismo de Dados e o
Computacional se relacionam com técnicas das ciências sociais, mas também com
uma cultura de dados abertos. A diferença entre o JD e o JC é que o Computacional
está mais voltado para a programação e consiste em uma “prática com mais ênfase
no trabalho em rede e nas trocas com outros profissionais, embora a sua técnica e
seu material de trabalho sejam orientados, ao fim e ao cabo, para o JD”
(CODDINGTON apud MANCINI e VASCONCELLOS, 2016, p. 73).
 120

Mancini e Vasconcellos (2016, p. 75) também reforçam a diferença entre

Jornalismo com Dados e Jornalismo de Dados, criando uma matriz que vai de um
extremo ao outro a partir das seguintes dimensões: busca e/ou elaboração da própria
criação de base de dados; estruturação da base; visualização e interpretação dos
dados. Mancini e Vasconcellos (2016, p. 81) acreditam que com a matriz é possível
entender as diferenças entre a produção de um conteúdo que nasce e é estruturado
a partir dos dados quantitativos (Jornalismo de Dados) e a produção de um conteúdo
que apenas utiliza dados quantitativos (Jornalismo com Dados). Ou seja: a diferença
não é o uso da técnica em si, mas como ela pode ser empregada.

4.2. Desvendando os SDAs

Trielli e Diakopoulos (2020), que são pesquisadores da Northwestern

University, criaram um modelo que leva em consideração diferentes formas de
investigar os Sistemas de Decisões Automatizadas a partir de cada um de seus
componentes: input (dados de entrada); cálculo (instruções), output (dados de saída
ou dados processados) e design (modelo).

Figura 11 - Componentes do algoritmo

Input Cálculo Dados

Desgin
(dados de (Instruçõe processad
(modelo)
entrada) s) os
Fonte: Trielli, Diakopoulos (2020)

Ao discorrerem sobre os dados de entrada, Trielli e Diakopoulos (2020)

explicam que é central determinar que tipo de dado foi usado no modelo. Eles
reforçam que as instruções podem estar corretas, mas se os inputs não são
adequados, suas conclusões podem conter erros e/ou preconceitos. Sendo assim, o
input inadequado pode

não medir o que o algoritmo pretende prever ou

classificar. Mas também pode usar indevidamente
 121

dados que já estão tendenciosos ou que reforçam

vieses na sociedade. Um exemplo disso é o fato de
que os algoritmos podem discriminar com base na
raça, mesmo quando não usam especificamente
dados raciais. Em países com bairros segregados
racialmente, como os Estados Unidos, os códigos
postais podem ser fortes preditores de raça (TRIELLI,
DIAKOPOULOS, 2020).116

O cálculo, também é um elemento central de um sistema algorítmico. Trielli e

Diakopoulos (2020) explicam que uma uma ameaça básica são os erros de digitação
no código. Já nos sistemas mais complexos e que usam o aprendizado de máquina,
a previsão é baseada em inferências estatísticas e, por isso, sempre há possibilidade
de previsões incorretas. Existem medidas específicas para levá-las em consideração,
como falsos positivos (erro tipo I) e falsos negativos (tipo II). Nestes sistemas, a
ameaça não é apenas o erro do cálculo em si, mas inclui a magnitude e quem foi
impactado pelo erro.

A questão da magnitude é geralmente o escopo da

validação e teste que determina se os algoritmos são
considerados precisos o suficiente para serem
adotados. Relatórios desses testes podem ser úteis
para investigações. A direção do erro é mais
matizada. Falso-positivo e falsos negativos têm
implicações diferentes, dependendo da aplicação do
algoritmo Por exemplo, “um falso positivo pode
sinalizar uma pessoa de baixo risco como perigosa,
mantendo essa pessoa encarcerada. Um falso
negativo pode liberar um criminoso de alto risco”
(TRIELLI e DIAKOPOULOS, 2020)117.

Com relação ao output, existem dois perigos principais: falta de utilidade e de

compreensibilidade. Os autores citam como exemplo um sistema de policiamento
preditivo, que usa dados históricos de crimes para prever quando e onde um crime
pode ocorrer. Além de possíveis vieses nos dados de entrada, os dados de saída são
capazes de ativar mais atividades policiais do que é necessário. Por isso, perdem a

116
No original: “if it does not measure what the algorithm is aiming to predict or classify. But it can also
improperly use data that is already biased or that reinforces biases in society. One example of that is
the fact that algorithms can discriminate based on race even when they do not specifically use race
data. In countries that have racially segregated neighborhoods, such as the United States, postal codes
can be strong predictors of race”.
117
No original: “A false positive can flag a low-risk person as dangerous and keep that person
incarcerated. A false negative can release a high-risk criminal. Depending on your view of incarceration,
one is more damaging than the other”.
 122

utilidade. Além disso, os dados ou ações geradas pelo algoritmo precisam ser
compreendidos pelos operadores, para que eles possam reagir de forma correta, o
que nem sempre ocorre.
Trielli e Diakopoulos (2020) lembram o caso de dois aviões que caíram entre
outubro de 2018 e março de 2019, matando 336 pessoas. Eles possuíam um software
que compensava um desequilíbrio do projeto original da aeronave, que era inclinada
para trás em certas circunstâncias, ajustando os estabilizadores para abaixar o nariz
do avião. Mas os pilotos não tinham recebido treinamento sobre este algoritmo e não
foram capazes de identificar os dados de saída (o abaixamento do nariz e o
manche)118.
Outro ponto de atenção são os modelos. Trielli e Diakopoulos (2020) lembram
que uma vez que os algoritmos estão inseridos em sistemas sociotécnicos, um
jornalista que está fazendo alguma investigação sobre eles deve levar em
consideração as circunstâncias sociais e refletir se os modelos são de fato éticos.
Mesmo que os dados de entrada sejam adequados, que o cálculo seja perfeito e sem
erros e que os resultados sejam úteis e compreensíveis, os sistemas eficazes podem
gerar problemas em grande escala. Trielli e Diakopoulos (2020) citam como exemplo
o software de reconhecimento facial, que além da utilização inadequada, é baseado
em categorizações de raça e de gênero problemáticas, que ajudam a reforçar vieses,
como já abordado anteriormente na tese.
Para permitir investigar os componentes dos Sistemas de Decisões
Automatizadas, Trielli e Diakopoulos (2020) elaboraram quatro cenários: acesso ao
código; acesso aos dados de entrada e de saída; acesso aos dados de entrada ou de
saída e acesso a informações complementares.
O acesso ao código possibilita verificar se existem problemas na lógica e/ou
implementação destes sistemas e testá-los com dados simulados para verificar
resultados hipotéticos. Este tipo de investigação demanda habilidades e competências
técnicas, que são típicas do Jornalismo Computacional. Uma das técnicas usadas é o
desenvolvimento de bots, que podem ajudar, por exemplo, a avaliar como os SDAs
se comportam de maneira diferente para vários padrões de uso, como o login de
diferentes locais para avaliar a segmentação geográfica. MARCONI, DALDRUP e
PANT, 2019).

118
Disponível em: https://embeddedartistry.com/wp-content/uploads/2019/09/the-boeing-737-max-
saga-lessons-for-software-organizations.pdf. Acesso: 29 set. 2021.
 123

Mas, como vimos através de levantamentos realizados, como o da

Transparência Brasil (2020a), o código aberto, infelizmente, não é a regra. Mesmo
assim, existe uma outra forma de investigar os SDAs, desde que seja possível ter
acesso aos dados de entrada e saída. Este método possibilita investigações
jornalísticas poderosas por meio de um processo de engenharia reversa dos cálculos
dos SDAs e da comparação das entradas e saídas. Trielli e Diakopoulos (2020)
exemplificam esta metodologia com uma matéria do The Upshot do New York Times,
que investigou um algoritmo que previa a probabilidade de alguém envolvido em um
tiroteio ser o agressor ou a vítima119. Neste caso, o algoritmo não estava disponível,
mas havia uma lista com 399.000 indivíduos, no portal de dados abertos da cidade.
Apesar de não ter nomes, a reportagem tinha informações úteis para a análise da
dados (idade, sexo, raça, se foi ou não presa por drogas ou porte de armas, etc.). Com
as pontuações de risco (a saída) e os dados que foram usados para calcular a
pontuação de risco (a entrada), os jornalistas fizeram uma análise de regressão linear
e isolaram os critérios mais ou menos relacionados com o escore120.
Mas quando só existe a possibilidade de acessar os dados de entrada ou os
de saída, outros tipos de análise devem ser realizados no lugar da engenharia
reversa (TRIELLI, DIAKOPOULOS, 2020). Este é o caso da reportagem da
ProPublica, que abordamos no capítulo dois, sobre o SDA que avaliava a
probabilidade de reincidência de um réu. Os jornalistas conseguiram, por meio de uma
solicitação pública, o escore de risco de 18.610 pessoas. Primeiro, fizeram uma
análise descritiva dos dados de pontuação de acordo com a raça de quem era avaliado
e descobriram que era atribuída uma maior possibilidade de reincidência para os réus
negros. Depois, os repórteres compararam as pontuações com outro conjunto de
dados formado pelos registros criminais da mesma área. O objetivo foi comparar a
previsão de reincidência por raça com a realidade. A conclusão da ProPublica foi que
os réus negros tinham uma proporção maior de falsos positivos do que os brancos.
Neste caso, portanto, os jornalistas não precisaram dos dados de entrada do SDA,
pois só os de saída foram suficientes para a análise e a comparação com outro
conjunto de dados.

119
Disponível em: https://www.nytimes.com/2016/05/24/us/armed-with-data-chicago-police-try-to-
predict-who-may-shoot-or-be-shot.html?. Acesso em: 13 ago. 2020.
120
Disponível em: https://www.nytimes.com/2017/06/13/upshot/what-an-algorithm-reveals-about-life-
on-chicagos-high-risk-list.html. Acesso em: 13 ago. 2020.
 124

Entretanto, em determinados casos, os jornalistas não conseguem acessar os

códigos, muito menos os dados de entrada e/ou de saída. Nestas situações, a solução
apontada por Trielli e Diakopoulos (2020) é a busca por informações
complementares e contextuais. Uma forma pode ser através de manuais de
instruções. Mas nem sempre isso é possível. Outro jeito é recorrer às técnicas
jornalísticas tradicionais, entrevistando pessoas (programadores, operadores,
pessoas afetadas, etc.), buscando documentos, etc., para preencher lacunas de
informação e contextualizar os fatos descobertos.
A iniciativa Transparência Brasil (2020b), que entende accountability e
transparência como ferramentas para garantir controle público e responsabilização,
elaborou um documento, em fevereiro de 2020, que apresenta uma proposta para
avaliação de riscos reais e potenciais no uso de algoritmos de inteligência artificial
pelo setor público: riscos a direitos por natureza da ferramenta; riscos a direitos por
discriminação algorítmica; riscos ao direito à privacidade e potencial abuso autoritário
do espaço cívico. O modelo de avaliação proposto busca identificar o nível de cada
risco, apontando a possibilidade do impacto ser alto, moderado ou baixo.
Para a Transparência Brasil, riscos a direitos por natureza da ferramenta
são os que podem envolver casos concretos com base nos resultados desenhados
para a inteligência artificial entregar (output). Neste tipo de risco entram, por exemplo,
os SDAs que determinam a possibilidade de reincidência criminal de uma pessoa, o
que pode impactar na determinação da sentença.
Já os riscos a direitos por discriminação algorítmica podem surgir, como
indica a Transparência Brasil, a partir de base de dados que carecem de
representatividade e, por isso, afetam os resultados dos modelos treinados por eles.
Ou seja, se os dados não refletem diferentes grupos, os SDAs podem gerar modelos
piores ou discriminatórios. Isto pode ocorrer com os sistemas de reconhecimento
facial como vimos anteriormente. Como muitos modelos deste tipo são treinados
principalmente com rostos de pessoas brancas, eles são menos precisos com as faces
de outras raças.
Mas o viés não é restrito à representatividade. Ele também pode ocorrer a partir
da validade (ou não) do dado e do desenho do SDA, como já apontado por Trielli e
Diakopoulos (2020). Isso acontece quando “os dados disponíveis para treinamento de
um modelo podem não servir propriamente para o que foi desenhado, e seu resultado
pode gerar discriminação entre grupos”, como explica a Transparência Brasil (2020b,
 125

p. 9). A iniciativa exemplifica este caso com um estudo que saiu na revista Science121.
Ele mostra um SDA que foi utilizado em um hospital norte-americano para guiar
decisões médicas a partir da classificação de pacientes de acordo com o nível de
cuidado necessário. Ao concluir falsamente que os negros estariam mais saudáveis
do que pacientes brancos, o sistema privilegiou estes últimos. “O viés ocorreu porque
o algoritmo usava como dados pagamentos a planos de saúde como proxy para
avaliar a condição médica do paciente, ignorando que brancos têm mais acesso a
planos de saúde que negros” (TRANSPARÊNCIA BRASIL, 2020b, p.10).
Já os prejuízos à privacidade podem acontecer a partir da

criação e/ ou disponibilização de bancos de dados

massivos, já que o emprego de tecnologias de IA, em
geral, demanda o processamento de grande
quantidade de dados. Órgãos governamentais vêm
utilizando dispositivos tecnológicos capazes de
coletar dados pessoais sobre os cidadãos capazes de
monitoramentos massivos, como o monitoramento de
localização por celular para acompanhamento de
isolamento imposto pela COVID e até ferramentas de
identificação e reconhecimento facial. Algoritmos com
a intenção de coletar informações estratégicas e
melhorar serviços e políticas públicas também vêm
sendo observados (TRANSPARÊNCIA BRASIL,
2020b, p.12).
.

O uso de dados pessoais é definido pela Lei Geral de Proteção de Dados no

Brasil (LGPD) como toda informação relacionada à pessoa natural identificada ou
identificável, que inclui características pessoais, qualificação pessoal, etc. A Lei
estabelece que a administração pública só pode tratar e compartilhar dados
necessários para uma determinada política pública, com o objetivo de prestar um
serviço e para implementar melhorias, de acordo com critérios claros e com uma
finalidade bem definida. Tem SDA que pode ser útil neste sentido, mas, por outro lado,
pode ser capaz de ameaçar a sociedade civil e torna-se uma arma nas mãos de
governos autoritários (TRANSPARÊNCIA BRASIL, 2020b, p.16), que querem
implementar um estado de hipervigilância, com base em dados sensíveis sobre
origem racial ou étnica, religião, opinião política, estado de saúde e dado genético ou
biométrico.

121
Disponível em: https://www.science.org/doi/10.1126/science.aax2342. Acesso: 17 abr. 2020.
 126

4.3. Jornalismo investigativo

Solano Nascimento, professor da Universidade de Brasília, tem uma ampla

passagem por jornais e revistas no currículo. Ele problematizou, em seu doutorado,
uma questão que via na prática nas redações. Para ele, os jornalistas, muitas vezes,
chamavam (e ainda chamam) de Jornalismo Investigativo o que ele conceituou como
Jornalismo Sobre Investigações. De forma bem resumida, segundo Nascimento
(2016), para uma reportagem ser enquadrada no Jornalismo Investigativo, ela precisa
ser o resultado de uma investigação realizada ativamente pelo próprio repórter122.
Por outro lado, se a matéria revela apenas o resultado parcial ou final de uma
investigação oficial ela é um caso de Jornalismo Sobre Investigações.
Nascimento (2016) mergulhou em diversos trabalhos e autores para aprofundar
os pré-requisitos e características que ajudam a definir o que pode ser chamado de
Jornalismo Investigativo, apresentando três critérios-chave: o tipo de tema abordado,
como foi feita a apuração e a reação gerada.

● Silvio Waisbord: jornalismo investigativo é o que é muito marcado pela

busca por irregularidades, que envolvem autoridades e pessoas do
governo, e que exerce, portanto, o papel de cão de guarda;

● David Protess: é aquele que tem a capacidade de gerar surpresa,

indignação e revolta no público;

● Bob Greene: jornalismo cuja descoberta é fruto da iniciativa e do

esforço dos repórteres;

● James Ettema;Theodore Glasser: é o que vai além dos limites do

jornalismo diário e o que confronta a realidade de uma forma mais
aprofundada e direta;

● Lucinda Fleeson: o Jornalismo Investigativo é o resultado do trabalho

original dos repórteres e não da investigação feita pelas autoridades;

122
Por isso mesmo, este tipo de investigação jornalística é chamada por Hunter e Hanson (2013, p.
8) de cobertura empreendida.
 127

● Manual de reportagem da Investigative Reporters and Editors de 1983:

a investigação deve ser trabalho do repórter; o tema da reportagem
deve ser importante para as pessoas e, ao mesmo tempo, estar
escondido do público;

● Petra Secanella: a reportagem investigativa é fruto do trabalho do

jornalista e não do trabalho de outras pessoas, como policiais e
assessores de imprensa. O tema deve ser importante para grande
parte da população e os investigados, em geral, tentam esconder do
público o que está sendo investigado pelos jornalistas;

● Daniel Santoro: investigação feita pelos próprios jornalistas, que é o

resultado da superação dos obstáculos impostos por quem busca
manter a informação oculta e trata de temas que interessam a opinião
pública;

● Bill Kovach e Tom Rosenstiel trabalham com dois tipos de conceitos

sobre Jornalismo Investigativo. O clássico é quando a matéria é feita
originalmente por jornalistas que descobrem algo desconhecido. Já
a reportagem investigativa interpretativa revela uma conexão ou rede de
ligações novas entre os dados parcialmente conhecidos, trazendo
novas análises e contextualizações.

Após avaliar as conceituações propostas, Nascimento (2016) concluiu que

todas elas têm um denominador comum, como citamos no começo deste subcapítulo,
que é o fato de que o jornalismo investigativo implica em um trabalho ativo de
apuração do repórter.
Ao tratar sobre o potencial do Jornalismo Investigativo, Nascimento compara
as visões do sociólogo norte-americando John Thompson e do argentino Silvio
Waisbord, diretor e professor da Faculdade de Mídia e Relações Públicas da
Universidade George Washington. Para o primeiro, as denúncias do Jornalismo
Investigativo enfraquecem as instituições e os políticos. Já para Waisbord, é o
contrário. Ele entende que, ao publicar atos ilegais, irregularidades e abusos, o
 128

jornalismo investigativo tem um papel fundamental para a accountability e, portanto,

para a democracia. “Além de revelar esses problemas, a mídia pode estimular as
consequências” (WAISBORD apud NASCIMENTO, 2016), pressionando os poderes
legislativo e judiciário e cobrindo manifestações do público. Mas, por outro lado,
Waisbord critica a tendência dos jornalistas investigativos terem mais interesse pelas
irregularidades cometidas por autoridades institucionais do que pelas ações de líderes
empresariais; por não terem muito apetite em desvendar problemas sociais e por se
dedicarem muito mais aos erros individuais do que os sistêmicos.
Sobre as consequências da reportagem investigativa sobre a agenda política,
Nascimento (2016) apresenta uma classificação realizada por Protess em conjunto
com um grupo de pesquisadores:

● Resultados deliberativos: quando são criadas comissões ou ocorrem

audiências com foco nas denúncias;

● Resultados individualizados: quando ocorrem sanções, demissões

ou qualquer outro tipo de punição individual;

● Resultados substanciais: as denúncias impactam em novas

regulamentações, legislações e alterações administrativas. Estes “são
os mais importantes, pois implicam alterações efetivas que podem
mexer com sistemas e evitar que casos iguais ou semelhantes aos
denunciados pelas reportagens se repitam”, conclui Nascimento (2016).

4.4 Reportagens Investigativas sobre Decisões Automatizadas (RISDA)

O jornalismo investigativo sempre teve foco em ações humanas. O que

proponho agora é a inclusão dos SDAs e de seus actantes não humanos. Foi
demonstrado ao longo deste trabalho que os Sistemas de Decisões Automatizadas
não são exclusivamente uma façanha técnica, mas que também revelam escolhas
humanas e institucionais (GILLESPIE, 2018, p. 96), e eles próprios podem ser
 129

considerados uma instituição (MENDONÇA; FILGUEIRAS; ALMEIDA, 2021; NAPOLI,

2013).
Os SDAs têm potencial para gerar inúmeros benefícios, com ganhos de
eficiência, produtividade e redução de custos. Por outro lado, podem ter
consequências negativas como discriminações e a criação de barreiras de acesso a
determinados direitos e serviços. Além disso, a opacidade dos sistemas inibe, na
maioria das vezes, um entendimento mínimo dos critérios codificados para a tomada
de decisões automatizadas, o que também acontece em relação à boa parte dos SDAs
que são desenvolvidos ou implementados pelas diversas instâncias da administração
pública.
Em função destas características, parto do princípio que os SDAs têm os
atributos necessários para tornarem-se alvos de investigação jornalística,
principalmente os que são desenvolvidos ou usados pela administração pública
(municipal, estadual ou federal). Marconi, Daldrup e Pant (2019) acreditam que isso é
ainda mais necessário porque estes sistemas operam muitas vezes com uma mínima
supervisão humana e, em geral, existe um entendimento de que suas decisões são
tomadas a partir de critérios objetivos.
Cabe ressaltar que muitos jornalistas fazem matérias sobre os SDAs, mas a
maioria não se enquadra na RISDA, pois o resultado alcançado não partiu de um
trabalho investigativo por parte dos repórteres. As notícias costumam girar em torno
de novas aplicações, dos ganhos de eficiência, produtividade e redução de custo e
eventualmente revelam algumas consequências negativas. Já a RISDA vai muito
além destas matérias do dia a dia.

4.4.1 Uma proposta de investigação

Com base no contexto demonstrado, apresento uma metodologia, que

denominei de Reportagem Investigativa sobre Decisões Automatizadas (RISDA).
Ela tem o propósito de contribuir com a produção de matérias que podem revelar o
que está por trás de determinadas escolhas automatizadas que são cada vez mais
onipresentes e pervasivas, mas cuja presença nem sempre é percebida devido à falta
de transparência e compreensão sobre os SDAs.
 130

A RISDA objetiva revelar os interesses políticos e econômicos envolvidos,

apresentar as características dos SDAs e denunciar erros, irregularidades e vieses
que podem levar a efeitos colaterais desastrosos, como falta de acesso ou perda de
direitos; desigualdades e discriminações contra determinados grupos ou populações.
A RISDA também pretende apontar os responsáveis pelas consequências negativas
encontradas. Neste sentido, ela colabora, portanto, com a accountability, que é tão
necessária aos regimes democráticos.
O interesse maior da RISDA são os Sistemas de Decisões Automatizadas
(SDAs) desenvolvidos, adquiridos e ou implementados pelos órgãos públicos. Mas a
proposta metodológica também pode ser adaptada para os sistemas de empresas e
outras organizações, que apresentam grande impacto político, econômico ou social,
investigando, por exemplo, as escolhas sobre os conteúdos que aparecem (ou não)
em redes sociais e que podem modular comportamentos, interferindo nos processos
democráticos.
As Reportagens Investigativas sobre Decisões Automatizadas (RISDA)
seguem os critérios que norteiam o Jornalismo Investigativo. Ou seja, elas
necessariamente são produzidas a partir do esforço e engajamento do jornalista, que
busca superar obstáculos e dificuldades para revelar o que está escondido e produzir
um conteúdo original, que vai além do que é revelado no jornalismo diário.
Com base na dimensão da natureza profissional proposta na tipologia de
Coddington (2014) e em função do grau de complexidade dos SDAs, a RISDA pode
ser feita também com o apoio de redes formadas, inclusive, por pessoas que não são
jornalistas, a partir da colaboração, do compartilhamento e da soma de competências
diversas. O trabalho em rede pode ajudar a acelerar a reportagem investigativa sobre
os SDAs e a ampliar as descobertas, beneficiando especialmente as investigações
sobre os sistemas mais opacos e complexos, como as aplicações de deep learning.
Mas é importante lembrar que, pelo fato da RISDA ser enquadrada no Jornalismo
Investigativo, a possibilidade de trabalhar em rede não significa que o jornalista possa
apenas revelar o trabalho alheio. Tal prática seria típica do Jornalismo Sobre
Investigações e não do Jornalismo Investigativo. Portanto, para ser RISDA de fato, é
preciso que o jornalista seja ativo nas investigações.

4.4.2 Critérios de noticiabilidade da RISDA

 131

Seguindo a tipologia proposta por Gislene Silva (2015), considera-se que as

Reportagens Investigativas sobre Sistemas de Decisões Automatizadas atendem a
nove critérios de noticiabilidade, com base na origem dos fatos, e a dois critérios, com
base na visão dos fatos. Dentro dos fatores usados para avaliar se um SDA deve (ou
não) ser alvo de uma matéria investigativa, considera-se que a pauta precisa atender
sempre aos critérios de interesse público e vigilância. A identificação de erros, danos
e vieses também foi estabelecida como valor-notícia relevante para justificar a
produção da RISDA.

Tabela 9 -Critérios de noticiabilidade

Com base na origem dos fatos Com base na visão dos fatos (a partir de
(seleção primária dos fatos/valores-notícia) fundamentos ético-epistemológicos)

Impacto devido ao grande número de pessoas Interesse público

afetadas pelos SDAs ou em função do perfil dos
grupos ou das populações envolvidas.

Polêmica envolvendo os SDAs: a respeito, por Vigilância: ajuda a monitorar e a desvendar as

exemplo, das pessoas responsáveis por eles ou escolhas tomadas pelos SDAs.
da existência de conexões escusas.

Raridade

Surpresa com os resultados ou envolvidos.

Conflito ou reivindicação em relação a alguns

valores sociais ou normas legais.

Governo: problemas com os resultados de SDAs

desenvolvidos, adquiridos ou implementados
pelos órgãos públicos.

Tragédia/drama como consequência dos SDAs.

Justiça: decisões judiciais polêmicas

suportadas/tomadas pelos SDAs.

Erros, danos e vieses: dependendo do caso,

eles também podem se sobrepor a alguns
critérios anteriores, como impacto, surpresa e
 132

justiça. Os SDAs que foram desenvolvidos

corretamente também podem ser implantados de
forma incorreta ou serem manipulados.

Fonte: Elaborada pela autora

4.4.3 Técnicas da RISDA

As técnicas empregadas na RISDA podem variar conforme os perfis e

competências da equipe envolvida, e também de acordo com o que está disponível
sobre o SDA que será investigado. Neste sentido, como base nos trabalhos de
Coddington (2014) e de Mancini e Vasconcellos (2016), entendo que (ver figura 11):

● As técnicas do Jornalismo de Precisão e da Reportagem com o Auxílio

do Computador (RAC) são usadas em todas as reportagens, garantindo
método, rigor e transparência nos processos utilizados. Com isso, o
jornalista deve partir sempre de uma hipótese que ele busca comprovar
ou refutar ao longo do processo de produção da RISDA;

● Algumas matérias investigativas também podem usar as técnicas e

competências do Jornalismo de Dados;

● A RISDA também pode empregar, em algumas pautas, os recursos do

Jornalismo Computacional para expor o funcionamento interno dos
SDAs.

Além disso, todas as reportagens investigativas sobre SDAs desenvolvidos e

usados por órgãos públicos devem usar o recurso da Lei de Acesso à Informação,
que institui “como princípio fundamental que o acesso à informação pública é a regra,
e o sigilo somente a exceção.123

123
Disponível em: https://www.gov.br/capes/pt-br/acesso-a-informacao/servico-de-informacao-ao-
cidadao/sobre-a-lei-de-
acesso-a-informacao. Acesso em: 15 ago. 2020.
 133

Figura 12 - Técnicas para reportagens investigativas sobre os SDAs

RISDA

Jornalismo Investigativo
Lei de Acesso à Informação
Acesso ao
Jornalismo de Código
Dados
Acesso aos
dados de entrada
+
Jornalismo dados de saída (decisões)
Computacion
al
Acesso aos
dados de entrada
Jornalismo de ou
Precisão - dados de saída (decisões)
RAC
Sem acesso ao código
ou aos dados

Fonte: Elaborada pela autora

4.4.4 A dinâmica de apuração da RISDA

Com base nos trabalhos de Diakopoulos et al. (2017); Marconi, Daldrup e Pant
(2019); Trielli e Diakopoulos (2020) e da Transparência Brasil (2020a, 2020b), foi
sistematizado um percurso que contempla o que deve ser apurado através de técnicas
diversas, como entrevistas, pesquisas e outros métodos de Jornalismo de Dados e de
Jornalismo Computacional.
Este roteiro está dividido em quatro categorias principais, com foco nos SDAs
que são desenvolvidos, adquiridos ou implementados por órgãos públicos. Mas, como
já foi citado, esta sistematização pode ser adaptada para reportagens que
contemplam SDAs usados por outros atores. A apuração (ver tabela 10) envolve as
seguintes etapas: 1) informações gerais; 2) dados 3) erros, danos e vieses; 4)
 134

informações complementares.
Durante a investigação jornalística sobre os SDAs, os repórteres devem ir além
do que encontram nos objetos técnicos, preenchendo as lacunas detectadas com
entrevistas com programadores; empresários; autoridades; servidores públicos;
legisladores; pessoas impactadas pelas decisões automatizadas; pesquisadores e
especialistas de diversos campos, que podem ajudar a compreender o cenário
através de lentes diversas, etc.
Propomos seguir o que Nick Seaver (2014) chama de reconfiguração metódica
da cena social, buscando a lógica que norteia as escolhas, regras e rotinas dos SDAs.
Seguindo os princípios de accountability propostos por Diakopoulos et al. (2017) é
preciso investigar a responsabilidade, a explicabilidade, a auditabilidade, a acurácia,
verficar os impactos socias e se as decisões automatizadas criam discriminações ou
impactos injustos comparando diferentes grupos (raça; sexo; identidade de gênero;
status socioeconômico; nível educacional; religião; país de origem; etc.).
Neste sentido, são indispensáveis os seguintes questionamentos:

● O tipo de decisão envolvida deve mesmo ser suportada ou tomada por uma
máquina?

● Quais são as vítimas dos danos ou erros?

● A decisão afeta a democracia e os direitos humanos?

● Por que isso acontece?

● Como as dinâmicas de poder geopolíticas e culturais atuais determinam o

contexto em torno dos SDAs?

Tabela 10- Sistema de apuração da RISDA

Informações gerais Dados Erros, danos e Informações

vieses complementares

Verificar o nome do Entender as variáveis Checar a existência de Apurar o que levou o

SDA. dos dados de entrada erros. SDA a ser
e especificar a origem implementado.
(qual empresa ou Relatar os tipos de
órgão coleta e erros encontrados Buscar entender se
 135

produz). (falso positivo, falso existem formas

negativo; etc.). alternativas para a
tomada de decisão.
Quando o erro é
identificado, os nomes
das pessoas
prejudicadas ainda
ficam em alguma base
de dados? Por quanto
tempo?

Apurar o nome da Checar se o SDA usa Apontar quem é Verificar se as

empresa ou do órgão dados pessoais. prejudicado pelos pessoas impactadas
público que erros e se tem alguém positiva e
desenvolveu o SDA. beneficiado quando negativamente pelos
isso acontece. SDAs sabem que a
decisão foi tomada ou
suportada por estes
sistemas.

Descobrir se o código Verificar se as Descobrir por qual Buscar checar a

é aberto ou não. pessoas sabem que razão o erro acontece. diversidade (racial,
seus dados estão étnica, gênero,
sendo utilizados pelo Apurar em que parte competências e
SDA. do processo ele ocorre especialidades) das
(modelo, dados de equipes que
Entender como isso é entrada, dados de desenvolvem e
comunicado para elas. saída). implementam o SDA.

Confirmar se houve Quando o erro

consentimento para o identificado é
uso. corrigido, apurar se a
informação é usada ou
não para aprimorar o
sistema.

Buscar o nome do Confirmar se as Verificar se o SDA Entender se a

órgão público ou da pessoas podem impacta aquisição e
organização que checar os dados que negativamente os implementação do
adquiriu e implantou o estão sendo usados a direitos fundamentais, SDA respeita as
SDA. seu respeito e retirá- entendendo quais são. regulamentações e
los sempre que valores éticos da
quiserem. Em caso afirmativo, sociedade.
especificar os motivos
e se foi criado ou
reforçado pelo SDA.

Checar se o acesso ao Verificar se os dados No caso de grupos Pesquisar se o SDA

código do SDA é pessoais foram afetados pelo SDA, usado é proibido em
liberado ou não. compartilhados com especificar quais são outros países e por
terceiros. e explicar se eles qual motivo.
foram considerados no
Em caso afirmativo, processo de
entender se isso treinamento do
ocorreu de forma modelo.
anônima.
 136

Entender a categoria Apurar se são usados Entender se grupos Checar se o SDA

de aplicação. dados sigilosos e particulares levam produz ou suporta
quais são as vantagens ou decisões a partir de
Exemplo: aplicações de desvantagens com o informações usadas
reconhecimento facial, segurança. SDA. para monitorar
chatbot, etc. pessoas e grupos
Compreender se os minoritários, com
erros e prejuízos propósito autoritário.
afetam igualmente
diferentes grupos.

Checar o modelo Apurar onde os dados Checar se há vieses

estatístico envolvido. ficam armazenados. no desempenho
(desenvolvimento,
Exemplo: redes aquisição e ou
neurais, implementação).
processamento de
linguagem natural, etc. Entender se foram
considerados ou não.

Apurar qual é o Verificar o grau de Em caso de vieses,

resultado (objetivo) proteção contra checar se foram
Exemplo: concessão ataques. corrigidos ou
de benefícios; seleção reduzidos.Entender
para emprego, etc. como isso ocorreu.

Entender qual é o grau Checar se existem Buscar saber se foram

de apoio do SDA. protocolos de feitos testes antes e
segurança para durante a
Exemplo: toma acessar os dados. implementação para
decisões verificações diversas.
automatizadas, Especificar quais são.
suporta e sugere Compreender se a
decisões; etc. taxa de erro é a
mesma para todos os
grupos (incluindo os
minoritários).

Checar se há métricas, Conferir o grau de Especificar se a

quais são e apurar privacidade, buscando amostra de
quais são os principais compreender se os treinamento contempla
resultados alcançados. dados são anônimos. os diferentes grupos.

Procurar saber se há Verificar se o SDA Verificar para qual

supervisão humana e utiliza dados sensíveis público-alvo o SDA foi
em quais fases ela ou discriminatórios desenvolvido.
ocorre. para treinamento.
Levou em
consideração as
características da
população brasileira?

Em caso negativo,
checar como a taxa de
acurácia difere para o
público-alvo.

Checar se existe Apurar quem é

algum tipo de controle responsável pelo SDA
para evitar uso quando alguém é
 137

excessivo de dados prejudicado.

que permitam algum
tipo de
monitoramento.
Fonte: elaborada pela autora

4.4.5 Resultados da RISDA

Com a apuração, o repórter e as equipes envolvidas na produção da RISDA

serão capazes de apontar os diferentes tipos de riscos dos SDAs, apresentando se
eles são altos, moderados ou baixos. Caso, fique comprovado a inexistência de riscos
ou erros, não há justificativa para a finalização da Reportagem sobre Decisões
Automatizadas. É importante ressaltar que, em função de seus objetivos e
características, a RISDA demanda a transparência dos métodos e processos, para
que seus resultados possam ser verificados por outros interessados.
Com base no que Nascimento (2016) discute sobre as reflexões de um grupo
de pesquisadores, que tem Protess entre eles, as Reportagens Investigativas sobre
Decisões Automatizadas podem alcançar:

● Resultados individuais: com a responsabilização dos envolvidos nos

SDAs (empresas, desenvolvedores, operadores, etc.);

● Resultados deliberativos: com possíveis desdobramentos que levam

à realização de comissões, audiências, etc.;

● Resultados substanciais: as reportagens podem contribuir com novas

regulamentações, legislações e alterações administrativas, etc..
5 Conclusão

Ao longo desta tese, foi apresentado o funcionamento dos Sistemas de

Decisões Automatizadas (SDAs), que incluem aplicações de Inteligência Artificial e
outros softwares mais simples.
Ficou evidenciado que as consequências positivas, em geral, envolvem ganhos
de eficiência e redução de custos. Mas estas metas usadas como justificativas para a
adoção de boa parte dos SDAs nem sempre são comprovadas. Como revela o
 138

catálogo da Transparência Brasil sobre 39 Inteligências Artificiais usadas por órgãos

públicos no Brasil124, apenas 59% tinham métricas, de acordo com as respostas aos
questionamentos feitos via Lei de Acesso à Informação.
Por outro lado, este trabalho também apontou os inúmeros riscos que envolvem
os SDAs, que são capazes de cometerem erros, contrariarem leis e afetarem os
direitos humanos, potencializando desigualdades sociais e discriminações contra
grupos étnicos, raciais, de gênero, entre tantos outros. Um risco elevado, por exemplo,
que foi discutido, diz respeito ao reconhecimento facial, que apesar de ser banido em
outros países por turbinar o racismo estrutural e violar a privacidade, continua sendo
usado no Brasil, levando à abordagem e ao constrangimento de pessoas inocentes.
Por aqui, este solucionismo tecnológico é adotado antes de ser testado intensamente,
em uma atitude do tipo, “coloca e a gente vê depois como fica”.

Diante do que foi exposto, fica claro que as tecnologias empregadas e, muitas
vezes tratadas como inevitáveis, não são neutras. Elas carregam ideologias, opiniões
embutidas e fazem parte de sistemas sociotécnicos, que demandam o entendimento
de múltiplos atores (humanos ou não) e do contexto em que estão inseridos.

Também foi evidenciado que os SDAs têm uma assimetria de poder sobre as
pessoas que são impactadas por suas decisões, muitas vezes, até pela invisibilidade
dos sistemas responsáveis. A opacidade é justificada em nome de segredos
industriais ou da necessidade de reduzir a possibilidade de fraudes. Esta
característica é ainda mais preocupante em relação aos SDAs que são desenvolvidos,
adquiridos e/ou implementados pelos órgãos públicos.

Por tudo isso, diversas iniciativas, projetos, normas e leis se dedicam a este
tema e precisam atrair mais a atenção das redações jornalísticas. Comprovando a
primeira das quatro hipóteses desta tese, foi demonstrado que os Sistemas de
Decisões Automatizadas atendem a onze critérios de noticiabilidade, com base na
origem e na visão dos fatos, especialmente em relação ao interesse público. Ele é
empregado a partir de seu vínculo com o ideal democrático e com o sentido de
vigilância, pois pode estimular a preservação e a ampliação do monitoramento crítico

124
Disponível em:https://catalogoia.omeka.net/items/browse?collection=1. Acesso em: 25 set.
2021.
 139

sobre o desenvolvimento e a adoção dos SDAs pelo Estado, empresas e diversas

organizações. Também foi proposto incorporar a identificação de erros, danos e
vieses dos Sistemas de Decisões Automatizadas como um critério de noticiabilidade
relevante para a RISDA.

Mergulhar nesses sistemas complexos também demanda tarefas igualmente

complexas, com o comprometimento e engajamento de repórteres. Neste sentido,
confirmei a segunda hipótese da tese de que estas matérias enquadram-se no
Jornalismo Investigativo, que busca trazer à tona irregularidades, segredos e
conexões em torno dos SDAS que impactam a sociedade, contribuindo para a
accountability. Foi demonstrado também que as investigações sobre os SDAs são
fortalecidas com a formação de redes que reúnem pessoas com competências
diversas, o que confirma mais uma hipótese da tese.

Para contribuir com esta tarefa, busquei sistematizar uma metodologia que
denominei de Reportagens Investigativas sobre Sistemas de Decisões Automatizadas
(RISDA). Este método costura o uso técnicas tradicionais do Jornalismo Investigativo,
com a possibilidade de empregar, em determinadas coberturas, as técnicas de
Jornalismo de Dados e/ou de Jornalismo Computacional, o que atesta mais uma
hipótese levantada. Ao longo da realização deste trabalho, também foram
acrescentadas as técnicas do Jornalismo de Precisão e da Reportagem com Auxílio
do Computador (RAC), consideradas essenciais em toda produção da RISDA.

No percurso metodológico proposto, foi ressaltada a indispensabilidade da Lei

de Acesso à Informação para acessar algumas informações sobre os SDAs usados
pelos órgãos públicos. Além disso, foi apresentada uma dinâmica de apuração e
estabelecido um roteiro dividido em quatro categorias: informações gerais; dados;
erros, danos e vieses; e informações complementares.

A RISDA não é um ponto final, mas um um ponto de partida! Diante de um tema

central para a sociedade contemporânea e que afeta todos nós, qualquer contribuição
será bem-vinda para sua evolução.

Referências
 140

AGRA, J. M. L. Inteligência Artificial e a dosimetria da pena: robôs racistas?

Juristas, 28 jan. 2021. Disponível em:
https://juristas.com.br/2021/01/28/inteligencia-artificial/ Acesso em: 29 mai. 2021.

ALVES, Sarah. Além de racista, reconhecimento facial erra mais em pessoas trans.
Tilt, 14 fev 2021. Disponível em:
https://www.uol.com.br/tilt/noticias/redacao/2021/02/14/nao-e-so-racismo-
reconhecimento-facial-tambem-erra-mais-em-pessoas-trans.htm?cmpid=copiaecola.
Acesso: 15 feb. 2021.

ANDERSON, C.W.; MAYER, Juliette de. Objects of journalism and the news.
Journalism, 16 v., 2015.

ANGÉLICO, Fabiano. Lei de Acesso à Informação. Franca: Estúdio Editores.com,

2015.

ANGWIN,Julia et al. Machine bias. There’s software used across the country to predict
future criminals. And it’s biased against blacks. ProPublica. 23 mai. 2016.
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-
sentencing. Acesso em: 12 out. 2016.

Automating Society report. AlgorithmWatch. Out. 2020. Disponível em:

<https://automatingsociety.algorithmwatch.org/>. Acesso em: 14 abr. 2021.

BEER, David. Metric power. Londres: Palgrave, Macmillan, 2016.

BOBBIO, Noberto; MATTEUCCI, Nicola; PASQUINO, Gianfranco. Dicionário de

Política. 5a. ed. 1o.vol. Brasília: Editora Universidade de Brasília, 1993.

BOGONI, Fabricia; KRAEMER, Luciana. O Uso de Reportagem com Auxílio de

Computador (RAC) por Jornalistas Investigativos: Um Estudo de Casos Múltiplos.
Abraji. II Seminário de Pesquisa em Jornalismo Investigativo Universidade Anhembi-
Morumbi, 2 a 4 de julho de 2015.

BOZDAG, Engin. Bias in algorithmic filtering and personalization. 2013.

Disponível em: https://link.springer.com/article/10.1007/s10676-013-9321-6. Acesso:
22 ago. 2017.

BRADSHAW, P. O que é Jornalismo de Dados? Manual de Jornalismo de Dados.

2014. Disponível em: http://datajournalis-mhandbook.org/pt/introducao_0.html.
Acesso em: 20 fev 2018.

BRAUNEIS, Robert; GOODMAN, Ellen P. Algorithmic Transparency for the Smart

City. 2017.

BRYNJOLFSSON, Erik; McAFEE, Andrew. A segunda era das máquinas: trabalho,

progresso e prosperidade em uma época de tecnologias brilhantes. Tradução de Duo
Target Comunicação e TI Ltda. Rio de Janeiro: Alta Books, 2015.
 141

BUNGE, Mario. Dicionário de Filosofia. Tradução de Gita K. Guinsburg. 1. reimp.

São Paulo: Perspectiva, 2012. BUSH, Vannevar. As we may think. The Atlantic
Monthly. Jul. 1945.
CAPLAN, Robin et al. Algorithmic accountability: a primer. Data & Society. 18 fev.
2018.

BUOLAMWINI, Joy; GEBRU, Timnit. Gender shades: intersectional accuracy

disparities in commercial gender classification. Conference on Fairness, Accountability
and Transparency. 15 jan. 2018. Disponível em:
http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf. Acesso: 30 abr.
2019.

CAMPOS, Anna Maria. Accountability: quando podemos traduzi-la para o português.

Clássicos da Revista de Administração Pública. Disponível em:
https://ebape.fgv.br/sites/ebape.fgv.br/files/rap8_0.pdf. Acesso em: 09 mai. 2016.

CAPLAN, Robyn; HANSON; Lauren; DONOVAN, Joan; MATTHEWS, Jeanna.

Algorithmic accountability: a primer. Tech algorithm briefing: how algorithms
perpetuate racial bias and inequality. Data & Society. April, 18, 2818.

CAPPS, Robert. The good enough revolution: when cheap and simple is just fine.
Wired, 24 ago. 2009. Disponível em:
https://www.wired.com/2009/08/ff-goodenough/. Acesso em: 10 ago. 2016.

CARPENTER, Julia. Google’s algorithm shows prestigious job ads to men, but not to
women. Here’s why that should worry you. The Washington Post. 6 jul. 2015.
Disponível em: https://www.washingtonpost.com/news/the-
intersect/wp/2015/07/06/googles-algorithm-shows-prestigious-job-ads-to-men-but-
not-to-women-heres-why-that-should-worry-you/. Acesso: 19 ago. 2015.

CARREIRA, Krishma Anaísa Coura. Notícias automatizadas: a evolução que levou

o jornalismo a ser feito por não humanos. Dissertação (Mestrado em Comunicação
Social) - Escola de Comunicação, Educação e Humanidades da Universidade
Metodista de São Paulo, São Bernardo do Campo, 2017.

CASTELLS, Manuel. Sociedade em rede: a era da informação, economia, sociedade

e cultura. Vol I. São Paulo: Paz e Terra, 1999.

_________________. Redes de indignação e esperança: movimentos sociais na

era da internet. Rio de Janeiro: Zahar, 2013.

CLERWALL, Christer. Enter the robot journalist: user’s perception of automated

content. Journalism Practice, v.8. New York. 25 fev. 2014.

CHRISTIAN, Brian; GRIFFITHS, Tom. Algoritmos para viver: a ciência exata das
decisões humanas. São Paulo: Companhia das Letras, 2017.

CODDINGTON, M. 2014. Clarifying Journalism’s Quantitative Turn.

Digital Journalism, 3. Disponível em:
http://dx.doi.org/10.1080/21670811.2014.976400. Acesso em: 08 mai. 2016.
 142

CORBETT-DAVIES, Sam; GOEL, Sharad; PIERSON, Emma; HUQ, Aziz; FELLER,

Avi. Algorithmic decision making and the cost of fairness. 2017. Disponível em:
https://arxiv.org/pdf/1701.08230.pdf. Acesso: 12 fev. 2021.

CORRÊA, Elizabeth Saad; BERTOCCHI, DANIELA. O algoritmo curador: o papel do

comunicador num cenário de curadoria algorítmica de informação. Compós. 12 a 15
jun. 2012.

CRAWFORD, Kate . Can an Algorithm be Agonistic? Ten Scenes from Life in

Calculated Publics. Science, Technology & Human Values, 41(1), 77-92. 2016.
Disponível em: https://www.katecrawford.net/docs/CanAnAlgorithmBeAgonistic-
April2016.pdf. Acesso: 29 out. 2018.

DENCIK, L; KAUN, A. Datafication and the welfare state. Global Perspectives. 2020.

DEVAUX, Pierre. Autômatos, automatismo e automatização. Lisboa: Livros

Horizonte, 1964.

DIAKOPOULOS, Nicholas. Algorithmic accountability reporting: on the investigation of

black boxes. Town Center for Digital Journalism. 2013. Disponível em:
http://towcenter.org/wp-content/uploads/2014/02/78524_Tow-Center-Report-WEB-
1.pdf. Acesso em: 10 abr. 2016.

_____________________ Algorithmic accountability. Journalistic investigation of

computational power structures. Digital Journalism. 2014, vol. 3 No. 3, pp. 398-415.

____________________ Algorithmic accountability: on the investigation of black

boxes. Tow Center for Digital Journalism. Disponível em:
https://www.cjr.org/tow_center_reports/algorithmic_accountability_on_the_inve
stigation_of_black_boxes.php. Acesso em: 17 abr. 2015.

____________________. Accountability in Algorithmic Decision Making.

Communications of the ACM. 2016, Vol. 59 No. 2, Pág. 56-62. Disponível em:
https://cacm.acm.org/magazines/2016/2/197421-accountability-in-algorithmic-
decision-making/fulltext. Acesso em: 26 jun. 2018.
_______________________; KOLISKA, Michael. Algorithmic transparency in the
news media. Digital journalism, 2016.

_______________________. The Algorithms Beat. 2018. Disponível em:

http://www.nickdiakopoulos.com/wp-content/uploads/2018/04/Diakopoulos-The-
Algorithms-Beat-DDJ-Handbook-Preprint.pdf. Acesso em: 03 ago.2019.

DOMÉNECH. Francisco. Internet se rebela contra a ditadura algorítmica. El País. 28

abr. 2017. Disponível em:
https://brasil.elpais.com/brasil/2017/04/27/ciencia/1493306494_894344.html. Acesso:
10 set. 2019.

DUSEK, Val. Filosofia da tecnologia. Tradução de Luís Carlos Borges. São Paulo:
Loyola, 2009.
 143

ECHARRI, Miquel. 150 demissões em um segundo: os algoritmos que decidem quem

deve ser mandado embora. Uma empresa de “software” despediu centenas de
funcionários em agosto seguindo apenas a recomendação de uma inteligência
artificial, um caso que pode se tornar comum. El País: 10.out.2021. Disponível em:
<https://brasil.elpais.com/tecnologia/2021-10-10/150-demissoes-em-um-segundo-
assim-funcionam-os-algoritmos-que-decidem-quem-deve-ser-mandado-
embora.html>. Acesso em: 12 out. 2021.

EVANS, Dave. The internet of things: how the next evolution of the internet is changing
everything. Cisco. Abr. 2011. Disponível em: . Acesso em: 15 fev. 2016.

FACHIN, Patricia. Novo ciclo tecnológico requer que a sociedade repense seu
pacto fundador. Entrevista especial com Glauco Arbix. 07 mar. 2020. Disponível em:
http://www.ihu.unisinos.br/159-noticias/entrevistas/595904-novo-ciclo-tecnologico-
requer-que-a-sociedade-repense-seu-pacto-fundador-entrevista-especial-com-
glauco-arbix. 29 dez. 2020.

FANJUL, Sergio C. Na verdade, o que é exatamente um algoritmo? El País. 30 mar.

2018.
Disponível em:
https://brasil.elpais.com/brasil/2018/03/30/tecnologia/1522424604_741609.html.
Acesso: 16 jun. 2018.

FEENBERG, Andrew. Critical theory of technology: an overview. Tailoring

Biotechnologies, 1v., issue 1, 2005, p.47-64.
___________________ . Between reason and experience: essays in technology and
modernity. Cambridge, MA: MIT Press, 2010.

FINK; Katherine. Open the government’s black boxes: freedom of information and
algorithmic accountability. Information, Communication & Society, vol 21, 2018.
Disponível em:
https://www.tandfonline.com/doi/abs/10.1080/1369118X.2017.1330418?journalCode
=rics20&. Acesso em: 2 fev. 2019.

FLORIDI, Luciano. Information: a very short introduction. New York: Oxford University
Press, 2010. GLEICK, James. A informação: uma história, uma teoria, uma enxurrada.
Tradução de Augusto Calil. São Paulo: Companhia das Letras, 2013.

FLEW, T.; SPURGEON, C.; DANIEL, A.; SWIFT, A. 2012. The promise of
computational journalism. Journalism Practice, vol, 2012.
Disponível em:
http://dx.doi.org/10.1080/17512786.2011.616655. Acesso: 27 set. 2014.

FRANCISCO, P. A. P.; HUREL, L. M.; RIELLI, M. M. Regulação do reconhecimento

facial no setor público: avaliação de experiências internacionais. Instituto Igarapé
e Data Privacy Brasil Research, 2020.
Disponível em: https://igarape.org.br/wp-content/uploads/2020/06/2020-06-09-
Regulação-doreconhecimento-facial-no-setor-público.pdf. Acesso em: 22/09/2021.
 144

FUSSEY, Pete; MURRAY, Daragh. Independent report on the London Metropolitan

Police Service's Trial of Live Facial Recognition Technology. The Human Rights,
Big Data and Technology Project. Jul. 2019 Disponível em:
https://48ba3m4eh2bf2sksp43rq8kk-wpengine.netdna-ssl.com/wp-
content/uploads/2019/07/London-Met-Police-Trial-of-Facial-Recognition-Tech-
Report.pdf. Acesso em: 06 jun. 2020.

GILLESPIE, Tarleton. A relevância dos algoritmos. 2019. Disponível em:

http://revistaseletronicas.fiamfaam.br/index.php/recicofi/article/view/722. Acesso em:
18 jun. 2020.

GLEICK, James. A informação: uma história, uma teoria, uma enxurrada.

Tradução de Augusto Calil. São Paulo: Companhia das Letras, 2013.

GRAEFE, Andreas et al. Perception of automated Computer-Generated news:

credibility, expertise, and readability. Feb. 2016. Disponível em:
https://www.researchgate.net/publication/289529002_Perception_of_Automated_Co
mputerGenerated_News_Credibility_Expertise_and_Readability. Acesso: 12 ago.
2016.

GRAY, J.; BOUNEGRU, L.; CHAMBERS, L. 2014. Manual de Jornalismo de Dados,

2014. Disponível em: http://datajournalismhandbook.org/pt/. Acesso em: 27 mai. 2018.

______________________.. The algorithms beat: angles and methods for

investigation. In: The Data Journalism Handbook 2: towards a critical data practice
Disponível em: https://datajournalism.com/read/handbook/two/investigating-data-
platforms-and-algorithms/the-algorithms-beat-angles-and-methods-for-investigation
Acesso: 23 mai, 2019.

HALL, Stuart et al. A produção social das notícias: o mugging nos media. In:
TRAQUINA, Nelson (org.). Jornalismo: questões, teorias e 'estórias'. 2ª edição.
Lisboa: Vega, 1999.

HAMILTON, James T.; TURNER, Fred. Accountability through algorithm: developing

the field of Computational Journalism. Center For Advanced Study in the Behavioral
Sciences Summer Workshop, July 27-31, 2009.

HAMMOND, Kristian. Practical artificial intelligence for dummies. 2015.

________________. 5 unexpected sources of bias in Artificial Intelligence. Blog

Narrative Science. 2016. Disponível em:
http://resources.narrativescience.com/h/i/312890970-5-unexpected-sources-of-bias-
inartificial-intelligence. Acesso: 10 fev. 2017.

HAO, Karen. How Facebook and Google fund global misinformation. The tech giants
are paying millions of dollars to the operators of clickbait pages, bankrolling the
deterioration of information ecosystems around the world. Technology Review. Nov.
2021. Disponível em:
https://www.technologyreview.com/2021/11/20/1039076/facebook-google-
disinformation-clickbait/. Acesso em: 25 nov. 2021
 145

HERNANDES, Raphael. Ética cresce em importância no mundo com menos religião,

diz Luciano Floridi. Filósofo da Universidade de Oxford crítica pensamento de Nick
Bostrom, que fala sobre o fim do mundo por meio da inteligência artificial. Folha de
S. Paulo, 19 fev. 2020. Disponível em: https://temas.folha.uol.com.br/inteligencia-
artificial/entrevistas/etica-cresce-em-importancia-no-mundo-com-menos-religiao-diz-
luciano-floridi.shtml. Acesso em: 19 fev.2020.

HUNTER, Mark Lee; HANSON, Nils.; P. A investigação a partir de histórias: um

manual de jornalismo investigativo. Unesco. 2013. pág. 7 a 12.

INTRONA, Lucas D. Algorithms, governance, and governmentality: on governing

academic writing. 2016. Science, Technology & Human Values. Vol.41. Pág. 17-
49. 2016. Disponível em:
https://journals.sagepub.com/doi/10.1177/0162243915587360. Acesso: 13 jan. 2016.

JEFFRIES, Adrianne; YAN, Leon; MATTU, Surya. Swinging the Vote?

Google’s black box algorithm controls which political emails land in your main inbox.
For 2020 presidential candidates, the differences are stark. The markup. 26 fev.
2020. Disponível em: https://themarkup.org/google-the-giant/2020/02/26/wheres-my-
email. Acesso em: 25 abr. 2020.

KAA, Hille van der; KRAHMER, Emiel. Journalist versus news consumer: the
perceived credibility of machine written news. 2014. Disponível em: < http://compute-
cuj.org/cj-2014/cj2014_session4_paper2.pdf. Acesso: 18 nov. 2015

KAUN, Anne. Suing the algorithm: the mundanization of automated decision-making

in public services through litigation. Information, Communication & Society. 2021.

KRIPKA, Rosana Maria Luvezure; VIALI, Lori e LAHM, Regis Alexandre.

Contribuições de Vannevar Bush para a ciência e a tecnologia, especial ao hipertexto.
Revista Conhecimento Online, Novo Hamburgo. a.8. V.2. p. 55-68. 2o. sem. 2016.
Disponível em:
file:///C:/Users/krish/Downloads/410-Texto%20do%20artigo-3188-1-10-20170103.pdf
Acesso em: 10 fev. 2020.

KURZWEIL, Ray. A era das máquinas espirituais. Tradução de Fábio Fernandes.

2.reimp. São Paulo: Aleph, 2013.

LATOUR, Bruno. Reagregando o social: uma introdução à teoria Ator-Rede

Tradução de Gilson César Cardoso de Souza. Salvador: Edufba, 2012.

LATZER, Michael; HOLLNBUCHNER; Katharina; JUST, Natascha; SAURWEIN,

Florian. 2015. The economics of algorithmic selection on the Internet. Out. 2014.
Disponível em:
https://www.researchgate.net/publication/267777665_The_economics_of_algorithmic
_selection_on_the_Internet. Acesso: 7 set. 2016.
 146

LEMOS, Amanda. Reconhecimento facial cresce no Brasil; vídeo explica como isso
afeta você: área de segurança pública amplia uso da tecnologia, mas falta
transparência. Folha de S. Paulo. 07 de agosto de 2021.

LEMOS, Ronaldo. É preciso parar de falar ‘usuário’ de internet: usuado poderia se

referir a quem usa, mas também é usado pela tecnologia. Folha de S. Paulo: 12 set.
2021a.

_____________China cria a primeira regulação para algoritmos: a lei também trata de

fake news e veda manipulação de perfis falsos.Folha de S. Paulo: 05 set. 2021b.

____________. Existirá uma IA de fato inteligente:e se a sintática for boa a ponto de

desistirmos de qualquer pretensão semântica? Folha de S. Paulo: 25 abr. 2021c.

____________. Estratégia de IA brasileira é patética: se fosse apresentado como um

trabalho de faculdade, o documento seria reprovado. Folha de S. Paulo: 11 abr.
2021d.

LEWIS, Paul; MCCORMICK, Erin. How an wx-Youtuber insider investigated its secret
algorithm. The Guardian. 02 feb. 2018. Disponível em:
https://www.theguardian.com/technology/2018/feb/02/youtube-algorithm-election-
clinton-trump-guillaume-chaslot. Acesso: 19 mar. 2019.

LIMA, T. C. S. de; MIOTO, R. C. T. Procedimentos metodológicos na construção do

conhecimento científico: a pesquisa bibliográfica. Rev. Katál. Florianópolis v. 10 n.
esp. p. 37-45 2007.

LINDEN, Car-Gustav. Decades of automation in the newsroom: why are there still
so many jobs in journalism? March, 2016.

MAGER, Astrid. Algorithmic Ideology: how capitalist society shapes search engines.
2012.
Disponível em:
https://www.tandfonline.com/doi/abs/10.1080/1369118X.2012.676056?journalCode=r
ics20. Acesso em: 10 ago. 2016.

MANCINI, Leonardo; VASCONCELLOS, Fabio. Jornalismo de dados: conceitos e

categorias. Revista Fronteiras: estudos midiáticos. Jan-abr. 2016. Disponível em:
http://revistas.unisinos.br/index.php/fronteiras/article/view/fem.2016.181.07/5300.
Acesso: 13 nov. 2016.

MANOVICH, Lev. The language of new media. Cambridge: MIT Press, 2001.

_______________ . Software takes command. Bloomsbury: New York, 2013

MARCONDES FILHO, Ciro (Org.). Dicionário da comunicação. 2. ed. rev. e aum.

São Paulo: Paulus, 2014. p. 238-239.

MARCONI, Francesco; DALDRUP, Till; PANT, Rajiv. Acing the algorithmic beat,
journalism new frontier. Nieman Lab. 14 fev. 2019. Disponível em:
 147

https://www.niemanlab.org/2019/02/acing-the-algorithmic-beat-journalisms-next-
frontier/. Acesso em: 04 fev. 2020.

MARTINO, Luís Mauro Sá. Teoria das mídias digitais: linguagens, ambientes e
redes. 2. ed. Petrópolis: Vozes, 2015.

MATTELART, Armand. História da sociedade da informação. São Paulo, Loyola,

2002.

__________________; MATTELART, Michèle. História das teorias da

comunicação. Tradução de Luiz Paulo Rouanet. 15.ed. Loyola: São Paulo, 2012.

MAYER-SCHÖNBERGER, Viktor; CUKIER, Kenneth (2013). Big Data: a revolution

that will transform how we live, work and think. London: John Murray, 2013.

MEDITSCH, Eduardo. Jornalismo e construção social do acontecimento. In:

Jornalismo e acontecimento: mapeamentos críticos. BENETTI, Márcia; FONSECA,
Virginia (orgs.). Florianópolis: Insular, 2010.

MENDONÇA, Ricardo Fabrino; FILGUEIRAS, Fernando; ALMEIDA, Virgílio. Folha

de S. Paulo. Algoritmos controlam a sociedade e tomam decisões de vida ou morte:
encontrar formas de avaliar e gerir seus efeitos é o grande desafio atual. 07 abr.
2021. Disponível em: -https://www1.folha.uol.com.br/ilustrissima/2021/04/algoritmos-
controlam-sociedade-e-tomam-decisoes-de-vida-ou-morte.shtml. Acesso em: 08 de
abr. 2021.

MEYER, Philip. The journalism we need. In: MEYER, Philip. Precision journalism: a
reporter’s introduction to social science methods. New York: Rowman & Littlefield,
2002, p. 1-17.

MITCHELL, Melanie. Complexity: a guide tour. New York: Oxford University Press,
2009.

MORIN. Edgar. Introdução ao pensamento complexo. Porto Alegre: Sulina, 2015.

MOTTA, Fabrício. Publicidade e transparência são conceitos complementares.

Consultor Jurídico. 01 fev. 2018. Disponível em: https://www.conjur.com.br/2018-
fev-01/interesse-publico-publicidade-transparencia-sao-conceitos-complementares.
Acesso em: 28 jun. 2021.

NANAYAKKARA, P.; DIAKOPPOULOS, N.; HULLMAN, J. Anticipatory Ethics and

the Role of Uncertainty. 2020.

NAPOLI, Philip M. The algorithm as an institution: toward a theoretical framework

for automated media production and consumption. 2013.

NASCIMENTO, Solano. Os novos escribas: o fenômeno do jornalismo sobre

investigações no Brasil. Porto Alegre: Arquipélago Editorial, 2016.
 148

NEUMANN, John von. O computador e o cérebro. Tradução de Manuel Marques.

Lisboa: Relógio D’Água, 2005.

NILSSON, Nils J. The quest for artificial intelligence: a history of ideas and
achievements. 2010. Disponível em: http://ai.stanford.edu/~nilsson/QAI/qai.pdf.
Acesso em: 18 mar. 2016.

NUNES, P. Novas ferramentas, velhas práticas: reconhecimento facial e

policiamento no Brasil. Retratos da violência: cinco meses de monitoramento,
análise e descobertas. Rede de Observatório de Segurança. 2019. Disponível
em: https://drive.google.com/file/d/18CEwZynKosnnS7Nh6-YOpEN7msZN9f77/view.
Acesso em: 29 ago. 2021.

O’NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a

desigualdade e ameaça a democracia. Tradução: Rafael Abraham. 1ed. Santo André:
Rua do Sabão, 2020.

OWEN, Taylor. The violence of algorithms: why big data is only as smart as those who
generate it. Foreign Affairs: 25 may. 2015. Disponível em:
https://www.foreignaffairs.com/articles/2015-05-25/violence-algorithms. Acesso em:
24 mar. 2016.

PARISER, Eli. O filtro invisível: o que a internet está escondendo de você. Tradução:
Diego Alfaro. Rio de Janeiro: Zahar, 2012.

PASCUAL, Manuel G. Quem vigia os algoritmos para que não sejam racistas ou
sexistas? A discriminação socioeconômica, racial ou de gênero é muito frequente
entre os sistemas automáticos. El País: 17 mar. 2019. Disponível
em:<https://brasil.elpais.com/brasil/2019/03/18/tecnologia/1552863873_720561.html
?rel=mas>. Acesso em: 09 nov. 2019.

PASQUALE, Frank A. The Black Box Society: The Secret Algorithms that Control
Money and Information. Cambridge. Harvard University Press. 2015

PAVLIK, John. The impact of techonology on journalism. Journalism Studies.

London, 2000, p.229-237.
_____________. Journal

PENA, Felipe.Teoria do Jornalismo. 2. ed. São Paulo: Contexto, 2006

PORTER, Jon. UK ditches exam results generated by biased algorithm after student
protests. Protesters chanted ‘Fuck the algorithm’ outside the country’s Department for
Education. The Verge, 17 ago. 2020. Disponível em:
<https://www.theverge.com/2020/8/17/21372045/uk-a-level-results-algorithm-biased-
coronavirus-covid-19-pandemic-university-applications>. Acesso em: 29 ago. 2020.

REINSEL, David; GANTZ, John; RYDNING, John.The digitization of the world from
edge to core. November, 2018.
 149

REIS, Carolina; ALMEIDA, Eduarda; DA SILVA; Felipe; DOURADO, Fernando.

Relatório sobre o uso de tecnologias de reconhecimento facial e câmeras de
vigilância pela administração pública no Brasil: versão resumida. Brasília:
Laboratório de Políticas Públicas e Internet, 2021.

RICHARDSON, R.; SCHULTZ, J.M; CRAWFORD, K. Dirty data, bad predictions:

how civil rights violations impact police data, predictive policing systems, and
justice.2019.Disponível: https://www.nyulawreview.org/wp-
content/uploads/2019/04/NYULawReview-94-Richardson-Schultz-Crawford.pdf.
Acesso: 20 abr. 2020.

ROSA, Alex da; PESSOA, Sara de Araújo; LIMA, Fernanda da Silva.Neutralidade

tecnológica: reconhecimento facial e racismo. Revista V!rus, dez 2020. Disponível
em: <http://www.nomads.usp.br/virus/virus21/?sec=4&item=9&lang=pt>. Acesso em:
29 de ago. 2021.

REPORT One Hundred Year Study on Artificial Intelligence, 2021. Universidade de

Stanford https://ai100.stanford.edu/2016-report/overview. Acesso: 16 ago. 2021.

ROSENBLAT, Alex; KNEESE, Tamara; BOYD, Danah. Algorithmic accountability: the

social, cultural & ethical dimensions of “Big Data,” March 2014

RUBACK, Lívia; AVILA, Sandra; CANTERO, Lucia. Vieses no Aprendizado de

Máquina e suas Implicações Sociais: Um Estudo de Caso no Reconhecimento Facial.
In: Anais do workshop sobre As Implicações da Computação na Sociedade.
2021.
Disponível em: https://sol.sbc.org.br/index.php/wics/article/view/15967. Acesso: 28
set. 2021.

SALOMÃO, Luis Felipe (Org.) Inteligência artificial: tecnologia aplicada à gestão dos
conflitos no âmbito do poder judiciário brasileiro. 2020. Disponível em:
https://ciapj.fgv.br/sites/ciapj.fgv.br/files/estudos_e_pesquisas_ia_1afase.pdf.
Acesso: 12 set. 2021.

SALVADOR, A. D. Métodos e técnicas de pesquisa bibliográfica. Porto Alegre:

Sulina, 1986.

SANTIAGO, Abinoan. Mark Zuckerberg pode virar réu em processo da Cambridge

Analytica, diz NYT. Tilt, 20 out. 2021. Disponível em:
https://www.uol.com.br/tilt/noticias/redacao/2021/10/20/mark-zuckerberg-pode-virar-
reu-caso-cambridge-analytica.htm. Acesso em: 24 out. 2021.

SANTOS, Márcio Carneiro dos. Comunicação digital e jornalismo de inserção:

como big data, inteligência artificial, realidade aumentada e internet das coisas estão
mudando a produção de conteúdo informativo. São Luís: Labom Digital, 2016..

SARTOR, Basílio Alberto. A noção de interesse público no jornalismo. 2016.

(Doutorado em em Comunicação e Informação) - Universidade Federal do Rio Grande
do Sul, Porto Alegre.
 150

SAURWEIN, Florian; JUST, Natascha; LATZER, Michael. Governance of

algorithms: options and limitations. Set. 2015. Disponível em:
http://www.mediachange.ch/media/pdf/publications/GovernanceOfAlgorithms.pdf.
Acesso em: 2 ago. 2016.

SCHEDLER, Andreas. Conceptualizing accountability. In:SCHEDLER, Andreas;

DIAMOND, Larry; PLATTNER, Mark F. (Orgs.). The self-restraining state: power and
accountability in new democracies. Colorado: Lynne Rienne, p. 13-28, 1999.

SCHMIDT, Eric; COHEN, Jared. A nova era digital: como será o futuro das pessoas,
das nações e dos negócios. Tradução de Ana Beatriz Rodrigues e Rogério Durst. Rio
de Janeiro: Intrínseca, 2013.

SCHÖNBERGER, Viktor Mayer; CUKIER, Kenneth (2013). Big Data: a revolution

that will transform how we live, work and think. London: John Murray, 2013.

SCHWINGEL, Carla. Ciberjornalismo. São Paulo: Paulinas, 2012.

SCHWAB, Klaus. A quarta revolução industrial . São Paulo: Edipro, 2016.

SEAVER, Nick. Knowing Algorithms. Media in Transition 8, Cambridge, MA. Rev.

2014. Disponível em:
https://static1.squarespace.com/static/55eb004ee4b0518639d59d9b/t/55ece1bfe4b0
30b2e8302e1e/1441587647177/seaverMiT8.pdf. Acesso. 28 out. 2017.

____________ Algorithms as culture. Some tactics for the ethnography of algorithmic

systems. Big Data & Society. Jul-Dec, 2017, p.1-12.

SHANNON, Claude E. A mathematical theory of communication. Bell System

Technical Journal, 27 v. 1948.

SHIRKY, Clay. A speculative post on the idea of algorithmic authority. 15 nov. 2009.

SILVA, Gislene. Para pensar em critérios de noticiabilidade. Estudos em Jornalismo

e Mídia. Vol.II Nº 1 - 1º Semestre de 2005.

SILVA; Mariah Rafaela; VARON, Joana. Reconhecimento facial no setor público

e identidade trans: tecnopolíticas de controle e ameaça à diversidade de gênero
em suas interseccionalidades de raça, classe e território. 2021.

SILVA, Tarcízio. Visão computacional e racismo algorítmico: branquitude e opacidade

no aprendizado de máquina. Revista da ABPN. Dez. 2019 - fev. 2020. Dossiê
temático Filosofia Africana e Afrodiaspórica.

_____________. Reconhecimento facial deve ser banido: veja dez razões. 16 mai.
2021 Disponível em:<https://tarciziosilva.com.br/blog/reconhecimento-facial-deve-
ser-banido-aqui-estao-dez-razoes/> Acesso em: 05 set. 2021.
 151

SILVEIRA, Sérgio Amadeu. Democracia e os códigos invisíveis: como os

algoritmos estão modulando comportamento e escolhas políticas. São Paulo: Edições
SESC -SP, 2019.

______________________ Responsabilidade algorítmica, personalidade

eletrônica e democracia. In: Revista Eptic (Revista Eletrônica Internacional de
Economia Política da Informação, da Comunicação e da Cultura). Dossiê temático:
Algoritmos, economia e poder. Vol.22, no.2, mai.-ago.. 2020, p. 83-96.

SIMONDON, Gilbert. On the mode of existence of technical objects. Traduzido por

Ninian Mellamphy. Jun. 1980.

SINGH, Harjit. Artificial inteligence revolution and India’s AI development:

challenges and scope. Internacional Journal of Science and Research. 5v., dez.
2016.

SODRÉ, MUNIZ. A sociedade incivil: mídia, iliberalismo e finanças. Petrópolis:

Vozes, 2021.

SOLOVE, Daniel J.The Digital Person: Technology and privacy in the information
age. 2004. Disponível em:
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2899131. Acesso: 13 set.

SOPER, Spencer. Fired by Bot at Amazon: ‘It’s You Against the Machine’. Contract
drivers say algorithms terminate them by email, even when they have done nothing
wrong. Bloomberg, 28 jun. 2021. Disponível em:
https://www.bloomberg.com/news/features/2021-06-28/fired-by-bot-amazon-turns-to-
machine-managers-and-workers-are-losing-out. Acesso em: 13 jul. 2021.

SRNICEK, Nick. Platform capitalism. Cambridge: Polity Press, 2017.

STRAY, Jonathan. The data journalist’s eyes, an introduction. Town Center for
Journalism. 2014. Disponível em http://towcenter.org/blog/the-data-journalists-eye-
an-introduction/. Acesso em: 15 mar. 2016.

______________. More algorithmic accountability reporting , and a lot of it will be meh.

Nieman Lab. 2018. Disponível em:
https://www.niemanlab.org/2018/12/more-algorithmic-accountability-reporting-and-a-
lot-of-it-will-be-meh/ Acesso: 18 abr. 2019.

SWEENEY, Latanya. Discrimination in Online Ad Delivery: Google ads, black

names and white names, racial discrimination, and click advertising. 2013. Disponível
em: https://queue.acm.org/detail.cfm?id=2460278. Acesso: 21 jun 2015.

TEIXEIRA, João de Fernandes. Inteligência artificial: uma odisseia da mente. 1.

reimp. São Paulo: Paulus, 2014.

TRANSPARÊNCIA BRASIL. Recomendações de governança do uso da Inteligência

Artificial. Fev. 2020a. Disponível em:
 152

https://www.transparencia.org.br/downloads/publicacoes/Recomendacoes_Governan
ca_Uso_IA_PoderPublico.pdf. Acesso: 20 nov. 2020.

_______________________. Estrutura de avaliação de riscos a direitos e de

transparência. Fev. 2020b. Disponível em:
https://www.transparencia.org.br/downloads/publicacoes/Estrutura_Avaliacao_Risco.
pdf. Acesso: 30 nov. 2020.

TRAQUINA, Nelson. Teorias do Jornalismo: porque as notícias são como são.

3.ed.rev. Florianópolis: Insular, 2012.

_________________ . Teorias do Jornalismo: a tribo jornalística – uma

comunidade interpretativa transnacional. 3.ed.rev. Florianópolis: Insular, 2013.

TRÄSEL, M. 2013. Jornalismo guiado por dados: relações da cultura hacker

com a cultura jornalística. In: Encontro Anual da Compós, XXII, Bahia, 2013.
Anais...Universidade Federal da Bahia. Disponível em:
http://www.academia.edu/3136931/JORNALISMO_GUIADO_POR_DADOS_
rela%C3%A7%C3%B5es_da_cultura_hacker_com_a_cultura_jornal%C3%ADstica.
Acesso em: .24 jun. 2016.

TRIELLI, Daniel; DIAKOPOULOS, Nicholas. How to report on algorithms even if you’re

not a data whiz. Town Center. 30 mai. 2017. Disponível em:
https://www.cjr.org/tow_center/algorithms-reporting-algorithmtips.php. Acesso em: 5
out. 2017.

___________________________How Journalists Can Systematically Critique

Algorithms. Journalism Symposium. 2020. Disponível em:
http://www.nickdiakopoulos.com/wp-content/uploads/2020/02/How-journalists-can-
systematically-critique-algorithms.pdf. Acesso: 13 nov. 2020.

TUFEKCI, Zeynep. Engineering the public: big data , surveillance and computational
politics. First Monday. 2014. Disponível em :
https://firstmonday.org/article/view/4901/4097. Acesso: 29 set. 2018.

TURNER, Fred. Actor-networking the news. Social Epistemology, 19 v., n.4,

out./dez. 2005. p.321-324. Disponível em: . Acesso em: 15 out. 2016.

VELKOVA, Julia; KAUN, Julia. Algorithmic resistance: media practices and the politics
of repair. Information, Communication & Society. 2019.

VIEIRA PINTO, Álvaro. O conceito de tecnologia. 1 v. Rio de Janeiro: Contraponto,

2005a.

____________________. O conceito de tecnologia. 2 v. Rio de Janeiro:

Contraponto, 2005b.

WEST, S.M.; WHITTAKER, M; CRAWFORD, K. Discriminating Systems: gender,

race and power in AI. AINOW. Abr. 2019.
 153

WHITBY, Blay. Inteligência artificial: um guia para iniciantes. Tradução de Claudio

Blanc. São Paulo: Madras, 2004.

WIENER, Norbert. Cibernética e sociedade: o uso humano dos seres humanos.

Tradução de José Paulo Paes, São Paulo: Cultrix, 1970.

WOLF, Mauro. Teorias da Comunicação. 1ed. Lisboa: Editorial Presença, 1987.

ZUBOFF, Shoshana. A era do capitalismo de vigilância. Rio de Janeiro: Intrínseca.
2021.