Indo Além: Introduzindo o Debate Sobre Deepfakes: "Uma Imagem Vale Mais Que Mil Palavras."

14/03/2022 10:33 Thomson Reuters ProView - Sorria, Você Está Sendo Filmado! - Ed.
2021
5. INDO ALÉM: INTRODUZINDO O DEBATE SOBRE DEEPFAKES

5. INDO ALÉM: INTRODUZINDO O DEBATE SOBRE DEEPFAKES
0
5. Indo além: introduzindo o debate sobre deepfakes

“Uma imagem vale mais que mil palavras.”
Confúcio 1
Chegamos a um ponto na história de nossa comunicação em que tecnologias de

inteligência artificial são poderosas o suficiente para fazer com que pessoas digam coisas
que nunca disseram ou façam coisas que nunca fizeram – ao menos aparentemente. Não2
bastasse vivermos em um falho ecossistema informacional, hoje estamos à sombra de

uma ameaça ainda mais pujante: as deepfakes.
A maneira como nos comunicamos vem, ao longo dos últimos anos, transformando-se
e evoluindo em velocidade e sentidos jamais vistos. Atualmente, o consumo de
informações por meio de vídeos, especialmente em dispositivos móveis, encontra-se em
uma curva de ascensão exponencial . A digitalização da informação, somada ao
3
surgimento de redes sociais, resultou em mudanças fundamentais no que diz respeito à

coleta e à difusão de informações: estatísticas do YouTube, referentes a outubro de 2018,
apontaram a existência de mais de um bilhão de usuários da plataforma de vídeo, com um
bilhão de horas assistidas diariamente, 70% delas em dispositivos móveis . Hoje, um a 4
cada cinco usuários da Internet se informa através da plataforma, que fica atrás apenas do
Facebook no que diz respeito ao número de usuários . 5
A atração exercida pelos meios de comunicação audiovisual pode ser explicada por
aquilo que os psicólogos denominam “fluência de processamento”, que corresponde ao
nosso viés cognitivo inconsciente de predileção por informações as quais nosso cérebro
pode processar rapidamente . Isso pode ser problemático, como veremos a seguir, porque
6
as pessoas tendem a acreditar no que veem, de modo que imagens e outras formas de
mídias digitais são frequentemente aceitas enquanto verdadeiras sem questionamentos . 7
Como nós somos, em certo sentido, “programados” para acreditar naquilo que vemos ou
ouvimos, temos a tendência de considerar vídeos e áudios como autênticos e
incorruptíveis. A título ilustrativo, podemos mencionar um estudo que demonstrou que as
pessoas são mais propensas a acreditar na afirmação de que “macadâmias são da mesma
família que pêssegos” se a frase estivesse acompanhada por uma imagem de
macadâmias . 8
Fato é que imagens e vídeos são uma poderosa ferramenta de persuasão,

principalmente quando se pretende afirmar algo ou comprovar determinada alegação . Em 9
razão da facilidade de acesso a tecnologias de produção audiovisual e a plataformas de

compartilhamento, qualquer pessoa com um smartphone é capaz de produzir e
compartilhar conteúdo, podendo atingir, virtualmente, um número incontável de
interlocutores. Em que pesem os benefícios da democratização dos meios de
comunicação, essa facilidade pode ser problemática quando pensamos também na
democratização das ferramentas de manipulação de imagens, áudios e vídeos,
possibilitada pelos recentes avanços na área da inteligência artificial.
Nos dias de hoje, tem se tornado cada vez mais fácil sintetizar automaticamente rostos
inexistentes ou manipular o rosto de uma pessoa real em uma imagem ou vídeo, devido,
principalmente, à acessibilidade a dados públicos e a grandes bases de dados contendo
https://proview.thomsonreuters.com/title.html?redirect=true&titleKey=rt%2Fmonografias%2F253598654%2Fv1.2&titleStage=F&titleAcct=i0ad82… 1/42
14/03/2022 10:33 Thomson Reuters ProView - Sorria, Você Está Sendo Filmado! - Ed. 2021
milhões de imagens faciais, bem como à evolução das técnicas de machine learning e
deep learning . Tecnologias que permitem realizar a manipulação de vídeos e cujo
10
resultado são altamente realísticos estão amadurecendo rapidamente e, com isso,

tornando-se cada vez mais difícil de identificar . 11
Nas palavras de Marie-Helen Maras e Alex Alexandrou, “graças à tecnologia de

imagem digital e ao fácil acesso a aplicativos da Adobe, Apple, Google e Microsoft, nunca
foi tão fácil enganar o olho com imagens ou vídeos adulterados” . Isso se dá, como 12
apontamos, pela nossa tendência de enxergar conteúdos em vídeo como sendo

incorruptíveis e autênticos, o que faz com que funcionem como uma extensão de nossa
própria percepção da realidade . Não parece exagero, portanto, afirmar que a habilidade
13
de distorcer a realidade deu um salto exponencial com o surgimento de deepfakes . 14
Nesse sentido, as deepfakes são problemáticas e até mesmo perigosas em razão do

poder psicológico que imagens, áudios e vídeos possuem de nos fazerem acreditar em
algo. Segundo John Wojewidka, uma vez que deepfakes estão muito mais próximas de
nossa realidade que as manipulações “tradicionais” de imagens e vídeos, elas “apagam a
linha entre realidade e fantasia, entre o que é genuíno e o que é falso”, fazendo com quem
“a habilidade humana fundamental de processar o mundo físico” seja seriamente
desafiada . 15
A tecnologia das deepfakes produz certos benefícios, mas, também e sobretudo,

prejuízos , concretos ou potenciais, sobre os quais discorreremos detalhadamente a
16
seguir. Adiantamos, desde já, que, embora a ameaça imposta pelas deepfakes ainda não
seja significante para a maioria das pessoas, a sua utilização já tem trazido implicações
graves para políticos, celebridades ou pessoas “de interesse” . E mais: com a proliferação17
de apps e softwares capazes de produzir deepfakes realistas a um custo baixo, ou sem

custo algum, qualquer pessoa potencialmente se tornará um alvo dessa tecnologia . 18
5.1. Definindo e caracterizando deepfakes
O termo deepfake vem da siglonimização dos termos “deep learning” (aprendizado

profundo) e “fake” (falso). A expressão geralmente é empregada heuristicamente,
referindo-se à ampla gama de falsificações hiper-realistas de imagens, vídeos e áudios,
realizadas digitalmente . Notamos, assim, que pode se referir tanto a mídias audiovisuais
19
quanto a mídias sonoras – estas não serão, por ora, objeto de nossa análise. Mas o que,
exatamente, são deepfakes?
Primeiramente, é interessante notar que o termo deepfake surgiu em 2017, na rede

social Reddit. Um usuário anônimo da plataforma, que se dizia um entusiasta da
programação e cujo apelido era, literalmente, “deepfakes”, criou um tópico no qual
compartilhou as primeiras falsificações profundas de que se tem notícia . Os vídeos 20
produzidos eram manipulações de filmes pornôs, nos quais os rostos das atrizes eram
substituídos pelos de outras, como Scarlett Johansson e Gal Gadot, que nunca
participaram de produções pornográficas. Isso releva dois aspectos polêmicos das
deepfakes, aos quais retornaremos adiante: primeiro, embora mídias digitalmente
manipuladas possam ser criadas com o consentimento das pessoas cujos rostos são
utilizados, isso frequentemente não ocorre ; segundo, deepfakes podem ser – e são –
21
amplamente utilizadas para oprimir mulheres.
Independentemente de seu conteúdo, falsificações digitais têm se tornado cada vez

mais realísticas e convincentes, e a tecnologia de deepfakes se encontra na vanguarda
dessa tendência . Ao utilizar algoritmos de machine learning para inserir rostos e vozes
22
em gravações de vídeo e áudios reais, tecnologias de deepfakes possibilitam a criação de

personificações extremamente realistas, cujo resultado final é uma mídia dotada de

tamanha verossimilhança que se torna impossível distinguir o que é real d aquilo que foi
digitalmente produzido.
Colocando em termos mais simples, uma deepfake é um tipo de “mídia sintética”, o que
significa dizer que se trata de uma mídia – incluindo-se imagens, áudio e vídeo – que é ou
manipulada ou inteiramente gerada por uma inteligência artificial . Nesse ponto, destaca- 23
se a distinção realizada por Nina Schick: “quando utilizada maliciosamente como

desinformação, ou quando utilizada como má informação, uma mídia sintética é chamada
‘deepfake’” . Doravante, buscaremos utilizar o termo deepfake quando nos referirmos a
24
mídias geradas e/ou manipuladas por IA para fins manifestamente ou potencialmente

danosos, empregando o termo “mídia sintética” nas situações em que não houver potencial
lesivo intencional na manipulação ou criação de mídias . 25
Outra distinção cabível é aquela que se estabelece entre deepfakes, tal qual definidas
anteriormente, e as chamadas “cheapfakes” . Pensemos, por exemplo, na imagem
26
divulgada da presidente Dilma Rousseff, supostamente comendo um pombo vivo, na

cidade de Osasco . Ou então nas imagens que circularam da candidata à vice-presidência
27
nas eleições de 2018, Manuela D’Ávila, em que apareciam suas supostas tatuagens dos
rostos de Che Guevara e Lênin e que, ainda, mostravam a política utilizando uma faixa
presidencial claramente editada . Embora se tratasse de manipulações grotescas, ou, no
28
termo exposto anteriormente, cheapfakes, as imagens geraram certo nível de

“credibilidade”, tendo sido tão compartilhadas por usuários de redes sociais que diversos
sites de verificação de conteúdo tiveram que esclarecer que se tratava de montagens.
Desconsideradas as situações em que as manipulações realizadas digitalmente são

facilmente perceptíveis, ou até mesmo grotescas, cabe-nos agora analisar quais são, de
fato, as características das deepfakes, a fim de melhor entender por que essa inovação
tecnológica tem suscitado tantos debates e preocupações. Embora diferentes autores
utilizem denominações variadas, dois aspectos das deepfakes se destacam e são
fundamentais para a sua compreensão: a qualidade das mídias produzidas e a
acessibilidade às tecnologias de manipulação digital.
No que tange ao primeiro aspecto, Schick afirma que a “IA vai criar efeitos audiovisuais
muito melhores do que qualquer coisa que os estúdios de CGI já fizeram no passado” . 29 30
Talvez o mais conhecido exemplo do uso de GCI seja o filme “O Curioso Caso de
Benjamim Button”, de 2008, no qual Brad Pitt interpreta um homem que, em vez de
envelhecer com o passar do tempo, já nasce idoso e vai se tornando mais jovem a cada
dia. Embora não seja possível saber exatamente quanto foi gasto para a manipulação do
rosto do ator, diversas declarações foram feitas no sentido de que os efeitos especiais
contribuíram para o alto custo da produção – cerca de 170 milhões de dólares à época . 31
Atualmente, pouco mais de dez anos após o lançamento do filme, o processo de

manipulação de imagens tornou-se mais eficiente, devido, sobretudo, aos avanços
proporcionados pela IA. O trabalho que antes demandava a atuação de diversos
especialistas em computação gráfica hoje pode ser realizado mediante o uso de softwares
de computador e até mesmo apps para aparelhos celulares. Distinguir vídeos autênticos
daqueles artificialmente criados ou modificados tem se tornado cada vez mais difícil, o que
se dá, obviamente, em razão da crescente qualidade desses vídeos . 32
Nessa perspectiva, importante ressaltar que a verossimilhança das deepfakes está

diretamente relacionada ao aumento de sua credibilidade. Mídias sintéticas estão se
tornando mais críveis, e seu impacto mais significante, o que se dá porque, embora nossa
confiança em mídias fotográficas tenha decaído durante às últimas décadas, nós ainda
depositamos muita confiança em evidências videográficas . 33
A segunda característica marcante das deepfakes é a acessibilidade . Há até 34
relativamente pouquíssimo tempo, esse tipo de tecnologia de manipulação digital de

imagens era acessível apenas para grandes estúdios de Hollywood, como expusemos
anteriormente. Hoje, todavia, qualquer pessoa pode baixar um dos diversos apps
disponíveis no mercado e, com poucos passos, produzir uma deepfake . É possível falar, 35
portanto, na democratização do acesso a essas tecnologias: à medida que a tecnologia

36
melhora e se torna mais acessível através de aplicativos e softwares, mais pessoas

poderão acessá-la – o que, consequentemente, trará aspectos positivos e negativos.
Schick aponta que uma terceira característica das deepfakes seria seu baixo custo , 37
uma vez que produzir vídeos digitalmente manipulados é cada vez menos dispendioso.
Essa característica, todavia, não é mais que um desdobramento da segunda que
apontamos, a facilidade de acesso às novas tecnologias. Deixando de lado esse
preciosismo, importa-nos o fato de que o custo de criação das deepfakes é cada vez mais
baixo, e em breve será inexistente. Em suma, o ponto de inflexão dessas tecnologias é o
escopo, a escala e a sofisticação dos métodos e instrumentos envolvidos, os quais
permitem que basicamente qualquer pessoa com acesso a um computador produza
conteúdos artificiais praticamente indistinguíveis daqueles considerados autênticos . 38
Combinados, esses fatores são uma “receita para o sucesso” , responsáveis pela 39
popularidade e expansão das deepfakes.
5.2. Como funcionam as deepfakes?
Expusemos anteriormente que as deepfakes são criadas a partir do emprego de

tecnologias de inteligência artificial, que correspondem a programas computacionais que
mimetizam o comportamento humano e seus processos de pensamento, projetados para
operar de maneira “inteligente”. Mais especificamente, essas tecnologias empregam
técnicas de machine learning (aprendizado de máquina), que é um ramo da IA que permite
que os sistemas aprendam diretamente a partir de exemplos, dados e experiências,
realizando processos complexos a partir das informações apreendidas, em vez de apenas

seguir regras (comandos) pré-programadas.
Dentro do nicho do aprendizado de máquina, tem ganhado destaque aquilo que se

denomina deep learning, ou, em português, “aprendizado profundo” – de onde vem o
“deep” de “deepfake”. O aprendizado profundo corresponde a uma técnica de inteligência
artificial que realiza o treinamento das chamadas “redes neurais profundas” (deep neural
networks, ou DNN, em inglês), algoritmos que se comportam de maneira semelhante aos
neurônios em nosso cérebro. As redes neurais profundas são formadas por um grande
conjunto de neurônios artificiais, que, assim como os neurônios que possuímos, realizam
operações simples, se considerados individualmente, mas, em conjunto, são capazes de
performar atividades complexas e não lineares, como reconhecer o rosto de uma pessoa a
partir de uma imagem projetada em uma tela . 40
As primeiras deepfakes, que basicamente realizavam trocas de rostos (face swaps),

utilizavam sistemas de aprendizado profundo denominados autoencoders, redes neurais
que, em termos simples, copiam dados de entrada, como as características faciais de uma
pessoa, ou o timbre de sua voz, e os reconstroem (replicam) na saída, i.e., no vídeo ou no
áudio original . Esse modelo, todavia, demanda certos comandos manuais que foram
41
suprimidos por uma nova classe de sistemas de deep learning, considerada por diversos
autores como um dos fatores preponderantes da explosão das deepfakes: as redes
42
generativas adversariais, mais conhecidas pelo acrônimo GAN – do inglês, generative

adversarial network.
Inventadas por Ian J. Goodfellow, no ano de 2014, as redes generativas adversariais

são, como o próprio nome indica, duas redes neurais contrapostas, que trabalham
conjuntamente para – no nosso caso – criar mídias hiper-realistas . Essas duas redes, 43
denominadas “gerador” (generator) e “discriminador” (discriminator), são treinadas a partir

do mesmo banco de imagens, vídeos ou sons, e nisso está o principal avanço
proporcionado por essa classe de aprendizado de máquina: a partir da base de dados
fornecida, a primeira rede (geradora) tenta criar uma mídia sintética que seja boa o
suficiente a ponto de “confundir” a segunda rede (discriminadora), que realiza a tarefa de
determinar se a nova mídia é real ou se foi criada/manipulada, de modo que as redes se
retroalimentam, gerando uma melhoria em termos de qualidade para ambas . 44
Uma GAN é capaz de analisar milhares de fotos ou vídeos de uma pessoa em poucos
segundos, eliminando a necessidade de alimentação manual de dados que ocorre quando
a tecnologia adotada é a de autoencoders . Dessa forma, é possível produzir um novo
45
retrato ou vídeo de uma pessoa que combine as características das mídias analisadas,
sem que se trate de uma cópia exata de qualquer uma delas. Essa nova mídia pode ser
completamente original, isto é, pode representar um rosto que não existe “na vida real” , 46
ou, mais comumente, pode ser a manipulação de vídeos ou imagens de pessoas já

existentes.
Um exemplo contundente do uso dessa tecnologia é o vídeo desenvolvido por

pesquisadores da Universidade de Washington, intitulado “You Won’t Believe What Obama
Says In This Video! 😉 ”, no qual o ex-presidente estadunidense alerta para o surgimento
das deepfakes e fala coisas como “o presidente Trump é um total e completo imbecil” . 47
Juízos de valor à parte, a intenção do vídeo é, mediante um caso prático, demonstrar como
as tecnologias de manipulação têm evoluído, bem como alertar para os perigos que
decorrem dessa evolução.
Alguém poderia argumentar que somente foi possível produzir um vídeo falso tão
preciso porque há milhares, senão milhões, de imagens e vídeos do ex-presidente Barack
Obama na internet – e essa afirmação não estaria totalmente incorreta . Embora, 48
atualmente, as GANs demandem uma base de dados extensa para que o resultado seja,
de fato, verossimilhante e fidedigno, a tendência é que sejam necessárias bases de dados
cada vez menores para se produzir uma deepfake . Aliás, nesse ponto, vale dizer: já é
49
possível criar vídeos, ainda que de qualidade duvidosa, a partir de apenas uma foto ou
imagem da pessoa, o que fez com que nem mesmo a Monalisa escapasse da tecnologia . 50
Independentemente das projeções para o futuro, se consideradas apenas as técnicas e

as tecnologias às quais temos acesso hoje, caso se disponha de vídeos e áudios
suficientes de uma pessoa é possível não apenas criar um vídeo falso, mas também fazer
com que essa pessoa fale coisas que jamais tenha falado ou falaria . É o caso do vídeo de 51
Barack Obama, citado anteriormente, mas poderia ser de qualquer outra pessoa, qualquer
um de nós, se houver material suficiente para isso.
Analisadas, ainda que sucintamente, as inovações tecnológicas por trás das deepfakes,
cabe a nós discutir quais são os principais tipos de manipulação faciais existentes. Uma
vez mais, as classificações estabelecidas por diferentes autores variarão, mas podemos
apontar quatro principais categorias no que tange ao nível de manipulação: a) síntese
facial total; b) troca de identidade/rostos; c) manipulação de atributos faciais; e d) troca de
expressões faciais . 52
A síntese facial total corresponde à criação de imagens faciais não existentes

previamente, i.e., corresponde ao rosto de uma pessoa que, na realidade, não existe. É um
processo realizado por redes generativas adversariais extremamente complexas, como a
recém-criada StyleGAN . O resultado é extremamente preciso, tornando impossível para
53
o olho humano identificar se se trata de uma pessoa “real” ou não.
Também referida como troca de rostos, a troca de identidade é a manipulação na qual o

rosto presente em um vídeo é automaticamente substituído pelo rosto de outra pessoa . 54
Essa técnica tem sido amplamente empregada para inserir o rosto de atrizes famosas em
vídeos nos quais elas nunca apareceram, conforme já exposto. Embora a troca de rostos
já fosse possível através de mecanismos gráficos computacionais “clássicos”, como aquele
empregado pelo aplicativo FaceSwap, softwares e aplicativos mais recentes, como
Impressions DeepFake e ZAO, têm se valido de novas técnicas de aprendizado de
máquina, as chamadas GANs, para realizar essa função – retomaremos a discussão 55
sobre esses apps no tópico seguinte.
Como o nome dá a entender, a manipulação de atributos faciais consiste na

modificação de características faciais específicas, a partir do emprego de GANs. Também
conhecida como edição ou retoque facial, é a técnica a partir da qual se modificam
atributos como a cor da pele ou do cabelo, a idade, e até mesmo o sexo da pessoa . Um 56
exemplo que talvez seja do conhecimento de muitos brasileiros é o aplicativo FaceApp,

que ganhou destaque nas redes sociais pela primeira vez no ano de 2019, e, novamente,
em 2020 . 57
A troca de expressões, por sua vez, consiste na modificação da expressão facial de

uma pessoa, geralmente mediante a inserção das expressões faciais de outra pessoa,
retiradas de outro vídeo . Podemos considerar dois outros tipos de manipulação como
58
desdobramentos da troca de expressões: a dublagem (lip-sync) e a “manipulação de

fantoches” (puppet-master ). O primeiro é quando determinado vídeo é modificado de
59
modo que a região da boca esteja em consonância com um registro de áudio previamente
definido, inserindo palavras na boca de quem é retratado no vídeo. Já o segundo se dá
quando a imagem de uma pessoa é animada (incluindo-se os movimentos da cabeça,
olhos, expressões faciais) pelo “manipulador”, uma pessoa que deverá falar e fazer aquilo
que o “fantoche” reproduzir, o que hoje já é possível fazer em tempo real . Ainda em 60
relação à “manipulação de fantoches”, cumpre indicar que é possível também a criação de

mídias sonoras ou audiovisuais a partir de textos (text-to-video).
Não obstante as quatro categorias de manipulação facial abordadas sejam as mais

empregadas e, portanto, aquelas que mais têm recebido atenção nos últimos anos , elas 61
não são capazes de englobar todas as formas de manipulação facial tornadas possíveis
pelas GANs. Nesse sentido, buscaremos expor duas outras abordagens no âmbito da
manipulação facial: a mutação facial e a “desidentificação” facial . 62
A mutação facial é um tipo de manipulação que realiza a síntese das características

faciais de duas ou mais pessoas, de modo que a imagem gerada se assemelha, de certa
forma, àquelas de todas as pessoas cujos rostos foram “misturados”. O rosto gerado,
híbrido, contém amostras da biometria facial de todos os envolvidos, o que é preocupante
se considerarmos que, em tese, esse novo rosto poderia confundir sistemas de
reconhecimento/verificação facial, implicando uma séria ameaça a esses sistemas . 63
Finalmente, a desidentificação facial tem como objetivo principal remover os dados de

identificação presentes numa imagem ou vídeo, de modo a preservar a privacidade da
pessoa e a proteger seus dados biométricos. Um meio simples de se operar a
desidentificação é borrar ou “pixelar” a imagem, como acontece no Street View, da Google.
Um método mais complexo, e também mais interessante, é aquele que permite adicionar
uma espécie de filtro, supostamente invisível, às fotos e selfies, a fim de evitar a
possibilidade de extração da biometria facial . 64
5.2.1. Deepfakes e tecnologias de reconhecimento facial
Talvez alguns leitores estejam se questionando por que um livro cujo foco é discutir
tecnologias de reconhecimento facial possui um capítulo inteiro dedicado a um assunto
aparentemente tão diverso. Como exposto anteriormente, a maior parte das deepfakes
focam celebridades, políticos, ou pessoas que, de alguma forma, despertam o interesse
público, o que se dá, entre outros motivos, porque a Internet é uma excelente e quase
inesgotável fonte de fotos e vídeos dessas pessoas. E, de fato, ainda são necessárias
grandes bases de dados para se treinar uma IA capaz de produzir uma deepfake com
certa qualidade. A questão é que isso tem mudado em três diferentes sentidos – e é
justamente nesse ponto que as tecnologias de reconhecimento facial se relacionam às
deepfakes.
Primeiramente, como mostramos nos capítulos anteriores, as tecnologias de

reconhecimento facial, somadas à possibilidade de se processar e armazenar dados a
custos cada vez mais baixos, permitem criar extensos registros pessoais, inclusive de
pessoas “comuns” . É o caso, por exemplo, do já citado Clearview AI . Essas bases de
65 66
dados são alimentadas com imagens e vídeos obtidos a partir de tecnologias de

reconhecimento facial e de registros obtidos na internet, os quais, na maioria das vezes,
voluntariamente tornamos disponíveis. Uma vez que diferentes mídias contendo nossos
rostos são agrupadas, e o acesso a esse conjunto de dados é facilitado, torna-se muito
mais simples produzir uma deepfake que reproduza nossos traços faciais.
Em segundo lugar, sabemos que tanto as tecnologias de reconhecimento facial quanto

as deepfakes evoluíram em razão do desenvolvimento de técnicas mais avançadas de IA,
nomeadamente nos nichos de machine learning e deep learning. Vimos que as redes
generativas adversariais (GANs) produzem falsificações profundas a partir da análise de
amostras do rosto de uma pessoa, realizando o mapeamento de suas características
faciais para, depois de identificá-las, reproduzi-las. Ocorre que, em teoria, essas mesmas
redes neurais podem ser utilizadas para o treinamento de algoritmos de reconhecimento

facial, levando ao seu aperfeiçoamento . Além disso, é possível, por meio das GANs,
67
aumentar a acurácia de sistemas de reconhecimento facial ao se expandirem as bases de

dados utilizadas para seu treinamento , como faz o sistema DeepFace, do Facebook . É
68 69
interessante notar que os algoritmos treinados com bases de dados mistas (i.e., com
imagens reais e imagens “produzidas” por uma GAN) tendem a demonstrar uma acurácia
mais elevada que aqueles treinados apenas com imagens reais . 70
Por fim, a tendência que se observa é a necessidade de bases de dados cada vez
menores para se produzir uma deepfake. Em outras palavras, menos fotos e/ou vídeos de
uma pessoa serão necessários para que se treine a inteligência artificial responsável por
criar a mídia sintética. Possivelmente, em um futuro não tão distante, bastará uma única
foto para se gerar uma deepfake. Nas palavras de Schick, “não é exagero dizer que, se
você já foi gravado a qualquer momento, em qualquer forma de documentação audiovisual,
seja uma fotografia, um vídeo ou uma gravação de áudio, então você poderia teoricamente
ser vítima de uma deepfake” . 71
Podemos afirmar, portanto, que tem se tornando cada vez mais fácil criar digitalmente
faces inexistentes ou manipular uma face real de uma pessoa em uma imagem ou vídeo,
graças a fatores como a acessibilidade a grandes bases de dados e à evolução das
tecnologias de inteligência artificial, como as GANs. Na medida em que mais elementos
das nossas vidas são constantemente capturados e compartilhados (por exemplo, através
de redes sociais), fornecemos cada vez mais dados sobre nós mesmos, que podem ser –
e provavelmente serão – utilizados para treinar algoritmos de reconhecimento facial e de
produção de mídias sintéticas, com ou sem nossa permissão ou ciência . 72
Eventualmente, essas mídias sintéticas se tornarão indistinguíveis daquelas ditas

autênticas , de modo que a regulação das deepfakes parece ser um caminho tão
73
necessário quanto inevitável. Diante disso, é importante que compreendamos não apenas
como essas tecnologias funcionam, mas também quem as produz ou utiliza, e por que – e
justamente a essa empreitada dedicaremos o próximo tópico.
5.3. Quem produz deepfakes, e por quê?
Em 2018, surgiu um dos mais populares programas para a produção de mídias

sintéticas, o FakeApp. Embora entregasse resultados considerados satisfatórios, o
software demandava o input de grandes quantidades de dados , chegando a centenas de 74
fotos, para produzir uma falsificação. Além disso, embora o programa seja relativamente
fácil de usar, existem diversos tutoriais na internet cujo objetivo é ensinar “pessoas
comuns” a utilizá-lo, o que demonstra, afinal, que não era tão acessível.
No ano seguinte, programas similares já estavam disponíveis – mais acessíveis e

exigindo menos dados para produzir conteúdo . Tomemos como exemplo o aplicativo
75
chinês Zao. Disponível para os principais sistemas operacionais de dispositivos móveis, o

app permite que os usuários insiram seus próprios rostos em milhares de cenas de filmes e
séries de televisão, supostamente de graça . O único material requerido como fonte para a
76
produção das mídias é uma série de selfies dos usuários, sendo que, em alguns casos,
uma única foto basta. Outro caso interessante é o WaveNet, da Google , que permite a 77
criação de falas realistas a partir de textos – embora o sistema conte com algumas
limitações, como o uso de vozes predefinidas (90 diferentes) e um número máximo de
caracteres a serem transformados em áudio na versão gratuita (1 milhão, para ser
preciso), a tendência é que, futuramente, qualquer voz possa ser reproduzida a partir do
programa.
Nosso ponto é: atualmente, qualquer pessoa pode produzir uma deepfake. E, com a
facilidade de compartilhamento de conteúdo propiciada pelas redes sociais, a distribuição
dessas falsificações acaba sendo tão corriqueira e exequível quanto a sua produção. Isso
é relevante porque, considerados os fatores apontados até aqui, todas as instituições e
indivíduos estão mais vulneráveis a fraudes nesse novo ecossistema informacional, de
modo que todos nós somos, agora, potenciais alvos de ações de desinformação ou má
informação que poderiam afetar nossas reputações, negócios e até mesmo nosso
desenvolvimento pessoal . 78
Em que pese a ubiquidade das plataformas de criação e disseminação das deepfakes,

é possível nomear ao menos quatro principais agentes que têm lançado (ou lançarão) mão
dessas tecnologias . São eles: comunidades de “entusiastas” da programação e
79
desenvolvimento de técnicas de machine learning (que, inclusive, são responsáveis pela

difusão do termo); agentes políticos, como entes governamentais, ativistas e presidentes;
agentes “maliciosos”, como golpistas e fraudadores; e agentes “legítimos”, tais como
produtores de televisão e cinema.
Para além do que já temos presenciado, veremos, em um futuro próximo, uma

explosão do uso de técnicas de IA para a criação de imagens, vídeos e sons – o que trará,
como diversas vezes apontado, vantagens e desvantagens. A resposta à pergunta
presente no título deste tópico se relaciona, portanto, aos fins objetivados com a produção
de mídias sintéticas – sejam elas deepfakes ou não, conforme a classificação trazida no
tópico 5.1. A seguir, analisaremos com mais detalhes os possíveis usos dessa tecnologia.
5.4. Deepfakes: good fakes and bad fakes
Até o momento, quase todos os exemplos trazidos sobre o uso de deepfakes não
parecem positivos ou benéficos para a sociedade como um todo. Aliás, cabe dizer: a
própria utilização do termo deepfake, de maneira indistinta, denota uma negatividade
quase intrínseca a essa tecnologia. Não obstante, para além dos evidentes problemas, a
criação digital de mídias – às quais, repetimos, iremos nos referir ora como “mídias
sintéticas”, ora como “deepfakes” – também traz consigo diversos aspectos favoráveis.
5.4.1. Nem tudo são espinhos
As tecnologias de produção de mídias sintéticas podem trazer impactos positivos para

diversos setores. As aplicações vão desde fins comerciais, como para as indústrias do
entretenimento, videogames, moda e e-commerce, passando pelas áreas das artes e
educação, chegando à esfera de construção da subjetividade e autonomia pessoal.
5.4.1.1. Artes e entretenimento
A indústria do entretenimento provavelmente será uma das mais beneficiadas com as

novas tecnologias de manipulação digital de vídeos. Afinal, não é de hoje que produtores
de cinema e televisão se valem da manipulação e/ou criação digital de conteúdo. Vimos,
algumas páginas atrás, como técnicas de GCI foram utilizadas para modificar atributos
faciais de atores no filme “O Curioso Caso de Benjamim Button”. Mais recentemente, no
ano de 2016, o ator Peter Cushing, que faleceu em 1994, foi “ressuscitado” no filme
“Rogue One”, da franquia de ficção científica Star Wars . Já em 2017, em outro filme da
80
franquia, a atriz Carrie Fisher, que deu vida à icônica personagem Leia Organa, apareceu
em cenas que não foram, de fato, gravadas. Utilizando técnicas de deep learning, os
produtores de efeitos visuais foram capazes de, a partir de fragmentos de vídeos já
existentes, reproduzir o rosto e a voz de Fisher, criando diálogos adicionais para sua
personagem . Vale dizer que, ao mesmo tempo que causaram comoção e contentamento
81
de diversos fãs, as reaparições de Cushing e Fisher trouxeram à tona debates acerca dos
aspectos éticos e jurídicos de se “ressuscitar” atores.
Ainda no âmbito de produções cinematográficas, um grupo de pesquisadores do Max

Planck Institute for Informatics desenvolveu um sistema denominado Deep Video Portraits,
cujo objetivo principal é permitir a edição das expressões faciais de atores para que
correspondam precisamente aos áudios utilizados nas dublagens . Segundo Hyeongwoo 82
Kim, um dos pesquisadores envolvidos no projeto, o sistema utiliza um modelo de

mapeamento 3D para capturar, em detalhes, movimentos do rosto do dublador, como a
posição da boca, do nariz e das sobrancelhas. Em seguida, é feita a transposição desses
movimentos para o vídeo original, com o ator/a atriz que participou da gravação da cena, a
fim de realizar um lip sync preciso do áudio com os movimentos faciais.
Um outro possível uso da tecnologia é a criação de sátiras e paródias, principalmente

de figuras públicas e políticos. É o caso do vídeo em que Donald Trump admite que Barack
Obama era um grande presidente e se desculpa por “ser tão viciado em atenção que
acabou dividindo os Estados Unidos, em vez de uni-los” . Ou o vídeo em que o chefe do
83
Executivo brasileiro, Jair Bolsonaro, aparece cantando a popular música “Admirável Gado
Novo” . Difícil é dizer se essas manipulações serão classificadas como mídias sintéticas,
84
i.e., produções legítimas, ou se serão consideradas deepfakes – o que dependerá,

certamente, do posicionamento político de quem realizar a classificação.
Mais um caso notável, e que tem a ver tanto com fins de entretimento quanto
educacionais – os quais veremos a seguir – é a possibilidade de se utilizar manipulações
faciais para preservar a identidade de participantes de documentários, ao mesmo tempo
que se mantêm a emoção e sentimentos ínsitos à produção. O documentário Welcome to
Chechnya retrata a luta de pessoas LGBT na Rússia, bem como o trabalho de ativistas que
as auxiliam. A fim de evitar o fomento a uma perseguição ainda mais incisiva, os
produtores decidiram empregar técnicas de edição facial que evitassem a identificação dos
entrevistados, mas que, simultaneamente, preservassem a emoção de suas falas, um
aspecto essencial para a promoção de empatia por parte do público . 85
5.4.1.2. Educação
Embora os potenciais benefícios artísticos das tecnologias de mídia sintéticas não

estejam necessariamente atrelados a propósitos educacionais, elas podem, sim, ser
empregadas para fins de educação. É possível vislumbrar uma série de oportunidades
para os educadores, incluindo a capacidade de fornecer aos estudantes informações de
maneira mais atraente, se comparada com meios tradicionais, como leituras e palestras . 86
De certa forma, é uma inovação similar àquela proporcionada pelo acesso a tecnologias
audiovisuais em sala de aula, a partir dos anos 1980 e 1990. Com a nova tecnologia, será
possível, por exemplo, criar vídeos de figuras históricas que conversem diretamente com
os alunos, substituindo aulas meramente expositivas, as quais são, muitas vezes, pouco
cativantes. A tecnologia ainda permite a produção relativamente barata e acessível de
conteúdo de vídeo que altera filmes ou gravações existentes, para ilustrar determinados
objetivos pedagógicos . 87
Uma possibilidade diferente, que, imaginamos, será amplamente empregada, é a

criação de professores “digitais”. É o caso do Will, um avatar criado por uma empresa de
IA da Nova Zelândia, cujo objetivo é ensinar assuntos relacionados a energias sustentáveis
a mais de 125 mil alunos do ensino fundamental no país . Outro programa, denominado 88
LumièreNet, tem um propósito semelhante: a partir de tecnologias text-to-video, o sistema

produzirá aulas e palestras totalmente digitais, substituindo, ao menos parcialmente, as
atividades de leitura de milhares de cursos da plataforma Udacity, uma rede de ensino on-
line que oferece mais de 100 mil cursos . Sem dúvidas, embora não possamos negar o
89
potencial de democratização do ensino e da educação, o uso de mídias sintéticas em

substituição aos professores “de carne e osso” trará importantes e necessárias discussões.
5.4.1.3. Autonomia e construção da identidade
As tecnologias de criação de mídias digitais podem ser utilizadas também para uma
variedade de fins de autoexpressão, que podem ser mais bem descritos como uma forma
de exercício de autonomia . Uma das hipóteses mais recorrentes é a criação de avatares,
90
personas digitais amplamente – mas não só – utilizadas em videogames. Entre incontáveis

exemplos, talvez um dos mais familiares sejam os avatares disponíveis no Nintendo Wii,
conhecidos como “Mii”. Recentemente, uma atualização do sistema operacional dos
celulares da Apple trouxe a possibilidade de customização dos chamados “Memojis” –
avatares personalizados que utilizam tecnologia de reconhecimento facial para reproduzir
expressões faciais dos usuários em figuras animadas que podem ser usadas em
mensagens de texto e de vídeo.
Com as novas tecnologias de IA, será possível inserir simulacros cada vez mais
realistas de uma pessoa em uma variedade ainda maior de meios. O seu uso não se
limitará aos videogames, de modo que experiências sensoriais e pessoais se tornarão
cada vez mais comuns. Futuramente, pessoas com Alzheimer que tenham dificuldade de
reconhecer parentes ou amigos poderão interagir com rostos dos quais ainda se lembram,
graças a manipulações digitais que realizem o seu rejuvenescimento . Ainda que 91
polêmica, outra possibilidade é a inserção do rosto de uma pessoa em um vídeo erótico,

realizada consensualmente , o que pode corroborar para a reconstrução da autoestima em
92
situações nas quais ela se encontra impossibilitada de praticar atos sexuais . 93
Um uso diverso, e que hoje já se encontra em aplicação, é a restauração da

capacidade de fala de pessoas com esclerose lateral amiotrófica (ELA) por meio de
tecnologias de edição de áudio. Provavelmente, todos os leitores deste livro sabem quem é
o físico e cosmólogo britânico Stephen Hawking, e muito provavelmente se lembram de
que, em seus últimos anos de vida, o cientista utilizava um gerador de fala que, embora
útil, reproduzia uma voz mecanizada. Atualmente, é possível utilizar geradores de fala
semelhantes, mas que reproduzem exatamente a voz da pessoa acometida da doença.
Assim, muitas das pessoas que evitavam falar por não gostarem do som de suas vozes
computadorizadas podem “receber de volta uma parte essencial de suas vidas” . 94
5.4.2. Nem tudo, obviamente, são flores
Até o momento, realizamos o esforço de demonstrar que há um lado positivo no

desenvolvimento das tecnologias de manipulação digital de mídias audiovisuais.
Acreditamos que há tecnologias que não são inerentemente boas ou más – e essa é uma
delas. Não obstante, ignorar os eventuais danos trazidos por essas tecnologias não
apenas seria um ato de ingenuidade como também significaria perder totalmente o
propósito de nossa discussão neste capítulo.
Discutiremos, nos tópicos seguintes, alguns aspectos prejudiciais – ou, ao menos,

preocupantes – das mídias sintéticas, às quais chamaremos deepfakes. Adiantamos que
estas representam uma ameaça não apenas para indivíduos e instituições específicas,
senão para a sociedade em geral . Entre os potenciais malefícios das deepfakes,
95
podemos destacar: a distorção do discurso democrático e manipulação de processos

eleitorais; a erosão da confiança em instituições públicas e privadas; prejuízos à economia;
e, como já apontado, prejuízos na esfera individual das pessoas.
5.4.2.1. Fraudes e furto de dados
Retornemos, por um instante, a uma discussão trazida no tópico 3.1. deste trabalho.
Vimos que, em determinado momento da história, o corpo humano (em seu aspecto
material) foi deixado de lado em razão da valoração do chamado “corpo eletrônico”.
Todavia, desde que os dados pessoais biométricos passaram a ser utilizados como
instrumentos indispensáveis à identificação pessoal, o corpo físico readquiriu importância . 96
Nas palavras de Rodotà,
Mais recentemente, voltou-se a prestar atenção aos componentes físicos, sobretudo porque
a realidade desmaterializada, em muitas situações, pode não garantir segurança na
identificação do sujeito a que se quer referir. (...) Uma vez confiada a identidade unicamente a
dados destituídos de qualquer relação com a pessoa concreta a que se referem, cresce o risco
de furtos de identidade mediante a simples apropriação de um código numérico, de uma
palavra-chave, de um algoritmo.97
O jurista italiano aponta, dessa forma, que a insegurança relacionada ao uso de dados
eletrônicos de identificação, como senhas e códigos PIN, fez com que os elementos
corpóreos – dados pessoais biométricos – readquirissem relevância. Em outras palavras,
devido à maior segurança que proporcionavam, dados como impressões digitais e
biometria facial passaram a ser amplamente empregados para fins de definição e
reconhecimento da identidade pessoal. Isso tem ocorrido desde meados dos anos 1980,
embora, logicamente, com maior frequência e escopo nos tempos atuais, em decorrência
dos avanços tecnológicos já discutidos.
Acontece que, assim como os instrumentos de identificação pessoal se tornaram mais

modernos e complexos, os ataques a esses dados se tornaram mais sofisticados e
organizados. Havendo mais alvos, bem como ferramentas melhores e mais acessíveis
para operar esses ataques, fraudes a sistemas de verificação biométrica têm se tornado
cada vez mais frequentes, e falsificações digitais estão mais comuns . É cada vez mais 98
fácil reproduzir, ou melhor, falsificar, vozes, impressões digitais 2D e imagens faciais para
se obter acesso não autorizado a inúmeros serviços e informações.
Com as deepfakes, as possibilidades de furto da identidade pessoal ou de elementos

que a constituem são elevadas a um nível jamais visto . A tendência é que vejamos um
99
aumento no uso fraudulento dessas tecnologias, uma vez que sistemas de autenticação
baseadas em dados biométricos vêm sendo amplamente adotadas. Isso se torna
particularmente preocupante se considerarmos que muitos desses sistemas são incapazes
de detectar e prevenir as deepfakes , uma vez que se baseiam na mera checagem de
100
dados tidos como secretos, em vez de analisarem fatores que indiquem a “vivacidade” no
momento de autenticação biométrica . 101
Além do furto de identidade, outros tipos de fraude podem se tornar mais comuns. Será
possível, por exemplo, forjar um sequestro e utilizar vídeos falsificados da suposta vítima
para convencer seus familiares a pagarem o resgate pedido. Ou, então, como melhor
veremos a seguir, casos de sextortion (chantagem mediante ameaça de divulgação de
conteúdo sexual) poderão ocorrer com maior intensidade, devido à facilidade de se
produzir deepfakes de cunho erótico ou pornográfico. Este último exemplo revela um
importante e estarrecedor aspecto das deepfakes: o seu potencial uso para perpetuação e
acentuação da violência de gênero, que será trabalhado no tópico seguinte.
5.4.2.2. Pornografia de vingança
No início deste capítulo, explicamos a origem do termo deepfake. Um usuário da

plataforma Reddit, cujo pseudônimo era justamente “Deepfakes”, fez o upload de uma
série de vídeos para a rede social, nos quais os rostos de celebridades como Emma
Watson, Katy Perry, Taylor Swift – para citar algumas – foram inseridos em filmes de
conteúdo pornográfico. Os vídeos chamaram atenção devido à qualidade das falsificações,
pioneiras no uso de algoritmos de deep learning para realizar a troca das faces. Desde
então, centenas de outras personalidades, todas mulheres, foram vítimas da tecnologia.
O surgimento das deepfakes, aponta Schick, confirma o enunciado da Regra 34 da

Internet . Ainda que esse uso possa, de certa forma, possuir efeitos benéficos, não há
102
motivos para acreditarmos que a criação de vídeos de conteúdo erótico se dará sempre de
maneira consensual e legítima. Pelo contrário. Basta recordarmos o caso de Rana Ayubb,
jornalista indiana que foi vítima de uma deepfake pornográfica, veiculada por extremistas
de direita como forma de vingança pelas denúncias realizadas por ela referentes à
violência sexual praticada contra uma garota de apenas 8 anos de idade em seu país.
Não faz muito tempo desde que as discussões sobre revenge porn – pornografia de
vingança – ganharam a atenção da mídia e do meio jurídico , e uma nova fonte de 103
preocupação já se apresenta: a criação de conteúdos pornográficos falsos, produzidos

especificamente para fins de vingança ou humilhação das vítimas retratadas. Criar esse
tipo de conteúdo tem se tornado, como exposto no tópico 5.3., mais fácil a cada dia que
passa, e os resultados têm apresentado uma verossimilhança assustadora.
O aplicativo DeepNude, sobre o qual já falamos, utilizava redes generativas

adversariais para “retirar” as roupas de mulheres e substituí-las por corpos nus altamente
realísticos, produzidos a partir do treinamento das GANs com uma base de dados que
contava com mais de 10 mil fotos de mulheres nuas. Após a repercussão negativa gerada
pelo app, seu criador decidiu descontinuá-lo . Não obstante, outros programas, como o
104
FakeApp e FindPornFace , têm sido empregados com o objetivo de criar vídeos falsos,
105
de cunho sexual, para fins de revenge porn ou entretenimento.
O uso das tecnologias de deepfakes para a criação de conteúdo erótico ou pornográfico

pode, como exposto, trazer consequências devastadoras, principalmente para as
mulheres, mesmo que o compartilhamento dessas falsificações não tenha o intuito de
funcionar como revenge porn. Mais do que nunca, o desenvolvimento ético e responsável
de tecnologias de inteligência artificial se faz necessário.
5.4.2.3. Erosão da confiabilidade, o “dividendo do mentiroso” e fake news
Alguns dos potenciais aspectos negativos das tecnologias de criação de mídias

sintéticas são, de certa forma, evidentes. É o caso das hipóteses vistas até aqui: fraudes,
furto de dados biométricos, pornografia de vingança. Todavia, há também questões
subjacentes, mas nem por isso menos importantes. Dedicaremos nossa atenção neste
tópico a duas delas, nomeadamente a “erosão da confiabilidade” e o “dividendo do
mentiroso”.
Nas palavras de Luciano Floridi, “as tecnologias digitais parecem minar nossa
confiança na natureza original, genuína e autêntica daquilo que vemos e ouvimos” . 106
Devido à facilidade de se obter e difundir informações falsas através, principalmente, de

redes sociais, tem se tornado progressivamente mais difícil saber no que confiar, o que traz
consequências prejudiciais no que tange à tomada de decisão informada e ao
estabelecimento de um diálogo público esclarecido. Teorias conspiratórias, rumores e
desinformações tendem a se espalhar rapidamente , ao mesmo tempo que o corrente
107
“apocalipse informacional” faz com que as pessoas pensem que não podem confiar em
108
informações que não sejam provenientes de suas redes de contato, nas quais se incluem
seus familiares, amigos próximos ou colegas de trabalho, por exemplo.
Bobby Chesney e Danielle Citron apontam três fenômenos cognitivos que ajudam a
compreender por que as deepfakes possuem uma inclinação para se tornar virais : a 109
dinâmica da “cascata informacional”, a atração humana a informações novas e negativas e

os “filtros-bolha”. O primeiro deles se relaciona ao fato de que as pessoas, por vezes, não
dedicam atenção suficiente à obtenção de informação, confiando naquilo que dizem outras
pessoas que já teriam se informado sobre determinado assunto e tomando isso como
suficiente. Uma vez que as pessoas não conseguem se informar de maneira adequada
sobre tudo, elas frequentemente acreditam no que os outros disseram, presumindo que
estes hajam analisado adequadamente as informações, ainda que a nova informação
recebida vá de encontro àquilo que já sabiam. O segundo, por sua vez, diz respeito à
nossa tendência natural de atração por notícias negativas, o que faz com que o
compartilhamento de informações como boatos ou rumores – que, geralmente, são
negativos – sejam muito mais compartilhadas do que outros tipos de informação.
Finalmente, os filtros-bolha agravam a disseminação de notícias falsas ou ruins, pois os
algoritmos das plataformas de comunicação tendem a enfatizar conteúdos “populares”,
especialmente se houverem sido compartilhados por amigos ou conexões realizadas nas
redes, fazendo com que informações relativamente homogêneas permeiem nossos feeds.
Esses fatores, somados ao fato de que as deepfakes têm se tornado tão realísticas a
ponto de confundir um expectador leigo ou desatento, podem levar a uma “anarquia
informacional”, um mundo caracterizado por uma insuperável paranoia acerca do que é
verdadeiro e o que é falso, afetando profundamente os processos de tomada de decisão
individuais e coletivos que dependem da existência de um mínimo de confiança em fontes
externas de comunicação . Deepfakes causarão tamanho desgaste na credibilidade das
110
instituições, tanto públicas quanto privadas, que elas enfrentarão uma crescente
dificuldade de se mostrar confiáveis para as pessoas de maneira geral, caracterizando a
erosão da confiabilidade.
Diversos autores apontam para a possibilidade de deepfakes afetarem a confiança que

os cidadãos depositam nas autoridades públicas , uma vez que conteúdos forjados
111
poderiam mostrar políticos ou agentes com funções administrativas dizendo coisas

absurdas, praticando atos imorais etc. Isso é ainda mais inquietante quando consideramos
o papel de chefes de Estado e instituições governamentais na produção e difusão de
conteúdo falso . Sobretudo se o governo se constituir em um regime despótico ou
112
autoritário, há um verdadeiro incentivo para que se subvertam os meios de informação

populares, de modo que apenas as pessoas no poder tenham a capacidade de controlar
narrativas . 113
Se recorremos a diversas obras literárias ou produções cinematográficas distópicas,

vemos que, inúmeras vezes, o que assombra a humanidade não é um monstro onipotente
ou uma invasão alienígena, mas sim um governo autoritário cujo propósito é controlar seus
súditos (não mais cidadãos), como a sociedade descrita em 1984. Assim como o Ministro
da Verdade recorria à falsificação do passado para se assegurar de que os pensamentos e
as crenças das pessoas servissem aos interesses do governo, hoje as deepfakes podem
ser utilizadas como instrumento de controle de narrativas, elevando a novilíngua orwelliana
a um novo patamar. Nesse sentido, é importante que tenhamos em mente que a perda da
importância da verdade, somada à erosão da confiabilidade, pode abrir espaço para o
autoritarismo:
Regimes autoritários e líderes com tendências autoritárias se beneficiam quando verdades

objetivas perdem seu poder. Se o público perde a fé no que ouve e vê e a verdade se torna
uma questão de opinião, então o poder flui para aqueles cujas opiniões são mais
proeminentes – empoderando autoridades ao longo do caminho.114
Outra questão a ser considerada é que, enquanto compartilhar uma informação é

extremamente fácil, corrigir uma informação incorreta que foi compartilhada é muito mais
difícil , lógica que se aplica às deepfakes. Na maioria das vezes, o alcance da informação
115
verídica ou ajustada não é o mesmo que obteve o boato ou a desinformação; em muitas

outras, a correção pode ser inapta para sanar o dano causado inicialmente . Basta 116
imaginar a hipótese em que uma deepfake retratando determinado candidato seja

divulgada às vésperas da eleição à qual está concorrendo. A existência de um curto lapso
temporal entre a divulgação da notícia e o comparecimento dos eleitores às urnas poderia,
inclusive, “impossibilitar o candidato ofendido de esclarecer os fatos a seus eleitores ou de
conseguir esclarecer o fato, por não haver tempo hábil de que o vídeo resposta se
propague e tenha a mesma escalabilidade do vídeo falso” . 117
Não devemos nos esquecer também de que diversas pessoas provavelmente

considerarão como fraudulentos inúmeros vídeos genuínos, simplesmente porque
assumirão a postura de afirmar que “qualquer coisa na qual não queiram acreditar deve ser
fake” . É o que Chesney e Citron denominam “dividendo do mentiroso”: as pessoas
118
estarão imbuídas em tamanho ceticismo que duvidarão da autenticidade de quaisquer

evidências em áudio ou vídeo, mesmo as reais . Esse ceticismo poderá ser utilizado para
119
desacreditar tanto conteúdos autênticos quanto conteúdos de fato adulterados ou

imprecisos. Nas palavras dos autores:
Daí o que chamamos de dividendo do mentiroso: esse dividendo flui, perversamente, em

proporção ao sucesso na educação do público sobre os perigos das deepfakes. Nesse
contexto, não é difícil ver como as “fake news” se estenderão às “deep-fake news” no futuro. À
medida que as deepfakes se difundem, o público pode ter dificuldade em acreditar no que seus
olhos ou ouvidos estão dizendo – mesmo quando a informação é real.120
Diante do contexto exposto, podemos considerar que o maior problema ocasionado

pelas deepfakes não é a desinformação per se, mas sim a sensação de desconfiança e
insegurança causada pelo constante contato com informações falsas, o que fará que nem
mesmo conteúdos audiovisuais sejam tidos como fontes confiáveis de informação . Essa 121
é a concretização do que Schick definiu como o “apocalipse informacional”. Nossa maior

ameaça não se encontra na possibilidade de sermos, eventualmente, enganados, senão
no fato de que tenderemos a considerar todas as informações que nos forem apresentadas
como sendo errôneas, fictícias ou inverídicas.
5.5. Aprofundando o debate sobre deepfakes e fake news
O fenômeno das fake news está diretamente relacionado aos fatores que definimos no
último tópico como “erosão da confiabilidade” e “dividendo do mentiroso”. Não se trata de
um algo novo, tampouco desconhecido – por mais que gostaríamos de dizer o contrário.
Mentiras e informações distorcidas existem desde que o homem e alguns outros animais 122
aprenderam a se comunicar, e as notícias falsas são tão antigas quanto as notícias em

si . A questão é que, com o surgimento das deepfakes, as fakes news adquirem ímpeto,
123
somando forças suficientes para representar uma ameaça à própria noção de democracia.
Dedicaremos as próximas páginas a debater, ainda que sucintamente, a relação existente

entre esses dois fenômenos.
5.5.1. Definindo “fake news”
As dificuldades de se discutir fake news começam já na sua conceituação. Na concisa

definição de Claire Wardle: it’s complicated . Para a autora, o termo é inútil porque não
124
seria capaz de descrever a complexidade dos diferentes tipos de misinformation

(expressão que poderia ser traduzida livremente como “má informação”, e que se refere ao
compartilhamento inadvertido ou inconsciente de informações falsas) e de disinformation
(“desinformação”, que corresponde à criação e compartilhamento deliberados de conteúdo
sabidamente falsos) . 125
Poderíamos dizer, assim, que misinformation é a disseminação culposa ou negligente

de informações enganosas, ao passo que disinformation é a atitude de criação e
divulgação dolosa dessas informações. É nesse sentido, inclusive, que o Relatório do High
Level Group (HLEG) sobre Fake News e Desinformação On-line da Comissão Europeia
define disinformation. Nos termos do documento, a desinformação corresponde a “todas as
formas de informações falsas, imprecisas ou enganadoras criadas, apresentadas e
promovidas para causar danos públicos de maneira proposital ou para fins lucrativos” . 126
Assim como Wardle, o HLEG compreende que o termo fake news é
inadequado para capturar o complexo problema da desinformação, que envolve conteúdos

que não são de fato ou completamente “falsos”, mas também informações inventadas
misturadas com fatos e práticas que vão muito além de qualquer coisa parecida com “notícia”
para incluir algumas formas de contas automatizadas usadas para astroturfing, redes de
seguidores falsos, vídeos forjados ou manipulados, publicidade direcionada, “trollagem”
organizada, memes visuais e muito mais.127
Indo além, o Grupo de especialistas aponta para o uso do termo fake news como
instrumento de concretização daquilo que definimos como “dividendo do mentiroso”,
afirmando que o termo
não só é inadequado, como também enganoso, porque foi apropriado por alguns políticos e
seus apoiadores, que usam o termo para desacreditar reportagens das quais discordam, e se
tornou assim uma arma com a qual atores poderosos podem interferir na circulação de
informações e atacar e minar a mídia jornalística independente.128
Diante das colocações realizadas, o HLEG emprega o termo disinformation no lugar de

fake news. O processo de misinformation, conceituado como a difusão de informações
enganosas ou imprecisas compartilhadas por pessoas que não as reconhecem como tal 129
é, dessa forma, dissociado do fenômeno das fake news (ou, nos termos do Relatório, da
desinformação), não sendo objeto de estudo do Grupo.
Seguramente, concordamos com a noção de que o termo fake news não é suficiente
para dar conta de toda a polissemia que implica, e que sua utilização indistinta pode, em
determinados contextos, ser contraproducente ou inadequada. Não acreditamos, porém,
que o termo disinformation abarque todos os sentidos possíveis do fenômeno estudado, de
modo que se mostra insuficiente para a análise que pretendemos realizar neste capítulo.
Nesse sentido, é interessante notar que Wardle, após defender a utilização dos termos
misinformation e desinformation em substituição à expressão “fake news”, elenca 7 tipos
de má informação e desinformação, em uma escala de gradação do potencial enganoso e
lesivo de cada um. São eles:
1. Sátira ou paródia: não há intenção de causar mal, mas tem potencial de enganar;
2. Falsa conexão: quando manchetes, imagens ou legendas não correspondem ao

conteúdo veiculado;
3. Conteúdo enganoso: uso enganoso de uma informação para enquadrar um assunto ou

uma pessoa;
4. Falso contexto: quando um conteúdo genuíno é compartilhado em um contexto falso;
5. Conteúdo impostor: quando fontes de informação (pessoas, organizações, veículos) são

“imitadas”;
6. Conteúdo manipulado: quando uma informação ou mídia verdadeira é manipulada para

enganar o público;
7. Conteúdo fabricado: conteúdo inédito, 100% falso e criado com intuito de desinformar o
público e causar algum dano.130
Em maior ou menor medida, os diferentes tipos de fake news poderiam também ser
aplicados à classificação das deepfakes. Dito isso, tendo em vista a incipiência dessa
discussão no contexto sociojurídico brasileiro, e em razão do valor heurístico que possui,
seguiremos utilizando a expressão fake news, realizando, quando cabível e necessária, a
distinção entre disinformation e misinformation.
5.5.2. Preparando o terreno
Há até pouco tempo, a capacidade que pessoas comuns e organizações possuíam de

compartilhar imagens, áudios ou vídeos, autênticos ou não, era limitada, de modo que, na
maior parte dos países, poucos meios de comunicação eram capazes de distribuir
conteúdos em nível global ou mesmo nacional. Da maneira como era organizado, esse
sistema de informação garantia que relativamente poucos indivíduos detivessem o poder
de alcançar grandes audiências. Assim, embora governos, veículos de comunicação e
personalidades pudessem exercer influência sobre as massas, a maior parte das
comunicações se dava em âmbito local , ou, ao menos, drasticamente reduzido, se
131
comparado à atual conjuntura.
O modelo de distribuição de conteúdo baseado no monopólio do poder comunicacional,

todavia, foi destruído com a revolução informacional : hoje, inúmeras plataformas não
132
apenas tornam possível como facilitam e encorajam uma conectividade global, fazendo
com que qualquer pessoa com acesso à internet seja um potencial produtor e
disseminador de conteúdo. Entre essas plataformas, as redes sociais se destacam pela
ampla – senão ilimitada – liberdade de expressão que oferecem aos seus usuários, como
explica Sérgio Branco:
Em plataformas onde há uma editoria de conteúdo (como nos sites de jornais e revistas ou
em portais de mídia), sempre alguém fará a seleção daquilo que será publicado. Porém, nas
redes sociais, o que vale é exclusivamente a vontade do usuário. E foi sobretudo aqui que,
infelizmente, a internet se mostrou uma grande frustração no que diz respeito à promessa de
se tornar um grande espaço de discussão pública.133
Não devemos ser ingênuos de acreditar que plataformas verificadas e meios de

comunicação “oficiais” são imaculados no que se refere à divulgação de conteúdos
incorretos ou falsos, mas também não podemos negar a expressividade das redes sociais
nesse processo. A disseminação de fake news acaba sendo um efeito colateral da cultura
do compartilhamento , uma vez que a sociedade em rede possui uma lógica
134
recombinante que permite ao usuário da internet criar ou modificar conteúdos, bem como
compartilhá-los a qualquer momento.
Esse aumento da facilidade de se produzir e compartilhar conteúdos coincide com um

dos mais recentes períodos de crise de confiança na política e nas instituições. Embora
não seja possível identificar uma razão principal capaz de explicar a diminuição do nível de
confiança dos cidadãos, podemos apontar, entre outros, a crise financeira de 2008, a crise
migratória global, e até mesmo as recentes mudanças tecnológicas . Como 135
consequência, vimos a ascensão de políticos populistas em diferentes países, que

utilizaram a erosão da confiabilidade como um trampolim para se projetarem no cenário do
debate público: Schick aponta o caso de Donald Trump, nos EUA, mas poderíamos
facilmente pensar em Jair Bolsonaro, no Brasil, Volodymyr Zelensky, na Ucrânia, entre
outros.
Subjacente aos fatores mencionados, encontra-se a pós-verdade. O termo é

empregado para fazer alusão a contextos ou circunstâncias nos quais fatos objetivos – a
verdade – têm menos valor e influência na formação da opinião pessoal e da opinião
pública do que o apelo a ideologias, crenças e fatores emocionais. A pós-verdade significa,
então, a superação da verdade, que se encontra destituída da importância que um dia
possuiu, em favor das realidades subjetivas, nas quais cada pessoa (ou grupo de
pessoas) poderá manufaturar os fatos que necessitar para sustentar sua própria visão de
mundo.
Além disso, é preciso considerar que outros fatores (já citados no tópico
anterior) corroboram a dinâmica de propagação de fake news: o efeito da “cascata
informacional”, a atração humana a novidades e informações negativas e os “filtros-bolha”.
Este último fator, especificamente, guarda íntima relação com a comunicação em redes
sociais. Isso porque as fake news se valem de uma “lógica própria na semântica dos
algoritmos”, propiciada justamente pela bolha pessoal, a qual
limita a diversidade, já que o usuário segue recebendo indefinidamente conteúdo postado

por aqueles seus amigos e conhecidos com quem já detém afinidade ideológica. Dessa forma,
fica menos sujeito a críticas e opiniões contraditórias, limitando, assim, a gama de informações
que recebe.136
O debate público, em assuntos relacionados a política ou não, há anos tem sido

afetado pela desinformação, e as deepfakes certamente dificultarão as coisas. Em um
mercado de ideias inundado com vídeos e áudios digitalmente manipulados, fatos
verdadeiros terão dificuldade de comprovar sua autenticidade em meio à desordem . O 137
mundo marcado pela pós-verdade e pelo crescente desenvolvimento tecnológico é, afinal,

um terreno fértil para o florescimento das deep-fake news.
5.5.3. Deep-fake news, eleições e democracia
A essa altura, não seria novidade nem exagero afirmar que as deepfakes surgiram em
um momento conturbado. Desde meados da década passada, o debate público,
especialmente em períodos eleitorais, tem sido permeado pela desinformação e por más
informações, tendência que não parece passageira. Isso se dá, como vimos até aqui, por
fatores diversos: a erosão da confiabilidade na política e nas instituições, as recentes
crises socioeconômicas e a alteração no fluxo informacional, marcada pelo engendramento
e consolidação das redes sociais são alguns deles.
Facebook, WhatsApp, Twitter. Todos nós estamos em ao menos uma dessas

plataformas – senão em todas. “Escolhemos” nos comunicar através desses meios,
caracterizados pela descentralização do poder de compartilhamento de conteúdo e
aparentemente imensurável liberdade de expressão, mas também pela existência dos
filtros-bolhas e proliferação de discursos de ódio. A despeito de todos os aspectos
negativos, a democratização dos meios de comunicação não pode ser condenada; pelo
contrário: é justamente na oportunidade de falar e ouvir a todos que a vida em rede
encontra uma de suas maiores virtudes . Isso não significa, todavia, que devemos ignorar
138
os numerosos problemas decorrentes do acesso irrestrito aos meios de comunicação,

especialmente, no nosso caso, a criação e a disseminação de conteúdo falso, fraudulento
ou enganoso.
Pensemos, para fins ilustrativos, no WhatsApp. A rede de troca de mensagens conta

com mais de 2 bilhões de usuário em todo o mundo , ao menos 130 milhões deles no139
Brasil . Alarmantemente, o aplicativo é utilizado como principal fonte de informação de

140
79% da população brasileira, seguido do Youtube (49%) e do Facebook (44%) . Algo 141
parecido acontece na Índia, onde mais de 400 milhões de pessoas utilizam a rede. Em
razão da criptografia empregada no app, ele se tornou um dos principais canais de difusão
de fake news, seja aqui , seja na Índia, seja em tantos outros países.
142 143
Embora, em certos casos, as plataformas possuam alguma forma de controle sobre o

conteúdo compartilhado (remoção de publicações, diminuição do alcance etc.), essa é uma
realidade que raramente se aplica ao WhatsApp. As medidas recentemente adotadas pela
rede, como a restrição do número de destinatários por vez aos quais se pode encaminhar
uma mensagem, ou o aviso de que determinado conteúdo fora encaminhado muitas vezes,
dificilmente surtirão algum efeito no que tange ao controle da desinformação. Dessa forma,
a tendência que temos observado de alguns anos para cá é o uso massivo das redes
sociais para compartilhamento de fake news, não existindo quaisquer razões que nos
façam acreditar que isso não se repetirá com as deep-fake news.
Toda essa situação se torna mais complexa quando consideramos que as redes sociais
citadas são, inclusive, adotadas como veículos de comunicação oficial de vários
governos – destacando-se, entre elas, o Twitter, cuja importância não deve ser
subestimada. Para políticos como Trump e Bolsonaro, a rede funciona como um “palanque
que ultrapassa os gatekeepers da mídia tradicional” e viabiliza uma comunicação direta
com o mundo . E, não bastasse determinados políticos deliberadamente se engajarem no
144
compartilhamento de fake news, majoritariamente através dessas plataformas, eles

frequentemente se valem do já mencionado dividendo do mentiroso, artifício que tem se
tornado cada vez mais comum no contexto do apocalipse informacional e seguramente se
fará cada vez mais presente no debate público à medida que as deepfakes evoluírem e
adentrarem de maneira mais incisiva o nosso cotidiano. Soma-se esse fenômeno ao fato
de que políticos em regimes autoritários ou instáveis tendem a explorar o “caos” oriundo da
desinformação com grande impunidade , e a equação está formada: não apenas um
145
governo ou outro se encontra ameaçado, mas sim a própria noção de democracia.
Devido ao potencial “desinformativo” que as deepfakes possuem, a sua utilização como

instrumento de ingerência eleitoral parece prejudicar a governança eficiente de todas as
democracias, e também a democracia em si. A própria forma de governo pressupõe um
ambiente de livre trânsito de ideias. Se inexiste a possibilidade de um debate público,
esclarecido e legítimo acerca das questões relevantes para a sociedade como um todo,
não é possível falar em um debate verdadeiramente democrático . Nas palavras de Dias 146
Toffoli,
O regime democrático pressupõe um ambiente de livre trânsito de ideias, no qual todos

tenham direito a voz. De fato, a democracia somente se firma e progride em um ambiente em
que diferentes convicções e visões de mundo possam ser expostas, defendidas e confrontadas
umas com as outras, em um debate rico, plural e resolutivo.147
Com as fake news, e mais ainda com as deepfakes, minam-se a capacidade e a

chance de confronto entre opiniões e visões de mundo divergentes. Num contexto de pós-
verdade e crescente erosão da confiabilidade, o debate público, essencial à democracia,
resta completamente poluído, o que resulta no seu enfraquecimento ou até mesmo total
nulificação. . 148
Embora as implicações das deep-fake news na democracia não passam, por ora, de
especulações, fato é que a atenção das pessoas já não mais se concentra no domínio dos
meios de comunicação ditos tradicionais. Do contrário, encontra-se dispersa pelas redes
sociais, nas quais qualquer pessoa pode compartilhar uma deepfake e, facilmente, difundi-
la em escala global. Se não tomarmos uma atitude agora, a desinformação promovida por
atores políticos, indivíduos e instituições poderá se agigantar de tal forma que não seremos
mais capazes de a domar, culminando na completa erosão das bases de que a democracia
necessita para funcionar adequadamente.
5.6. E agora, quem poderá nos defender?
Fake news e deepfakes são fenômenos que guardam entre si diversas correlações, o
que faz com que o enfrentamento ao segundo, por vezes, coincida com aquele a ser
destinado ao primeiro. Poderíamos, de certa forma, afirmar que as falsificações profundas
são uma ferramenta à disposição do sistema de desinformação – o que não significa,
todavia, que se reduzam a isso. Do contrário, sobretudo em razão da ubiquidade que
possuem, as deepfakes podem ser caracterizadas como um fenômeno complexo, que
demandará, a depender do contexto considerado, diferentes estratégias de regulação.
É possível identificar quatro caminhos a serem seguidos no que diz respeito à

regulação – e não somente ao enfrentamento – das deepfakes: estratégias tecnológicas;
regulação da atividade econômica; regulação legal; e propostas educacionais. Desde já,
cabe apontar que determinadas estratégias serão apenas mencionadas, ao passo que
outras serão, em maior ou menor medida, analisadas.
5.6.1. Fogo e contrafogo: tecnologias anti-deepfake
Podemos chamar de “anti-deepfake” as ferramentas tecnológicas utilizadas para

detecção de mídias falsas, para autenticação (verificação) de conteúdo e para prevenção
do uso de dados obtidos ilicitamente na produção de deepfakes . O uso dessas 149
ferramentas não é exclusivo, o que significa dizer que, às vezes, podem e devem ser
empregadas conjuntamente. Diante disso, não nos ateremos à distinção precisa entre os
fins das tecnologias anti-deepfake.
Uma das primeiras estratégias tecnológicas para identificar se um vídeo era

manipulado consistia na análise do número de vezes que a pessoa retratada no vídeo
piscava em determinada fração de tempo. Pesquisadores perceberam que as primeiras
deepfakes, criadas a partir de face swaps, não reproduziam o processo de piscar os olhos,
ou, por vezes, não reproduziam corretamente a frequência natural de piscadas do olho
humano . Isso ocorria porque os dados (geralmente fotos) com que os softwares eram
150
alimentados raramente retratavam a pessoa de olhos fechados, o que se refletia quando

da criação da falsificação.
A questão é que – e esse é um problema recorrente – logo após a publicação do

estudo no qual se indicava a descoberta de uma estratégia para a identificação de
deepfakes, os programas e técnicas utilizadas para a sua produção foram aperfeiçoados.
O que era, de certa forma, previsível, foi concretizado: uma vez que essa técnica forense
foi divulgada, a geração seguinte de programas de sintetização de conteúdo incorporou as
“piscadas” em seus sistemas, fazendo com que a medida de verificação rapidamente
perdesse sua efetividade . 151
Ainda que essa “competição” tenha um lado, digamos, negativo, ela seguramente tem
impulsionado cientistas de dados e programadores a desenvolver novas técnicas para a
detecção de deepfakes. Uma técnica interessante, recentemente desenvolvida, consiste na
identificação do padrão de movimentos faciais e da cabeça de uma pessoa, extraído a

partir da análise de um vídeo autêntico, seguido da comparação dessa “assinatura” de
movimentos faciais com aquela extraída do vídeo cuja autenticidade se pretende provar . 152
Ao que tudo indica, as correlações existentes entre o movimento dos músculos da face e o
movimento da cabeça podem ser utilizadas tanto para distinguir uma pessoa da outra
quanto uma deepfake de um vídeo autêntico. Trata-se, afinal, da identificação e extração
de um dado biométrico pessoal e sua posterior utilização para fins de verificação – o que
pode, facilmente, nos remeter às discussões iniciais deste livro.
Outra técnica que se pode utilizar é o emprego de redes generativas adversariais (o

mesmo tipo de IA utilizada para produzir deepfakes) para identificar vídeos que foram
digitalmente manipulados. O método se baseia na observação de que os atuais algoritmos
de criação de deepfakes geram imagens com resoluções limitadas, que posteriormente
precisam ser convertidas para corresponderem às imagens das faces que serão
substituídas nos vídeos utilizados. Esse processo de conversão, i.e., de alteração da
resolução da imagem, gera alguns “ruídos”, traços distintivos que, a despeito de não serem
facilmente percebidos pelo olho nu ou não treinado, podem ser reconhecidos por outra
rede neural . 153
Devemos ter em mente, porém, que mesmo técnicas de detecção de deepfakes como
as indicadas anteriormente podem não ser úteis em diversas situações. Aliás, geralmente
é isso o que ocorre. De maneira geral, a maioria das falsificações produzidas parece fácil
de ser detectada sob cenários controlados, quer dizer, quando os programas ou técnicas
de verificação são empregados exatamente nas mesmas condições para as quais foram
treinados . Se considerarmos que em diversas situações as imagens e vídeos falsos que
154
são compartilhados o são sob condições que os afastam daquelas do treinamento dos
programas, o resultado não é tão promissor assim. Geralmente, as mídias divulgadas em
redes sociais são redimensionadas, comprimidas, acrescidas de ruídos etc., o que dificulta
o trabalho forense de autenticação dessas mídias. É o que explicam Tolosana e outros:
a maioria das características consideradas nos métodos tradicionais de detecção de

falsificações é altamente dependente do cenário específico de treinamento, não sendo,
portanto, robusta contra condições não previstas e nas quais o conteúdo falso é geralmente
compartilhado em redes sociais, cujas plataformas modificam automaticamente a
imagem/vídeo original, por exemplo, através de operações de compressão e
redimensionamento.155
Como se pode perceber, embora haja vasta literatura sobre a análise forense de
imagens e vídeos, são poucas as técnicas forenses específicas para a identificação das
deepfakes , e não raramente aquelas que existem se tornam obsoletas com certa
156
facilidade. Isso é particularmente preocupante quando pensamos no exercício de

atividades como o jornalismo , que dependem e/ou têm a função de verificar o conteúdo
157
que será divulgado como informação: a verificação da autenticidade de informações

sempre foi intrínseca à atividade jornalística (ao menos do bom jornalismo), mas isso tem
se tornado cada vez mais difícil e necessário. Difícil porque, como não existem muitas
ferramentas que permitam a identificação de conteúdo digitalmente manipulado, diversas
ferramentas e plataformas têm que ser utilizadas concomitantemente, aumentando os
custos e tempo dispendidos para se verificar a autenticidade do conteúdo ; além disso, as 158
técnicas de manipulação e síntese de mídias digitais têm se tornado cada vez mais
sofisticadas, estando sempre um passo à frente daquelas destinadas à verificação.
Necessário, pois, no contexto de pós-verdade e erosão da confiabilidade, cada vez mais é
preciso ser capaz de validar a autenticidade de conteúdos compartilhados, a fim de se
evitar a difusão de informações falsas ou fraudulentas.
Nesse sentido, talvez seja útil pensar em técnicas ou tecnologias que dificultem a
criação de deepfakes. Mencionamos, no tópico 5.2., a possibilidade se realizar a
desidentificação de imagens com o uso de softwares de IA. Um exemplo simples e
facilmente aplicável é a “pixelização” dos rostos, como faz o Google Imagens. Porém,
imaginamos, ninguém gostaria de postar uma foto em seu Instagram com o rosto
completamente borrado. Pensando nisso, o aplicativo Fawkes foi desenvolvido com o
objetivo de impedir a extração de dados biométricos faciais de fotos a partir da adição de
um filtro supostamente invisível às imagens. Também se valendo de GANs, o app realiza o
processo inverso àquele utilizado na criação de deepfakes: são mescladas imagens de
pessoas diferentes, de modo que a imagem resultante possua as características faciais
dos dois indivíduos, e assim possa “enganar” os sistemas de reconhecimento facial.
Embora a ideia seja boa, a tecnologia ainda se encontra em desenvolvimento, e os
resultados não são tão “bonitos” quanto se gostaria: é comum que, nas fotos com o filtro
aplicado, as mulheres ganhem bigodes e os homens percebam cílios mais longos ou
traços de maquiagem nos olhos . 159
A cada dia que passa, diferentes propostas e soluções são apresentadas . A 160
Symantec, uma das maiores empresas do ramo de segurança cibernética, tem

desenvolvido óculos personalizados, fabricados a partir de impressoras 3D, que
permitiriam o “anonimato” de seu usuário quando da aplicação de tecnologias de
mapeamento facial, pensados especialmente para figuras públicas, políticos e
empresários. Algumas startups, por sua vez, têm desenvolvido mecanismos de acréscimo
de “marcas-d’água” imperceptíveis em fotos e vídeos, que possibilitariam a posterior
verificação de autenticidade do conteúdo.
Em sentido semelhante, Floridi sugere a utilização da tecnologia de blockchain para se

atestar a autenticidade de mídias digitais. Uma vez que se trata de uma forma de registro
segura, transparente e rastreável de transações, já amplamente empregada na área
financeira, o autor defende a sua utilização de maneira mais extensiva, especialmente num
contexto de deepfakes e mídias sintéticas. Em suas palavras, “no futuro, nós podemos
adotar o mesmo tipo de solução sempre que houver a necessidade de se assegurar (ou
estabelecer) a originalidade e autenticidade de algum artefato, seja um documento escrito,
uma foto, um vídeo ou uma pintura” . 161
Chesney e Citron vislumbram, ainda, outra possibilidade: os “históricos da vida como

um serviço de álibi” . A hipótese é que, futuramente, serão oferecidos serviços de
162
registros do dia a dia, criando uma base de dados na qual constem todas as atividades
realizadas pela pessoa, de modo que ela sempre poderá fornecer um álibi crível capaz de
desmentir qualquer deepfake que seja produzida utilizando sua imagem. É a proposta
também de Jan Kietzmann e outros, que, na esteira do pensamento de Chesney e Citron,
advogam pelo emprego de dispositivos conectados à internet das coisas como
instrumentos para o registro de “conteúdos originais” da vida de uma pessoa . 163
Caso esses serviços se tornem populares, os custos sociais no que tange aos direitos à
privacidade e proteção de dados seriam imensuráveis, e todo o esforço no sentido de
fortalecimento e proteção desses direitos realizado nos últimos anos seria jogado fora.
Embora os autores afirmem que esse tipo de serviço poderia ser benéfico, se promovido
sob a égide de um regime de proteção de dados eficiente e observados critérios como
segurança e impossibilidade de uso secundário dos dados, não nos parece razoável
acreditar que todas as informações coletadas seriam empregadas pra outra coisa que não
o controle total sobre a vida das pessoas.
Não importa qual seja a medida tecnológica na qual pensemos para se combater as
deepfakes, uma questão permanece: o verdadeiro e genuíno problema não consiste em
provar que algo é falso, mas sim em provar que um conteúdo autêntico é, de fato,
autêntico . Os avanços nas técnicas de IA utilizadas para a produção de mídias
164
manipuladas têm se multiplicado, e as técnicas de verificação e autenticação não se

encontram na mesma marcha. Disso decorre que não é apenas o desenvolvimento de
novas tecnologias que devemos focar, mas sim, e principalmente, o estabelecimento de
critérios éticos e regulatórios aptos a guiar e promover um mínimo de ordem em nosso tão
conturbado ecossistema informacional.
5.6.2. Regulando a atividade econômica
Como vimos no tópico 5.4., nem todas as deepfakes são, na realidade, deepfakes. Em
diversos casos, as mídias digitais geradas por programas de IA possuem fins legítimos e
lícitos. Comumente, a criação dessas mídias sintéticas está relacionada a fins econômicos,
como produções cinematográficas, quadros de programas de humor, jogos eletrônicos,
entre outros. Daí, logicamente, a necessidade de se buscarem meios de regulação da
atividade econômica per se.
Nesse sentido, em junho de 2019, a Câmara dos Representantes dos EUA apresentou
ao Congresso uma proposta de lei intitulada “DEEP FAKES Accountability Act” , cujo 165
principal objetivo é estabelecer critérios de prestação de contas e responsabilização para a

utilização de mídias sintéticas. De maneira geral, a lei visa a estabelecer uma série de
requisitos a ser cumprida por toda e qualquer pessoa ou instituição que pretenda produzir
uma mídia sintética com a intenção de divulgá-la na internet ou em outros meios. São eles:
inclusão de uma marca-d’água digital em todas as mídias audiovisuais digitalmente
manipuladas, que identifique claramente a existência de elementos visuais ou sonoros
alterados; em se tratando de mídias audiovisuais, a inclusão de disclosure mediante
declarações verbais e escritas, que indiquem a existência de conteúdo manipulado; nos
casos de mídias unicamente visuais, a inclusão de disclosure através de aviso escrita, que
deverá ser visível ao longo de toda a duração da mídia, indicando não apenas que se trata
de uma manipulação digital, mas também explicitando, sucintamente, quais foram as
edições realizadas; por fim, em relação a mídias de áudio, estas deverão incluir, no início
da reprodução, um aviso que indique a existência de conteúdo manipulado, com uma
descrição sucinta das manipulações feitas.
Outro mecanismo de regulação econômica se encontra na inclusão de cláusulas que

permitam a identificação e exclusão de deepfakes em redes sociais nos seus termos de
uso e serviço. Uma vez que, atualmente, as plataformas on-line são os principais meios de
comunicação das pessoas, é natural que a divulgação e a difusão de conteúdos
manipulados ocorram nelas, o que faz com que parte da solução ao problema que
enfrentamos hoje resida justamente nas atitudes tomadas pelas próprias plataformas no
que tange à desinformação . Nessa perspectiva, os termos de serviço, e.g., representem
166
uma importante arma no combate inicial à desinformação e aos danos causados pelas
deepfakes . Seguramente, os termos de serviço não deveriam incluir mídias sintéticas
167
“inofensivas”, como sátiras, paródias ou aquelas destinadas a fins artísticos ou

educacionais; todavia, deve haver a previsão de filtragem, diminuição do alcance e até
mesmo a exclusão do conteúdo manipulado . 168
De certa forma, é o que tem feito o Twitter quando determinado vídeo ou imagem é, na
realidade, uma deepfake. Em agosto de 2020, Dan Scavino Jr., secretário de imprensa da
Casa Branca e assessor do então presidente Donald Trump, postou um vídeo no qual Joe
Biden, que à época era candidato à presidência dos EUA, supostamente teria pegado no
sono durante uma entrevista. O vídeo, contudo, era uma manipulação, que inseriu o rosto
de Biden num vídeo que originalmente retratava outro político que realmente fora flagrado
dormindo. Diante disso, a plataforma inseriu um aviso, com letras em tamanho pequeno e
no qual se lia “(!) Mídia Manipulada”, logo abaixo do tuíte de Scavino. Apesar de discreta, a
indicação até poderia cumprir com o objetivo de alertar os usuários da rede social quanto à
autenticidade da mídia, não fosse o fato de o aviso não aparecer nos retuítes da postagem.
De maneira um pouco mais incisiva que o Twitter, outra plataforma que tem adotado
medidas contra a divulgação de deepfakes é o Pornhub, um dos sites de conteúdo
pornográfico mais acessados do mundo. Como exposto anteriormente, as primeiras
deepfakes foram criadas com o objetivo de inserir o rosto de atrizes hollywoodianas em
filmes de conteúdo erótico, uso este que se popularizou rapidamente. Assim, já em 2018, o
Pornhub começou a agir no sentido de remover todo conteúdo digitalmente manipulado
que fosse uma falsificação da realidade ou produzido não consensualmente. Nos termos
de uso da plataforma consta que seus usuários deverão se abster de postar quaisquer
conteúdos que contenham falsificações, representações enganosas ou imitações de
terceiros . 169
Em que pesem a validade e a importância desses esforços iniciais, muito

provavelmente não serão suficientes. Uma pessoa “mal-intencionada” dificilmente deixaria
de divulgar uma deepfake, independentemente de seu conteúdo, apenas porque os termos
de serviço de um site proíbem a sua divulgação, ou indicaria que se trata de uma mídia
manipulada, como estabelece o DEEP FAKES Accountability Act. Podemos concluir,
portanto, que há situações nas quais outras formas de repressão às deepfakes serão
necessárias, assunto que discutiremos no tópico seguinte.
5.6.3. Soluções legais
Antes de discutirmos alguns dos aspectos nos quais o Direito pode ser útil à regulação
e ao enfrentamento das deepfakes, são necessárias certas considerações. A primeira
delas é que, embora tenhamos apontado uma classificação quanto às medidas de
regulação das deepfakes no início deste tópico, é necessário ter em mente que essa
classificação não é hermética, o que significa dizer que, por vezes, essas medidas não
serão estritamente jurídicas, ou estritamente econômicas ou tecnológicas. O Direito pode,
como defendemos no capítulo 4, servir como uma metatecnologia apta a orientar o
desenvolvimento tecnológico ou atividades econômicas. Além disso, essas medidas não
são excludentes. Cada uma possui sua importância e, nas situações em que seja possível,
deverão ser concomitantemente observadas.
Outra consideração diz respeito ao fato de que, em diversas hipóteses, a regulação das
deepfakes se confundirá com a própria regulação das fake news. O debate em torno do
combate à desinformação é cercado de controvérsias e vem adquirindo mais relevância e
atenção a cada dia – tendência que, cremos, sustentar-se-á com a introdução das
discussões sobre falsificações profundas. Ademais, devemos ter em mente que a
produção de mídias sintéticas e de deepfakes, assim como a desinformação, suscita
implicações diretas em diferentes ramos do Direito, de modo que uma regulação
apropriada deverá levar em conta fundamentos do Direito Civil, Administrativo, Eleitoral,
Constitucional e, ultima ratio, Penal. A seguir, tentaremos apontar diferentes medidas a
serem adotadas nessas áreas, ainda que sem a pretensão de que o Direito traga todas as
respostas das quais tanto necessitamos.
No que tange às mídias sintéticas de maneira geral (e não somente às deepfakes), uma
primeira questão que se coloca está relacionada à proteção de direitos autorais.
Conteúdos manipulados facilmente podem incorrer em violações a direitos de autor e
direitos correlatos, daí determinados pesquisadores afirmarem que leis de copyright, como
a Digital Millennium Copyright Act (DMCA) dos EUA, poderiam servir como um substrato
legal para a regulação de mídias digitalmente manipuladas . No Brasil, a matéria é regida
170
principalmente pela Lei de Direitos Autorais (Lei n.º 9.610/1998). Embora o diploma
normativo vede a reprodução, ainda que parcial, de obra que não pertença ao domínio
público , não há nenhuma menção específica à manipulação digital de mídias.
171
Ainda no âmbito cível, o direito de imagem poderá desempenhar um importante papel

na regulação das deepfakes e mídias sintéticas. Conforme as disposições do art. 20 do
Código Civil, a exposição ou utilização da imagem de uma pessoa podem ser proibidas, a
seu requerimento, caso violem a sua honra, respeitabilidade ou se destinem a fins
comerciais, sendo assegurado o direito à indenização nas hipóteses de uso indevido . O 172
regime de reponsabilidade civil servirá, portanto, como instrumento de tutela inibitória e

reparatória. Todavia, há um ponto a ser considerado, relativo à atribuição da
responsabilidade: a responsabilidade civil não será aplicável se não for possível identificar
quem criou e divulgou a deepfake. Assim, nos casos em que os metadados de
determinada publicação não forem suficientes para a identificação de sua origem, devido,
por exemplo, ao uso de VPNs, a pessoa cujo direito de imagem tiver sido violado não terá
outra alternativa senão buscar remédios aplicáveis contra as plataformas em que o
conteúdo foi divulgado, como solicitar a remoção do conteúdo . 173
As lacunas deixadas pelo regime de responsabilidade civil podem, em tese, ser

preenchidas pela responsabilização criminal. Diversos autores, porém, apontam para o fato
de que os instrumentos dos quais dispõe o Direito Penal não parecem uma solução efetiva
para inibir a criação e disseminação de fake news – lógica que acreditamos se aplicar
174
às deepfakes. Há, todavia, uma hipótese em que a tipificação penal poderia servir para fins
reparatórios no contexto de manipulação digital de imagens. Trata-se dos casos de
pornografia de vingança levados a cabo mediante a produção de deepfakes. Atualmente, o
Código Penal brasileiro estipula, em seu art. 218-C, que a conduta de divulgar qualquer
registro que contenha cena de sexo, nudez ou pornografia, sem o consentimento da vítima,
configura crime punível com reclusão de até 5 anos. Ainda que o dispositivo não mencione
a divulgação de conteúdos digitalmente manipulados, acreditamos que uma eventual
alteração legislativa para o acréscimo dessa hipótese servirá como instrumento a coibir a
produção de manipulações digitais para fins de revenge porn – ou, ao menos, poderá
servir para minimizar os danos causados às vítimas dessa conduta.
Raciocínio semelhante poderia ser aplicado no âmbito do Direito Eleitoral. Divulgar, em

propaganda, fatos sabidamente inverídicos acerca de determinado partido ou candidato, e
que sejam capazes de exercer influência sobre o eleitorado, é crime passível de detenção
de dois meses a um ano, nos termos do art. 323 do Código Eleitoral. Se a divulgação se
der pela imprensa, rádio ou televisão, a pena é agravada . Nesse sentido, parece 175
razoável estabelecer que a divulgação de mídias digitalmente manipuladas também

corresponderia a uma circunstância agravante de pena.
Na esfera do Direito Administrativo, por sua vez, uma solução plausível (ainda que
parcial) parece estar na criação de agências administrativas, ou na delegação de certas
atividades regulatórias a agências já existentes . Embora não gozem de plenos poderes
176
jurisdicionais, as agências administrativas desempenham um importante papel na

regulamentação de novas tecnologias, sobretudo no que se refere às atividades
econômicas. Pensando especificamente no cenário brasileiro, a Autoridade Nacional de
Proteção de Dados teria um papel fundamental a desempenhar, e.g., ao estabelecer
parâmetros técnicos e disposições normativas que corroborem a proteção e a segurança
dos dados pessoais, assim como coíbam as formas de exploração que vão de encontro à
boa-fé e demais disposições da LGPD.
Diante do contexto apresentado ao longo deste capítulo, faz sentido nos perguntarmos,
afinal, quais atitudes o Estado pode tomar a fim de coibir ou conter os danos causados
pelas deepfakes. Primeiramente, é importante deixar claro que um banimento geral deveria
estar fora de cogitação, pois a tecnologia por trás das falsificações não é inerentemente
problemática – basta lembrarmos da distinção feita entre “deepfake” e “mídias sintéticas”.
177
Em se tratando de uma mídia digitalmente manipulada e empregada para fins de

desinformação ou má informação, contudo, parece importante pensarmos o que pode ser
feito, concretamente, para evitar o colapso de nosso sistema informacional.
Ainda que, por vezes, a solução pareça relativamente simples, há um aspecto que deve
ser levado em consideração, e que em diversas ocasiões perpassará o debate acerca da
legitimidade, ou não, de uma deepfake: os limites da liberdade de expressão. Ainda que
envolvam declarações intencionalmente falsas ou imprecisas, a divulgação das deepfakes
implica o exercício da liberdade de expressão . E, se são protegidas, em alguma medida,
178
por esse direito, como que os governos poderiam proteger as pessoas dos danos
causados por elas? Tendo em vista o direito à manifestação de pensamento, seria legítimo
punir a criação e disseminação de fake news, e, consequentemente, de deepfakes? 179
Alguém poderia argumentar que, em situações que envolvam o discurso público ou

matérias de interesse público, o governo poderia agir no sentido de impor limites à
circulação de desinformações, agindo como um “guardião da verdade”; e que esse agir
estatal seria ainda mais necessário na presença de deepfakes, mídias capazes de alterar a
nossa própria percepção da realidade e que, portanto, afetariam a nossa capacidade de
atuar como nossos próprios guardiões da verdade . Esse pensamento, porém, traz 180
consigo um sério risco: “empoderar governos menos democráticos que poderão, seja lá
por qual motivo, afirmar que algo é verdadeiro ou falso, usando essa prerrogativa em
benefício próprio” . Em uma democracia saudável, não é função do Estado controlar o
181
conteúdo das mensagens e informações divulgadas pelos cidadãos . 182
Todavia, se nos limitarmos à concepção de que a liberdade de expressão em um

Estado democrático passa, necessariamente, pela proteção das prerrogativas de
expressão e informação, e pela relação destas com a manutenção do debate público , o 183
problema que apresentamos, “o que pode ser feito?”, ainda permanece sem solução. Em
geral, permitir que o Estado censure conteúdos potencialmente prejudiciais pode significar
um exercício de controle sobre o discurso público ainda mais incisivo, ao passo que
restringir a maneira como os indivíduos usam tecnologias de IA para a criação de mídias
pode implicar um controle excessivo sobre a maneira como os indivíduos se expressam,
artisticamente, politicamente e individualmente, mediante as novas tecnologias . 184
Mas, se um governo não deveria controlar o conteúdo de notícias, postagens etc., nem
a maneira como as pessoas lidam com as inovações tecnológicas, haveria, efetivamente,
alguma atitude a ser tomada, sem prejuízo da liberdade de expressão? Parece-nos que
sim, e a resposta reside justamente no modo como enxergamos as deepfakes. Uma vez
que as deepfakes correspondem a conteúdos falsos que não são meras inveracidades,
mas sim conteúdos que carregam em si uma aparência de credibilidade e autenticidade , 185
o Estado teria maior liberdade para agir, nas diferentes esferas apresentadas ao longo
deste tópico, de modo a regular essa nova tecnologia. Em outras palavras, apesar dos
inúmeros aspectos coincidentes, a regulação das deepfakes não deve ser idêntica à das
fake news, devido, sobretudo, ao maior potencial lesivo que apresentam para a sociedade.
Os direitos à liberdade de expressão e de informação requerem o cumprimento de

certos pressupostos, essenciais à sua concretização. A atuação do Estado não deve ser
meramente negativa, no sentido de apenas se abster de interferir nesse direito. A censura,
sem dúvidas, é tão reprovável quanto indesejada, mas isso não significa dizer que não
deve haver um agir estatal no sentido de criar condições para que a internet e nosso
ecossistema informacional seja verdadeiramente livre. A liberdade, afinal, é um instituto
que demanda circunstâncias vitais para a sua realização; não é indefinida ou indefinível, do
contrário, deve ser ordenada normativamente, sendo a atuação do Estado imprescindível
para a sua regulação . 186
Por fim, importa dizer, qualquer ação para enfrentar a desinformação e a má

informação deve passar por mais informações, e não por menos , máxima que se aplica 187
também à regulação das deepfakes. Em outras palavras, a solução mais efetiva não se
encontra na proibição das tecnologias ou na remoção de conteúdos, mas sim em dotar as
pessoas das ferramentas necessárias para se guiarem adequadamente nesse vasto
mercado de ideias em que estamos inseridos.
5.6.4. A educação como elemento transformador
De acordo com Marc J. Blitz, as deepfakes têm a capacidade de transformar o “livre

mercado de ideias” em uma guerra informacional hobbesiana, de todos contra todos e na
qual qualquer fonte de informação ou fato seria desacreditado . Para evitar que isso 188
ocorra, não vislumbramos outra saída senão a educação, que se concretiza, no contexto
de nossa discussão, através da alfabetização informacional e midiática (information and
media literacy) – posicionamento que aparece quase como consenso quando discutimos
estratégias para enfrentar a desinformação, manifestada, ou não, através de mídias
digitalmente manipuladas.
Nessa perspectiva, o High Level Group sobre Fake News e Desinformação On-line da
Comissão Europeia considera que só é possível fazer diante da desinformação a partir de
uma abordagem multidimensional, baseada em uma série de respostas inter-relacionadas
e que se reforçam mutuamente . Entre elas, destaca-se a promoção da media and
189
information literacy para enfrentar esse problema e auxiliar as pessoas a se orientarem

num ambiente cada vez mais permeado por mídias digitais. Um exemplo dessa prática foi
a campanha instituída pelo Tribunal Superior Eleitoral. Intitulada “Se for fake news, não
transmita”, a campanha foi veiculada na televisão, no rádio, na internet e nas redes sociais
do TSE próximo ao período das eleições municipais de 2020. Entre as diversas peças
produzidas, há uma específica que não só apresenta o conceito de deepfake como
também dá orientações para evitar o seu compartilhamento . 190
Embora não seja uma solução absoluta, uma vez que é possível e necessário o
emprego de instrumentos normativos e de determinações voluntárias para o combate das
deepfakes, o papel da educação é crucial. Há situações, inclusive, que somente a
alfabetização digital é capaz de evitar ou minimizar os danos causados pelas novas
tecnologias. Basta pensarmos na já citada hipótese de divulgação de um vídeo (falso, por
suposto) de um candidato falando atrocidades ou cometendo um ato imoral às vésperas de
uma eleição. Muito provavelmente, não haveria tempo hábil de desmentir a informação
com um vídeo de resposta, tampouco seria possível remover esse conteúdo da rede uma
vez que fora divulgado. Assim, não resta outra saída a não ser esperar que os
destinatários dessa informação sejam capazes de, criticamente, julgá-la verídica ou não.
Devemos, portanto, aprender a enxergar com ceticismo imagens, áudios e vídeos, da

mesma maneira como fazemos com notícias escritas. Não no sentido de olhar com
desconfiança para tudo o que nos é apresentado, mas sim no de promover uma cultura de
compartilhamento saudável de informações. Parafraseando Sérgio Branco, o caminho
mais seguro para se escapar das deepfakes e de seus efeitos perversos é a alfabetização
digital. Ainda que não se trate de uma conclusão original,
é quase sempre por meio da educação e do uso responsável da tecnologia que logramos
sair de um lugar para chegar a outro, melhor. Trata-se de um caminho longo, demorado e que
demanda esclarecimento incessante e esforço coletivo em repudiar notícias falsas e estimular a

busca por fontes alternativas e seguras de informação.
1
.Popularmente atribuída a Confúcio, a frase tem origem incerta, mas que pode ser rastreada a determinadas
peças publicitárias estadunidense nos anos 1920. O Livro de Provérbios, Máximas e Frases Famosas,
publicado pela Macmillan, Fred. R. Barnard, em 1927, atribuiu a autoria do provérbio ao filósofo chinês, para
que o adágio, utilizado em peças publicitárias, gozasse de maior credibilidade (STEVENSON, Burton (ed.).
The Macmillan Book of Proverbs, Maxims and Famous Phrases. Nova York: The Macmillan Company, 1968.
p. 2611).
2
.SCHICK, Nina. Deepfakes: The Coming Infocalypse. Nova York: Twelve, 2020.
3
.TEYSSOU, Denis; SPANGENBERG, Jochen. Video Verification: Motivation and Requirements. In:
MEZARIS, Vasileios et al (Ed.). Video Verification in the Fake News Era. Cham: Springer, 2019, p. 3, 4).
4
.TEYSSOU; SPANGENBERG, op. cit., p. 3, 4.

5
.WESTERLUND, op. cit.

6
.SHICK, op. cit.

7
.MARAS, Marie-Helen; ALEXANDROU, Alex. Determining authenticity of video evidence in the age of
artificial intelligence and in the wake of Deepfake videos. The International Journal of Evidence & Proof, vol.
23, n. 3, 2019, p. 255-262. Disponível em: https://journals.sagepub.com/doi/10.1177/1365712718807226.
Acesso em: 20 ago. 2020.
8
.SCHICK, op. cit.

9
.MARAS, op. cit.

10
.TOLOSANA, Ruben et al. Deepfakes and beyond: A Survey of face manipulation and fake
detection. Information Fusion, v. 64, 2020, p. 131-148. Disponível em:
https://doi.org/10.1016/j.inffus.2020.06.014. Acesso em: 20 ago. 2020.
11
.CHESNEY, Bobby; CITRON, Danielle. Deep Fakes: A Looming Challenge for Privacy, Democracy, and
National Security. California Law Review, v. 107, 2019. Disponível em:
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3213954. Acesso em: 20 ago. 2020.
12
.MARAS, op. cit., tradução nossa.

13
.SCHICK, op. cit., p. 29.

14
.CHESNEY; CITRON, op. cit.

15
.WOJEWIDKA, John. The deepfake threat to face biometrics. Biometric Technology Today, v. 2, n. 2,
fev. 2020, p. 1-12. Disponível em: https://www.sciencedirect.com/journal/biometric-technology-
today/vol/2020/issue/2. Acesso em: 20 ago. 2020, tradução nossa.

16

17
.WOJEWIDKA, op. cit.

18

19

20
.KIETZMANN, Jan et al. Deepfakes: Trick or treat?, Business Horizons, v. 63, n. 2, 2020, p. 135-146.
Disponível em: https://doi.org/10.1016/j.bushor.2019.11.006. Acesso em: 20 ago. 2020.
21

22

23

24
.SHICK, op. cit., p. 8. No original: “When used maliciously as disinformation, or when used as misinformation,
a piece of synthetic media is called a ‘deepfake’”.
25
.Cabe, aqui, outra distinção. Tecnologias de inteligência artificial podem ser utilizadas para a falsificação,
mediante manipulação ou criação, de mídias que não envolvem uma imagem humana, como uma pintura.
Floridi (2018) usa como exemplo o projeto “The Next Rembrandt”, da Microsoft, cujo objetivo foi, através de
algoritmos de machine learning, reproduzir obras do pintor holandês de mesmo nome e criar obras com
tamanha semelhança às originais que seria impossível identificar que foram geradas por uma IA. Na
ausência de um termo que defina a produção realizada pelo projeto da Microsoft, Floridi sugere o termo
“éctipo” (“ectype”, em inglês), que vem do grego “éktypon” e significa “reprodução” ou “cópia”. Estabelecida
essa distinção, cabe apontar que utilizaremos o termo deepfakes em seu sentido mais corriqueiro, que é
aquele referente à manipulação/criação de mídias que envolvem imagens humanas.
26
.O termo deepfake pode ser traduzido como “falsificação profunda”, ao passo que cheapfake pode ser
entendido como “falsificação barata”.
27
.Cf.: “Mentira que Dilma comeu pombo em calçadão de Osasco”. Disponível em:
https://boainformacao.com.br/2019/07/mentira-que-dilma-comeu-pombo-em-calcadao-de-osasco/.
28
.Cf.: “Imagem de Manuela D’Ávila com tatuagens de Che Guevara e Lênin é montagem”.
https://www.otempo.com.br/hotsites/elei%C3%A7%C3%B5es-2018/imagem-de-manuela-d-avila-com-
tatuagens-de-che-guevara-e-lenin-e-montagem-1.2033630.
29
.“CGI” é a sigla para “computer-generated imagery”, expressão que pode ser traduzida como “imagens
geradas por computador”.
30

31
.Cf. “What’s Wrong With ‘Benjamin Button’?”. Disponível em:

https://www.vulture.com/2008/11/whats_wrong_with_benjamin_butt.html. Acesso em: 20 ago. 2020.
32
.KIETZMANN et al., op. cit.

33

34

35
.MARAS; ALEXANDROU, op. cit.

36

37

38

39

40

41
.http://deeplearningbook.com.br/introducao-aos-autoencoders/.
42
.KIETZMANN et al (op. cit.), TOLOSANA et al. (op. cit.), SCHICK (op. cit.), para citar alguns.
43

44
.WSTERLUND, op. cit.

45
.TOLOSANA et al., op. cit.

46
.Há um site cujo objetivo é exibir imagens de pessoas que, na realidade, não existem. Cf.:
https://www.thispersondoesnotexist.com/. Acesso em: 20 ago. 2020.
47
.Cf.: “You Won’t Believe What Obama Says In This Video! 😉 ”. Disponível em:
https://www.youtube.com/watch?v=cQ54GDm1eL0&t=8s. Acesso em: 20 ago. 2020.
48
49

50
.Cf.: “The Mona Lisa was brought to life in vivid detail by deepfake AI researchers at Samsung”. Disponível
em: https://www.businessinsider.com/mona-lisa-brought-to-life-by-saumsung-ai-2019-5. Acesso em: 20 ago.
2020.
51

52
.Tolosana et al (op. cit.) utilizam os termos “entire face synthesis”, “identity swap”, “attribute manipulation” e
“expression swap”.
53

54
.AGARWAL, Shruti et al. ProtectingWorld Leaders Against Deep Fakes. In: COMPUTER VISION
FOUNDATION. Conference on Computer Vision and Pattern Recognition, 2019. Disponível em:
https://farid.berkeley.edu/downloads/publications/cvpr19/cvpr19a.pdf. Acesso: 20 ago. 2020.
55

56

57
.A título de curiosidade, o PROCON-SP, no ano de 2019, multou a Google e a Apple pela distribuição do
aplicativo, o qual, segundo a entidade, violaria o Código de Defesa do Consumidor em razão de suas
políticas de privacidade. Cf.: “PROCON-SP multa Google e Apple por aplicativo Faceapp”. Disponível em:
https://folha.com/agndhvo5. Acesso em: 20 ago. 2020.
58
.TOLOSANA et al, op. cit.

59
.AGARWAL et al, op. cit.

60
.Cf.: “Real-Time ‘Deepfakes’”. Disponível em: https://www.fxguide.com/fxfeatured/real-time-deepfakes/.

61

62
.TOLOSANA et al. (op. cit.) usam os termos face morphing e face de-identification.
63

64
.Cf.: “This Tool Could Protect Your Photos From Facial Recognition”. Disponível em: https://nyti.ms/31g6Gjh.
65
.Sobre a criação de bases de dados de imagens faciais, cf. HUANG, Gary B. Labeled Faces in the Wild: A
Database for Studying Face Recognition in Unconstrained Environments. ECCV Workshop on Faces in
Real-life Images, 2008. Disponível em: http://vis-www.cs.umass.edu/lfw/lfw.pdf. Acesso em: 20 ago. 2020.
66
.Citado no tópico “3.1. Da sociedade de vigilância ao panóptico digital”.

67
.“Utilizing generative adversarial networks to generate data for our classification is an interesting approach
considering that it uses the same algorithm to generate the data as the classifier will use to train and classify
faces with. (…) If the generator outperforms the discriminator, the generated data will theoretically not be
separable from real data to the neural networks. If this is in fact the case, the trained recognizing network will
in turn be better trained and will likely be better at identifying faces” (NATTEN, Jonas. Generative Adversarial
Networks for Improving Face Classification. 2017. Dissertação (Mestrado em Tecnologia da Informação e
Comunicação) – Faculdade de Engenharia e Comunicação, Universidade de Adger, Kristiansand, Noruega).
68
.As GANs podem tanto alterar as imagens de rostos já existentes em bases de dados utilizadas para o
treinamento de algoritmos de reconhecimento facial quanto criar e inserir rostos inexistentes (deepfakes)
nessas bases de dados; ampliando-se a base de dados utilizada para o treinamento, aumenta-se a acurácia
do sistema (WILIEM, Arnold. Generative Adversarial Networks for Face Recognition: A practical view – Part
II. Disponível em: https://outbox.eait.uq.edu.au/uqawilie/ICB2018_tutorial/ICB_2018_Tutorial_Wiliem.pdf.
Acesso em: 20 ago. 2020).
69
.Sobre o DeepFace, verificar tópico “3.1. Da sociedade de vigilância ao panóptico digital”.

70
.CHO, Sooyoung et al. Generative Adversarial Network-Based Face Recognition Dataset

Generation. International Journal of Applied Engineering Research, v. 13, n. 22, 2018. Disponível em:
https://www.ripublication.com/ijaer18/ijaerv13n22_36.pdf. Acesso em: 20 ago. 2020; TRIGUEROS, Daniel;
MENG, Li; HARTNETT, Margaret. Generating Photo-Realistic Training Data to Improve Face Recognition
Accuracy. 2018. Disponível em: https://arxiv.org/pdf/1811.00112.pdf. Acesso em: 20 ago. 2020.
71
.SCHICK, op. cit., p. 149, tradução nossa.

72

73

74

75

76
.Nos termos de uso do aplicativo, consta que os criadores do app tornavam-se os proprietários dos vídeos
produzidos na plataforma, incluindo-se os direitos autorais sobre os conteúdos criados. Cf.: “Zao, app de
deepfakes, é restrito pelo WeChat por ‘riscos à segurança’”. Disponível em:
https://tecnoblog.net/305325/zao-aplicativo-deepfakes-restrito-wechat/. Acesso em: 20 ago. 2020.
77
.Cf.: “Text-to-Speech”. Disponível em: https://cloud.google.com/text-to-speech/#section-10. Acesso em: 20

ago. 2020.
78
.SCHICK, op. cit.

79

80
.Cf.: “Rogue One VFX head: ‘We didn’t do anything Peter Cushing would’ve objected to’”. Disponível em:
https://www.theguardian.com/film/2017/jan/16/rogue-one-vfx-jon-knoll-peter-cushing-ethics-of-digital-
resurrections. Aceso em: 20 ago. 2020.
81
.Cf.: “Star Wars: Rise of Skywalker’s CGI-free Carrie Fisher is ‘shockingly successful’”. Disponível em:
https://www.cnet.com/news/star-wars-rise-of-skywalkers-cgi-free-carrie-fisher-is-shockingly-successful/.
82
.UNIVERSITY OF BATH. AI could make dodgy lip sync dubbing a thing of the past, [s.l.], 18 dez. 2018.
Disponível em: https://www.bath.ac.uk/announcements/ai-could-make-dodgy-lip-sync-dubbing-a-thing-of-the-
past/. Acesso em: 20 ago. 2020.
83
.Cf.: “Trump Resigns – a DeepFake Prediction”. Disponível em: https://www.youtube.com/watch?

v=NDbYhuta27I. Acesso em: 20 ago. 2020.
84
.Cf.: “Bolsonaro canta Vida de gado #Deepfake”. Disponível em: https://www.youtube.com/watch?

v=J_gixZdrzcs. Acesso em: 20 ago. 2020.
85
.Cf.: “’Welcome to Chechnya’ uses deepfake technology to protect its subjects”. Disponível em:
https://www.economist.com/prospero/2020/07/09/welcome-to-chechnya-uses-deepfake-technology-to-
protect-its-subjects. Acesso em: 20 ago. 2020.
86
.CHESNEY, CITRON, op. cit.

87

88
.Cf.: “Meet Will – Vector’s new renewable energy educator in schools”. Disponível em:
https://www.vector.co.nz/news/meet-will-vector’s-new-renewable-energy-educator. Acesso em: 20 ago. 2020.
89
.Cf.: “Edtech company Udacity uses deepfake tech to create educational videos automatically”.
https://www.fanaticalfuturist.com/2019/08/edtech-company-udacity-uses-deepfake-tech-to-create-
educational-videos-automatically/. Acesso em: 20 ago. 2020.
90

91
.Cf.: “Terrifying high-tech porn: Creepy ‘deepfake’ videos are on the rise”. Disponível em:
https://www.foxnews.com/tech/terrifying-high-tech-porn-creepy-deepfake-videos-are-on-the-rise. Acesso em:
20 ago. 2020.
92
.A posição é defendida por David Greene, advogado e diretor da área de Liberdades Civis da Electronic
Frontier Foundation. Cf.: “We Don’t Need New Laws for Faked Videos, We Already Have Them”. Disponível
em: https://www.eff.org/deeplinks/2018/02/we-dont-need-new-laws-faked-videos-we-already-have-them.
93
.É o caso de Erik (nome fictício), jovem estadunidense que ficou paraplégico após um acidente de carro, aos
30 anos de idade. Cf.: “Deepfake Porn Has Terrifying Implications. But What If It Could Be Used for Good?”.
Disponível em: https://www.menshealth.com/sex-women/a19755663/deepfakes-porn-reddit-pornhub/.
94
.São as palavras de Pat Quinn, que possui a doença. Cf.: “Lyrebird Helps ALS Ice Bucket Challenge Co-
Founder Pat Quinn Get His Voice Back”. Disponível em: https://www.huffingtonpost.ca/2018/04/14/lyrebird-
helps-als-ice-bucket-challenge-co-founder-pat-quinn-get-his-voice-back_a_23411403/. Acesso em: 20 ago.
2020.
95

96
.RODOTÀ, 2004.
97
.RODOTÀ, 2004, p. 92.

98

99

100

101
.Sobre a importância da “vivacidade” (“liveness”) para a autenticação biométrica, cf.: DENNING, Dorothy E.
It’s “liveness,” not secrecy, that counts. Information Security Magazine, 2001. Disponível em:
https://faculty.nps.edu/dedennin/publications/biometrics.pdf. Acesso em: 20 ago. 2020.
102
.A regra 34 é, de certa forma, um meme, cujo enunciado diz que, se algo existe, há uma versão pornô e
quem a consuma (SCHICK, op. cit.).
103
.A Lei 13.718/2018 tipificou especificamente a pornografia de vingança, incluindo no Código Penal brasileiro
o artigo 218-C. O dispositivo determina que o indivíduo que oferecer, trocar, disponibilizar, transmitir, vender
ou expor à venda, distribuir, publicar ou divulgar, por qualquer meio, mídia (fotografia, vídeo, áudio etc.) que
contenha cena de estupro, de vulnerável ou não, ou de sexo, nudez ou pornografia, sem o consentimento
da vítima, será condenado a pena de reclusão de 1 a 5 anos, caso o fato não constitua crime mais grave.
Há, também, a previsão de aumento de pena, de 1/3 a 2/3, se o crime for praticado por um agente que
mantém (ou manteve) relação íntima de afeto com a vítima ou agido com o fim de vingança ou humilhação
(BRASIL. Lei n.º 13.718, de 24 de setembro de 2018. Altera o Decreto-Lei nº 2.848, de 7 de dezembro de
1940 (Código Penal), para tipificar os crimes de importunação sexual e de divulgação de cena de estupro,
tornar pública incondicionada a natureza da ação penal dos crimes contra a liberdade sexual e dos crimes
sexuais contra vulnerável, estabelecer causas de aumento de pena para esses crimes e definir como
causas de aumento de pena o estupro coletivo e o estupro corretivo; e revoga dispositivo do Decreto-Lei nº
3.688, de 3 de outubro de 1941 (Lei das Contravenções Penais). Diário Oficial da União: Brasília, DF,
[2018c]. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/L13718.htm. Acesso
em: 20 ago. 2020).
104
.HAO, 2019a.
105
.Cf.: “People Are Using AI to Create Fake Porn of Their Friends and Classmates”. Disponível em:
https://www.vice.com/en_us/article/ev5eba/ai-fake-porn-of-friends-deepfakes. Acesso em: 29 jul. 2020.
106
.FLORIDI, 2018, tradução nossa.

107

108
.Schick utiliza o neologismo “infocalypse”, o qual define como “the increasingly dangerous and untrustworthy
information ecosystem within which most humans now live” (op. cit., p. 9).
109

110
.BLITZ, Marc Jonathan. Lies, Line Drawing, and (Deep) Fake News. Oklahoma Law Review, 2018.
Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3328273. Acesso em: 20 ago. 2020.
111
.CHESNEY; CITRON, op. cit.; WESTERLUND, op. cit.; SCHICK, op. cit.
112
.Em três anos de governo, de 2017 a janeiro de 2020, Donald Trump, presidente dos EUA, havia feito mais
de 18 mil (!) alegações falsas ou enganosas (SHICK, op. cit., p. 93). No Brasil, Jair Bolsonaro atingiu a
marca de mil declarações distorcidas ou falsas com 492 dias de governo (Cf.: “Bolsonaro chega a 1.000
declarações falsas ou distorcidas com 492 dias de mandato.” Disponível em:
https://www.aosfatos.org/noticias/bolsonaro-chega-1000-declaracoes-falsas-ou-distorcidas-com-492-dias-de-
mandato/. Acesso em: 20 ago. 2020).
113
.SHICK, op. cit., p. 125.

114
.CHESNEY; CITRON, op. cit., tradução nossa.

115

116

117
.RAIS, Diogo; SALES, Stela Rocha. Fake News, Deepfakes e eleições. In: RAIS, Diogo (coord.). FAKE
NEWS: a conexão entre desinformação e o Direito. São Paulo: Ed. RT, 2. ed., 2020. Kindle Edition, l. l.499.
118
.WESTERLUND, op. cit., tradução nossa.

119
.Chesney e Citron (op. cit.) utilizam o termo “liar’s dividend”.

120
.CHESNEY; CITRON, op. cit., tradução nossa. No original: “Hence what we call the liar’s dividend: this
dividend flows, perversely, in proportion to success in educating the public about the dangers of deep fakes.
Against that backdrop, it is not difficult to see how “fake news” will extend to “deep-fake news” in the future.
As deep fakes become widespread, the public may have difficulty believing what their eyes or ears are telling
them – even when the information is real”.
121

122
.SEBEOK, Thomas A. Can Animals Lie? In: SEBEOK, Thomas A. I Think I Am a Verb. Topics in
Contemporary Semiotics. Boston: Springer, 1986.
123
.SOLL, Jacob. The Long and Brutal History of Fake News. POLITICO Magazine, [s.l.], 18 dez. 2016.
Disponível em: http://politi.co/2FaV5W9. Acesso em: 20 ago. 2020.
124
.WARDLE, Claire. Fake news. It’s complicated. First Draft, [s.l.], 16 fev. 2017. Disponível em:
https://firstdraftnews.org/latest/fake-news-complicated/. Acesso em: 20 ago. 2020.
125
.WARDLE, op. cit.

126
.EUROPEAN COMISSION. HLEG (High-Level Group) On Fakenews And Online Disinformation. A multi-
dimensional approach to disinformation. Luxemburgo: Publications Office of the European Union, 2018.
Disponível em: https://ec.europa.eu/digital-single-market/en/news/final-report-high-level-expert-group-fake-
news-and-online-disinformation. Acesso em: 20 ago. 2020.
127
.EUROPEAN COMISSION, op. cit.

128
.EUROPEAN COMISSION, op. cit., tradução nossa.

129
.EUROPEAN COMISSION, op. cit., tradução nossa.

130
.WARDLE, op. cit., tradução nossa.

131

132

133
.BRANCO, Sérgio. Fake news e os caminhos para fora da bolha. Interesse Nacional, São Paulo, ano 10,
n. 38, p. 51-61, ago./out. 2017.
134
.CARVALHO, Eric de. O processo de circulação das fake news. In: RAIS, Diogo (coord.). FAKE NEWS: a
conexão entre desinformação e o Direito. São Paulo: Ed. RT, 2. ed., 2020.
135
.SCHICK, op. cit.

136
.BRANCO, 2017.
137

138
.BRANCO, 2017.
139
.WHATSAPP. Sobre o WhatsApp. Disponível em: https://www.whatsapp.com/about/. Acesso em: 20 ago.

2020.
140
.VALENTE, Pedro. Usuários de smartphone devem atualizar WhatsApp, orienta empresa. Agência Brasil,
Brasília, 14 maio 2019. Disponível em: https://agenciabrasil.ebc.com.br/geral/noticia/2019-05/usuarios-de-
smartphone-devem-atualizar-whatsapp-orienta-empresa. Acesso em: 20 ago. 2020.
141
.Cf.: “WhatsApp é a principal fonte de informação dos brasileiros, indica pesquisa”. Disponível em:
https://www.correiobraziliense.com.br/app/noticia/tecnologia/2019/12/10/interna_tecnologia,812946/whatsapp-
e-a-principal-fonte-de-informacao-dos-brasileiros-indica-pes.shtml. Acesso em: 20 ago. 2020.
142
.Cf.: “Todo mundo vai usar fake news nas eleições de 2020, diz pesquisador”. Disponível em:
https://noticias.uol.com.br/politica/ultimas-noticias/2019/11/04/todo-mundo-fakenews-eleicoes-2020-
whatsapp-redes-sociais-david-nemer.htm. Acesso em: 20 ago. 2020.
143
.SCHICK, op. cit.

144
.SCHICK, op. cit., tradução nossa.

145
.SCHICK, op. cit.

146

147
.TOFFOLI, José Antônio Dias. Fake news, Desinformação e Liberdade de Expressão. Interesse Nacional,
ano 12, vol. 46, out./dez. 2019. Disponível em: http://interessenacional.com.br/2019/07/11/fake-news-
desinformacao-e-liberdade-de-expressao/. Acesso em: 20 ago. 2020.
148
.TOFFOLI, op. cit.

149

150
.AGARWAL et al., op. cit.

151

152

153
.LI, Yuezun; LYU, Siwei. Exposing DeepFake Videos By Detecting Face Warping Artifacts. In: COMPUTER
VISION FOUNDATION. Conference on Computer Vision and Pattern Recognition, 2019. Disponível em:
https://arxiv.org/pdf/1811.00656.pdf. Acesso em: 20 ago. 2020.
154

155
.TOLOSANA et al., op. cit., tradução nossa. No original: “… most of the features considered in traditional
fake detection methods are highly dependent on the specific training scenario, being therefore not robust
against unseen conditions fake content is usually shared on social networks, whose platforms automatically
modify the original image/video, for example, through compression and resize operations”.
156

157
.Seguramente, a necessidade de verificação de conteúdo não se restringe à atividade jornalística: “the

challenges are not an exclusive domain of the journalistic profession though: for example, human rights
workers and emergency response personnel are also confronted with related tasks when it comes to
assessing whether material that is being circulated digitally is right or wrong” (TEYSSOU; SPANGENBERG,
op. cit., p. 4).
158
.TEYSSOU; SPANGENBERG, op. cit.

159
.Cf.: “This Tool Could Protect Your Photos From Facial Recognition”. Disponível em: https://nyti.ms/31g6Gjh.
160
.Cf.: “Cyber security companies race to combat ‘deepfake’ technology”. Disponível em:
https://www.ft.com/content/63cd4010-bfce-11e9-b350-db00d509634e. Acesso em: 20 ago. 2020.
161
.FLORIDI, 2018, op. cit.

162
.No original, “immutable life logs as an alibi service” (CHESNEY; CITRON, op. cit.).
163

164
.TEYSSOU, Denis. Disinformation: The Force of Falsity. In: MEZARIS, Vasileios et al (Ed.). Video Verification
in the Fake News Era. Cham: Springer, 2019.
165
.UNITED STATES OF AMERICA. Congress. H.R.3230 – Defending Each and Every Person from False
Appearances by Keeping Exploitation Subject to Accountability Act of 2019. Disponível em:
https://www.congress.gov/bill/116th-congress/house-bill/3230/text. Acesso em: 20 ago. 2020.
166
.MEDEIROS, Thalita. Fake news – os limites da criminalização da desinformação. In: RAIS, Diogo (coord.).
FAKE NEWS: a conexão entre desinformação e o Direito. São Paulo: Ed. RT, 2. ed., 2020.
167

168

169
.Cf.: “Terms Of Service – Pornhub”. Disponível em: https://pt.pornhub.com/information/terms. Acesso em: 20

ago. 2020.
170
.BLITZ, op. cit.

171
.“Art. 33. Ninguém pode reproduzir obra que não pertença ao domínio público, a pretexto de anotá-la,
comentá-la ou melhorá-la, sem permissão do autor” (BRASIL. Lei n.º 6.120, de 19 de fevereiro de 1998.
Altera, atualiza e consolida a legislação sobre direitos autorais e dá outras providências. Diário Oficial da
União: Brasília, DF, [1998]. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/l9610.htm. Acesso em: 20
ago. 2020).
172
.“Art. 20. Salvo se autorizadas, ou se necessárias à administração da justiça ou à manutenção da ordem

pública, a divulgação de escritos, a transmissão da palavra, ou a publicação, a exposição ou a utilização da
imagem de uma pessoa poderão ser proibidas, a seu requerimento e sem prejuízo da indenização que
couber, se lhe atingirem a honra, a boa fama ou a respeitabilidade, ou se se destinarem a fins comerciais”
(BRASIL, 2002, cit.).
173

174
.TEFFÉ, Chiara Spadaccini. Fake News e Eleições: identificando e combatendo notícias falsas. In:
EDITORA RT. Contraponto Jurídico: Posicionamentos divergentes sobre grandes temas do Direito. São
Paulo: Revista dos Tribunais, 2018.
175
.“Art. 323. Divulgar, na propaganda, fatos que sabe inverídicos, em relação a partidos ou candidatos e
capazes de exercerem influência perante o eleitorado:
Pena – detenção de 2 (dois) meses a 1 (um) ano, ou pagamento de 120 a 150 dias-multa.
Parágrafo único.A pena é agravada se o crime é cometido pela imprensa, rádio ou televisão” (BRASIL. Lei
n.º 4.737, de 15 de julho de 1965. Institui o Código Eleitoral. Diário Oficial da União: Brasília, DF, [1965].
Disponível em: https://www.tse.jus.br/legislacao/codigo-eleitoral/codigo-eleitoral-1/codigo-eleitoral-lei-nb0-
4.737-de-15-de-julho-de-1965. Acesso em: 20 ago. 2020. Grifo no original).
176

177

178

179
.É o questionamento colocado por Blitz (op. cit.).

180
.BLITZ, op. cit.

181
.SOUZA, Carlos Affonso; PADRÃO, Vinícius. Quem Lê Tanta Notícia (Falsa)? Entendendo o Combate
Contra as Fake News. ITS Rio, [s.l.], 19 abr. 2017. Disponível em: https://feed.itsrio.org/quem-le-tanta-
noticia-falsa-entendendo-o-combate-contra-as-fake-news-70fa0db05aa5. Acesso em: 20 ago. 2020.
182
.RAIS, op. cit.

183
.GROSS, Clarissa Piterman. Fake news e democracia: discutindo o status normativo do falso e a liberdade
de expressão. In: RAIS, Diogo (coord.). FAKE NEWS: a conexão entre desinformação e o Direito. São
Paulo: Ed. RT, 2. ed., 2020.

184
.BLITZ, op. cit.

185
.BLITZ, op. cit.

186
.NOHARA, Irene Patrícia. Desafios da ciberdemocracia diante do fenômeno das fake news: regulação
estatal em face dos perigos da desinformação. In: RAIS, Diogo (coord.). FAKE NEWS: a conexão entre
desinformação e o Direito. São Paulo: Ed. RT, 2. ed., 2020.
187
.TEFFÉ, op. cit.

188
.BLITZ, op. cit.

189
.“The multi-dimensional approach recommended by the HLEG is based on a number of interconnected and
mutually reinforcing responses. These responses rest on five pillars designed to: 1. enhance transparency of
online news, involving an adequate and privacy-compliant sharing of data about the systems that enable
their circulation online; 2. promote media and information literacy to counter disinformation and help users
navigate the digital media environment; 3. develop tools for empowering users and journalists to tackle
disinformation and foster a positive engagement with fast-evolving information technologies; 4. safeguard the
diversity and sustainability of the European news media ecosystem, and 5. promote continued research on
the impact of disinformation in Europe to evaluate the measures taken by different actors and constantly
adjust the necessary responses” (EUROPEAN COMISSION, op. cit.).
190
.Cf.: “Deepfake”. Disponível em: https://www.youtube.com/watch?v=K_FNhNIM9JY. Acesso em: 20

set. 2020.

Indo Além: Introduzindo o Debate Sobre Deepfakes: "Uma Imagem Vale Mais Que Mil Palavras."

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Indo Além: Introduzindo o Debate Sobre Deepfakes: "Uma Imagem Vale Mais Que Mil Palavras."

Enviado por

Direitos autorais:

Formatos disponíveis

14/03/2022 10:33 Thomson Reuters ProView - Sorria, Você Está Sendo Filmado! - Ed.

5. INDO ALÉM: INTRODUZINDO O DEBATE SOBRE DEEPFAKES

5. Indo além: introduzindo o debate sobre deepfakes

Chegamos a um ponto na história de nossa comunicação em que tecnologias de

bastasse vivermos em um falho ecossistema informacional, hoje estamos à sombra de

surgimento de redes sociais, resultou em mudanças fundamentais no que diz respeito à

Fato é que imagens e vídeos são uma poderosa ferramenta de persuasão,

razão da facilidade de acesso a tecnologias de produção audiovisual e a plataformas de

resultado são altamente realísticos estão amadurecendo rapidamente e, com isso,

Nas palavras de Marie-Helen Maras e Alex Alexandrou, “graças à tecnologia de

apontamos, pela nossa tendência de enxergar conteúdos em vídeo como sendo

de distorcer a realidade deu um salto exponencial com o surgimento de deepfakes . 14

Nesse sentido, as deepfakes são problemáticas e até mesmo perigosas em razão do

A tecnologia das deepfakes produz certos benefícios, mas, também e sobretudo,

de apps e softwares capazes de produzir deepfakes realistas a um custo baixo, ou sem

5.1. Definindo e caracterizando deepfakes

O termo deepfake vem da siglonimização dos termos “deep learning” (aprendizado

Primeiramente, é interessante notar que o termo deepfake surgiu em 2017, na rede

amplamente utilizadas para oprimir mulheres.

Independentemente de seu conteúdo, falsificações digitais têm se tornado cada vez

em gravações de vídeo e áudios reais, tecnologias de deepfakes possibilitam a criação de

personificações extremamente realistas, cujo resultado final é uma mídia dotada de

se a distinção realizada por Nina Schick: “quando utilizada maliciosamente como

mídias geradas e/ou manipuladas por IA para fins manifestamente ou potencialmente

divulgada da presidente Dilma Rousseff, supostamente comendo um pombo vivo, na

termo exposto anteriormente, cheapfakes, as imagens geraram certo nível de

Desconsideradas as situações em que as manipulações realizadas digitalmente são

Atualmente, pouco mais de dez anos após o lançamento do filme, o processo de

Nessa perspectiva, importante ressaltar que a verossimilhança das deepfakes está

A segunda característica marcante das deepfakes é a acessibilidade . Há até 34

relativamente pouquíssimo tempo, esse tipo de tecnologia de manipulação digital de

portanto, na democratização do acesso a essas tecnologias: à medida que a tecnologia

melhora e se torna mais acessível através de aplicativos e softwares, mais pessoas

popularidade e expansão das deepfakes.

5.2. Como funcionam as deepfakes?

Expusemos anteriormente que as deepfakes são criadas a partir do emprego de

realizando processos complexos a partir das informações apreendidas, em vez de apenas

Dentro do nicho do aprendizado de máquina, tem ganhado destaque aquilo que se

As primeiras deepfakes, que basicamente realizavam trocas de rostos (face swaps),

generativas adversariais, mais conhecidas pelo acrônimo GAN – do inglês, generative

Inventadas por Ian J. Goodfellow, no ano de 2014, as redes generativas adversariais

denominadas “gerador” (generator) e “discriminador” (discriminator), são treinadas a partir

ou, mais comumente, pode ser a manipulação de vídeos ou imagens de pessoas já

Um exemplo contundente do uso dessa tecnologia é o vídeo desenvolvido por

Obama na internet – e essa afirmação não estaria totalmente incorreta . Embora, 48

Independentemente das projeções para o futuro, se consideradas apenas as técnicas e

A síntese facial total corresponde à criação de imagens faciais não existentes

o olho humano identificar se se trata de uma pessoa “real” ou não.

Também referida como troca de rostos, a troca de identidade é a manipulação na qual o

sobre esses apps no tópico seguinte.

Como o nome dá a entender, a manipulação de atributos faciais consiste na

exemplo que talvez seja do conhecimento de muitos brasileiros é o aplicativo FaceApp,

A troca de expressões, por sua vez, consiste na modificação da expressão facial de

desdobramentos da troca de expressões: a dublagem (lip-sync) e a “manipulação de

relação à “manipulação de fantoches”, cumpre indicar que é possível também a criação de

Não obstante as quatro categorias de manipulação facial abordadas sejam as mais

A mutação facial é um tipo de manipulação que realiza a síntese das características

Finalmente, a desidentificação facial tem como objetivo principal remover os dados de

5.2.1. Deepfakes e tecnologias de reconhecimento facial

Primeiramente, como mostramos nos capítulos anteriores, as tecnologias de

dados são alimentadas com imagens e vídeos obtidos a partir de tecnologias de

Em segundo lugar, sabemos que tanto as tecnologias de reconhecimento facial quanto

redes neurais podem ser utilizadas para o treinamento de algoritmos de reconhecimento