Deepfake: opacidade e transparência da Inteligência Artificial no Audiovisual

Leandro Vieira Maciel

Resumo

Deepfake é um processo de inteligência artificial que permite uma avançada troca de imagens
e vídeos entre diferentes personagens. Partindo do conceito de opacidade e transparência no
discurso cinematográfico, apontaremos como o uso do deepfake pode tanto caminhar para a
experimentação artística de inspiração vanguardista quanto para uma manipulação da
imagem a tal ponto que o processo desapareça e reste apenas um resultado muito realista mas
“profundamente falso”. Iremos problematizar as possibilidades e consequências desse
recurso tecnológico, do ponto de vista do criador audiovisual inserido num ambiente de
encolhimento fantasmagórico da tecnologia.

Palavras-chave: Deepfake, Tecnologia, Criação Audiovisual , Opacidade, Transparência

Abstract
Deepfake is an artificial intelligence process that allows an advanced swapping of images and
videos between different figures. Starting from the concept of opacity and transparency in the
filmic speech, we will point out how the use of deepfake can both lead to artistic experiments
of avant-garde inspiration and to a manipulation of the image to such an extent that the
process disappears and only remains a very realistic result but "deeply false". We will raise
the potentialities and consequences of this technological tool, from the perspective of the
audiovisual creator embedded in an environment of ghostly shrinkage of technology.

Keywords: Deepfake, Technology, Audiovisual Creation, Opacity, Transparency

1
Introdução: um mundo onde os fantasmas governam e os mortos ressuscitam

O Brasil passou por eleições em novembro de 2018. Faltando um mês para o pleito, os
candidatos a governador pelo Estado de São Paulo, João Doria Jr. e Márcio França,
encontravam-se num empate técnico. A campanha se acirrava e o tom do debate subia. Foi
então que, pela rede social Whastapp, viralizou um suposto vídeo de João Doria participando
de uma orgia. Casado e com um discurso à direita, em defesa da família e de valores
tradioncais, Doria logo classificou o vídeo como fake. Especialistas se dividiram, com os
mais cautelosos apontando que a análise era inconclusiva. Curiosamente, após a divulgação
do vídeo, Doria subiu ligeiramente nas pesquisas e venceu as eleições.

Durante a repercussão da viral, alguns apontavam que Doria era mais uma das personas
públicas a ser alvo de um deepfake malicioso. Deepfake é um processo de Inteligência
Artificial, que permite que uma imagem de um modelo A substitua um alvo B de forma
convincente, em fotos, pinturas ou vídeos. O modelo normalmente é o rosto de uma pessoa,
mas o processo pode ser aplicado também a objetos e cenários.

Situações e tecnologias como essas foram antevistas pela ficção científica. Como no conto
Picaper, de Jack Wodhams, publicado na revista Analog. Wodhamns vislumbrou um mundo
ficcional, onde hackers atendiam aos interesses escusos de advogados e políticos mal-
intencionados. Nesse ambiente, um funcionário de um certo Departamento de Monitoramento
de Sistemas se depara com um vídeo de altíssima qualidade, mas totalmente falso.

2
 Figura 1. Uma das capas da revista Analog

O nome picaper (ou, em outros momentos do conto, mimepic) é um neologismo de Wodhams

para definir a animação de imagens baseada em infinitas variáveis que um programa poderia
recolher a partir de outras imagens. Um registro seu, andando e falando, poderia ser
decomposto e reprojetado, agora com você fazendo e dizendo coisas que não teria feito.1

O cenário em que vivemos hoje é aquele que permitiu que a tecnologia prevista por
Wodhams na ficção se tornasse falsamente real. Descreveremos nosso cenário
contemporâneo da seguinte forma:

Segundo FLUSSER (2008) vivemos, num mundo controlado por “emissores” e seus
“aparelhos programados”. Flusser descreveu nossa sociedade como um formigueiro
telemático, em que “formigas se comunicam e se dispersam por sonhos nas pontas de suas
antenas”. Isto é, um mundo sem separação das mídias, onde elas se conectam e transmitem
imagens de cunho onírico, mídias que surgem em telas que tateamos com nossas antenas (ou,
no caso, com nossos olhos e pontas dos dedos), enquanto nos distraímos. Todos os aparelhos
tendem a um encolhimento até que eles virtualmente desapareçam.

Se hoje temos uma Inteligência Artificial acessível a leigos e que pode combinar o rosto de
um ator com uma pessoa já falecida, é graças ao fato de que sempre o audiovisual incorporou
os avanços tecnológicos. O próprio surgimento do cinema só foi possível graças aos avanços

1
"Wodhams J. Picaper. Revista Analog Science Fiction, Science Fact, Dezembro de 1986

3
técnicos do final do século XIX. Não é de se admirar que hoje criadores audiovisuais dos
mais diferentes espectros irão se voltar a uma tecnologia tão avançada e ao mesmo tempo
acessível quanto o deepfake.

Assim, quando relacionamos o cinema e por consequência todo o audiovisual em relação

com a tecnologia, podemos traçar um panorama evolutivo, de forma bastante simplificada
(baseadom em linhas gerais em CHARNEY [2001] entre outros):

No período correspondente ao surgimento do cinema, temos uma relação entre artes e

comunicação e as máquinas: é o momento da reprodutibilidade técnica, da ode e do choque
em relação à máquina. É o nascimento da fotografia e depois do cinema enquanto linguagem
artística. O deslumbramento é tanto que num primeiro mostrar a tecnologia é parte do filme
(não é à toa que o primeiro filme de uma projeção de cinema é a chegada de um trem à
estação, dos Irmãos Lumière). Inclusive, um artista da vanguarda russa, Dziga Vertov, irá
mostrar todo o processo cinematográfico em Um homem com uma câmera, onde este
equipamento é apresentada na tela. O cinema representava um projeto modernista de futuro
(HUYSSEN, 1991).

Figura 2. plano de Um Homem com uma Câmera (Dziga Vertov)

Há o esforço de usar o máximo de recursos para que o aparato tecnológico desapareça,

culminando com a linguagem clássica no cinema. A nova mídia seguirá na relação tensa com
vanguardas, que vão questionar essa domesticação precoce da sétima arte, ainda no primeiro
terço do início do século XX.

4
A partir da década de 60, com a consolidação das mídias eletrônicas do rádio e da televisão, o
cenário se desenha para que o projeto modernista se extenue e possivelmente seja
abandonado. Já não existe o futuro, então temos que falar dele nos referindo ao passado. A
tecnologia permite a recriação desses mundos, como vemos em Blade Runner e Matrix,
filmes classificados como pós-modernistas. Estes filmes têm em comum o abraço e um certo
sentimento de religação do criador audiovisual com a tecnologia, tanto na construção
narrativa, quanto no uso de recursos técnicos.

Figura 3. Comparativo em frames do filme Matrix (1999, à esquerda), que imitariam o anime O Fantasma do Futuro (Ghost
in The Shell, 1995). Por sua vez, o anime é conhecido por emular muito de Blade Runner (1982)

Hoje, ultrapassamos a religação. O digital integrou todas as mídias e estamos inseridos num
ecossistema midiático. Não se tem mais fronteiras e a tecnologia não precisa mais aparecer,
pois ela se encolheu e agora está em nossos smartwatches, nos nossos eletrodomésticos, ou
desapareceu de nossos olhos. São as plataformas e os programas na nuvem e seus algoritmos
que ditam a nossa comunicação e, consequentemente, a criação e produção de conteúdo
audiovisuais. É o Fantasma na Máquina (Ghost in The Shell). Acabamos então admirando
uma imagem ou um vídeo sem nos darmos conta, e talvez sem nem questionarmos se aquilo
seria real ou uma “re-projeção” elaborada por uma máquina.

5
Uma vez que o deepfake é um processo que tem um algoritmo central em seu funcionamento,
e que os algoritmos são a alma dessa fantasmagoria tecnológica, cabe a nós explicar um
pouco o que é este conceito tão em voga. Segundo FORMIGA at all (2014, p. 5), um
algoritmo é conjunto ordenado de passos executáveis, sem ambiguidade (ou seja, binário) e
que define um processo finito. Tecnicamente, esses passos precisam ser traduzidos numa
função matemática, que então é por sua vez calculada pelo computador.

Um conjunto de algoritmos pode ser organizado no que chamamos de Aprendizado de

Máquina. Segundo WEISS & KULIKOWSKI (1991) “Aprendizado de Máquina é uma área
de IA [Inteligência Artificial] cujo objetivo é o desenvolvimento de técnicas computacionais
sobre o aprendizado bem como a construção de sistemas capazes de adquirir conhecimento
de forma automática”. Um programa que adota o processo de deepfake é capaz de aprender
por si, na escolha de qual imagem do seu banco de dados se adequa melhor num vídeo de
destino. Este fato é o que o que permite reconhecê-lo como um tipo de IA2.

O que é deepfake

Figura 4. Neste comparativo temos à esquerda um lypsinc (prévia da animação dos movimentos labiais enquanto um
personagem fala), para a série de animação Angeli The Killer. Do lado direito temos um processo semelhante realizado
pelo deeepfake de Suwajanakorn, com Barack Obama como personagem.

2
No caso aqui, falamos de Inteligência Artificial Fraca[1] : é uma linha que considera que as máquinas não podem e não
poderão verdadeiramente raciocinar, então o foco é na criação de um conjunto predeterminado de regras (como árvores de
decisão), que fazem com que ela pareça inteligente. Em inglês, chamada de Artificial Intelligence Narrow, ou AIN

6
Do ponto de vista do audiovisual, podemos comparar o deepfake com uma animação. É como
se aqui, ao invés de substituirmos um desenho depois do outro para criar a sensação de
movimento, fazemos isto com imagens fotográficas pré-existentes.

“Deepfakes é um jogo de palavras com "deep learning [aprendizagem profunda] ou DL" e "falso"
[fake], e é uma técnica de síntese de imagem humana baseada em inteligência artificial. É usada para
combinar e sobrepor imagens e vídeos existentes em imagens ou vídeos fonte. (...)
Deepfakes foram usados para criar falsos vídeos pornográficos de celebridades ou pornografia de
vingança [revenge porn]. A pornografia deepfake surgiu na Internet em 2017, particularmente no
Reddit, e foi banida por sites como Reddit, Twitter e Pornhub. DFs podem ser usados para criar
notícias falsas e hoaxes maliciosos.
Deepfakes não-pornográficos podem ser facilmente encontrados em sites populares de streaming de
vídeo online, como Youtube ou Vimeo. (...)
Técnicas para simular gestos faciais e renderizá-los para um vídeo alvo estão disponíveis desde 2016 e
permitem a falsificação quase em tempo real de expressões faciais em vídeos 2D existentes”.3
(https://en.wikipedia.org/wiki/Deepfake, acessado em 23/06/2019, tradução nossa).

Figura 5. No deepfake acima, a atriz Gal Gadot foi inserida num vídeo pornográfico. Nota-se a baixa qualidade do
processo então em 2017, pelo recorte quadrado da máscara na altura do queixo.

Tecnicamente o processo de deepfake é um conjunto de algoritmos que realiza

reconhecimento facial, combinando imagens de uma origem para um destino. O processo é
também capaz de separar um vídeo em imagens (considerando que em geral os vídeos têm
aproximadamente 30 imagens, ou frames, por segundo). O processo segue um sistema
conhecido como GAN (Generative Adversarial Networks, ou Redes Adversárias Gerativas):
uma parte dos algoritmos (o Gerador) testa uma combinação de imagens, enquanto uma outra
parte (o Discriminador) aprova as imagens da fonte de acordo com o seu destino.

3
Deepfakes or DF, a portmanteau of "deep learning or DL" and "fake", is an artificial intelligence-based human image
synthesis technique. It is used to combine and superimpose existing images and videos onto source images or videos. (...)
DFs may be used to create fake celebrity pornographic videos or revenge porn. DF pornography surfaced on the Internet in
2017, particularly on Reddit, and has been banned by sites including Reddit, Twitter, and Pornhub. DFs can be used to create
fake news and malicious hoaxes.Non-pornographic DFs can be easily found on popular online video streaming sites such as
Youtube or Vimeo. (...) Techniques to faking facial gestures and rendering onto the target video as look-alike of the target
person were presented in 2016 and allow near real-time counterfeiting of facial expressions in existing 2D video.

7
 Figura 6. Um exemplo de uma deepfake em processamento (tendo o ator Robert Downey Jr. como fonte e Shia LaBeouf
como destino)

Segundo o coletivo Obvious sugere em seu manifesto

“Uma metáfora simples para entender como funcionam os GANs:

Veja um estudante de arte [ o Gerador]. Seu professor lhe pede para pintar um Picasso. O aluno não
sabe como é um Picasso. Então ele vai começar a pintar, para ver aonde chega. Cada pintura que ele
faz é julgada pelo professor. Com o tempo, o aluno fica melhor e melhor na pintura de Picassos e, no
final do processo, o professor não pode dizer a diferença entre um Picasso real e aquele que foi
produzido pelo aluno. Neste ponto, o aluno é capaz de criar novos exemplos de pinturas de Picasso,
pelo menos aos olhos do professor”4. (Manifesto Obvious, http://obvious-art.com/, acessado em
23/06/19, tradução nossa)

Com a difusão desse conhecimento técnico, que é código aberto, o deepfake foi usado de
forma amadora em vídeos pornográficos ou mesmo de revenge porn (pornô de vingança,
onde uma pessoa anônima tinha seu rosto inserido num vídeo pornográfico, como forma de
retaliação por um rompimento amoroso). Mas, paralelamente, artistas têm se valido do
processo para demonstrar como a Inteligência Artificial pode atuar no seu trabalho- como um
artista plástico que escolhe um novo material, temos pintores e cineastas que se valem do
deepfake de maneira inovadora. É para descrever essa inovação que aplicaremos o conceito
de opacidade e transparência no discurso cinematográfico.

4
A simple metaphor to understand how GANs work :Take an art student. His professor asks him to paint a Picasso. The
student doesn’t know what a Picasso looks like. So he will start painting, in order to see which direction to go. Every
painting he makes is judged by the professor. With time, the student gets better and better at painting Picassos, and at the end
of the process, the professor can’t tell the difference between a real Picasso and one that has been produced by the student.
At this point, the student is capable of creating new examples of Picasso paintings, at least at the eyes of the professor.

8
O conceito de opacidade e transparência

Um dos pontos mais controversos que surge no debate atual é a maneira com que os
algoritmos de Inteligência Artificial como o deepfake agem sem que saibamos exatamente
como, ou sem nem nos darmos conta da ação deles (o que chamamos de fantasmagoria
tecnológica). Conforme por exemplo ARAÚJO & SÁ (2016) o que falta aos algoritmos e às
empresas de tecnologia é transparência, no sentido da ética. Os algoritmos seriam opacos,
por agirem de forma pouco clara. Assim, usar o deepfake sem que ele fosse de alguma forma
anunciado seria algo pouco transparente, ou seja, antiético.

Contudo, queremos nos ater ao sentido inverso dessa dualidade, como definido por
Ismail XAVIER (2005). Ismail atribui os termos ao analisar a construção do discurso
cinematográfico. Segundo ele, o usual é que um criador audiovisual utilize o máximo de
recursos à sua disposição justamente para esconder a artificialidade de uma cena em um
filme. O objetivo é buscar o “natural” e a fluidez. Organizados, esses recursos atendem a um
padrão chamado de linguagem clássica (ou as convenções, o cânone – absorvido pelo
mercado, chamado também de mainstream). Para Ismail, o objetivo maior seria a
transparência: o aparato tecnológico desaparece, sem que o espectador o note, e resta
somente a história.

Figura 7. Esquema de campo, plano geral de localização e contracampo, usado como convenção para diálogo, e sua
aplicação em Bonnie & Clyde (1967). Exemplo de Transparência no discurso audiovisual

9
Por outro lado, outros criadores acreditam que todo esse esforço para alcançar a naturalidade
é falso, justamente por esconder aquilo que, em tese, não se deve ou não pode esconder. Ao
longo do desenvolvimento da linguagem cinematográfica, e por que não de toda comunicação
midiatizada, artistas de vanguarda experimentam mostrar aquilo que outros disfarçam: revela-
se os recursos da linguagem e até mesmo seus dispositivos, a opacidade. Ismail identifica
essa atitude como ruptura ou negação com a linguagem clássica, nomeando-a como cinema
(e por extensão, linguagem) moderna. O cinema moderno está associado às Vanguardas
Históricas e principalmente aos Cinemas Novos.

Figura 8. Imagem do filme Bangue-bangue (1971), referência do cinema marginal brasileiro. Repare que nos óculos
escuros usados pelo personagem é possível ver o reflexo da câmera. Isso se repete propositalmente no espelho por trás dele.
Exemplo de opacidade no discurso audiovisual

Na edição de 2005 de seu livro, Ismail aponta como a relação entre opacidade e transparência
deveria não mais se concentrar apenas no cinema, mas sim no contexto das mídias digitais,
com os limites cada vez mais borrados entre as diferentes mídias. Traduzindo, a dualidade do
discurso cinematográfico apontada por Ismail pode se aplicar a qualquer mídia audiovisual.

O que faremos agora então é aplicar este conceito aos resultados gerados pelo processo do
deepfake – imagens e vídeos que utilizaram este processo de Inteligência Artificial.
Considerando que quem se vale de um deepfake, seja ele um programador, um entusiasta ou
um artista, é o autor responsável pela imagem ou vídeo manipulado resultante, sua intenção
será levada em conta. Não estamos negando, é claro, a primeira dualidade ética descrita aqui,
mas nos concentrando somente nos meios expressivos usados pelos autores em questão.

10
A Opacidade & Transparência em obras de deepfake

Para demonstrar a aplicação do conceito de opacidade e transparência, separamos 4

exemplos5 bastante distintos de imagens e vídeos que resultaram do processo de deepfake.
Eles variam quanto a intenção de seus criadores, a aspectos técnicos e artísticos e ao
resultado alcançado.

Dois destes exemplos trazem resultados opacos gerados pelo deepfake, e os outros dois estão
mais próximos de um uso transparente (sendo um deles um caso heterodoxo). Veremos que
os próprios artistas a relação de tensão e aproximação entre os que são definidos como
clássicos e os vanguardistas.

1) O Retrato de Edmond Belamy, do Coletivo Obvious

“‘Computadores são inúteis. Eles só podem nos dar respostas.’ Bem Picasso (1881 - 1973), esta é uma
discórdia”6. (Manifesto Obvious, http://obvious-art.com/, acessado em 23/06/19, tradução nossa)

É assim que o coletivo de artistas franceses Obvious sela o seu manifesto7, no melhor estilo
das Vanguardas Históricas.

A Inteligência Artificial programada pelo Obvious tem 15.000 imagens de retratos pintados
por seres humanos, que usa como entrada em seu banco de dados, para recombiná-las e então
criar uma nova pintura.

5
Por hora não incluímos nenhum artista brasileiro, pois ainda não localizamos um artista importante que utilize algoritmos
de maneira criativa no audiovisual brasileiro. Cabe comentar que no Brasil o uso de deepfake com cunho pornográfico,
manipulando imagem de uma pessoa sem o consentimento dela, foi tipificado como crime, em novembro de 2018.
https://www2.camara.leg.br/camaranoticias/noticias/DIREITO-E-JUSTICA/566112-CAMARA-APROVA-PROJETO-
QUE-CRIMINALIZA-REGISTRO-NAO-AUTORIZADO-DE-INTIMIDADE-SEXUAL.html

6
“Computer are useless. They can only give answers.” Well Picasso (1881 - 1973), it’s a disagreement.
7
Justamente por este motivo decidimos analisar o processo criativo deste retrato e sua repercussão midiática, ainda que ele
não seja um produto audiovisual.

11
O Obvious foi responsável por conseguir leiloar o quadro “O Retrato de Edmond Belamy”
pelo valor de US$ 432.500,00. O coletivo é formado pelos artistas Hugo Caselles-Dupré,
Gauthier Vernier E Pierre Fautrel, que deixam clara seu desejo em revelar o dispositivo:

Figura 9. Comparativo apresenta o Retrato de Edmomd Belamy, à esquerda; e nos detalhes, à direita, o algoritmo com o
qual o coletivo Obvious assina o quadro.

Os quadros criados pelo coletivo não são assinados por nenhum de seus integrantes, mas sim
pelo algoritmo central da rede generativa utilizada por eles no processo de deepfake. Segundo
seu manifesto, eles “queriam deixar visualmente claro que o quadro havia sido gerado por um
algoritmo”.

2) Alternative Face V1.1 , de Mario Klingemann

Figura 10. Comparativo entre o movimento labial da assessora Kellyanne Conway e de seu deepfake, com imagens da
cantora Francoise Hardy. Vídeo em https://www.youtube.com/watch?v=ZuAy7g3GVHU

12
Mario Klingemann é um artista alemão, residente do Google Arts and Culture, conhecido por
seu trabalho envolvendo algoritmos e arte. Ele é considerado um pioneiro no uso da
aprendizagem de máquina nas artes. Mora em Munique, Alemanha, onde curiosamente dirige
um espaço chamado Dog & Pony, que define como “algo entre uma Wunderkammer [um
tipo de antiquário] e uma galeria”.

Klingemann se apresenta como:

“(...)um artista e um cético com uma mente curiosa. Minhas ferramentas preferidas são redes neurais,
código e algoritmos. Meus interesses são múltiplos e em constante evolução, envolvendo inteligência
artificial, aprendizagem profunda, arte generativa e evolutiva, glitch art, classificação e visualização de
dados ou instalações robóticas. Se há um denominador comum é o meu desejo de compreender,
questionar e subverter o funcionamento interno de sistemas de qualquer tipo. Também tenho um
profundo interesse na percepção humana e na teoria estética.”8 (Mario Kilngemann,
http://quasimondo.com/, acessado em 23/06/19, tradução nossa)

O artista alemão é notável por seu canal no Youtube, onde publicou, em 2017, uma sequência
um tanto macabra de vídeos da cantora francesa Francoise Hardy. Estes vídeos se fundem em
sincronia com a voz de uma entrevista de Kellyanne Conway, uma assessora de Donald
Trump que precisou explicar porque um de funcionários da Casa Branca havia mentido para
a imprensa. O que Klingemann escancara com seu vídeo claramente manipulado é a própria
falsidade da fala de Conway.

Figura 11. Sequência de frames de Alternative Face v1.1 (https://www.youtube.com/watch?v=ZuAy7g3GVHU )

8
I’m an artist and a skeptic with a curious mind. My preferred tools are neural networks, code and algorithms. My interests
are manifold and in constant evolution, involving artificial intelligence, deep learning, generative and evolutionary art, glitch
art, data classification and visualization or robotic installations. If there is one common denominator it’s my desire to
understand, question and subvert the inner workings of systems of any kind. I also have a deep interest in human perception
and aesthetic theory.

13
Uma das obras mais recentes de Kilngemann, do final de 2018, é chamada Neural Glitch. Ela
é uma das mais interessantes pois utiliza um erro do processo como sua forma de expressão
(outra característica associada às Vanguardas):

“Neural Glitch" é uma técnica que comecei a explorar em abril de 2018, na qual eu manipulo redes
generativas totalmente treinadas, alterando, apagando ou trocando aleatoriamente os pesos em suas
fórmulas. Devido à estrutura complexa das arquiteturas neurais, as falhas introduzidas desta forma
ocorrem tanto na superfície como em níveis semânticos, o que faz com que os modelos interpretem mal
os dados de entrada, mas de uma forma interessante, que por alguns podem ser interpretados como
vislumbres de criatividade autônoma.” 9 (Mario Kilngemann, http://quasimondo.com/, acessado em
23/06/19, tradução nossa)

Figura 12. Instalação da obra Neural Glitch, com exibições de vídeos em loop em painéis de LED

9
Neural Glitch” is a technique I started exploring in April 2018 in which I manipulate fully trained GANs by randomly
altering, deleting or exchanging their trained weights. Due to the complex structure of the neural architectures the glitches
introduced this way occur on texture as well as on semantic levels which causes the models to misinterpret the input data in
interesting ways, some of which could be interpreted as glimpses of autonomous creativity.

14
3) Discursos falsos do ex-presidente dos EUA Barack Obama

Como o deepfake requer uma grande quantidade de imagens para realizar sua operação de
troca, os modelos iniciais que surgiram partiram dos registros de celebridades disponíveis
fartamente na internet. Além da polêmica inicial de vídeos publicados na plataforma Reddit
onde atrizes famosas tiveram seus rostos inseridos em cenas pornográficas, o fácil acesso ao
processo do deepfake gerou um grande número de fanfics: na internet, há inúmeras versões
de Nicolas Cage em todos os filmes imagináveis, sendo que o mais curioso é que o próprio
ator fez um personagem que tinah sua face trocada no filme “A Outra Face”. Um outro fanfic
impressionante é a inserção de um jovem Harrison Ford no recente “Solo”, da franquia Star
Wars) .

Figura 13. Nicolas Cage no papel de Han Solo (fonte: niccageaseveryone.blogspot.com)

Porém, com a melhora na qualidade de alguns deepfakes e o amplo acervo de material na

internet, aumentou muito o temor de que imagem e discurso de políticos e outros líderes
poderia ser manipulada.
Em abril de 2018, Numa conferência do TED 10, o cientista da computação Supasorn
Suwajanakorn mostrou como, quando era ainda um estudante de graduação, foi capaz de
combinar IA e modelagem 3D para criar falsos vídeos fotorrealistas em sincronia com o
áudio de políticos famosos. Neste vídeo ele demonstra de forma espantosa um caso extremo
de transparência num vídeo de deepfake:

10
https://www.ted.com/talks/supasorn_suwajanakorn_fake_videos_of_real_people_and_how_to_spot_them?language=en

15
 Figura 14. Representação do modelo de Supasorn Suwajanakorn em processamento

Combinado o mesmo tipo de IA dos demais exemplos que citamos, mas incorporando
modelagem 3D, Suwajanakorn foi capaz de demonstrar como com o mesmo áudio de um
discurso de Barack Obama, ele poderia fazer 4 variações bem distintas do ex-presidente
norte-americano:

Figura 15. Esquema com os discursos de Obama, manipulados pela IA de Suwajanakorn, sendo que somente uma delas
corresponde ao discurso real

16
Ao assistir o discurso de Obama, não sabemos exatamente se aquilo é real ou não. Este é um
índice de transparência, segundo XAVIER (2004), uma vez que diferentemente do coletivo
Obvious e de Klingemann, Suwajanakorn fez o máximo possível para atingir o fotorrealismo
e eliminar as evidências do processo tecnológico. Ainda que um olhar atento possa notar as
emendas borradas entre a boca e as bochechas de Obama (um sinal de que o vídeo foi
processado por deepfake), deve se considerar que caso este exemplo fosse divulgado
diretamente numa rede social, o vídeo estaria numa compressão muito alta e sua baixa
qualidade disfarçaria possíveis evidências. Suwajanakorn se preocupou tanto com a qualidade
que seu trabalho havia atingido que decidiu criar o Reality Defender, uma extensão para
navegador que aponta para o usuário se a imagem que ele está vendo foi manipulada por IA.

4) O retorno à vida de Salvador Dalí

O caso mais paradoxal que trouxemos foi concebido pelo The Dalí Museum, na Flórida
(EUA). O museu, na melhor tradição enterpreneur norte-americana, decidiu receber seus
frequentadores de uma maneira inusitada: com um totem em tamanho natural do artista
Salvador Dalí em pessoa, num vídeo interativo gerado por deepfake, batizado de Dalí lives.

Figura 16. Botão de interação do totem de Dalí lives

O visitante do museu toca um botão no totem e eis que surge a figura de Dalí, com um
vozeirão bastante fidedigno, quase esbravejando com quem o chama.

17
 Figura 17. Salvador Dalí se apresenta no totem de Dalí lives

A interação avança até o ponto que Dalí pede para tirar uma selfie com o frequentador – que
ele mesmo envia posteriormente para o celular do visitante.

Figura 18. Dalí passa a selfie pelo crivo de seus fãs.

O que este caso tem de paradoxal é o seguinte: quando consideramos a opacidade e

transparência no discurso audiovisual, os criadores da instalação que ressuscita virtualmente
o pintor catalão parecem brincar com esta dualidade.

Pelo lado da opacidade, primeiro devemos considerar que a função primária é a do totem, é
evidente para um espectador que, por menos que saiba quem é Dalí, aquela pessoa que surge
no monitor de LCD não existe mais. O próprio fato de que uma agência de publicidade foi
responsável pela produção de Dalí lives aponta um cuidado com o lançamento do totem,
detalhadamente divulgado antes dele entrar em atividade (em maio de 2019). O fato de Dalí
interagir de forma sardônica através de um botão clicado pelos visitantes e de uma câmera

18
fotográfica é mais um indício de revelação do dispositivo. A interatividade é reforçada pelos
criadores, que anunciam mais de 190 mil combinações para o usuário interagir com o totem.

Figura 19. Detalhe do processamento do deepfake de Dalí lives. Note que o ator que serviu de base para o rosto de Dalí
está nas colunas pares, enquanto a imagem fonte de Dalí esta nas ímpares

Agora, do lado da transparência, a própria agência responsável pela criação do totem anuncia
seu esmero em se aproximar da maneira que Dalí se comportava. Segundo eles, foram usados
mais de 6000 frames de Dalí, sincronizados com os movimentos e a fala de um ator num
processo semelhante àquele usado por Suwajanakorn nos discursos do Obama. Ao se assistir
o vídeo de bastidores de Dalí lives, ou mesmo alguns excertos dos vídeos interativos, é
patente o cuidado com a fotografia, o figurino e a mise en scène para que aquele realmente
parecesse Dalí. Afinal, a cartela que abre o vídeo de bastidores é uma das últimas falas de
Dalí, proferida no seu Teatro-Museo, em 1989: “Quando você é um gênio, você não tem o
direito de morrer, porque nós somos necessários para o progresso da humanidade”.

Num primeiro momento esse jogo com a dualidade parece típico de uma obra pós-moderna,
mas, sem ceder às superficialidades, é potente por se tratar de uma instalação audiovisual
contemporânea que nasce de um deepfake e traz de volta à vida um artista único.

19
Apontamentos finais

Procuramos no presente artigo entender como os algoritmos afetam a criação audiovisual

contemporânea.

Para isso, elegemos os 4 casos aqui analisados como um ponto de partida. Realizamos a
análise de como os autores destes produtos audiovisuais se valeram do processo de deepfake
para atingir resultados muito distintos, sob a ótica do discurso audiovisual de opacidade e
transparência. Acreditamos que esta primeira aplicação do conceito seja pertinente e que
favoreça um início de diálogo com os autores. Um próximo passo seria entrar em contato
com eles e discutir seu processo criativo, além daquilo já apresentado.

Um dos pontos de destaque nesta análise é o fato de que os criadores com um viés mais
artístico e experimental (Klingemann, o coletivo Obvious) se valem de proposições das
vanguardas históricas, como o discurso de se relacionar com uma nova mídia (no caso,
considerando o próprio deepfake como uma) e a necessidade de se posicionar artisticamente,
através de um post em sua página pessoal ou na confecção de um manifesto.

No sentido da transparência, parece estimulante que as próximas gerações de criadores

audiovisuais terá à disposição uma ferramenta com tamanha potência como o deepfake. Seu
uso, se combinado ao processo audiovisual como conhecemos (aprofundamento de um
personagem, a preocupação com o roteiro e direção de arte), pode levar a grandes realizações
artísticas, afastando o controverso surgimento do processo e valorizando mais sua
profundidade do que sua falsidade. Afinal, vivemos num mundo superficial e de imagens
irreais, e o mergulho abaixo dessa superfície, como o é Dalí live, pode colocar a criação sob
nova perspectiva.

É espantoso notar que a máquina de aprendizagem profunda chamada GAN, com sua relação
de aluno e mestre, é sempre dependente do modelo humano. A IA se vale de um banco de
dados produzido pelo homem, para então imitá-lo mimeticamente até o ponto em que não
podemos mais distinguir o seu autor. Mas o que irá acontecer quando estas mesmas máquinas
usarem as melhores imagens concebidas pela geração atual de deepfakes como modelo?

20
Como diria AGAMBE (2009), o contemporâneo é o que sabe que está no seu tempo, mas não
se reconhece nele. Ele abandona a chave nostálgica, enxerga uma brecha e vê à frente de seu
tempo.
Já havíamos começado, num artigo anterior, a discutir os algoritmos que emulavam a escrita
de roteiros audiovisuais. Agora decidimos prosseguir pelo campo da produção da imagem via
IA. Para além dos deepfake, um de nossos próximos passos é entender como os algoritmos
podem manipular o áudio, principalmente gerando trilhas. Discutiremos este recurso num
próximo artigo, vislumbrando, quem sabe, um produto audiovisual que em sua totalidade seja
concebido e produzido mediante uma Inteligência Artificial.

21
Bibliografia

AGAMBE, Giorgio. O que é o contemporâneo? e outros ensaios. Chapecó, SC: Argos, 2009.

ARAÚJO, Willian Fernandes; SÁ, Fernanda Pires.Facebook’s Algorithms and Its Opaque
Design of Transparency: How Followers of the Most Popular Brazilian TV Show Perceive
Their News Feed. In: Interface Politcs – 1st International Conference 2016. Espanha:
Publicaciones Gredits: Bau, Centre Universitari de Disseny de Barcelona, 2016.

CHARNEY, Leo. “Num instante: o cinema e a filosofia da modernidade”. In: CHARNEY,

Leo, SCHWARTZ, Vanessa. O cinema e a invenção da vida moderna. São Paulo: Cossac &
Naif, 2001

FORMIGA, Andrei de Araújo; LIMA DIAS JR., José Jorge SOUSA, Bruno Jefferson de;
Introdução a Programação. João Pessoa: Editora da UFPB, 2014.

FLUSSER, Vilém. O universo das imagens técnicas: elogio da superficialidade. São Paulo:
Annablume, 2008.

HUYSSEN, Andreas. Mapeando o pós-moderno. In: Pós-modernismo e política.

Organização de Heloísa Buarque de Holanda. Rio de Janeiro: Rocco, 1991

GUMBRECHT, Hans Ulrich. Produção de Presença: o que o sentido não consegue

transmitir. Rio de Janeiro: Contraponto: Ed. Puc-Rio, 2010.

KANUTANI, Mitiko. As Novas Guerras Culturais – Notas sobre a mentira na Era Trump.
Rio de Janeiro, Intrínseca, 2018.

KULIKOWSKI, Casimir A; WEISS, Sholom M. Computer Systems That Learn:

Classification and Prediction Methods from Statistics, Neural Nets, Machine Learning and
Expert Systems. EUA: Morgan Kaufmann, 1990.

22
MENEZES, Philadelpho. Modernidade, Vanguarda, Metamodernidade. São Paulo:
Experimento, 1994.

XAVIER, Ismail. O Discurso Cinematográfico: a opacidade e a transparência. 3a edição-

SP. Paz e Terra, 2005.

Weblografia

Alternative Face v1.1, de Mario Klingemann:

https://www.youtube.com/watch?v=af_9LXhcebY, acessado em 23/06//2019

Aplicativo de deepfake disponível online:

https://deepfakesapp.online/,acessado em 23/06//2019

http://visagetechnologies.com/html5/, acessado em 24/06//2019

Artigo da agência de publicidade responsável por “Dalí Lives:

https://mashable.com/article/salvador-Dalí-deepfake/, acessado em 24/06//2019

Behind the Scenes: Dalí Lives: https://www.youtube.com/watch?v=BIDaxl4xqJ4, acessado

em 24/06//2019

Manifesto do Coletivo Obvious:

https://drive.google.com/file/d/1esAOv8MsVzYH9njGmHnqUdgPh4aFDVvK/view,
acessado em 23/06//2019

Página do artista Mario Klingemann, http://quasimondo.com/, acessado em 23/06//2019

Reportagem “O vídeo de Dória é fake?”:

https://www.correiobraziliense.com.br/app/noticia/politica/2018/10/24/interna_politica,71481
0/video-de-doria-e-fake-entenda.shtml, acessado em 24/06/2019

23
Reportagem “Fake News, you aint seen nothing yet”: https://www.economist.com/science-
and-technology/2017/07/01/fake-news-you-aint-seen-nothing-yet, acessado em 24/06//2019

Verbete da wikipedia: https://en.wikipedia.org/wiki/Deepfake, acessado em 24/06//2019

TED apresentado por Supasorn Suwajanakorn:

https://www.ted.com/talks/supasorn_suwajanakorn_fake_videos_of_real_people_and_how_t
o_spot_them?language=en

24