Machine Translated by Google

Definindo AI Arts: três propostas

Lev Manovich
Junho de 2019

1.

À primeira vista, apresentar uma definição para “artes de IA” não parece difícil. IA (uma
abreviatura para o termo Inteligência Artificial) refere-se a computadores que são capazes de
realizar muitas tarefas cognitivas semelhantes às humanas, como jogar xadrez e Go, reconhecer
conteúdo em imagens, traduzir entre idiomas, selecionar os melhores candidatos em uma
busca de emprego baseada em em seus currículos e assim por diante. É assim que a IA tem sido
tradicionalmente entendida e podemos estender este conceito às artes. Seguindo esta lógica, “artes
de IA” referir-se-iam a humanos que programam computadores para criar com um grau
significativo de autonomia novos artefactos ou experiências que os membros profissionais do
mundo da arte reconhecem como pertencentes à “arte contemporânea”. Ou podemos ensinar
competências informáticas a artistas de algum período histórico anterior e esperar que os
historiadores de arte profissionais reconheçam os novos artefactos criados pelo computador como
possíveis obras de arte deste período. (Em um estudo, cientistas da computação pediram
aos historiadores da arte que avaliassem imagens geradas por uma rede neural para simular estilos
de artistas específicos. ( Ver Artsiom Sanakoyeu, Dmytro Kotovenko, Sabine Lang, Björn Ommer,
"A Style-Aware Content Loss for Real-time Transferência de estilo HD", https://
arxiv.org/abs/1807.10201.)

Na verdade, podemos estender o famoso teste de Turing às artes da IA – se os historiadores da

arte confundem os objetos que um computador cria após o treinamento com os artefatos
originais de algum período, e se esses objetos não são simplesmente cópias ligeiramente
modificadas de artefatos existentes, tal computador passou “ Teste de artes de Turing AI”.
Isto parece simples e lógico. Vamos nos referir a essa ideia como nossa primeira proposta para a
definição de “artes de IA”. Nesta definição, a arte criada por uma IA é algo que os profissionais reconhecem como
Machine Translated by Google

arte histórica válida ou arte contemporânea.

Infelizmente, esta abordagem lógica não é suficiente. Na verdade, olhando mais de perto, sua clareza
se dissolve. Por exemplo, não existe hoje uma definição comummente aceite de “arte” entre
profissionais como críticos de arte, teóricos da arte, filósofos da arte ou sociólogos da cultura. Então,
como podemos programar um computador para criar de forma independente algo que nem
sequer conseguimos definir?

O desenvolvimento da arte moderna durante o século XX envolveu um questionamento

sistemático das fronteiras do que conta como arte e, em seguida, ultrapassar essas fronteiras - dos
readymades de Marcel Duchamp aos acontecimentos, performances, trabalhos em terra e
instalações da década de 1960, à arte da Internet de década de 1990. Mas para
compreender o que pode expandir as fronteiras do que é considerado “arte” num determinado
momento de uma forma significativa requer conhecimento da história da arte e do
desenvolvimento das artes até ao presente - e isto é algo que ninguém até agora tentou programar
num computador .

Em vez disso, a maioria das tentativas de utilizar técnicas de IA nas artes baseou-se na
compreensão (geralmente implícita) da “arte” que era popular antes da segunda revolução
modernista das décadas de 1950-1960 (se contarmos as décadas de 1880-1920 como a primeira
revolução). Em outras palavras, os artistas, escritores, compositores e cientistas da
computação ensinaram os computadores a criar objetos nos formatos que eram aceitos como arte
pelas pessoas modernas até o final da década de 1950 – imagens individuais, poemas, composições
musicais. (Por uma estranha coincidência, estas experiências em artes de IA começaram ao
mesmo tempo que a arte moderna entra no seu segundo período revolucionário, ou seja, no final da
década de 1950. Assim, enquanto alguns artistas vão além da arte como ela existia até
então, outros artistas começam a programar computadores criar “arte tradicional”, ou seja, objetos
em vez de processos, situações e performances.)

Essa tendência ainda está conosco. Se olharmos para o que recentemente (2015-) foi celebrado como
conquistas da IA nas artes visuais, estas são muitas vezes imagens únicas que se parecem com
pinturas modernistas. Eles podem simular deliberadamente a aparência visual de algum artista
moderno conhecido ou simplesmente parecer algumas variações do expressionismo
Machine Translated by Google

cubismo, pós-impressionismo, etc.

Se seguirmos esta tendência conservadora, temos de aceitar que as “artes da IA” apenas simulam a

arte histórica. Não é capaz de executar a principal estratégia da arte moderna – expandir

constantemente o que é considerado arte. (O gênero de “instalação interativa de computador” que se

desenvolveu na década de 1990 é uma exceção importante). Claro, também é possível argumentar que no

início do século XXI esta estratégia de expansão da arte perdeu a sua energia, entrámos no período do

pluralismo e a criação do “novo” já não é relevante. Ainda assim, isto não invalida o meu ponto principal - o

que entrou para a história como as conquistas das “artes da IA” durante as últimas seis décadas são

simulações de arte histórica criadas antes do início deste trabalho artístico de IA.

2.

Vamos tentar outra abordagem. Em vez de pensar nos resultados de um “computador artístico”,

vamos considerar o processo de criação. Dado que os computadores têm sido usados nas artes de várias

maneiras durante seis décadas, há algo único nas “artes da IA”? É possível fazer uma distinção clara entre

“artes computacionais” (ou “artes digitais”) e “artes de IA”?

Um dos métodos mais populares para usar computadores nas artes e design é escrever programas de

computador que geram objetos em diversas mídias (texto, imagem, vídeo, formas 3D, designs gráficos,

logotipos, planos urbanos, música, etc.). assumem diversas formas - instruções simples para desenhar uma

sequência de formas, algoritmos que geram fractais, algoritmos de autômatos celulares, algoritmos

genéticos (Karl Sims) e assim por diante. Por exemplo, os artistas pioneiros da computação da década de 1960

- Vera Molnár, Desmond Paul Henry, Frieder Nake, Georg Nees, Michael Noll, Sonia Sheridan e outros -

escreveram programas que geravam padrões geométricos em preto e branco usando instruções precisas, ao

mesmo tempo que às vezes incorporavam parâmetros aleatórios. No mundo do design e da arquitetura, o uso

de algoritmos é frequentemente chamado de design processual, generativo ou paramétrico. Esta

abordagem de design é amplamente utilizada hoje em todos os campos de design e é responsável por alguns

dos mais
Machine Translated by Google

criações culturais famosas dos nossos tempos, como obras de Zaha Hadid Architects.

Existe alguma distinção fundamental entre esses métodos de artes computacionais que têm sido
usados há décadas e outro paradigma que se tornou muito popular na década de 2010 – o uso de
aprendizado de máquina e redes neurais profundas? Observe que o campo da IA inclui muitas
abordagens desenvolvidas desde 1950. O aprendizado de máquina e as redes neurais são
apenas dois deles. Eles se tornaram dominantes na indústria em 2010.

O paradigma das redes neurais inclui uma série de métodos e alguns deles foram adotados para
geração de artefatos culturais. Numa abordagem, a rede única é treinada usando um grande
conjunto de exemplos, como imagens em um estilo. Após o treinamento, a rede pode gerar mais
imagens no mesmo estilo.

Em outra abordagem chamada GAN (Generative Adversarial Network), a geração de novos

artefatos envolve duas redes. Alguém treinado em um conjunto de exemplos cria novos artefatos.
Esses artefatos são avaliados por uma segunda rede e ela seleciona aqueles que se assemelham
aos exemplos de treinamento.

Em ainda outra abordagem chamada “transferência de estilo”, a rede aprende como transferir um
estilo de uma única ou de uma série de imagens para novas imagens (ou vídeo) - por exemplo,
transferindo um “estilo” de uma pintura de Van Gogh para uma fotografia. . (Para exemplos deste
trabalho, ver https://arxiv.org/pdf/1807.10201.pdf.) Penso que esta abordagem tem um problema
conceptual, porque um artista como Van Gogh não tem um “estilo” - ou seja, um forma que existe
independentemente do conteúdo das obras. As transformações específicas do mundo
visível que vemos nas pinturas de Van Gogh são específicas do conteúdo – o céu é transformado de
uma maneira, as árvores de uma maneira diferente, etc. Portanto, imagens semelhantes a van Gogh
geradas pelo método de transferência de estilo não capturam a lógica real de sua arte, e o mesmo
vale para outros exemplos gerados com esse método.

Por um lado, a abordagem das redes neurais de fato se afasta dos métodos de arte e design
computacional desenvolvidos anteriormente. Com esta tecnologia não programamos explicitamente
um computador para gerar novos objetos utilizando uma sequência de passos, um sistema ou
regras, ou de alguma outra forma que tenhamos que especificar em todos os detalhes. Em vez disso, um
Machine Translated by Google

A própria rede extrai uma estrutura profunda de um conjunto de artefatos culturais e então gera
novos artefatos. Isso significa que finalmente temos a verdadeira “IA artística”, a verdadeira “inteligência
artística”?

Talvez ainda não. Existem pelo menos três pontos neste processo em que um autor humano faz
escolhas explícitas e controla o que o computador faria. Primeiro, um ser humano projeta a arquitetura
de rede e também um algoritmo usado para treinar uma rede (ou seleciona entre as existentes). Segundo, o
humano cria o conjunto de treinamento.
Terceiro, o ser humano seleciona quais, em sua opinião, são os artefatos mais bem-sucedidos dentre

muitos outros gerados pela rede.

Dada toda esta curadoria e controlo humano, não podemos afirmar que a geração de artefactos culturais
através de aprendizagem automática/redes neurais seja mais “inteligente”, ou seja, mostre o nível mais
elevado de autonomia do que qualquer outro método de arte computacional. Cada um desses
métodos também inclui decisões e escolhas humanas e execução de algoritmos.
Assim, o aprendizado de máquina não é uma forma mais avançada de IA artística do que
os desenhos geométricos dos primeiros artistas de computador, obras de arte de autômatos celulares ou
muitas instalações interativas conduzidas por computador. Na verdade, penso que a abordagem de
aprendizagem automática é mais restritiva do que as abordagens anteriores, uma vez que um ser
humano toma decisões em muitos pontos do processo. (E se nos lembrarmos das nossas discussões
anteriores sobre a expansão das fronteiras da arte, as instalações interativas são mais interessantes do que
um computador que gera imagens semelhantes às de Van Gogh.)

Como traduzimos esses argumentos em outra definição possível de “artes de IA”?

Podemos agora dizer que todos os métodos desenvolvidos na arte computacional desde 1950 são
exemplos igualmente válidos de “artes de IA” - desde um programa em Processamento gerando
padrões geométricos simples ou código d3 gerando visualização interativa de dados até uma rede neural
profunda treinada em big data. O que define se algo é “IA” não é um método, mas a quantidade e o tipo
de controle que exercemos sobre o processo algorítmico.

3.
Machine Translated by Google

Para nossa terceira tentativa de definição de “artes de IA”, vamos nos concentrar agora na
ideia principal do aprendizado de máquina supervisionado que usa redes neurais –
o computador extraindo automaticamente padrões comuns de um grupo de artefatos. Este aspecto
do aprendizado de máquina é de fato algo novo na longa história da arte computacional. Um
computador que por si só pode aprender a estrutura do mundo é uma proposta impressionante,
mesmo que esse computador ainda (ou talvez seja sempre) bastante diferente de uma criança
humana fazendo isso - porque a palavra de treinamento define objetos cuidadosamente
selecionados por um engenheiro humano é um mundo artificial, muito distante da
heterogeneidade, da diversidade e do silêncio do mundo real a que uma criança está exposta (e
também porque temos de construir nós próprios as camadas de rede para extrair padrões, em
oposição à rede que evolui e se constrói). )

Então, ficaremos entusiasmados se um computador que aprendeu padrões de um conjunto de

treinamento puder gerar novos artefatos com os mesmos padrões? É uma proposta satisfatória à
primeira vista porque aqui vemos um computador que parece replicar o comportamento cultural
humano e capturar a sua essência. O que é? Ao longo de muitos milhares de anos de
produção cultural humana, as diversas expressões culturais que se desenvolveram em
diferentes áreas geográficas, em diferentes materiais, por grupos anónimos ou, mais tarde, por
autores nomeados, têm todas uma coisa em comum: expressões culturais criadas numa área,
num período. ou por um grupo compartilham alguns padrões comuns. Os seus ornamentos,
roupas, decorações, desenhos, músicas, performances, rituais e assim por diante não variam
arbitrariamente - eles têm um “estilo”, ou seja, um sistema de regras, restrições e recursos.
Eles definem o que é possível dentro de um determinado estilo, o que é menos provável e o
que é impossível. A coerência de um estilo nas culturas tradicionais é muito forte, e é por isso que
estilos de artefatos são usados por arqueólogos para datar períodos de civilizações
humanas e compreender seu desenvolvimento.

Um determinado sistema de estilo é visível não apenas através dos artefatos remanescentes
de uma determinada civilização (que está sempre olhando mais de perto é um ponto de encontro
de vetores culturais de diferentes lugares), mas também dentro de um único artefato. Considere
um padrão cobrindo uma roupa ou um vaso de alguma civilização histórica. Se forem
cobertos com algum ornamento, o estilo desse ornamento não muda drasticamente na
superfície que cobre. Na verdade, se selecionarmos uma área menor desta
Machine Translated by Google

ornamento, podemos escrever um programa de computador que possa prever muito bem o resto do
ornamento.

O fenômeno de um estilo sistemático esteve presente em todas as civilizações e períodos históricos

que conheço. Surpreendentemente, não desapareceu na arte e no design modernos, apesar da
revolta dos modernistas contra a estética tradicional (por exemplo, recusa da simetria, adoção de
composição dinâmica, texto sem letras maiúsculas, valorização do choque em detrimento da
harmonia, etc.). por Sonia Delaney, Lyubov Popova ou Jackson Pollock, o sistema de
estilo não muda em uma pintura.
Da mesma forma que nos ornamentos e decorações tradicionais das artes antigas e populares,
aqui os padrões que operam numa grande parte de uma imagem são os mesmos que encontramos
em outras partes. As pinturas expressionistas abstratas maduras de Jackson Pollock são de fato
quase como ornamentos tradicionais, com uma parte contendo todos os DNAs de toda a pintura.
(Observe que também existem artistas como Delaney ou Malevich que estruturam suas
obras de maneira diferente: alguns padrões permanecem os mesmos em toda a pintura,
enquanto na escala da composição geral, alguns elementos podem não ser previstos ao examinar
apenas pequenas partes.)

Por que os humanos, ao longo de sua história, continuaram criando artefatos que possuem
esse metapadrão único, ou seja, um estilo sistemático e rígido dentro de um grupo de artefatos, e
também dentro de um único artefato? Por que não estamos interessados em criar imagens que
tenham um sistema estético em um canto da imagem e sistemas completamente diferentes
em outro canto? Como já mencionei, esta estrutura profunda da cultura humana não foi desafiada
pelas invenções modernistas, incluindo as táticas de colagem e montagem desenvolvidas na
década de 1920. Práticas posteriores de remixagem (1980-) possibilitadas pela eletrônica e,
mais tarde, ainda pelos computadores digitais, também não a desafiaram. Sim, um remix pode
se mover entre samples retirados de sistemas estéticos muito diferentes - mas quando você ouve
uma parte de uma música remixada, o sistema ali estabelecido normalmente não muda no resto da
música remixada. O mesmo se aplica aos videoclipes.

Diante disso, quando ensinamos computadores a extrair padrões de grandes conjuntos de artefatos
em um único sistema estético e depois gerar novos artefatos que pertencem ao mesmo sistema,
isso é realmente radical? Forçamos os computadores a criar como nós - como fizemos durante
dezenas de milhares de anos. Na minha opinião, seria mais radical usar
Machine Translated by Google

computadores para romper com esse metapadrão da cultura humana. Vamos ensinar os computadores
a fazer algo que nós, humanos, não podemos fazer - mover-nos entre diferentes sistemas e estéticas
dentro de uma única obra, ou de uma obra para outra em uma série.
A revolução modernista que teve o seu auge há cem anos já começou a questionar alguns dos
pressupostos básicos da estética humana, por isso talvez os computadores possam ajudar-nos a continuar
este processo.

Um exemplo relevante de pesquisa em IA é o MuseNet, “uma rede neural profunda que pode gerar
composições musicais de 4 minutos com 10 instrumentos diferentes e pode combinar estilos do country
a Mozart e aos Beatles”. (Payne, Cristina.
“MuseNet.” OpenAI, 25 de abril 2019, openai.com/blog/musenet.) O sistema pode gerar novas músicas
no estilo de um determinado compositor e também combinar esses estilos. Em um caso, “o modelo recebe
as primeiras 6 notas de um Noturno de Chopin, mas é solicitado a gerar uma peça em estilo pop com
piano, bateria, baixo e guitarra”.

Explorar essa direção é apenas uma das muitas maneiras possíveis de forçar os computadores a fazer
algo que nos atrai estética e semanticamente e que, ao mesmo tempo, nunca foi feito na civilização
humana. É comum dizer que se os computadores puderem ser programados para criar arte realmente nova,
não a reconheceremos como arte, ou não a compreenderemos. Mas talvez isso não seja tão interessante ou
inovador. Em vez disso, podemos querer concentrar-nos no que existe entre essa “arte para
computadores”, incompreensível para os humanos, e o universo de todas as possibilidades
estéticas já realizadas nas civilizações humanas (incluindo os nossos próprios
períodos modernista e contemporâneo). Certamente, muitas possibilidades podem ser exploradas neste
vasto “meio-termo”.

Esta é, então, a minha terceira definição de “artes de IA”. A arte da IA é um tipo de arte que nós,
humanos, não somos capazes de criar devido às limitações de nossos corpos, cérebros e outras

restrições. Uma dessas possibilidades que esbocei acima são os objetos, mídias, situações e experiências
gerados por computador que não têm a sistemática e a previsibilidade usuais das artes humanas - mas
também não são aleatórios, não justapõem mecanicamente elementos apenas para chocar, e são
não apenas exemplos de estética remix. Imagino que terão outra sistematicidade que ainda não vimos nem
mesmo na música moderna mais radical, na escultura, na arquitetura,
Machine Translated by Google

fotografia, etc Algo que adoraríamos profundamente quando o víssemos. Algo que, como toda
grande arte anterior, expandirá quem somos como humanos.