AUGUSTO PICCININI

A SONIFICAÇÃO E SUAS PRÁTICAS

ARTÍSTICAS:
Incursões na art-science, na música, na arte
sonora, e na data art

Trabalho de Conclusão de Curso

São Paulo
2019
 AUGUSTO PICCININI

A SONIFICAÇÃO E SUAS PRÁTICAS

ARTÍSTICAS:
Incursões na art-science, na música, na arte
sonora, e na data art

Trabalho de Conclusão de Curso apresentado ao

Departamento de Música da Escola de
Comunicações e Artes da Universidade de São
Paulo para obtenção do título de Bacharel com
Composição Musical.

Orientador: Prof. Dr. Fernando Henrique de

Oliveira Iazzetta.

São Paulo
2019
 FICHA CATALOGRÁFICA

Piccinini, Augusto
A sonificação e suas práticas artísticas: Incursões na artscience, na música, na arte
sonora, e na data art / Augusto Piccinini ; orientador, Fernando Henrique de Oliveira Iazzetta.
-- São Paulo, 2019. 131 p.: il. + Inclui pen-drive contendo gravações de obras audiovisuais e
eletroacústicas.

Trabalho de Conclusão de Curso - Departamento de Música/Escola de

Comunicações e Artes / Universidade de São Paulo.
Bibliografia
Versão corrigida

1. Sonificação 2. Art-science 3. Música 4. Arte sonora 5. Data art I. Henrique de

Oliveira Iazzetta, Fernando II. Título. CDD 21.ed. - 780
 AGRADECIMENTOS

Agradeço e homenageio meus professores, pessoas fundamentais que

contribuíram como puderam, e como souberam, para minha formação. Contemplo cada
um deles abaixo, na ordem cronológica em que me apareceram em sala de aula, do
ensino básico ao superior, resgatando seus nomes até onde a memória me permite fazê-
lo.

Luciana Kogan
Reinaldo Haiek
Silvana (?)
Ana Castro (Neca)
Rosa (?)
Maurício Uzum
Waldir (?)
Ricardo (?)
Inara Passos
Rita Ferreira
Márcia Marianno
Piva (?)
Márcio Guedes
Marina Cordani
Guilherme de Paula Notari
Guilherme Granato
Fábio (?)
Gisele Kolber Hamadani
Magda Flora
Renato Casemiro
Daniel Migliani Vitorello
Cida Rodrigues
Marisa (?)
 Rogério Ribeiro
Diógenes Henrique
Carlos Caetano (Kaê)
Maria do Rosário (Nena)
Beatriz Jardim
Yamila Goldfarb
Helena (?)
Marcos Maia
Thiago David Vieira
Alexandre Oliveira
Edu Paulino
João Cruz
Sabrina Waltzer
Lílian Cruz
Marcos Toshio Fujimoto
Ricardo Fonseca
João Lourenço
Derberson Pereira de Sousa
Thomas Henry Bennett
Ricardo Marcello
Marco Antônio Silva Ramos (Marcão)
Roberto Rodrigues (Bob)
Adriana Lopes Moreira Cunha
Paulo de Tarso Salles
Mônica Lucas
Rogério Costa
Mário Videira
Ronaldo Miranda
Lilla Gábor
André Ribeiro
Fernando Iazzetta
Marcos Branda Lacerda
 Ivan Vilela
Silvio Ferraz
Alex Buck
Ciro Marcondes Filho
Flávia Toni
Felipe Merker Castellani
Cristian Borges
Caio Kenji
Marcelo Muniz
Lilian Campesato
Giuliano Obici
Vivian Caccuri
Yann Beauvais
Wagner Sousa e Silva
Ana Gonçalves Magalhães
Alessandra Bochio
Juliana Moraes
Arlindo Machado
João Paulo Schlittler
Almir Almas
Marcos Fabris
Fábio Cintra
Ana Barreto
Ana Paula Salviatti
John G. Hanhardt
Simon Paterson
Andy Fischer
Marcus Lee
Min Yen ONG
Jane Lowe
Ian James Kidd
Katharine Jenkins
 Peter Watts
Zach Hopkins
Joseph Kisolo-Ssonko
Matt Duncombe
Koshka Duff
Benedict Rumbold
Alice Vilella
Rose Satiko Gitirana Hikiji
Marta Rosa Amoroso

Para além dos professores, agradeço aos colegas do curso de música, e em

especial aos colegas do NUSOM, com quem aprendi muito mais do que poderia
imaginar aprender, não dentro da relação protocolar da sala de aula, mas nas conversas e
nos ecos dessas conversas que preenchem os corredores do departamento.

Agradeço aos membros da banca avaliadora deste trabalho, pessoas muito

importantes para minha graduação, em diferentes tempos: Silvio Ferraz, Fernando
Iazzetta, e Henrique Lima.

Por fim, agradeço à FAPESP, agência que financiou minha pesquisa de iniciação
científica intitulada “Aspectos técnicos e estéticos da sonificação na música e nas artes
sonoras” (processo FAPESP 2016/15102-1), realizada entre 2016 e 2017 sob orientação
do Prof. Dr. Fernando Iazzetta. O presente trabalho é fruto deste projeto de iniciação
científica.
 RESUMO

PICCININI, Augusto. A sonificação e suas práticas artísticas: incursões na art-science,

na música, na arte sonora, e na data art. 2019, 131p. Trabalho de Conclusão de Curso
(Graduação em Música) – Departamento de Música, Escola de Comunicações e Artes,
Universidade de São Paulo, São Paulo, 2019.

Resumo: O objetivo deste trabalho é investigar a dimensão artística da sonificação,

delimitando alguns campos artísticos onde ela se insere, bem como suas implicações
técnicas, estéticas e políticas em cada um destes campos. Parte desta investigação
consiste em relacionar a prática artística da sonificação com sua contraparte científica,
buscando entender os interesses e as dinâmicas internas destes dois universos, e de que
maneira eles se remetem um ao outro. Todas as reflexões sobre este assunto elaboradas
neste trabalho partiram de um extenso levantamento de artigos, teses e manuais de
sonificação produzidos por pesquisadores, além de obras de sonificação produzidas por
artistas das mais variadas inclinações estéticas e sonificando os mais variados tipos de
dados. A subsequente análise e comparação deste material permite ao pesquisador,
primeiro, elaborar uma definição coerente de sonificação capaz de abarcar suas práticas
artísticas e científicas, e, segundo, identificar campos artísticos em que a sonificação se
insere. Quatro campos artísticos distintos são apresentados, cada um iluminando uma
série de aspectos específicos da sonificação – a art science, a música, a arte sonora, e a
data art.

Palavras-chave: Sonificação. Art-science. Música. Computer music. Arte Sonora. Data

art.
 ABSTRACT

Abstract: The purpose of this essay is to investigate the artistic dimension of

sonification, identifying some artistic fields in which it can be found, as well as its
technical, aesthetics and political implications within each one of these fields. Part of
this investigation consists in relating sonification’s artistic practice with its scientific
counterpart, trying to understand the interests and internal dynamics of these two
universes and how they refer to each other. All theorizations presented in this essay are
based on an extensive survey of articles, thesis and manuals written by researchers, and
of sonification works made by artists from the most varied aesthetic backgrounds and
sonifying the most varied types of data. The following analysis and comparison of this
material allows the researcher to, first, elaborate a proper definition of sonification
capable of dealing with its artistic and scientific practices, and, second, identify artistic
fields in which sonification can be found. Four distinct artistic fields are presented, each
one illuminating a series of specific aspects of sonification – art-science, music, sound
art, and data art.

Key-words: Sonification. Art-science. Music. Computer music. Sound art. Data art.
 SUMÁRIO

Lista de figuras................................................................................................................13

Lista de tabelas................................................................................................................14

Introdução........................................................................................................................12
A sonificação em termos gerais..............................................................................................................12
Objetivo, metodologia e estrutura do texto............................................................................................14

Capítulo 1: Definições de sonificação.............................................................................17

Capítulo 2: Sonificação e art-science..............................................................................27

2.1 Lógica de prestação de contas, sonificação educacional..................................................................31
2.1.1 Rhythms of the Universe.........................................................................................................32
2.1.2 LHCsound................................................................................................................................35
2.1.3 Walk on the Sun.......................................................................................................................37
2.2 Lógica de inovação, sonificação científica.......................................................................................41
2.2.1 SonicFinder..............................................................................................................................43
2.2.2 Ferramentas de sonificação......................................................................................................45
2.3 Lógica ontológica, sonificação artística...........................................................................................51
2.3.1 Genesis.....................................................................................................................................52
2.3.2 Oxygen Flute/Smog Music......................................................................................................59

Capítulo 3: Sonificação, música e arte sonora.................................................................63

3.1 Antecedentes musicais da sonificação..............................................................................................66
3.2 Sonificação e computer music..........................................................................................................72
3.3 Sonificação, entre a música e a arte sonora......................................................................................75

Capítulo 4: Sonificação, cultura de dados e data art.......................................................84

Considerações finais........................................................................................................98

Referências bibliográficas.............................................................................................106

APÊNDICE A: Categorizações de sonificação..............................................................111

APÊNDICE B: Lista de obras de sonificação...............................................................122

 LISTA DE FIGURAS

Figura 1 - Cartaz do filme Rhythms of the Universe....................................................................................33

Figura 2 - Marty Quinn dentro da exibição de Walk on the Sun no McAuliffe-Shepard Discovery Center38
Figura 3 - Visitante com seu cão-guia durante exibição de Walk on the Sun na convenção da National
Federation of the Blind, Dallas, Texas, Junho de 2008................................................................................39
Figura 4 - Interface do software xSonify......................................................................................................46
Figura 5 - Interface do software Sonifyer para uso de dados sísmicos........................................................48
Figura 6 - Interface do software Sonifyer para uso com dados de eletroencefalogramas............................49
Figura 7 - Fotografia da instalação Genesis.................................................................................................53
Figura 8 - Detalhe da instalação Genesis....................................................................................................53
Figura 9 - Encryption Stones, de Eduardo Kac............................................................................................54
Figura 10 - Modelo da instalação Oxygen Flute.........................................................................................57
Figura 11 - Detalhe interno da instalação Oxygen Flute..............................................................................57
Figura 12 - Garoto em Catmandu, no Nepal, com um PuffTron..................................................................60
Figura 13 - Interface do software de Blackcloud.........................................................................................61
Figura 14 - Diagramas de Bartels, usados para representar dados da atividade magnética terrestre, que
inspiraram os cientistas por sua semelhança com a notação musical..........................................................75
Figura 15 - Instalação Building Materials...................................................................................................78
Figura 16 - Cloud Harp................................................................................................................................80
Figura 17 - Instalação Global Player...........................................................................................................81
Figura 18 - Detalhe do hardware G-POD, de Jens Brand............................................................................82
Figura 19 - Detalhe do hardware G-Player, de Jens Brand..........................................................................82
Figura 20 - Instalação Listening Post...........................................................................................................85
Figura 21 - Detalhe dos visores utilizados em Listening Post.....................................................................85
Figura 22 - Screenshot da página principal do website de Listening Machine, antes de ser retirado da
internet.........................................................................................................................................................87
Figura 23 -Frame do vídeo de Two Trains, Sonification of Income Inequality on the NYC Subway..........88
Figura 24 -Instalação de Lungs: Slave Labour............................................................................................90
Figura 25 -Projeções da instalação Endless War.........................................................................................92
Figura 26 -Detalhe dos equipamentos utilizados em Endless War..............................................................92
Figura 27 -Encarte do disco Quotidian Record............................................................................................95
Figura 28 -Detalhe das inscrições no disco referentes às datas e aos locais visitados pelo artista..............95
Figura 29 -Digrama do “espaço de perspectiva estética” [aesthetic perspective space]...........................117
 LISTA DE TABELAS

Tabela 1 – Mapeamentos utilizados no SonicFinder…………………………………………………….44

 INTRODUÇÃO

A sonificação em termos gerais

O termo sonificação é sugestivo, quase autoexplicativo: trata-se de atribuir sons
a – ou representar sonoramente – fenômenos que não são sonoros, ou então fenômenos
que são sonoros, mas encontram-se fora da nossa faixa de audibilidade em termos de
frequência (aproximadamente entre 20Hz e 20.000Hz). A variação na cotação do dólar,
a velocidade de rotação de uma estrela a milhares de anos-luz, a posição geográfica dos
ônibus do transporte público de uma cidade, ou a sequência de aminoácidos de uma
proteína, são exemplos típicos de fenômenos ‘sonificáveis’; a rigor, qualquer fenômeno
quantificável pode ser sonificado. Na prática, a sonificação consiste no mapeamento de
dados coletados destes fenômenos em sons; ou, no caso excepcional de um tipo de
sonificação chamado audificação, consiste em reproduzir uma sequência de dados como
se fosse uma onda sonora, acelerando ou desacelerando a velocidade de leitura para se
adequar à nossa faixa de audibilidade. Exemplificando: um cenário possível e simplório
de sonificação seria o mapeamento das flutuações na cotação do dólar diretamente a
variações de frequência de uma onda senoidal, de forma que valores mais altos serão
representados em frequências mais agudas e valores menores em frequências mais
graves. Outro exemplo: leituras sísmicas obtidas de um sismógrafo durante um
terremoto – que não são outra coisa senão representações das vibrações na crosta
terrestre, inaudíveis por serem lentas demais – podem ser aceleradas até adequarem-se à
nossa faixa de audibilidade. O ouvinte, nestes exemplos, acompanharia as modulações
de dados econômicos e as vibrações sísmicas de um determinado período de tempo
exclusivamente através do som.
Enquanto campo de pesquisa, a sonificação é relativamente jovem. Suas origens
remontam ao início dos anos 1990, quando começou a se formar o ICAD (International
Conference on Auditory Displays), conferência organizada por pesquisadores
interessados nos usos do som na pesquisa científica e no design de interfaces
computacionais. Paralelamente ao seu desenvolvimento acadêmico, práticas artísticas
também começaram a utilizar os procedimentos da sonificação de maneira mais

12
insistente – embora alguns exemplos anteriores a esta época também pudessem ser
considerados, com alguma liberdade de interpretação, sonificações.
Um dos motivos para que o campo da sonificação ganhasse corpo nesta década
foi o desenvolvimento e barateamento das tecnologias digitais desde os anos 1980. As
possibilidades de sampleamento e quantização de dados das tecnologias digitais, bem
como a crescente capacidade de processamento e memória dos computadores, permitiu
a transição de um ambiente de produção sonora baseado em equipamentos analógicos
para um ambiente digital, formado por DAWs (digital audio workstations), VSTs
(instrumentos e sintetizadores virtuais) e linguagens de programação (Csound, Max,
Pure Data, Supercollider, etc) – estes muitas vezes usados simultaneamente em um
mesmo computador. Esta simultaneidade, é claro, depende da velocidade e eficiência da
comunicação entre os diversos softwares, não através de cabos elétricos, mas através do
fluxo de dados digitais internos e externos ao computador – por exemplo, os protocolos
MIDI e OSC. A generalidade das representações digitais permite que um fluxo de dados
gerado por um determinado software, digamos, uma sequência MIDI, possa ser
mapeado a algum parâmetro de outro software, digamos, às notas de um sintetizador
virtual. Este é, precisamente, o procedimento da sonificação, baseado na flexibilidade
de mapeamento e na facilidade com que se traduzem dados digitais.
Mapeamento, como se nota, é certamente uma palavra-chave neste contexto,
pois é ele quem garante o processo de representação de dados em sons. Esta questão
ainda extrapola a sonificação e nos coloca em um contexto maior das artes que
dialogam com uma cultura de dados [data culture] contemporânea, dentre as quais está a
visualização, correlato visual da sonificação. A comparação entre estas duas técnicas
ajuda a elucidar o que a sonificação pretende alcançar e também levanta questões
importantes que a literatura voltada exclusivamente à sonificação ainda não alcançou e
que serão tratadas adiante no texto. De fato, em um mundo no qual parecem imperar os
estímulos visuais, a produção de visualizações (data charts, infográficos, etc) é muito
maior do que a de sonificações; e por serem tipicamente utilizadas na produção de
conhecimento científico, no jornalismo (data-journalism) e nas artes visuais que
utilizam mídias digitais, as visualizações incitaram reflexões teóricas em torno desta
cultura de dados muito mais amplas e aprofundadas no contexto visual do que no

13
contexto sonoro1. O paralelo entre os dois campos, porém, é simples. Assim como
gráficos são usados para representar dados objetivos e quantitativos através formas
geométricas, cores e disposição espacial, sons também podem ser usados como
representações através de mudanças em parâmetros como timbre, frequência, amplitude,
ou simplesmente através de samples de áudio pré-gravados. Dessa forma, um conjunto
de dados pode ser mapeado e analisado auditivamente. O quanto desta associação (sons/
dados) se faz perceptível ou não ao ouvinte, permitindo-o reconhecer estruturas e
padrões internos dos dados apenas a partir do som, é um problema à parte e que aponta
para uma questão recorrente dentro do campo da sonificação: suas diferentes aplicações
em contextos científicos, artísticos e educacionais.
Enquanto técnica, a sonificação serve tanto às ciências, sob uma perspectiva
funcional, como às artes. Isso se reflete claramente nos projetos e obra de sonificação,
em seus resultados, suas teorizações, suas formas de apresentação, e seu
público/consumidor/usuário. Por vezes, porém, a linha que separa estas duas aplicações
torna-se difusa, apontando para a existência de um campo denominado art-science.
Estas ideias serão retomadas adiante sob a luz do trabalho de Born e Barry (2011),
especialmente a partir de suas três lógicas de interdisciplinaridade e as aproximações
entre estas lógicas e os três contextos genéricos de sonificação que serão aqui
delineados: o educacional, o científico, e o artístico.

Objetivo, metodologia e estrutura do texto

Neste trabalho, investigo a sonificação enquanto prática artística, mas
inevitavelmente esbarro em suas práticas científicas. Estes dois universos, apesar de
possuírem seus próprios interesses e dinâmicas internas, frequentemente rementem um
ao outro, e por isso devem ser analisados em sua inter-relação. Todas as reflexões e
tentativas de teorização apresentadas neste trabalho partem do levantamento, da análise
e da comparação das produções de ambos universos: de um lado, artigos acadêmicos,
teses, e manuais escritos por pesquisadores da sonificação; de outro, obras artísticas, das
mais diversas estéticas, que utilizam a sonificação de alguma maneira. Uma lista de
obras consultadas pode ser encontrada no Apêndice B (p.122) deste trabalho, contendo

1 Database aesthetics (VESNA, 2007), mapping art (SIMANOWSKI, 2011) e visual complexity, (LIMA,
2011), são alguns dos conceitos usados para tratar desta recente prática artística baseada na ubiquidade
informacional e no mapeamento de dados, principalmente a partir de uma perspectiva das artes visuais e
do design.

14
sonificações dos mais variados tipos de dados (fenômenos ambientais, biológicos,
sociais, econômicos, etc) e nos mais variados formatos (música instrumental, música
eletroacústica, álbum musical, instalação sonora, escultura sonora, audiovisual, etc).
No Capítulo 1, levanto as definições de sonificação oferecidas por pesquisadores
do campo. Analiso como estas definições inscrevem o termo dentro de uma lógica
estritamente científica, alinhada com critérios de objetividade, sistematicidade e
reprodutibilidade. São definições que tomam como determinante de uma sonificação o
seu aspecto funcional, e por isso nem sempre dão conta das contrapartes artísticas. Após
esta análise, ofereço uma definição mais genérica para termo, reduzindo-o simplesmente
a seus preceitos técnicos. Com esta definição em mente, ofereço uma definição
complementar para a sonificação no âmbito artístico, justificando a escolha das obras
que analiso neste trabalho.
Para investigar as práticas artísticas da sonificação, recorro a alguns campos
artísticos mais ou menos consolidados nos quais, segundo minha argumentação, a
sonificação se insere: a art-science, a música, a arte sonora, e a data art. Justificando a
escolha destes campos: eles me apareceram quase que naturalmente durante o processo
de análise das produções artísticas, não por uma filiação claramente anunciada pelos
artistas a estes campos – embora muitos deles se anunciem de fato como músicos ou
artistas sonoros –, mas sim pelos próprios elementos que são colocados em jogo em
suas obras. Se uma grande parte das obras de sonificação lida diretamente com
problemáticas científicas e tecnológicas, talvez a art-science tenha algo a nos dizer. Se o
som é um elemento central nas obras de sonificação, talvez a música tenha algo a nos
dizer; e, quando a música falha em lidar com a sonificação, talvez a arte sonora tenha
algo a nos dizer. E se a totalidade das obras de sonificação lida com dados, assumindo-
os como o centro do discurso artístico, talvez a data art tenha algo a nos dizer. Como
demonstrarei, cada um desses campos ilumina aspectos específicos da sonificação,
desde suas implicações técnicas e estéticas, até suas dimensões políticas. Eles serão
tratados isoladamente nos capítulos subsequentes, sempre acompanhados de exemplos
de obras ou projetos.
No Capítulo 2, analiso a sonificação como uma prática de art-science, campo
interdisciplinar que articula questões intrínsecas das artes, das ciências e da tecnologia.
Partindo das reflexões de Born e Barry (2011) sobre o assunto, traço um paralelo entre

15
as lógicas de interdisciplinaridade por eles oferecidas – lógica de prestação de contas,
lógica de inovação e lógica ontológica – e os contextos em que a sonificação
tipicamente ocorre – respectivamente, o contexto educacional, o científico e o artístico.
No Capítulo 3, aproximo a sonificação dos campos da música e da arte sonora.
Na música, comento alguns exemplos de obras e práticas musicais geralmente citadas
por pesquisadores do campo como antecedentes da sonificação. São exemplos que
carregam alguma semelhança com a ideia de sonificação – a destacar, na representação
de elementos extramusicais, na automatização do processo composicional, e na
parametrização do fenômeno sonoro -, embora não sejam ainda, de fato, sonificações.
Sustento que apenas com o surgimento da computer music podemos realmente falar em
sonificações. Quanto à arte sonora, observo como a técnica da sonificação carrega certas
implicações temporais e espaciais que a afasta do discurso musical tradicional, em
direção a noção de arte sonora.
No Capítulo 4, por fim, insiro a sonificação em um contexto mais amplo de uma
cultura de dados. Sua expressão artística seria a data art, termo que engloba diversas
práticas que lidam, de alguma maneira, com dados, geralmente preocupadas com a sua
profusão e ubiquidade na sociedade contemporânea. Neste capítulo torna-se mais
evidente a dimensão política da sonificação pela maneira como algumas obras se
apropriam e subvertem certos tipos de dados relativos à vida em rede, a estatísticas
sociais, e à cultura do self-tracking.
Ao final, após apresentar a sonificação sob tantos pontos de vista diferentes,
tentarei amarrar todas estas perspectivas, buscando encontrar características genéricas
da sonificação e do seu discurso nas artes, sem nunca perder de vista, porém, sua
natureza múltipla.

16
 CAPÍTULO 1

Definições de sonificação

As definições do termo sonificação, apesar de existirem e serem uma

preocupação de pesquisadores do campo, torna-se uma tarefa difícil no momento em
que tentamos criar relações entre as práticas científicas e as práticas artísticas que
envolvem o termo. Os motivos para esta dificuldade são claros: a ciência pressupõe um
rigor metodológico e uma cobrança por resultados objetivos e quantificáveis que as
artes, pelo menos a princípio, não correspondem. Devemos, é claro, relativizar a arte
neste caso, pois existiram propostas artísticas ao longo do século XX marcadas por um
forte discurso cientificista, inclusive na música, como é o caso da produção europeia
após a Segunda Guerra Mundial.
Inevitavelmente, ao pesquisar sobre sonificação, nos deparamos com uma
imensa produção acadêmica e científica sobre o tema, realizada principalmente pelos
pesquisadores envolvidos com o ICAD (International Conference of Auditory Display),
fórum criado em 1992, ainda em atividade e majoritariamente preocupado com
aplicações científicas e com o desenvolvimento de interfaces computacionais. Já sob um
ponto de vista artístico, a literatura é bem menos densa e a definição do termo é menos
importante do que as reflexões sobre as implicações estéticas e poéticas desta arte de
mapeamento e sobre as relações da sonificação com os campos da música e da arte
sonora. Todavia, é notável como o uso da sonificação por artistas engendra discussões
no meio dos pesquisadores; e também como as definições propostas por estes
pesquisadores passaram a permear o discurso de alguns artistas, mesmo aquelas
definições que, a rigor, deveriam excluir qualquer intenção artística. Um levantamento
de algumas destas definições é fundamental para tratar deste assunto.
Apesar de alguns projetos acadêmicos anteriores serem classificados, a rigor,
como sonificações2, a primeira aparição do termo ocorreu em 1989, cunhado por
2 Frysinger, em artigo publicado em 2005, traça um histórico específico da pesquisa acadêmica em torno
dos displays sonoros, desde a década de 1950 até a década de 1980. O autor aponta alguns destes
trabalhos que surgiram concomitantemente aos desenvolvimentos da teoria da informação por Claude
Shannon, preocupados com a transmissão de informação via estímulos sonoros. Contudo, a primeira
pesquisa acadêmica mais consolidada sobre o assunto só apareceria em 1982, com a publicação da tese de

17
William Buxton, proeminente pesquisador e designer de interfaces computacionais da
Microsoft. Buxton, no contexto de uma conferência sobre visualização e HCI (human
computer interaction), definiu a sonificação como “o uso de som para a representação
de dados, sendo a contraparte da visualização” (BUXTON apud DUBUS;BRESIN,
2013, p.1, tradução nossa)3. É sintomático que um grande esforço de legitimação da
sonificação enquanto um campo científico nos anos seguintes tenha se dado através de
comparações com a visualização, campo já historicamente consolidado dentro das
ciências (SUPPER, 2012a). Estas comparações quase sempre assumem uma postura de
confronto com a hierarquia dos sentidos na sociedade ocidental, na qual a visão, pelo
menos desde a invenção da escrita, seria mais importante na construção de
conhecimento científico que os demais sentidos – em especial a audição, tipicamente
associada às sociedades ‘primitivas’ de tradição oral e formas menores de
conhecimento. Alexandra Supper, em sua tese sobre a sonificação e sobre o ‘lobby’
empreendido pelos pesquisadores para incluir a audição como igualmente importante na
construção de conhecimento, parte de leituras antropológicas sobre este assunto e
destaca como geralmente, nestas discussões, se assume “a distinção entre a visão como
neutra, imparcial, direcional, espacial e objetiva, e a audição como emocional, imersiva,
esférica, temporal e subjetiva” (SUPPER, 2012b, p.19, tradução nossa) 4. Subjacente à
sonificação está sempre o discurso de que ela seria capaz de tornar certos fenômenos e
dados científicos mais compreensíveis se utilizando das vantagens que a audição teria
sobre a visão em certos contextos – e não apenas para cientistas com a visão debilitada,
embora a acessibilidade seja um dos motores da sonificação. Este é um projeto
ambicioso, se considerarmos como a ciência, no curso de seu desenvolvimento,
constituiu-se majoritariamente em torno da visão, o único sentido considerado capaz de
garantir uma separação clara entre sujeito/observador e objeto/observado, tão cara às
ciências modernas. A luta desses pesquisadores é a de legitimar a sonificação como uma

Sarah Bly sobre o uso de displays sonoros para representação de dados multidimensionais. Somente a
partir da década de 1980, como aponta Frysinger, o campo da sonificação passou a ter avanços
significativos, identificando como motivo principal o acesso a tecnologias digitais, mais especificamente
o surgimento de placas de som em computadores pessoais e do protocolo MIDI (FRYSINGER, 2005,
p.3). Outros projetos mais antigos ainda são apontados por Jerome Joy (2011), encontrando na literatura,
em descobertas tecnológicas, e também na música, antecedentes metafóricos e literais da sonificação.
3 “The use of sound for data representation [, being] the auditory counterpart of data visualization”

((BUXTON apud DUBUS;BRESIN, 2013, p.1)

4 “A distinction between vision as neutral, detached, directional, spatial and objective, and hearing as

emotional, immersive, spherical, temporal and subjective [...]” (SUPPER, 2012a, p.19)

18
técnica científica, tarefa difícil tendo em vista a ruptura com as convenções de análise
científica e representação de dados que esta nova forma de pesquisa propõe (SUPPER,
2012a).
Em 1992, ocorreu a primeira conferência do ICAD sobre sonificação, fundada
por Gregory Kramer. Dois anos depois, foi publicado o livro Auditory Display,
contendo as descobertas e discussões desta primeira conferência, além de algumas
primeiras tentativas de definição para o termo sonificação. A mais elaborada delas foi
proposta por Carla Scaletti, definindo o termo como:

O mapeamento de relações numericamente representadas de algum domínio

em estudo às relações em um domínio acústico com o propósito de
interpretar, entender, ou comunicar relações do domínio em estudo
(SCALETTI apud DUBUS;BRESIN, 2013, p.1, tradução nossa)5.

É interessante como, nesta definição, a dinâmica de mapeamento, a qual

geralmente associamos à técnica da sonificação, aparece como elemento determinante, e
também como o aspecto funcional – ou seja, a utilidade prática da sonificação – ganha
uma importância estrutural para definir o termo.
A primeira definição amplamente aceita do termo foi proposta por Kramer em
conjunto com diversos outros pesquisadores em 1997, resultado da conferência
realizada no mesmo ano:

Sonificação é definida como o uso de áudio, excetuando sons da fala, para

transmitir informação. Mais especificamente, sonificação é a transformação
de relações de dados em relações perceptíveis de um sinal acústico com o
propósito de facilitar a comunicação ou a interpretação (KRAMER et al,
1997, p.3, tradução nossa)6.

Esta definição continua sendo muito citada em artigos sobre o assunto por ser
genérica o suficiente para abarcar diversas formas de sonificação. Comparada com a de
Scaletti, esta definição troca o termo mapeamento por ‘transformação’, provavelmente
para incluir também a prática da audificação que, à risca, não utiliza mapeamentos.
Além disso, apresenta fala humana e sonificação como formas distintas de transmissão

5 “A mapping of numerically represented relations in some domain under study to relations in an acoustic
domain for the purposes of interpreting, understanding, or communicating relations in the domain under
study’’ (SCALETTI apud DUBUS;BRESIN, 2013, p.1).
6 “Sonification is defined as the use of nonspeech audio to convey information. More specifically,

sonification is the transformation of data relations into perceived relations in an acoustic signal for the
purposes of facilitating communication or interpretation” ((KRAMER et al, 1997, p.3).

19
de informação através do som, pois a fala produz representações que operam no nível da
linguagem, algo que a sonificação não faz. Por este motivo, alguns pesquisadores
excluem a possibilidade de uma sonificação baseada em sons vocais pois,
aparentemente, a fala acabaria por monopolizar a atenção do ouvinte para seu conteúdo
linguístico, obscurecendo outras informações representadas por outros tipos de sons7.
Apesar da clareza desta definição de Kramer et al (1997), na medida em que o
campo foi se desenvolvendo e novas aplicações foram sendo testadas, preocupações de
ordem musical e estética dentro da sonificação começaram a questionar seus limites
(BARRASS, 2011; GROND;HERMANN, 2011a). O fato é que a música, pelo menos
até o surgimento da arte sonora na segunda metade do século XX, sempre teve a
primazia artística e teórica sobre o som, sendo apenas natural que alguns pesquisadores,
interessados no fenômeno sonoro e preocupados com a qualidade de suas sonificações,
voltem-se para ela. De um ponto de vista prático e científico, é interessante que uma
sonificação ‘soe bem’, ou seja, possua um resultado sonoro final esteticamente
interessante ou minimamente agradável, garantindo que o usuário/ouvinte não se canse
tão rápido e melhorando assim a sua comunicabilidade. Inevitavelmente, pelo uso
generalizado de instrumentos eletrônicos e computacionais, a sonificação acaba se
aproximando do campo do design sonoro e da música eletroacústica, áreas que lidam
com áudio e com ferramentas computacionais de síntese sonora.
Ao mesmo tempo, artistas sonoros e músicos passaram a se interessar pela
sonificação e a utilizar a técnica em suas obras, algo que também alimentou as
discussões sobre os limites da sonificação. A definição inicial proposta por Kramer,
desde que se considere a música como capaz de comunicar algo externo a ela mesma,
permite este tipo de embate, com alguns pesquisadores defendendo uma visão mais
estrita e sistemática do termo, e outros defendendo uma visão mais abrangente e que

7 Posteriormente, outros pesquisadores vieram a flexibilizar esta posição, entendendo a importância

afetiva e cognitiva que os sons vocais possuem. De um lado, algumas pesquisas começaram a
experimentar com síntese formântica, uma técnica de síntese sonora baseada na configuração espectral de
vogais. A tese implícita que sustenta este tipo de técnica é a de que o ouvido humano, por natureza, já
possui uma enorme facilidade em distinguir alterações finas neste tipo de som, aumentando assim a
eficiência da sonificação (BEN-TAL;BERGER, 2004; CASSIDY et al, 2004; GROND;HERMAN,
2011b). De outro lado, algumas pesquisas investiram nos chamados spearcons (speech + icon), curtos
sinais de áudio que são obtidos via text-to-speech (softwares que sintetizam sons de fala a partir de um
input textual) e acelerados ao ponto de não serem mais reconhecíveis enquanto fala
(WALKER;NANCE;LINDSAY, 2006). Os spearcons foram pensados especialmente para interfaces
sonoras de softwares voltados a usuários com deficiência visual, de forma que cada item da tela, ao ser
percorrido com o cursor, dispararia um spearcon diferente, auxiliando a sua navegação.

20
inclua suas contrapartes artísticas. Como observam Dubus e Bresin (2013, p.2), esta
divergência encontra reflexos no programa das conferências do ICAD, com uma
crescente participação de projetos que transitam entre os campos científicos e artísticos.
Entre os pesquisadores é amplamente aceito o fato que considerações estéticas no
design de sonificações são importantes para garantir sua melhor comunicabilidade, mas
ainda assim não existe um consenso em sua definição por sua relação com o campo
artístico.
Possivelmente em resposta a estas discussões, o pesquisador Thomas Hermann
(2008) publicou um artigo propondo uma nova definição do termo, buscando
estabelecer a sonificação como um método científico de investigação e a afastando,
consequentemente, de possíveis relações com o campo artístico. Sua visão da relação
entre sonificação e música é colocada de maneira muito clara no artigo:

Outro desafio para a definição surge com o uso da sonificação nas artes e na
música: recentemente, cada vez mais artistas têm incorporado os métodos de
sonificação em seus trabalhos. Que implicações isso tem para o termo
sonificação? Considere a visualização científica vs artística: qual é a
diferença entre uma pintura e uma visualização moderna? Ambas são
certamente cores organizadas em uma superfície, ambas podem ter
qualidades estéticas, mas, ainda assim, elas operam em níveis completamente
diferentes: a pintura é interpretada de maneira distinta da visualização.
Espera-se que a visualização possua uma conexão precisa com os dados
subjacentes, do contrário ela seria inútil ao processo de interpretação dos
dados. Ao observar pinturas, porém, o foco está mais em como o observador
está sendo tocado por ela ou qual interpretação o pintor quer inspirar do que o
quanto pode ser aprendido sobre os dados subjacentes. Analogias entre
sonificação e música são parecidas (HERMANN, 2008, p.2, tradução
nossa)8.

Vemos, mais uma vez, a estratégia argumentativa de comparar a sonificação com

um campo já amplamente aceito dentro da pesquisa científica. Aparentemente, Hermann
refere-se somente à visualização tradicional ou clássica, feita a partir de gráficos que de
fato auxiliam a pesquisa científica em função da sistematicidade na representação dos

8 “Another challenge for the definition comes from the use of sonification in the arts and music: recently
more and more artists incorporate methods from sonification in their work. What implications does this
have for the term sonification? Think of scientific visualization vs. art: what is the difference between a
painting and a modern visualization? Both are certainly organized colors on a surface, both may have
aesthetic qualities, yet they operate on a completely different level: the painting is viewed for different
layers of interpretation than the visualization. The visualization is expected to have a precise connection
to the underlying data, else it would be useless for the process of interpreting the data. In viewing the
painting, however, the focus is set more on whether the observer is being touched by it or what
interpretation the painter wants to inspire than what can be learnt about the underlying data. Analogies
between sonification and music are close-by” (HERMANN, 2008, p.2).

21
dados. O problema é que, assim como a sonificação, a visualização também é um
campo múltiplo e que possui suas próprias incrustações nas artes visuais, de forma que a
rigidez e a sistematicidade que Hermann espera da sonificação não são um dado
absoluto dentro da visualização como um todo. Por vezes, visualizações são criadas
mais para criar generalizações sobre determinados temas do que para informar valores
numéricos absolutos. A diferença fundamental é que, nestes casos, procura-se criar uma
perspectiva subjetiva para os dados a fim de se criar um sentido social para eles. Como
veremos adiante no capítulo sobre data art, esta é uma perspectiva importante para se
entender os usos artísticos da sonificação.
Em sua definição, Hermann estabelece quatro condições para que uma
determinada técnica de uso funcional do som seja considerada uma sonificação.
Primeiro, o som deve refletir propriedades ou relações objetivas dos dados de entrada.
Esta condição é fundamental para que uma sonificação seja útil ao ouvinte em sua tarefa
de interpretar ou analisar um conjunto de dados de forma objetiva. Segundo, a
transformação deve ser sistemática, ou seja, deve haver uma definição precisa de como
os dados modulam o som resultante. Terceiro, a sonificação deve ser reprodutível, ou
seja, com os mesmos dados e mesmas interações o som resultante deve ser
estruturalmente idêntico. Por fim, a última condição para que se tenha uma sonificação
é a possibilidade do sistema ser usado repetidas vezes com os mesmos dados ou com
dados diferentes (HERMANN, 2008). Como se nota, todas estas condições impõem à
sonificação aspectos essenciais da metodologia de pesquisa científica: objetividade,
sistematicidade, reprodutibilidade. Eventualmente, Hermann reviu sua posição em
artigo publicado junto com o artista Florian Grond, destacando que uma sonificação que
responda a estes critérios não necessariamente resulta eficiente e também reconhecendo
a importância de considerações estéticas no processo de design (GROND;HERMANN,
2011a).
Este artigo de Hermann de 2008, em função da forte repercussão, acabou sendo
referenciado não só no âmbito científico, mas também no âmbito da pesquisa em arte.
Por exemplo, em artigo publicado em 2009, Schoon e Dombois descreveram o processo
de seleção de obras que vieram a integrar o banco de dados do website Sonifyer9, um
projeto de investigação em sonificação nas ciências e na música. As escolhas curatoriais

9 Disponível em: <http://www.sonifyer.org/>. Acesso em 09/06/2019.

22
deste projeto foram claramente pautadas pela definição de Hermann, a começar pelo uso
do termo “música baseada em sonificação” [sonification-based music] para descrever as
obras selecionadas, um termo marcador que não serve a outra coisa senão delimitar os
usos científicos e artísticos da sonificação. Os autores não chegaram a propor de fato
uma definição própria, porém, na medida em que apontam os critérios de seleção das
obras, inevitavelmente acabaram sugerindo uma espécie de definição para o que eles
julgam ser uma sonificação. São três os critérios estabelecidos: (1) transposição de sons
inaudíveis para o espectro de frequências audíveis; (2) uso do sentido da audição como
forma de ganhar conhecimento; (3) desenvolvimento de habilidades de escuta para
serem utilizadas em contextos de investigação científica (SCHOON;DOMBOIS, 2009,
p.2). Com exceção do primeiro critério, que apenas inclui técnicas de audificação, os
outros dois são perfeitamente alinhados com a perspectiva científica da sonificação.
Obviamente, eles partem da premissa que existe uma definição geral da sonificação
consagrada pelo uso comum – e este uso comum talvez seja nosso principal guia na
busca de uma definição adequada ao uso artístico.

Como se observa, todas estas definições levantadas e as subsequentes discussões

em torno delas surgiram em um contexto acadêmico de pesquisa científica,
especialmente ligado ao círculo de pesquisadores do ICAD10. Para a proposta da minha
pesquisa, que é a de investigar a sonificação no meio artístico, as definições
apresentadas não bastam para lidar com a variedade de obras existentes que se utilizam,
em algum nível, da sonificação. Obras artísticas não necessariamente a utilizam com o
objetivo de transmitir informações de maneira objetiva e sistemática através do som. O
design sonoro dessas obras também não é feito a partir de considerações sobre a
funcionalidade do som ou sobre o conforto do ouvinte, mas sim a partir da proposta
estética do artista. É claro que, em alguns casos, esta distinção não é tão clara.
Alexandra Supper (2014), por exemplo, observa como alguns artistas, em suas práticas
de sonificação, tendem a ser tão sistemáticos e objetivos quanto os cientistas,

10 No Apêndice A deste trabalho, ofereço uma continuação destas discussões, desta vez levantando
algumas formas de categorização. Ao mesmo tempo que a definição de sonificação aparece como uma
preocupação para os pesquisadores do campo, também aparece a preocupação em delimitar categorias
para o termo, ou seja, identificar tipos diferentes de sonificação, que elementos estão em jogo em cada
tipo e, em última instância, qual tipo é mais ou menos adequado para uma determinada aplicação ou
funcionalidade. São, portanto, categorias criadas para organizar o conhecimento sob uma perspectiva
científica e prática.

23
entendendo que manipulações nos dados ou nos sons para fazer ‘soar melhor’ iriam
contra a própria ideia da sonificação de externalizar e automatizar parte do processo
criativo11.
Por esses motivos, talvez uma visão mais genérica sobre a sonificação seja,
inicialmente, o mais adequado, mantendo a importância da relação entre os dados e os
sons resultantes, mas flexibilizando a sistematicidade e a funcionalidade desta relação.
Considerando a variedade estética das obras de sonificação levantadas durante minha
pesquisa e também os três contextos da sonificação que serão apresentados adiante, opto
por uma definição do termo simplificada e que reduza a sonificação aos seus aspectos
técnicos mais simples, descolada de preocupações tipicamente científicas. Assim, nos
aproximamos de uma definição próxima daquela enunciada na introdução deste texto,
que reduzia a sonificação à representação de dados em eventos sonoros, de forma que
qualquer sonificação, necessariamente, depende de apenas três pontos: (1) dos dados
que serão sonificados, (2) do algoritmo que executa o mapeamento ou a transposição
(no caso da audificação) dos dados, (3) e da renderização, ou realização, sonora.
O primeiro ponto diz respeito simplesmente à existência de dados sobre os quais
será feita a sonificação. Isso independe da sua natureza, do seu lugar de armazenamento,
do tamanho do banco de dados e se eles foram coletados em tempo real ou não.
Depende, porém, da mensurabilidade dos fenômenos que se deseja sonificar e a
subsequente possibilidade de representação destes fenômenos, seja ela digital ou
analógica. Contudo, por ter surgido em um contexto computacional e de digitalização
das mídias, a esmagadora maioria dos trabalhos de sonificação lida com dados
numéricos representados digitalmente. Os diversos tipos de sensores geralmente usados
em medições, por exemplo, fazem isto: recebem um estímulo de um determinado
fenômeno da natureza e o discretiza em uma sequência de valores numéricos absolutos.
Da mesma forma, fenômenos sociais e econômicos são quantificáveis através de
cálculos estatísticos, também gerando dados numéricos. Ainda, outros fenômenos já
nascem como dados numéricos, como aqueles internos ao mundo digital e à internet.
O segundo ponto se refere ao sistema da sonificação, ou seja, ao algoritmo ou à
série de regras que determinam a maneira pela qual os dados serão representados
sonoramente. Em um sistema computacional, dados podem ser mapeados à parâmetros

11 Voltarei a este assunto adiante no Capítulo 3 sobre as relações entre sonificação, música e arte sonora.

24
de um sintetizador (frequência, intensidade, posição no panorama estéreo, modulação,
timbre, etc), associados [triggered] a samples de áudio pré-gravados, ou, no caso da
audificação, podem ser lidos como se fossem uma onda sonora representada
digitalmente, à maneira de um sintetizador wavetable. Neste último caso, o sistema
define também o fator de transposição para que o resultado sonoro corresponda à faixa
de audibilidade humana (entre 20Hz e 20.000Hz). Este processo, contudo, não está
necessariamente restrito ao universo computacional. O mapeamento pode ser feito,
digamos, ‘à mão’ em um contexto musical tradicional, de forma que o compositor, com
os dados em mãos, mapeia-os a determinados parâmetros composicionais como altura,
intensidade, duração, timbre, etc. Neste caso, teríamos um objeto intermediário entre o
mapeamento e a realização sonora final: a partitura.
Por fim, o terceiro ponto é o da renderização ou realização sonora, em que os
sons são de fato emitidos. Novamente, não estamos restritos aqui a sistemas
computacionais e eletrônicos, em que o áudio sairia de um software específico em
formato digital, passaria por uma conversão digital-analógica, e seria então difundido
via alto-falantes. Retomando o exemplo da música tradicional, a leitura de uma partitura
gerada a partir de mapeamentos de dados por um instrumentista qualquer também pode
ser considerada como a realização sonora de uma sonificação. Fecha-se, com a emissão
sonora, toda a cadeia de transformações que é tão cara ao discurso da sonificação. Este
discurso intenta colocar em relação direta e causal o som emitido ao final e o fenômeno
real sendo sonificado, com a quantização do fenômeno em dados e o mapeamento
destes dados em som no meio do caminho.
Estes são, portanto, os três aspectos que julgo essenciais para definir a técnica
sonificação. Esta definição genérica não é exatamente original e tampouco uma resposta
às definições de pesquisadores aqui apresentadas. Na verdade, ela está sempre implícita
nos artigos sobre sonificação por descrever, no fundo, a técnica por trás do termo. Do
contrário, usando a definição de Kramer et al (1997) como exemplo, quaisquer
fenômenos acústicos do mundo natural poderiam ser entendidos como sonificações, na
medida em que todos eles transmitem informações sobre sua causa, sua localização, os
materiais e os tamanhos dos objetos envolvidos na produção destes sons, etc.
Ao reduzir a sonificação ao seu procedimento técnico, tornei sua definição
abrangente o suficiente para incluir tanto as práticas científicas quanto as práticas

25
artísticas que envolvem o termo. No entanto, se voltarmos agora nosso interesse
somente para o contexto artístico, esta definição técnica peca por ser abrangente demais.
A rigor, ela pode incluir qualquer tipo de prática artística que utilize sensores para gerar
ou modificar sons – afinal, estes sensores não fazem mais do que transformar estímulos
recebidos em dados numéricos para serem, posteriormente, mapeados a algo. Nem todas
as expressões artísticas que utilizam a técnica da sonificação me interessam aqui, e por
isso proponho um recorte específico do termo neste trabalho. Este recorte se baseia num
certo discurso, recorrente em obras de sonificação, que identifica, nos dados
sonificados, o tema e a razão de ser da obra. Tudo na obra, desde seu título, passando
pela maneira como ela é realizada e pelo contexto de realização, até a maneira como ela
é anunciada pelo artista, reforça ou aponta para este discurso em que os dados – e, por
conseguinte, também os fenômenos aos quais eles se referem – são tomados como o seu
aspecto mais importante, sem o qual ela perderia todo seu sentido. Pode-se dizer,
portanto, que a definição que proponho para lidar exclusivamente com as expressões
artísticas da sonificação neste trabalho é bipartida: primeiro, a técnica, e, acima dela e
também por ela sustentada, o discurso.
Este recorte pautou, desde o início, o levantamento das obras de sonificação que
compõem este trabalho, e essa dimensão discursiva que estou tomando como definidora
da sonificação nas artes deverá ficar mais clara conforme analiso os exemplos que
seguirão nos próximos capítulos.

26
 CAPÍTULO 2

Sonificação e art-science12

O primeiro dos campos artísticos que analisarei é o da art-science. O motivo

para ser este o primeiro campo a ser investigado – ao invés da música, que pareceria ser
a escolha mais óbvia – é a sua abrangência, pois os contextos de sonificação que extraio
desta investigação conseguem abarcar todas as expressões possíveis desta prática,
funcionando quase como categorias. Contudo, não são exatamente categorias, pois tratar
destes contextos nestes termos seria demasiado redutor, uma vez que eles não são
excludentes entre si e frequentemente se sobrepõem em uma mesma obra.
A partir da leitura dos principais artigos sobre o tema e do levantamento e
análise de dezenas de obras que utilizam este tipo de procedimento, é possível perceber
a existência – às vezes de maneira mais clara, às vezes menos clara – de três contextos
distintos em que a sonificação se coloca, cada um deles com características e
funcionamentos próprios: o educacional, o científico, e o artístico. Neste capítulo,
investigarei cada um destes contextos, aproximando-os das três lógicas de
interdisciplinaridade que Georgina Born e Andrew Barry (2011) propõem ao investigar
a produção de um campo que eles denominam art-science. Apesar de Born e Barry não
tratarem de sonificação em momento algum, escolhi utilizá-los como referencial teórico
por entender que a sonificação, enquanto campo interdisciplinar, poderia responder às
mesmas lógicas propostas por eles, configurando-se como uma expressão de art-science
nos moldes por eles tratados.
A sonificação abarca conhecimentos de computação, design de interfaces,
design sonoro, música, psicoacústica e, não menos importante, conhecimentos
científicos acerca dos dados sendo sonificados. Trata-se, portanto, de uma prática
essencialmente interdisciplinar, marcada pela aproximação entre arte, ciências e
tecnologia. Este é o principal ponto de contato com a art-science, campo que articula as
mesmas áreas do conhecimento. A interdisciplinaridade acaba tornando este campo

12 A aproximação entre sonificação e art-science não é uma ideia original deste trabalho e foi primeiro
sugerida por Alexandra Supper (2014).

27
amorfo e seus limites pouco claros, resistindo a definições muito categóricas. Se
quiséssemos nos arriscar a produzir uma definição, poderíamos dizer que a art-science é
um tipo de prática artística em que problemáticas científicas são incorporadas como o
tema e a razão de ser das obras, de forma que o entendimento da obra depende
diretamente do entendimento das problemáticas científicas que ela incorpora. O
problema com esta definição é que o oposto também é verdadeiro: poderíamos dizer que
a art-science é um tipo particular de pesquisa científica que incorpora preocupações
artísticas de ordem estética como uma forma de revigorar, justificar ou aproximar a
produção científica de determinados públicos. Veremos adiante como estas duas
possibilidades correspondem às visões artísticas e institucionais, respectivamente, para
o termo, embora ambas enfatizem sua natureza interdisciplinar.
No fundo, esta interdisciplinaridade mobilizada pela art-science pode ser
reduzida ao contato de apenas duas grandes áreas do conhecimento humano, as ciências
e as humanidades (dentro das quais estão as artes); duas áreas que, ao longo do século
XX, foram vistas por alguns como insolúveis ou como ignorantes uma à outra. Esta
última era a tese de C.P. Snow (1958), apresentada em sua famosa palestra The Two
Cultures. Snow, no contexto britânico do pós-guerra, enxergava um enorme abismo
entre estas duas ‘culturas’, a dos cientistas acadêmicos e a dos intelectuais da literatura.
Como ele argumenta ao longo da palestra, tal abismo, com um grupo alheio à produção
do outro, seria contraproducente do ponto de vista acadêmico e, em última análise, do
ponto de vista do desenvolvimento econômico nacional, e por isso deveria ser superado.
A palestra de Snow foi impactante o suficiente não só para atrair críticos vorazes, mas
também para incitar, posteriormente, ações concretas no Reino Unido, como a criação
de instituições interessadas em fomentar a interdisciplinaridade entre arte e ciência e em
promover mudanças no sistema educacional britânico.
A história do impacto da palestra de Snow é brevemente narrada por Born e
Barry (2011) em seu artigo sobre art-science, em que os autores comparam seus
desdobramentos institucionais nos contextos britânico e norte-americano e distinguem a
visão institucional da visão dos artistas sobre a art-science. Basicamente, no Reino
Unido, a divisão cultural entre artes e ciências reapareceu como um tópico de debate nas
décadas de 1980 e 1990 em um contexto de descrença pública com as ciências e de
cortes no investimento estatal à pesquisa. Ao contrário do debate proposto por Snow na

28
década de 1950, que se preocupava principalmente com a ignorância nos círculos
acadêmicos e políticos, este novo acrescentou uma nova peça fundamental ao
surgimento da art-science: o público. Esta nova preocupação moveu o foco do debate
para novas maneiras de ‘comunicar’ as ciências e de criar engajamento público. Isso
passava, inevitavelmente, por uma estetização da produção científica, e as artes
entraram neste contexto como um instrumento capaz de fazer o público se envolver
cognitivamente, interativamente e afetivamente com as ciências de maneira pragmática.
Em meados da década de 1990, surgiram iniciativas governamentais no Reino Unido
com a finalidade de financiar projetos de art-science, convocando artistas a criar obras
com o propósito comum de promover uma comunicação entre ciências, artes e
humanidades com vistas ao progresso econômico e à inovação tecnológica.
No contexto que se formou no Reino Unido,

[…] art-science é concebida para tornar a ciência mais justificável e

comunicável para o público, seja por sua capacidade de atrair o público para
a ciência através de sua estetização, seja por trazer a experiência afetiva e
expressiva para o domínio científico. Art-science promete criar um público
para a ciência de uma forma que a ciência possa então ser considerada
justificável […] (BORN; BARRY, 2010, p.109, tradução nossa)13.

Nos Estados Unidos, o cenário foi bastante semelhante ao britânico, com as

instituições de fomento delimitando a art-science como um campo sem existência
própria, sempre subordinado à noção de engajamento público. A diferença estaria
somente na criação de uma história da art-science em torno dos chamados ‘studio labs’,
ambientes híbridos de experimentação e práticas inovadoras em que novas tecnologias
são desenvolvidas juntamente com suas aplicações criativas. Alguns exemplos deste
modelo são apontados por Born e Barry (2011) como a Bell Labs, o MIT Media Lab,
Xerox PARC, IRCAM e ZKM.
A art-science, porém, enquanto um campo autônomo, é vista de maneiras
distintas pelas instituições de fomento (visão acima descrita) e pelos artistas, sendo a
visão destes últimos muito mais heterogênea, inserindo-se em linhagens e práticas
artísticas diversas:

13 “[…] art-science is conceived as rendering science more accountable and communicable to the public,
whether through its capacity to attract the public to science through its aestheticization, or by bringing
affective and expressive experience into the domain of science. Art-science promises to assemble a public
for science in a form to which science can then consider itself accountable [...]” (BORN; BARRY, 2010,
p.109).

29
 Enquanto a art-science é uma categoria prática e intencional de artistas,
instituições e agências de fomento, ela forma parte de um espaço maior e
heterogêneo de disciplinas que se sobrepõem nas intersecções entre artes,
ciências e tecnologias, incluindo práticas como new media art, arte digital,
arte interativa, arte imersiva, bio-arte e wet art14, e estes domínios se apoiam
em interdisciplinas adjacentes da robótica, informática, inteligência artificial,
engenharia de tecidos e biologia sistêmica (BARRY;BORN;WESZKALNYS,
2010, p.38, tradução nossa)15.

Born e Barry, a partir de entrevistas realizadas com artistas, identificaram

algumas linhagens que conduziram ao surgimento da art-science. A primeira delas é a
da
[…] arte conceitual e pós-conceitual, incluindo performance, arte ativista e
instalação; a segunda compreende movimentos artísticos históricos e
tecnológicos, na medida em que eles conduzem às artes multi-, inter- e trans-
mídia do presente; e a terceira compreende, de maneira geral,
desenvolvimentos e debates em torno das ciências e tecnologias
computacionais e biológicas (BORN;BARRY, 2010, p.110, tradução nossa)16.

Esta diferença que existe entre as duas maneiras de se pensar a art-science –

pelas instituições e pelos artistas – ilustra bem um dos pontos centrais do artigo que é a
distinção de três lógicas de interdisciplinaridade: a lógica de prestação de contas
[accountability], a lógica de inovação e a lógica ontológica – as duas primeiras mais
próximas da visão institucional, a última mais próxima da visão artística. Estas três
lógicas compreendem os mecanismos, a motivação ou a justificativa para determinadas
práticas interdisciplinares, de forma que a art-science, sendo uma prática
interdisciplinar, poderia ser analisada a partir destas três lógicas; e apesar de Born e
Barry não citarem a sonificação, ela poderia ser igualmente pensada a partir destas
mesmas três lógicas, pois trata-se, como demonstrarei, de uma prática de art-science.
Isto não significa, porém, que tais lógicas sejam excludentes entre si, pois elas
frequentemente se sobrepõem. Ainda assim, analisando a produção acadêmica sobre

14 Imagino tratar-se de um erro de digitação, pois não há qualquer menção de uma ‘arte molhada’ nos
cânones artísticos. Leia-se, portanto, ‘web-art’.
15 “While art-science is a practical, intentional category for artists, institutions and funding bodies, it

forms part of a larger, heterogeneous space of overlapping interdisciplines thrown up at the intersection of
the arts, sciences and technologies, including such practices as new media art and digital art, interactive
art and immersive art, bio-art and wet art, just as these domains abut adjacent interdisciplines from
robotics, informatics, artificial and embodied intelligence to tissue engineering and systems
biology”(BARRY;BORN;WESZKALNYS, 2010, p.38).
16 “[…] conceptual and post-conceptual art, including performance, activist and installation art; the

second encompasses historical art and technology movements, as they issue in the multi-, inter- and trans-
media arts of the present; and the third comprises, broadly, developments and debates around the
computational and bio sciences and technologies” (BORN;BARRY, 2010, p.110).

30
sonificação e o repertório de obras, conseguimos distinguir com alguma clareza estas
três lógicas (prestação de contas, inovação, ontológica) operando dentro dos três
contextos de sonificação (educacional, científica e artística, respectivamente).
Traçarei a seguir um paralelo entre estas três lógicas de interdisciplinaridade e os
três contextos de sonificação, ilustrando cada um deles com exemplos de obras.

2.1 Lógica de prestação de contas, sonificação educacional

A lógica de prestação de contas [accountability] é aquela que promove a
interdisciplinaridade com o intuito de contextualizar e conectar o conhecimento
científico com outras formas de conhecimento, tornando-o assim o mais acessível,
compreensível e justificável para o público (BORN;BARRY, 2011, p.104). Esta lógica
de interdisciplinaridade, portanto, “[…] ajuda a nutrir uma cultura de prestação de
contas, rompendo com as barreiras entre ciência e sociedade, levando à maior interação
entre cientistas e os vários públicos e partes interessadas [stakeholders]
(BARRY;BORN;WESZKALNYS, 2010, p.31, tradução nossa)17. Por vezes, esta lógica
opera em projetos de pesquisa científica de alto custo, alguns de financiamento público,
de difícil entendimento ou aplicabilidade imediata, e que por esses motivos precisam se
autopromover frente ao público para justificar sua própria existência.
Alguns projetos de sonificação de dados científicos podem ser facilmente
inseridos neste processo de busca pelo engajamento público. São projetos que, apesar de
possuírem alguma intenção artística, têm como principal característica uma certa função
pedagógica, com o propósito de educar e apresentar ao público, de maneira leve e
estetizada, diversos conceitos e fenômenos das ciências naturais. Além disso, o espaço
de apresentação destes projetos é geralmente diferente dos espaços artísticos
tradicionais, consistindo basicamente em museus científicos, conferências, feiras
científicas e palestras de ciência popular, ou seja, ambientes de não-especialistas e
voltados ao público leigo de estudantes e curiosos (SUPPER, 2014).
Estes aspectos da sonificação que chamamos educacional certamente implicam
algumas características estéticas recorrentes deste tipo de proposta. Na busca pelo
engajamento público, cientistas frequentemente acabam lançando mão de sonoridades

17 “[…] it helps to foster a culture of accountability, breaking down the barriers between science and
society, leading to greater interaction, for instance, between scientists and various publics and
stakeholders” (BARRY;BORN;WESZKALNYS, 2010, p.31).

31
musicais tradicionais, baseadas em notas de altura definida, melodias simples,
sequências harmônicas familiares, ritmos regulares, e sínteses sonoras simulando
instrumentos musicais tradicionais. A escolha por este tipo de sonoridade é estratégica:
são essas as sonificações que mais soam como música no sentido corrente do termo 18 e,
soando como música, são mais eficientes em cativar um público de leigos, jovens
estudantes e, possivelmente, investidores para determinados campos de pesquisa
científica. Espera-se com isso produzir um efeito de maravilhamento, estupefação ou
encantamento nos ouvintes, atiçando sua curiosidade para a natureza dos dados
subjacentes à sonificação. Mark Ballora, pesquisador do campo, utiliza o termo “efeito
wow!” (2014a) para descrever este efeito de maravilhamento. Já Alexandra Supper
(2014), analisando o discurso de alguns artistas e pesquisadores, utiliza o conceito de
‘sublime’ para descrever esta promessa de experiências grandiosas da natureza que a
sonificação intenta proporcionar. Com estes aspectos em mente, apresentarei três
exemplos de obras e projetos de sonificação para ilustrar este contexto educacional.

2.1.1 Rhythms of the Universe

Rhythms of the Universe19 é um filme 22 minutos produzido nos Estados Unidos
em 2013 por Mickey Hart, musicólogo e antigo baterista da banda de rock Grateful
Dead, e George Smoot III, astrofísico, cosmólogo e vencedor do prêmio Nobel de física
em 2006. Além destes dois nomes, Mark Ballora também participou na produção do
filme, contribuindo com as sonificações de dados científicos. O propósito central do
filme é apresentar diversos conceitos da astrofísica para estudantes, como órbitas
planetárias, ondas gravitacionais, ventos solares, radiação cósmica, etc. Nas palavras de
Ballora, trata-se de uma “especulação poética e científica sobre os desejos inatos da
humanidade de entender o cosmos, contando com narrações de Hart e Smoot junto de
uma colagem de músicas, vídeos, visualizações e sonificações” (BALLORA, 2014b,
18 Tratar de música nestes termos é extremamente escorregadio e possivelmente redutor, especialmente
quando queremos nos referir a um tipo de sonoridade musical que reconhecemos apenas tacitamente.
Baseio-me em uma percepção pessoal de que, fora dos círculos acadêmicos e musicais, os critérios para
definir o que é ou não música são muito mais rígidos e estreitos entre o público em geral. Escrevo, aqui,
com a esperança de que o leitor partilhe desta percepção, e onde isso falhar, ofereço os exemplos
seguintes de Rhythms of the Universe e Walk on the Sun para ilustrar o que me refiro por “música no
sentido corrente do termo”.
19 Infelizmente, durante a escrita deste trabalho, a versão completa do filme Rhythms of the Universe foi

retirada da internet. No entanto, é possível consultar excertos da obra através de vídeos amadores
filmados durante uma palestra com os dois autores. Disponível em: <https://www.youtube.com/watch?
v=hS_pHUEI6lc&feature=youtu.be>. Acesso em 06/06/2019.

32
p.1, tradução nossa). Os vídeos utilizados são imagens provavelmente coletadas de
telescópios e estações espaciais e as visualizações são animações geradas para simular
os fenômenos físicos em questão.

Figura 1 - Cartaz do filme Rhythms of the Universe

Fonte: IMDB20
A sonificação, portanto, não é o único recurso utilizado no filme, mas é
certamente um recurso importante dentro do discurso científico que ele pretende
transmitir ao público. Como observa Ballora,
20 Disponível em: <https://www.imdb.com/title/tt3801158/>. Acesso e: 10/06/2019.

33
 Este filme pode ser visto como uma peça de “edu-entretenimento”
[edutainment], um termo que parece ter se tornado comum nos anos 1970
para descrever uma programação feita para educar através do entretenimento,
como documentários sobre a natureza, programas científicos de televisão ou
programas de conscientização à saúde. Em Rhythms of the Universe, o
objetivo do design era o de criar sonificações que fossem visceralmente
atraentes e potencialmente informativas” (BALLORA, 2014b, p. 1, grifo
nosso, tradução nossa)21.

Esta citação não apenas aproxima o filme dos aspectos que definem a
sonificação educacional, como também revela uma questão importante dentro deste
contexto, ilustrada em nosso grifo da palavra ‘potencialmente’. De fato, ao longo do
filme, as músicas compostas como ambiências são quase indistinguíveis das
sonificações, de forma que as sonificações acabam operando apenas no nível do
discurso, reforçando assim o caráter científico da obra mas não transmitindo, por si só,
nenhuma informação objetiva e quantificada. Isso não significa, porém, que as
sonificações não foram criadas de maneira objetiva. Ballora, em seu artigo, narra o
processo de design de suas sonificações, descrevendo quais fenômenos foram utilizados
(radiação de estrelas de nêutron, ondas gravitacionais, hélio-sismologia, vento solar,
extragalactic background light e radiação cósmica de fundo em micro-ondas), quais
instituições realizaram as medições e coletas de dados, e de que maneira eles foram
mapeados aos parâmetros de síntese sonora22 (BALLORA, 2014b).
Outros aspectos nos permitem enquadrar a sonificação que existe em Rhythms of
the Universe dentro de um contexto educacional. Como o próprio título do filme sugere,
a aproximação entre música e astrofísica claramente corresponde à nossa noção de
sonificação educacional, sendo a música um elemento ‘facilitador’ do engajamento do
público com a pesquisa em astrofísica: “da mesma forma que a música, tudo que existe
no universo também vibra e possui um ritmo interno”, é a ideia subjacente ao projeto.
Ao longo do filme, em diversos momentos, Hart utiliza termos musicais como
metáforas de fenômenos físicos, sendo o exemplo maior disso o uso da noção pitagórica
de música das esferas. Além disso, o filme foi apresentado em um espaço fora do
21 “The film might be termed a piece of “edutainment”, a descriptor that seems to have come into
common parlance in the 1970s to describe programming that was meant to educate through entertainment,
such as nature documentaries, science television programs, or health awareness programs. For Rhythms of
the Universe, the design goal was to create sonifications that were viscerally compelling and potentially
informative” (BALLORA, 2014b, p. 1).
22 Um exemplo de sonificação utilizada no filme pode ser consultado em:
<https://www.youtube.com/watch?v=OuP4jgSrMeo>. Acesso em 10/06/2019.

34
circuíto artístico do cinema. A estréia de Rhythms of Universe aconteceu em 2013 no
National Air and Space Museum em Washington, um museu científico de aviação,
astrofísica, geologia e geofísica financiado pela Smithsonian Institution. Obviamente,
trata-se de um espaço cuja principal função é a difusão de conhecimento científico.

2.1.2 LHCsound
O projeto LHCsound – the sound of science23também corresponde perfeitamente
à definição de sonificação educacional. Trata-se de um projeto colaborativo entre a
fisicista Lily Asquith e outros cinco colegas – quatro músicos e uma ilustradora –
voltado à sonificação de dados coletados durante experimentos no colisor de partículas
LHC (Large Hadron Collider). LHC é o maior colisor de partículas do mundo, instalado
sob a fronteira da França com a Suiça, próximo a Genebra. Foi construído entre 1998 e
2008 pela Organização Europeia de Pesquisa Nuclear (CERN), instituição cujo
financiamento provém majoritariamente de recursos públicos de países das Nações
Unidas. O projeto de Asquith teve início em janeiro de 2010 sob o financiamento do
Science & Technology Facilities Council, agência governamental britânica de pesquisa
em ciência e engenharia. Este financiamento se deu na forma de um prêmio por public
outreach, ou seja, por uma iniciativa em promover o conhecimento científico e criar
engajamento público. Já temos aqui um primeiro sinal de um projeto de sonificação
educacional que busca aproximar o público leigo de um campo científico extremamente
complexo e distante da vida cotidiana e que, apesar disso, é extremamente custoso e
financiado, em grande parte, com dinheiro estatal:

Acima de tudo, nós queremos que todos possam partilhar das maravilhas e do
entusiasmo do maior experimento já construído. Nós acreditamos
apaixonadamente que todos são capazes de apreciar o que está acontecendo
no CERN e que aqueles entre nós que já entendem do assunto possuem a
responsabilidade de encontrar novas e melhores formas de compartilhar a
inspiradora magnificência disto tudo. O LHC pertence a todos nós; você
pagou para ele ser construído e você vai apreciar os avanços tecnológicos
que ele traz (LHCSOUND, [2010?], grifo nosso, tradução nossa)24.

23 Website oficial do projeto LHCsound, contendo informações e exemplos sonoros, disponível em:
<http://lhcsound.hep.ucl.ac.uk/ >. Acesso em 06/06/2019.
24 “Above all, we want everyone to be able to share in the wonder and excitement of the greatest

experiment ever built. We feel passionately that everyone is capable of appreciating what is happening at
CERN and that it is the responsibility of those of us already `in the know' to find new and better ways of
sharing the awe-inspiring magnificence of it all. The LHC belongs to us all; you paid for it to be built and
you will enjoy the technological advances it brings” (LHCSOUND, [2010?]).

35
 A maior parte das informações sobre este projeto pode ser encontrada no website
oficial do LHCsound, com exemplos de sonificações de colisão de prótons, de medições
envolvendo o bóson de Higgs – popularmente conhecido como partícula de deus – e de
outros tipos de medição. Os sons utilizados são quase todos sintetizados, e mesmo os
sons gravados (como alguns sons de crotales e piano utilizados na sonificação do
decaimento da ‘partícula de deus’) são processados a ponto de se tornarem quase
irreconhecíveis. Esteticamente, estas sonificações estão mais próximas das sonoridades
tipicamente associadas à música eletroacústica, sonoridades que são também preferidas
entre os pesquisadores da sonificação em contextos científicos, em oposição à
preferência por sonoridades ‘musicais’ (ou seja, próximas da música popular, baseadas
em simulações de instrumentos físicos) da sonificação educacional. Este projeto, na
verdade, ocupa uma posição ambígua entre os contextos que denomino educacional e
científico – este último será tratado adiante. LHCsound possui claramente o objetivo de
educar e aproximar o público dos experimentos realizados no LHC, mas ainda carrega
uma esperança de legitimar a sonificação como um método válido de pesquisa, como se
observa nos objetivos do projeto:

O objetivo do projeto se dá em três vias. Atrair as pessoas para os resultados

dos experimentos no LHC de uma maneira que seja nova, entusiasmada e
acessível. Estabelecer uma comunicação mutuamente benéfica entre os
usualmente disparatados campos da música e da ciência, e tornar dados do
LHC acessíveis a compositores. Introduzir à física de partículas a
possibilidade de se usar a sonificação como uma técnica de análise e começar
a estabelecer os métodos disponíveis para esta tarefa (LHCSOUND, [2010?],
tradução nossa)25.

O terceiro objetivo, em contraste com os outros dois, aponta para um desejo de

legitimar a sonificação no contexto científico e não apenas como um recurso de
entretenimento. De fato, técnicas como a sonificação possuem algum apelo pois tornam
palpáveis os resultados de experimentos que são, essencialmente, abstratos e intangíveis
– o acesso dos cientistas aos experimentos realizados no LHC é inteiramente mediado
por sistemas de medição. Porém, como observa Supper, está não é uma tarefa central
dentro do programa proposto por Asquith; pelo contrário, ela é tratada com certo
25 “The aim of the project is threefold: To attract people to the results of the LHC experiments in a way
that is novel, exciting and accessible. To establish mutually beneficial communication between the
usually disparate fields of music and science and provide composers with access to LHC data. To
introduce particle physicists to the possibility of using sonification as an analysis technique and to begin
to establish the methods available for doing this” (LHCSOUND, [2010?]).

36
cuidado, pois, segundo Asquith em entrevista concedida à Supper, “colocar muita ênfase
nisso pode ser perigoso para sua frágil carreira como uma doutora recém-graduada”
(SUPPER, 2014, tradução nossa). Nos meios científicos a sonificação enfrenta muita
dificuldade de aceitação fora da chave do engajamento público, havendo pouca ou
nenhuma fé em suas aplicações no âmbito da pesquisa científica 26. Segundo Supper, os
pesquisadores da sonificação ainda estão para encontrar um killer-app, uma aplicação
que a torne útil e capaz de solucionar problemas reais a ponto de se tornar indispensável
à pesquisa científica (SUPPER, 2012b).

2.1.3 Walk on the Sun

Outro projeto financiando por instituições colossais de pesquisa científica é a
instalação Walk on the Sun27 (2009), do compositor e pesquisador de sonificação Marty
Quinn. O projeto recebeu financiamento e outros recursos da NASA (National
Aeronautics and Space Administration), agência governamental norte-americana,
através de um programa de extensão chamado IDEAS (The Initative to Develop
Education through Astronomy and Space Science). Mais uma vez, a intenção
pedagógica deste tipo de financiamento nos aproxima da noção de sonificação
educacional. Como consta no website oficial do programa, o objetivo do IDEAS é o de:

[… ] prover financiamento inicial para a explorar formas criativas e

inovadoras de integrar astronomia e ciência espacial à educação dos Estados
Unidos e a locais de alcance público [public outreach] através de parcerias
entre astrônomos/cientistas espaciais e profissionais da educação (IDEAS,
2004, tradução nossa).28

Figura 2 - Marty Quinn dentro da exibição de Walk on the Sun no McAuliffe-Shepard Discovery Center

26 Um pequeno caso bem humorado ocorrido em 2016 pode nos ajudar a entender esta afirmação. Em um
vídeo publicado no canal oficial do CERN no Youtube, cientistas anunciam uma descoberta surpreendente
sobre o bóson de Higgs feita a partir da sonificação. A descoberta, no caso, é que a sonificação dos dados
coletados no colisor de partículas tem como resultado sonoro a Quinta Sinfonia de Beethoven. O vídeo,
intitulado Sonified Higgs data show a surprising result, foi, na verdade, criado como uma piada de
primeiro de abril pela equipe de cientistas do CERN, ironizando a sonificação e o discurso (ingênuo, na
concepção destes cientistas) que geralmente a acompanha.
Vídeo disponível em: <https://www.youtube.com/watch?v=70ZGqhzsxxw>. Acesso em: 19/05/2019.
27 Informações sobre Walk on the Sun disponíveis em: <http://designrhythmics.com/exhibits/>. Vídeos da

interação de visitantes com a obra disponíveis no canal oficial do compositor Marty Quinn no Youtube:
<https://www.youtube.com/user/martyquinn/featured>. Acesso em: 06/06/2019.
28 “[…] provide start-up funding to explore innovative, creative ways to integrate astronomy and space

science into United States education and public outreach venues through partnerships between the
astronomers/space scientists and education professionals” (IDEAS, 2004).

37
 Fonte: QUINN,2010

Walk on the Sun é uma instalação interativa baseada na sonificação em tempo

real de imagens do sol cedidas pela NASA. Na instalação, o visitante caminha sobre
uma área de piso branco sobre a qual são projetadas as imagens. Na medida em que ele
caminha, um detector de movimento o acompanha, identificando sua posição e
sonificando a área de pixels sobre a qual ele se encontra. A sonificação mapeia, via
MIDI, parâmetros de cor, brilho e localização a timbres instrumentais, notas musicais e
posição no panorama estereofônico respectivamente. O resultado sonoro é bastante
controlado para soar como música popular, criando melodias e harmonias coerentes
baseadas em escalas ou modos tradicionais, estruturas rítmicas de métrica regular e
timbres sintetizados de instrumentos comuns, como piano, violão, vibrafone, etc. Como
já havia indicado, esta é possivelmente uma escolha estratégica, especialmente em
função do público-alvo de jovens estudantes.
O objetivo principal do projeto que gira em torno da noção de engajamento
público. Soma-se a este objetivo um tema recorrente dentro do campo da sonificação e
que constitui um fator importante em Walk on the Sun: a acessibilidade. Ao sonificar
imagens do sol, Quinn busca criar a possibilidade de pessoas com deficiência visual se
envolverem estas imagens através do som junto com o público em geral:

O objetivo de Walk on the Sun foi o de melhorar a acessibilidade ao crescente

número de imagens (agora em torno de 2 milhões) gravadas pelas oito
câmeras a bordo de cada uma das duas Solar Terrestrial Relations

38
 Observatory da NASA. Ele também busca ensinar informalmente vários
aspectos da ciência solar relacionados à missão. Era esperado que visitantes,
com deficiência visual ou não, pudessem perceber características
cientificamente relevantes nas imagens através de uma sonificação musical
de imagens, desta forma adquirindo um novo conhecimento e entendimento
sobre o Sol (QUINN, 2012, p.81, tradução nossa)29.

Figura 3 - Visitante com seu cão-guia durante exibição de Walk on the Sun na convenção da National
Federation of the Blind, Dallas, Texas, Junho de 2008.

Fonte: QUINN, 2010, p.82.

Toda a obra de sonificação de Quinn, realizada desde 1992 em seu projeto

DRSRL (Design Rhythmics Sonification Research Lab) partilha dos mesmos ideais
educacionais e possui, consequentemente, resultados sonoros semelhantes. Em Climate

29 “The goal of “Walk on the Sun” was to enhance the accessibility of increasing numbers of images
(now around 2 million) recorded by eight cameras on board each of NASA’s twin Solar TErrestrial
RElations Observatory spacecraft. It also sought to informally teach various aspects of solar science
related to the mission. It was hoped that blind and sighted visitors alike could perceive scientifically
significant features in the images through musically encoded image sonification thereby acquiring new
knowledge and understanding of the Sun” (QUINN, 2012, p.81).

39
Symphony (2000), por exemplo, Quinn sonifica dados coletados durante uma escavação
de geleiras na Groenlândia realizada com o objetivo de identificar a concentração de
alguns elementos e materiais em determinadas camadas da geleira e, com isso, deduzir
dados climáticos de 110 mil anos atrás (QUINN, 2001). Assim como Walk on the Sun,
este projeto também utiliza sonoridades musicais, algo que se remete ao próprio título
da obra, que já expressa a intenção de ‘musificar’ fenômenos climáticos. Também em
conformidade com a noção de sonificação educacional, Climate Symphony30 foi
parcialmente financiada pelo Centro de Pesquisa Climática da Universidade de New
Hampshire e apresentada em diversas feiras e museus científicos para um público de
jovens estudantes. A obra ainda circula no formato de álbum musical comercial, assim
como outras obras muito semelhantes de Quinn, como Seismic Sonata (2001) e Solar
Songs (2001).

2.2 Lógica de inovação, sonificação científica

A lógica da inovação, assim como a de prestação de contas, também faz um uso
pragmático das práticas interdisciplinares, utilizando os recursos e conhecimentos de
um determinado campo para abastecer e promover avanços no outro. Como o próprio
nome sugere, esta lógica volta-se para a inovação tecnológica e para o crescimento
econômico a partir da interdisciplinaridade entre as ciências naturais e outras áreas do
conhecimento (BORN;BARRY, 2010). Apesar de ser uma lógica fortemente voltada às
demandas do mercado pela criação de novos produtos, ela também pode ser posta em
prática para solucionar ou atender demandas de outras áreas, como, por exemplo, as
ciências. Existe uma constante demanda da pesquisa científica por novas ferramentas de
pesquisa e análise, recursos de acessibilidade ou simplesmente novas perspectivas sobre
determinado assunto. Nesse sentido, consumidor, usuário e pesquisador são figuras
centrais nessa lógica.
A art-science também pode nascer sob a lógica de inovação, especialmente em
torno dos já citados studio-labs, ambiente híbridos de experimentação em que novas
mídias e tecnologias são desenvolvidas juntamente com suas aplicações criativas
(BARRY;BORN;WESZKALNYS, 2001). A presença de artistas nestes ambientes
científicos estimularia a inovação:
30Informações sobre Climate Symphony disponíveis em: <http://designrhythmics.com/climate.html>.
Acesso em: 10/06/2019.

40
 Projetos colaborativos entre artistas e cientistas podem provocar e enriquecer
a pesquisa científica, disparando caminhos imprevisíveis; eles podem reunir
uma mistura pouco convencional de habilidades e talentos disciplinares; o
artista pode oferecer o conteúdo necessário para testar novas ferramentas; a
resposta de artistas a novas pesquisas ou materiais pode permitir quer
cientistas observem as respostas e o comportamento humano; artistas podem
atuar como primeiros usuários particularmente perspicazes ou criativos,
impulsionando o desenvolvimento; ou a exibição artística de resultados de
pesquisas pode funcionar como um teste antes de seu lançamento no mundo
real (BARRY;BORN;WESZKALNYS, 2001, p.39, tradução nossa)31.

O contexto de sonificação que melhor corresponde às características da lógica da

inovação é o científico. Este contexto já nos é familiar, tendo em vista que, ao levantar
as definições e categorizações (ver Apêndice A) do termo, lidamos com uma literatura
acadêmica que se dedicou quase que exclusivamente à sonificação científica; além
disso, trata-se de uma literatura escrita em sua maioria por pesquisadores do campo de
design de interfaces computacionais. De fato, o grosso da produção acadêmica e
científica, como é de se esperar, trata da sonificação sob um ponto de vista científico,
investigando suas aplicações e funcionalidades. E justamente esta preocupação com a
aplicação é o que a aproxima da lógica de inovação.
De maneira geral, existe em torno da sonificação científica um discurso de
inovação que propõe uma nova prática de investigação científica ou, ao menos, uma
potencialização de práticas passadas. Para o primeiro caso, imagina-se que, através do
som, alguns tipos de informações poderiam ser melhor transmitidos objetivamente,
utilizando as vantagens que o aparelho auditivo possui sobre a visão, como a
omnidirecionalidade e a constância da audição (SINCLAIR, 2011), a capacidade de
detectar e memorizar padrões e a capacidade de acompanhar múltiplas fontes sonoras
(BALLORA, 2014) e a localização de fontes fora do campo de visão
(BARRASS;KRAMER, 1999). Para o segundo, a sonificação teria a capacidade de
potencializar formas de representação visual, como a visualização, quando utilizadas
conjuntamente. Como observa Supper (2012b), este ainda é um ponto sensível aos

31 “Collaborative projects between artists and scientists may provoke and enrich scientific research,
triggering unforeseen directions; they may assemble an unconventional mix of disciplinary skills and
talents; the artist can offer the content required for the testing of new tools; artists’ responses to new
research or materials can allow scientists to observe human responses and behaviour; artists may act as
particularly acute or creative ‘lead users’, generating further development; or the artistic exhibition of
research outcomes may act as a test-bed for their launch in the real world”
(BARRY;BORN;WESZKALNYS, 2001, p.39).

41
pesquisadores da sonificação que ainda não encontraram seu killer-app, pelo menos sob
o ponto de vista acadêmico; ou seja, nenhuma descoberta científica se deu graças ao uso
da sonificação. Um grande esforço é feito pelos pesquisadores do campo para justificar
e apresentar aplicações concretas e objetivas da sonificação fora da lógica de prestação
de contas e dentro da lógica de inovação. Sob um ponto de vista mais pragmático, no
entanto, a sonificação encontrou seus próprios caminhos dentro da disciplina de design
de interfaces, geralmente criando feedbacks sonoros para a atividade de usuários em
uma interface computacional, para aplicativos de acessibilidade voltado a pessoas com
deficiência visual, ou para atividades de equipamentos utilizados em situações em que o
usuário tem a sua visão comprometida com outra tarefa32.

2.2.1 SonicFinder
Um primeiro projeto que podemos destacar dentro da lógica de inovação e da
sonificação científica é o SonicFinder33, interface visual e sonora desenvolvida na Apple
Computer que une ícones sonoros [auditory icons] a ícones gráficos tradicionais. Este
projeto foi iniciado em 1986 por William Gaver – na época trabalhando como estagiário
na Apple – e desenvolvido por cerca de um ano e meio. Apesar da curta duração e da
informalidade do projeto – que nunca foi de fato implementado e comercializado –
SonicFinder segue sendo citado tanto em artigos sobre sonificação quanto em livros
sobre design de interfaces (MOGGRIDGE, 2007) por sua abordagem pioneira no uso do
som em interfaces computacionais. Devemos lembrar que na década de 1980 os
computadores pessoais começaram a se tornar acessíveis e havia um grande interesse
por parte de empresas do ramo em desenvolver interfaces mais amigáveis e intuitivas
aos usuários e em oferecer produtos cada vez melhores. Naturalmente, a preocupação
com a interação entre estímulos sonoros e visuais nestas interfaces surgiu a partir destes
interesses. Além disso, os recentes avanços tecnológicos na computação, como o
aumento na velocidade de processamento e de memória dos computadores e o

32 Um enorme apanhado destas funcionalidades da sonificação foi feito por Barrass e Kramer (1999),
identificando alguns usos na medicina (tanto no método de auscultação quanto em equipamentos médicos
com feedback sonoro em situações de cirurgia), interfaces computacionais, comunicação de informação,
análises de engenharia (softwares de simulação de fenômenos com forte componente acústico) e
equipamentos em cabines de avião. Outro levantamento exaustivo destas aplicações foi realizado mais
recentemente para o The Sonification Handbook, compêndio sobre sonificação organizado por Thomas
Hermann, Andy Hunt e John G. Neuhoff (2011).
33 Vídeo demonstrativo do SonicFinder, apresentado pelo próprio Willian Gaver, disponível em: <https://

vimeo.com/channels/billgaver/158610127 >. Acesso em 06/06/2019.

42
surgimento do protocolo MIDI, permitiram que o som pudesse ser utilizado de maneira
mais eficiente no domínio digital.
SonicFinder não foi o primeiro projeto a usar sons para criar feedback de
atividades em computadores, mas foi provavelmente o primeiro levar em conta aspectos
funcionais do design para realizar tal tarefa – algo que certamente se deve às pesquisas
passadas de Gaver em psicologia e percepção sonora (MOGGRIDGE, 2007). Em
SonicFinder, Gaver põe em prática suas ideias sobre ícones sonoros, “[…] sons
cotidianos usados para transmitir informações sobre eventos computacionais por uma
analogia com eventos cotidianos” (GAVER, 1989, p.1, tradução nossa)34. O uso desta
técnica teria como vantagem a tendência natural da nossa audição em identificar fontes
sonoras e suas qualidades materiais, algo que Gaver nomeia “escuta cotidiana”, em
oposição, por exemplo, a outras formas de escuta mais seletivas como a escuta musical
ou a escuta reduzida schaefferiana. Desta forma, o uso de ícones sonoros em interfaces
computacionais poderia tornar a navegação mais intuitiva e flexível a criar um feedback
sonoro de fácil assimilação e entendimento.
O SonicFinder foi implementado dentro do Finder original, o gerenciador de
arquivos e interface visual dos computadores Macintosh utilizado desde os anos 1980.
O Finder ainda é utilizado e, apesar de ter passado por diversas modificações,
permanece com o mesmo paradigma de navegação [browsing] e com a mesma
organização, análoga a uma área de trabalho [desktop]. No SonicFinder, eventos da
interface eram mapeados a eventos sonoros em dois níveis. No primeiro nível eram
mapeadas as ações realizadas na interface com o cursor (selecionar, arrastar, abrir, etc)
sobre os diversos tipos de objetos (pastas, janelas, discos, etc). A seleção de objetos, por
exemplo, era mapeada a sons de batidas [tap], enquanto objetos sendo arrastados eram
mapeados a sons de superfícies sendo raspadas. No segundo nível eram representados
atributos destes objetos, de forma que os tipos de objetos (arquivo, pasta, etc) eram
representados por sons de diferentes materiais (madeira, metal, etc), e o tamanho dos
objetos eram representados pela altura do som, com sons mais graves para objetos
maiores e sons mais agudos para objetos menores.

34“[…] everyday sounds meant to convey information about computer events by analogy with everyday
events” (GAVER, 1989, p.1).

43
 Tabela 1 – Mapeamentos utilizados no SonicFinder

Mapeamentos de eventos a sons para o Sonic Finder

Evento computacional no Finder Ícone sonoro

Objetos
Seleção Som de batida [hitting sound]
Tipo (arquivo, aplicativo, pasta, disco, Fonte sonora (madeira, metal, etc)
lixeira)
Tamanho Altura [pitch]
Abrir [whooshing sound]
Tamanho do objeto aberto Altura
Arrastar Som de raspado [scraping sound]
Tamanho Altura
Localização (janela ou área de trabalho) Tipo de som (abertura de banda)
[bandwidth]
Local de soltura [drop-in] ? Som de seleção de disco, pasta ou lixeira
Soltura Ruído de objeto caindo [landing]
Quantidade no destino Altura
Copiar Som de líquido derramando [pouring
sound]
Quantidade completada Altura
Janelas
Seleção Tilintar [clink]
Arrastar Som de raspado
Aumentar Tilintar [clink]
Tamanho da janela Altura
Scrolling Tick sound
Tamanho da superfície subjacente rítmo [rate]
Lixeira
Soltar Batida
Esvaziar Triturar

Fonte: BAZIL e FERNSTRÖM (2011, p.328).

Os motivos para considerar o SonicFinder como um projeto de sonificação

inserido dentro da lógica de inovação se mostram evidentes após a sua descrição. Trata-
se claramente de um projeto ligado à inovação tecnológica e ao desenvolvimento de
produtos para o mercado de computadores pessoais – mesmo que, a princípio, ele não

44
tenha sido formalmente implementado, outras pesquisas semelhantes o sucederam.
Dentre as duas possibilidades de uso da sonificação neste contexto que destaquei
anteriormente, SonicFinder se enquadra naquela em que feedbacks sonoros são
associados à formas de representação visual, no caso, à interface visual do Finder
original.

2.2.2 Ferramentas de sonificação

Para além deste tipo de projeto em interfaces computacionais, outros
pesquisadores se empenharam em desenvolver ferramentas de sonificação no formato
de software para usos mais genéricos. Estas ferramentas, ao contrário do SonicFinder –
que existe dentro de uma lógica de mercado e desenvolvimento de produtos –, foram
elaboradas para facilitar a criação de sonificações, tanto para objetivos específicos,
como para sonificar dados quaisquer. Muitos dos exemplos citados aqui foram
levantados por Barrass e Kramer (1999) e por Alberto de Campo (2009).
Existem basicamente dois grupos de projetos deste tipo. Um primeiro grupo
destas ferramentas está mais ligado à acessibilidade. São projetos de sonificação
implementados em interfaces computacionais (GUIs) para auxiliar a navegação de
pessoas com deficiência visual, algumas delas usadas em conjunto com interfaces táteis
e com recursos de text-to-speech. Aqui, o discurso típico dos pesquisadores da
sonificação sobre a hierarquia dos sentidos, embora ainda positive a audição por suas
vantagens sobre a visão, está mais relacionado a uma necessidade imposta pela
deficiência visual do que a uma postura de confrontação com esta hierarquia. Um
exemplo deste tipo de abordagem é o programa xSonify (CANDEY; SCHERTENLEIB;
MERCED, 2006), criado para auxiliar fisicistas com deficiência visual em suas
pesquisas, mais especificamente para lidar com os dados disponibilizados pela NASA
Space Physics Data Facility (SPDF). xSonify é um software open-source equipado para
sonificar dados lineares e unidimensionais através de mapeamentos em frequências,
intensidades e ritmos. O projeto surgiu como parte da tese de Anton Schertenleib e se
desenvolveu em torno da astrofísica porto-riquenha Wanda Diaz Merced, sua principal
usuária. Desde então, Merced recebeu alguma atenção midiática por seus esforços em
incluir a sonificação como um método válido de exploração de dados na pesquisa
científica, mais especificamente entre pesquisadores que, como ela mesma, possuem a

45
visão debilitada e atuam em um campo em que o conhecimento é quase todo transmitido
e representado visualmente35. Outros exemplos deste primeiro grupo de projetos seriam
os softwares Mercator (MYNATT; EDWARDS, 1992), Mathtalk (STEVENS;
EDWARDS, 1994), TRIANGLE (GARDNER; LUNDQUIST; SAHYUN, 1996), e
Audiograf (KENNA, 1996).

Figura 4 - Interface do software xSonify

Fonte: Plataforma Sourceforge onde o software está disponível para ser baixado36.

Um segundo grupo de projetos está ligado à pesquisa científica, com ferramentas

mais flexíveis capazes de sonificar qualquer tipo de dado e que permitem aos
pesquisadores realizar os mapeamentos da maneira mais rápida e conveniente. Em
termos de funcionamento, a maioria destes projetos é semelhante àqueles criados como

35 Em uma palestra para o canal TED no Youtube, a pesquisadora cega Wanda Diaz Merced explica como
ela utiliza o software xSonify e apresenta alguns exemplos de sonificação de dados astronômicos que a
auxiliaram em sua pesquisa. Disponível em: <https://www.youtube.com/watch?v=-hY9QSdaReY>.
Acesso em: 06/06/2019.
36 Disponível em: <https://sourceforge.net/projects/xsonify/>. Acesso em: 10/06/2019.

46
recursos de acessibilidade, embora estes últimos possuam critérios de design mais
específicos com o intuito de facilitar a navegação da pessoa com a visão debilitada. Um
exemplo deste tipo de ferramenta é o programa Sonifyer37 (DOMBOIS et al, 2008),
criado especialmente para audificar dados provenientes de eletroencefalogramas (EEG)
e de sismógrafos, mas que pode também receber outros tipos de dados. Os autores
seguiram dois critérios principais no processo de criação do Sonifyer: a usabilidade e a
distribuição, ambos alinhados com um desejo anterior e comum entre os pesquisadores
de tornar a sonificação uma ferramenta válida de análise de dados científicos:

A sonificação não vai se tornar uma ferramenta científica adequada e aceita

enquanto nós estivermos apenas falando ou lendo sobre o som. Então,
embora tenhamos ficado felizes em descobrir, por exemplo, o menu “Audio”
no www.icad.org, ficamos um pouco desapontados quando encontramos
apenas uma amostra de som (checado pela última vez em primeiro de
fevereiro de 2008). Mas isso não é típico de muitas das nossas pesquisas em
sonificação? Geralmente, encontramos apenas alguns poucos exemplos
auditivos na internet quando comparado com a presença abundante da
visualização por figuras. Mas se queremos que dados sonificados sejam
levados a sérios como são os dados na forma de gráficos científicos, eles
precisam ser amplamente publicados e distribuídos (DOMBOIS et al, 2008,
p.1, tradução nossa)38.

Uma maneira de responder a este desejo é tornar os softwares mais simples. Ao

contrário de ferramentas de programação tipicamente usadas como MAX/MSP e
Supercollider, Sonifyer é fácil de baixar, de instalar, e de usar; basta carregar os dados
em um arquivo de texto e clicar play. Assim, um maior número de pessoas interessadas
na sonificação, pesquisadores ou não, podem produzir sons facilmente. Outra maneira é
facilitar a distribuição, tanto do software em si quanto das sonificações produzidas por
ele. Para tanto, os autores criaram um website39 para funcionar como um fórum,
aglomerando pesquisas em sonificação e exemplos sonoros, incluindo também alguns
usos artísticos da técnica. No entanto, é seguro dizer que o projeto passou longe de
concretizar suas ambições. Observando a data das postagens no site, percebe-se que ele
37 Website oficial do projeto Sonifyer disponível em: <http://www.sonifyer.org/softhardware/>/ Acesso
em: 06/06/2019.
38 “Sonification will not become a proper and accepted scientific tool as long as we only talk or read

about sound. So while we were delighted to discover e.g. the menu "Audio" at www.icad.org, we became
somewhat disappointed when we only found one sound sample (last checked on 1st February 2008). But
isn't this typical for a lot of our sonification research? Generally, one finds only few listening examples on
the web compared to the abundant presence of visualization by pictures. But if sonified data are to be
taken as serious as data in the form of scientific graphs, they must be widely published and distributed”
(DOMBOIS et al, 2008, p.1).
39 O website Sonifyer já foi citado no Capítulo 1, quando levantei algumas definições de sonificação.

Disponível em: <http://www.sonifyer.org/>. Acesso em: 09/06/2019.

47
foi especialmente ativo entre 2008 e 2011, teve uma atualização do software
disponibilizada em 2013, mas desde então permaneceu dormente. Esta é uma
característica recorrente entre ferramentas de sonificação: nenhuma delas se consagrou
como uma ferramenta universal e amplamente utilizada, possivelmente porque as
necessidades que cada tipo de dado e cada contexto impõe são sempre muito
específicas. Existem ainda outros exemplos deste tipo de software, e eles são
numerosos: Porsonify (MADHYASTHA, 1992), Personify (BARRASS, 1995), LISTEN
(WILSON; LODHA, 1996), MUSE (LODHA et al, 1997), MUSART (JOSEPH;
LODHA, 2002), SonART (BEN-TAL et al, 2002), Sonification Sandbox (WALKER;
COTHRAN, 2003), e SoniPY (WORRALL et al., 2007).

Figura 5 - Interface do software Sonifyer para uso de dados sísmicos

Fonte: DOMBOIS et al (2008, p.2)

Figura 6 - Interface do software Sonifyer para uso com dados de eletroencefalogramas

48
 Fonte: DOMBOIS et al (2008, p.2)

Para além destes projetos resta comentar que, na prática, muitas sonificações são
criadas para finalidades muito específicas, recorrendo à linguagens de programação de
alto nível voltadas para a síntese sonora. Ambientes como Csound, SuperCollider, Pure
Data e MAX/MSP são muito usados no design de interfaces para sonificação.
Curiosamente, todas estas ferramentas também foram criadas sob uma lógica de
inovação em que músicos, compositores e cientistas colaboraram intensamente na
implementação computacional de recursos musicais e de áudio.

2.3 Lógica ontológica, sonificação artística

Em contraste com as lógicas de prestação de contas e de inovação, em que existe
uma certa relação de subserviência de um campo a outro (tipicamente das artes às
ciências naturais), a lógica ontológica lida com propostas interdisciplinares que
promovem, de alguma maneira, mudanças ou reflexões ontológicas em ambas
disciplinas envolvidas. A ontologia, neste contexto, refere-se à série se propriedades e
relações que definem, na essência, determinado campo ou prática. Portanto, a lógica

49
ontológica seria aquela em que a interdisciplinaridade funcionaria como um motor para
questionar – e talvez modificar – a própria definição dos campos envolvidos, ou seja, a
essência das suas práticas. Na visão de Barry e Born (2011), a lógica ontológica é o
domínio real da art-science justamente por afastar-se da lógica de prestação de contas –
geralmente vista como decorativa ou superficial – e instigar a criação de uma nova
prática que questiona e transcende ambas disciplinas envolvidas. Neste caso, teríamos
uma prática artística capaz de questionar, ao mesmo tempo, tanto a essência da arte
quanto das ciências e da tecnologia a partir de uma sinergia entre estes três campos.
O tipo de sonificação que melhor se aproxima da lógica ontológica é a que
denomino sonificação artística. Como o nome sugere, este tipo compreende uma prática
de sonificação que se insere em contextos tipicamente artísticos (museus, galerias, salas
de concerto, álbum musical, etc) e que possui um discurso predominantemente artístico,
afastando-se assim dos âmbitos educacionais e científicos. Isso não significa, porém,
que tal tipo de sonificação não possa conter elementos educacionais ou preocupações
científicas – pelo contrário, elas quase sempre os têm. Por vezes, uma sonificação
artística busca chamar a atenção do público e conscientizá-lo para a natureza dos dados
sendo sonificados, algo que pode ser visto como educativo, mas que não recai sobre a
lógica de prestação de contas e de engajamento público. Da mesma forma, diversas
obras artísticas clamam para si uma forte cientificidade, incorporando problemáticas
científicas e preocupações com objetividade, sistematicidade e reprodutibilidade com o
mesmo rigor das sonificações que chamamos científicas. Como observa Supper (2014),
esta é uma tendência natural se pensarmos que, para os artistas, uma abordagem pouco
rigorosa dos dados iria contra a própria ideia de se usar o recurso da sonificação.
Delimitar um tipo de sonificação como estritamente artística poderia soar como
uma contradição com a própria lógica da ontologia descrita acima, que por si só já
pressupõe uma forte presença científica nas obras. De fato, dentre os três contextos de
sonificação, o artístico talvez possua a relação mais frágil com sua respectiva lógica de
interdisciplinaridade. Se nos outros dois tipos a aproximação entre as lógicas de
prestação de contas e inovação e as sonificações educacionais e científicas se deram de
maneira muito clara, no caso artístico a lógica ontológica opera de maneira mais
modesta, tendo em vista a aparente superficialidade ou ingenuidade de uma enorme
quantidade de trabalhos deste tipo. Contudo, mesmo que a lógica ontológica não

50
apareça explícita em obras de sonificação ou nos discursos dos artistas, ela está
inevitavelmente implícita na medida em que tais obras propõem uma nova forma de
lidar com dados científicos e de incorporar problemáticas científicas à prática artística,
refletindo assim, de maneira mais ou menos contundente, sobre a ontologia das artes e
das ciências, mesmo que involuntariamente.

2.3.1 Genesis
Para melhor exemplificar a maneira como a lógica ontológica atua, opto por
apresentar primeiro uma obra mais radical, explicitando a reflexão e a modificação
ontológica que ela propõe. Contudo, apesar de lidar com a tradução de dados em vários
níveis, esta não é uma obra de sonificação; ou melhor, a sonificação é apenas uma parte
da obra, quase decorativa, mas que reforça a poética da tradução. A obra em questão é
Genesis40 (1999), do bio-artista brasileiro Eduardo Kac.
Genesis é uma obra de bio-arte, termo proposto pelo próprio artista em 1997
para descrever uma nova prática artística fundada na biotecnologia e que utiliza como
material básico o material biológico, produzindo organismos híbridos, clonados,
mutantes, sintéticos ou transgênicos como objeto artístico (KAC, 2007). A bio-arte
esteve intimamente ligada aos avanços científicos de ponta da década de 1990 nas áreas
da engenharia genética (lembremos que o Projeto Genoma Humano percorreu toda esta
década), da engenharia de tecidos e da clonagem. É, portanto, um campo essencialmente
interdisciplinar que nasceu da intensa colaboração entre cientistas e artistas.
Nos parece óbvia a leitura deste tipo de proposta nos termos da art-science; e
igualmente óbvia, por sua radicalidade, é a leitura pela lógica ontológica de
interdisciplinaridade. A bio-arte opera, ao mesmo tempo, nos limites das ciências e da
arte, questionando suas ontologias ao lidar com uma temática tão sensível:

O público em geral não precisa ser especialista em ciência da computação,

administração de negócios ou engenharia genética para sentir e entender a
ameaça da bioinformática, isto é, a promoção de uma analogia perigosamente
redutiva entre dados binários discretos e o campo mais complexo da genética.
A dificuldade extrema em lidar com interações biológicas muito complexas
leva ao tratamento simplificado dos processos da vida como dados
quantizados que exibem padrões estatísticos. Em tempo, isto pode levar à

40 Informações sobre Genesis disponíveis no website oficial do artista em:

<http://www.ekac.org/geninfo.html>.. Informações específicas sobre a sonificação disponíveis em:
<http://www.ekac.org/dnamusic.html>. Acesso em: 06/06/2019

51
 objetificação da vida e ao desprezo pelos sujeitos e seus direitos. (KAC,
2007, p. 1, tradução nossa)41.

O tratamento deste patrimônio [sequências genéticas] como informação o

transforma em ferramenta instrumental, em unidades discretas que podem
ser armazenadas em bancos de dados, posteriormente exploradas por
softwares de data-mining, e redistribuídas (isto é, comercializadas)
globalmente através das redes digitais. Esta desmaterialização do substrato
biológico não torna os bio-dados abstratos; ao contrário, bio-dados podem
passar por uma rematerialização através de um processo automatizado de
síntese. Basicamente, qualquer sequência pode ser digitada ou transferida
para uma máquica (por exemplo, um sintetizador de DNA) e recriado
fisicamente. (KAC, 2007, p.2, tradução nossa)42.

Genesis é uma obra que materializa estas questões, agregando as preocupações

científicas à produção artística - ou a intenção artística à produção científica. Nesta
obra, Eduardo Kac efetua um procedimento semelhante ao descrito acima, traduzindo
dados genéticos em diversos níveis. Tomando como ponto de partida um material
textual, Kac transcreveu em código morse43 uma passagem bíblica do livro do Genesis
(“Let man have dominion over the fish of the sea, and over the fowl of the air, and over
every living thing that moves upon the earth”44), para então traduzir este código morse
em uma sequência genética, atribuindo a cada um dos quatro elementos sintáticos do
código (ponto, linha, espaço entre letras e espaço de palavras) uma das quatro bases
químicas que compõem o material genético (Guanina, Adenina, Citosina e Timina). O
código genético resultante foi posteriormente sintetizado por uma empresa de
biotecnologia especializada, criando assim um novo gene e o inserindo em bactérias
cultivadas em uma placa de Petri.

Figura 7 - Fotografia da instalação Genesis

41 “The general public does not need to have expertise in computer science, business administration, or
genetic engineering to feel and understand the threat of bioinformatics, that is, the promotion of a
dangerously reductive analogy between discrete binary data and the more complex, environment-related
field of genetics. The extreme difficulty in dealing with very complex biological interactions leads to the
simplified treatment of life processes as quantified data that exhibit statistical patterns. In turn, this can
lead to an objectification of life and a disregard for the subjects and their rights” (KAC, 2007, p. 1).
42 “The treatment of this patrimony as information transforms it in instrumental tools, in discrete units

that can be stored in databases, further exploited through data-mining software, and redistributed (i.e.,
traded) globally through digital networks. This dematerialization of biological substrates does not render
the biodata abstract; rather, biodata can undergo rematerialization through an automated process of
synthesis. Quite simply, any given sequence can be typed on or transferred to a machine (e.g., a DNA
synthesizer) and physically recreated” (KAC, 2007, p.2).
43 O código morse, curiosamente, aparece como uma das principais aplicações funcionais do som na

transmissão de informações, e por isso é frequentemente citado, junto com o contador Geiger, como um
exemplo prático de sonificação.
44 “Que o homem exerça seu domínio sobre os peixes do mar, sobre as aves dos céus, e sobre todos seres

vivos que se movem sobre a terra”, tradução nossa.

52
À direita está projetada a frase bíblica que inspira a obra e à esquerda está projetada a sequência genética
obtida da frase bíblica. No centro, uma projeção ampliada da placa de Petri contendo a cultura de
bactérias. Fonte:Archive of Digital Art.45

Figura 8 - Detalhe da instalação Genesis

As lâmpadas de luz ultravioleta aceleram o processo de reprodução das bactérias. Fonte: La Fondation
Daniel Langlois46.

45 Disponível em: <https://www.digitalartarchive.at/database/general/work/genesis.html>. Acesso em

10/06/2019.
46 Disponível em: <http://www.fondation-langlois.org/html/e/page.php?NumPage=278>. Acesso em:

10/06/2019.

53
 Figura 9 - Encryption Stones, de Eduardo Kac

Encryption Stones é uma obra de Eduardo Kac adjacente à Genesis. O texto, gravada à laser sobre o
granito, demonstra os múltiplos processos de tradução da obra. Fonte: website do artista47.

A obra foi apresentada como uma instalação com uma possibilidade de interação
via internet em que as pessoas poderiam ligar remotamente uma luz ultravioleta na
galeria, acelerando o processo de mutação das bactérias expostas. Ao final da
apresentação, o gene mutante era recolhido e retraduzido em sua forma textual,
resultando sempre em uma versão recombinada do texto. A instalação possuía também
uma dimensão sonora que, apesar de não ser o cerne do trabalho, reforçava a poética da
obra através do uso da sonificação.
A sonificação foi realizada pelo compositor Peter Gena, que na época já possuía
certa experiência com a sonificação de dados genéticos e biológicos 48. Para a obra
Genesis, Gena retomou sua ferramenta de sonificação de trabalhos anteriores para
sonificar o gene criado por Kac. A leitura da sequência de bases nitrogenadas do gene
(A,C,G,T) é realizada em loop e em grupos de três, pois estas bases são naturalmente

47Disponível em: <http://www.ekac.org/genseries.html>. Acesso em: 10/06/2019.

48Outras obras anteriores do compositor que lidaram com a sonificação de dados genéticos e biológicos:
Red Blood Cells (1995); Collagen and Bass Clarinet (1997); Chopin’s Catarrh (1998). Mais informações
sobre as obras de Peter Gena utilizando DNA disponíveis em:
<https://www.petergena.com/DNAmus.html>. Acesso em: 06/06/2019.

54
assim organizadas, formando os chamados códons. Cada códon lido era analisado
segundo um banco de dados contendo as propriedades químicas de cada um dos 64
códons existentes, como constante de dissociação (acidez), peso molecular e
propriedades físicas das ligações moleculares; os valores destas propriedades eram o
material da sonificação de fato, definindo alturas, intensidade, duração e timbre. Este
tipo de sonificação, curiosamente, acaba assumindo a metáfora do próprio
funcionamento do organismo, em que as sequências de bases nitrogenadas do DNA são
traduzidas em RNA mensageiro e então “lidas” pelos ribossomos dentro das células,
produzindo proteínas.
Além das sequências em si, Gena também incluiu na sonificação a interação pela
internet. Sempre que a luz ultravioleta era ativada, mudanças timbrísticas aconteciam; e
conforme a luz era ligada e desligada, a velocidade de leitura da sequência
gradualmente aumentava até chegar em um ponto máximo e voltar à velocidade inicial
– uma associação com o fato da luz acelerar o processo de mutação dos genes.
Se a analisássemos fora do contexto geral da obra de Kac, esta sonificação teria
implicações muito diferentes, e dificilmente a veríamos como uma sonificação artística
nos termos aqui apresentados. Talvez a víssemos como uma sonificação mais próxima
da educacional, despida do discurso artístico que envolve Genesis. Uma comparação
com outros trabalhos semelhantes de sonificação genética pode nos ajudar a elucidar
este ponto; e incontáveis trabalhos deste tipo foram realizados ao longo da década de
1990 por pesquisadores e por músicos engajados com o Projeto Genoma Humano49. A
maioria destes trabalhos utilizava um procedimento de sonificação bem mais simplório
que o de Peter Gena, simplesmente mapeando a sequência de bases nitrogenadas em
notas musicais via MIDI e utilizando sons de instrumentos virtuais simples. Alguns
outros, mais complexos e com uma veia artística mais sólida, realizavam mapeamentos
mais sofisticados com timbres mais ricos – Life Music (1998), uma colaboração entre a
bióloga Mary Anne Clark e o músico John Dunn, é um exemplo disso, utilizando a
música eletrônica de dança como referência estética e compilando diversas sonificações
de DNA e proteínas no formato de álbum musical (DUNN; CLARK, 1999). Muitos
destes experimentos foram criados de maneira claramente despretensiosa, quase uma
49 A bióloga Mary Anne Clark montou na época uma lista com diversos nomes de pesquisadores
envolvidos com este tipo de sonificação de dados genéticos, muitos deles atuando em parcerias entre um
cientista e um músico. Disponível em: <http://www.whozoo.org/mac/Music/Sources.htm>. Acesso em:
19/05/2019.

55
curiosidade, com um tom semelhante ao da sonificação educacional que preza pelo
engajamento público através da estetização do conhecimento científico – no caso, pelo
engajamento com os conhecimentos da genética e biotecnologia. Assim como em
algumas obras de sonificação educacional que analisamos anteriormente, existe uma
ideia subjacente de que o material genético dos seres vivos possui uma musicalidade
inerente. Isso resulta em projetos cujo objetivo poético não é tanto o de criar música a
partir dos dados, mas sim o de descobrir a música escondida nos dados (SUPPER,
2013).
Na sonificação de Peter Gena para Genesis, porém, nada disso transparece. A
dimensão sonora serve para reforçar a ideia central da obra, que gira em torno da
maleabilidade dos dados digitais e sua analogia com a informação genética: sons e
genes podem ser igualmente sintetizados a partir de um mesmo material inicial
discretizado. Não existe aqui a noção de engajamento público e tampouco a noção de
descoberta de uma música secreta, mas sim a noção de criação deliberada, como
descrita na frase bíblica que inspira a obra e no próprio título: gênesis.

2.3.2 Oxygen Flute/Smog Music

Outro exemplo de sonificação que poderíamos analisar sob a ótica da art-
science e da lógica ontológica é Oxygen Flute50, parceria entre o artista visual Greg
Niemeyer e o compositor Chris Chafe. Esta obra foi apresentada em duas versões, uma
primeira em 2001, comissionada pelo San Jose Museum of Art (SJMA) na Califórnia, e
uma segunda (Oxygen Flute 2.0) em 2002, apresentada na UC Berkeley.
Oxygen Flute foi uma instalação baseada na sonificação de dados envolvendo a
qualidade do ar; mais especificamente, da concentração de CO2 no ambiente da
instalação. A obra consistia em uma pequena câmara em formato de cápsula com
paredes de silicone, funcionando como uma espécie de estufa, dentro da qual foram
plantados alguns pés de bambu e de tomate em um solo artificial. No centro da câmara
foi instalada uma pequena plataforma, permitindo que um ou dois visitantes
permanecessem dentro da obra. Também foi instalado um sensor de concentração de
CO2 responsável pela coleta de dados e quatro alto-falantes que devolviam o resultado
da sonificação em tempo real para os visitantes.

50 Oxygen Flute disponível em: <http://chrischafe.net/oxygen-flute/>. Acesso em: 06/06/2019.

56
 Figura 10 - Modelo da instalação Oxygen Flute

Fonte: CHAFE (2005, p.220)

Figura 11 - Detalhe interno da instalação Oxygen Flute

Fonte: CHAFE (2005, p.222)

57
 A sonificação era realizada a partir dos dados coletados pelo sensor, que
variavam de acordo com a entrada e saída dos visitantes na instalação: quando os
visitantes estavam dentro e respirando, a concentração de CO 2 do ambiente aumentava,
provocando mudanças diretas e em tempo real no material musical da sonificação. As
mudanças também ocorriam em escalas maiores, como as variações que decorrem da
própria fotossíntese das plantas dentro da instalação. Segundo Chafe (2005), o sistema
da sonificação foi desenhado para lidar com estas temporalidades distintas a partir de
dois modos de operação, um chamado de real-time e outro de playback. No primeiro
modo, o sistema computacional identificava a presença de visitantes na instalação,
passando a sonificar os dados em tempo real. No segundo modo, o sistema identificava
a ausência de visitantes, sonificando então dados armazenados durante toda execução da
obra.
Inspirados pela publicação de artigos e gravações sonoras de algumas flautas de
osso descobertas em escavações arqueológicas na região central da China (algumas
delas com cerca de nove mil anos de idade), Niemeyer e Chafe optaram por utilizar um
modelo de síntese computacional destas mesmas flautas para gerar o material sonoro da
obra. Os dados sobre a concentração de gás carbônico coletados na instalação, em
tempo real ou não, foram então utilizados para controlar parâmetros deste modelo de
síntese, como quantidade de ruído de sopro, embocadura, nota, portamento e
abafamento. Os mesmos dados também foram utilizados para controlar a duração dos
eventos sonoros – através de um sistema que identificava o comportamento dos
visitantes – e para controlar a amplitude de um segundo tipo de som utilizado na obra:
sons de estalos de camarões marinhos gravados com hidrofone. Estes sons não foram
escolhidos pelo mesmo motivo dos sons de flauta – ou seja, o de estabelecer uma
relação entre sopro e respiração –, mas sim pela sua simples sonoridade que, segundo
Chafe (2005), serviria para criar uma paisagem sonora para os bambus usados na
instalação, para contrastar com o material musical das flautas, e para adicionar sons de
chaveamento nas flautas quando elas não tocam notas.
Observando estes aspectos de Oxygen Flute, não temos nenhuma dificuldade em
entendê-la como um projeto de art-science: a obra incorpora a problemática científica –
e também social – da qualidade do ar de maneira intrincada com o contexto artístico da
instalação e da dimensão musical da obra, lançando mão de recursos tecnológicos para

58
sua realização. Ao mesmo tempo, percebemos claramente um forte componente político
e ecológico, algo comum em sonificações que lidam com dados de fenômenos naturais.
Na nota de programa para a segunda versão da obra, Niemeyer e Chafe descreveram seu
projeto como uma mistura de “[…] elementos da arquitetura, música e computadores
para fazer declarações sobre o meio ambiente, a interdependência dos seres vivos, a
economia global, imigração, agricultura moderna e a convergência do natural com o
sintético” (MACLAY, [2002?], tradução nossa)51. A obra materializa estas preocupações
na medida em que estabelece uma analogia entre o sistema criado para a instalação – em
que o visitante consegue perceber auditivamente sua interferência no ambiente pelo
simples ato da respiração – e a atmosfera do planeta de maneira geral, buscando assim
incitar nos visitantes uma conscientização para os problemas da poluição por excesso de
emissão de gás carbônico e o consequente efeito estufa. Sob uma perspectiva social,
mas igualmente abarcada pela temática da ‘respiração’, a obra também faz referência ao
acidente ocorrido em 2001 em que 58 imigrantes chineses morreram sufocados dentro
de um contêiner sem ventilação que estava sendo transportado em um navio cargueiro
para a Inglaterra. Neste contexto, o uso das flautas chinesas ganha também um
significado político próprio.
Oxygen Flute foi uma das primeiras obras da longa parceria entre Chafe e
Niemeyer. Algumas outras obras subsequentes continuaram lidando com a temática da
poluição e da qualidade do ar, como Tomato Music52 (2007), End of Winter53 (2009),
Seven Airs54 (2012) e Smog Music (2010). Esta última é um caso interessante sobre o
qual podemos traçar paralelos com a noção de ‘experimento público’ introduzida por
Born e Barry (2010) para ilustrar alguns aspectos da art-science sob a lógica ontológica.
Smog Music55 foi um projeto de sonificação realizado a partir de uma ação
coletiva encabeçada por Niemeyer em 2007 chamada Blackcloud, nomeada em
referência ao misterioso fenômeno que ocorre no Egito uma vez por ano em que nuvens
negras de fumaça sobrevoam a cidade do Cairo, possivelmente por conta da poluição

51 “[…] elements of architecture, music and computers to make statements about the environment, the
interdependence between living things, the global economy, immigration, modern agriculture and the
convergence of the natural with the synthetic” (MACLAY, [2002?]).
52 Tomato Music disponível em: <http://chrischafe.net/tomato-quintet/>. Acesso em: 10/06/2019.
53 End of Winter disponível em: <http://chrischafe.net/end-winter-2/>. Acesso em: 10/06/2019.
54 Seven Airs disponível em: <http://chrischafe.net/portfolio/sevenairs/>. Acesso em 10/06/2019.
55 Embora o website oficial que realizava o streaming em tempo real de Smog Music tenha sido

desativado, um pequeno exemplo sonoro do projeto ainda pode ser escutado em:
<http://chrischafe.net/smog-music-2/>. Acesso em: 10/06/2019.

59
urbana e por queimadas em regiões rurais. Basicamente, Blackcloud consistiu no
desenvolvimento de sensores – chamados PuffTrons – para monitorar luminosidade,
temperatura e quantidade de gás carbônico e outros poluentes no ar. A princípio, o
projeto foi pensado como um jogo coletivo em que estudantes de ensino básico da
cidade de Los Angeles colocariam os sensores em diferentes pontos da cidade; estes
sensores devolveriam os dados coletados, mas sem revelar qual a localização de cada
sensor, sendo o objetivo do jogo identificar as localizações a partir dos comportamentos
humanos de cada região da cidade. Após uma primeira experiência em Los Angeles,
Niemeyer levou o projeto para outras cidades do mundo, eventualmente incluindo a
sonificação realizada por Chris Chafe, Smog Music. Esta sonificação era transmitida
continuamente no website oficial do projeto, hoje inexistente, a partir dos dados
coletados por estes diversos sensores espalhados pelas cidades (HART, 2010).

Figura 12 - Garoto em Catmandu, no Nepal, com um PuffTron

Fonte: Artigo da revista WIRED sobre Smog Music. HART (2010).

60
 Figura 13 - Interface do software de Blackcloud

Interface criada para gerar visualizações dos dados coletados pelos PuffTrons. Fonte: Website do
programador Eric Kaltman, 201756.

Born e Barry (2011) citam um projeto muito semelhante ao Blackcloud e ao

Smog Music, tanto na abordagem quanto na temática, para exemplificar sua noção de
art-science e lógica ontológica, apesar de não utilizar a sonificação de maneira alguma.
O projeto citado é PidgeonBlog57 (2006), da artista Beatriz da Costa, que consiste na
coleta de dados sobre a qualidade do ar em regiões urbanas a partir de sensores
carregados por pombos, criando assim um sistema de coleta de dados móvel e flexível.
O resultado das análises dos dados eram postados continuamente em um blog criado
pela artista. Os autores analisaram este projeto como um caso de “experimento público”,
em que conhecimento e informação são produzidos de maneira menos sistemática, mais
56 Disponível em: <http://www.erickaltman.com/portfolio/2017/01/15/blackcloud-air-monitoring-project/
>. Acesso em: 10/06/2019.
57 Embora o website oficial da obra tenha sido desativado, algumas informações e imagens ainda

encontram-se disponíveis em: <https://sites.tufts.edu/surveillanceandart/2017/11/15/beatriz-da-costa-

pigeon-blog/>. Acesso em: 10/06/2019.

61
experimental e mais local, distanciando-se da rigidez dos sistemas oficiais de medição
(científicos e estatais) que tendem a produzir informações inertes, e convidando a
sociedade para contribuir na construção do conhecimento. Estas mesmas conclusões
apresentadas por Born e Barry podem ser facilmente transpostas ao projeto Blackcloud,
que também propõe uma forma alternativa de produção de conhecimento, mas através
do jogo, atuando nos limites da pesquisa científica e da prática artística.
Certamente, devemos reconhecer que a sonificação de Smog Music, assim como
em Genesis, não ocupa um papel central em Blackcloud. Porém, não podemos
simplesmente descartar seu uso como decorativo dentro de um contexto em que se
pretende justamente propor novas formas de incorporação da pesquisa científica nas
práticas artísticas e novas formas de produção de conhecimento. O uso do som reforça a
qualidade maleável dos dados e o seu potencial de subversão e incorporação criativa na
vida das pessoas de uma maneira mais flexível que aquela estritamente científica.
Oxygen Flute, de maneira menos incisiva, também incorpora estas preocupações dentro
de uma obra em que a sonificação de fato ocupa um papel central. O problema científico
e social da poluição atmosférica é tratado de uma maneira extremamente pessoal e local
através do som. Tanto Oxygen Flute quanto Smog Music refletem sobre a ontologia das
artes e das ciências na medida em que propõem uma forma de produção de
conhecimento que não é nem completamente artística e nem completamente científica.
Os dados que eram antes geralmente coletados e analisados de maneira objetiva,
gerando listas, tabelas e gráficos ao final do processo, são agora subvertidos em obra
artística para estabelecer uma relação afetiva do público com uma problemática que
continua sendo essencialmente científica.

62
 Capítulo 3

Sonificação, música e arte sonora

Ao tratar da sonificação sob a perspectiva da art-science, já começamos a

identificar os múltiplos contextos em que ela ocorre. Um outro possível contexto a ser
tratado é o da música; algo inevitável, se relembrarmos como o som, um dos elementos
centrais da sonificação, sempre teve sua dimensão artística fortemente associada à
música, pelo menos até o surgimento da arte sonora. De fato, muitos artistas que
trabalham com sonificação possuem uma formação predominantemente musical,
especialmente dentro da disciplina de composição musical que tem se tornado cada vez
mais integrada com tecnologias digitais. Esse processo se dá tanto na área da música
eletroacústica e da computer music, que já nasceram integradas a tais tecnologias,
quanto nas formas mais tradicionais de composição, que agora são auxiliadas por
computadores. Prova disso é a coexistência de obras de sonificação realizadas
inteiramente no domínio digital, como peças de computer music, e obras realizadas de
maneira mista com o resultado final notado em partituras tradicionais para serem
tocadas por instrumentistas.
Exemplificando, cito duas obras que sonificam dados de mesma natureza. Polar
Ice Sonification58 (2014), colaboração entre o programador Matthew Kenney e o
compositor Mark Ballora, é uma peça musical que sonifica dados de mudanças
climáticas na região da Antártida durante 400 mil anos, incluindo variáveis como área e
volume de gelo, radiação solar, temperatura e nível do mar. Não encontrei em lugar
algum uma descrição da obra explicando quais variáveis foram mapeadas a quais sons
(exceto pelo código em SuperCollider disponibilizado pelos compositores), mas um
longo glissando circular e mudanças de velocidade no padrão rítmico, somados ao senso
comum com relação ao aquecimento global, leva a imaginar que estes sons estão a
representar o longo processo de alteração climática na região. Os sons utilizados são
sintetizados digitalmente e o resultado final é esteticamente próximo do que se espera

58 Polar Ice Sonification disponível no website pessoal do artista em:

<http://matthewkenney.site/polar.html>. Acesso em 08/06/2019.

63
de uma peça de música eletroacústica ou computer music. Outra peça que também
sonifica dados coletados na Antártida é Antarktika59 (2009), do compositor Frank
Halbig, mas que o faz através dos sons instrumentais tradicionais de um quarteto de
cordas. Dados climáticos e químicos de 742 mil anos coletados durante uma perfuração
na região são mapeados a parâmetros musicais como altura, dinâmica, duração e
articulação (posição do arco na corda do instrumento, sforzato, legato, col legno, etc) e
representados através de uma notação musical tradicional. Alturas, por exemplo,
representam a concentração de cálcio nas camadas de geleira; dinâmicas representam a
concentração de ferro, etc. Algumas outras obras realizam ainda uma mistura destas
duas possibilidades, como Sternenrest60 (2007), do compositor Willem Boogman, para
ensemble instrumental e eletrônica. Esta obra utiliza tanto sons sintetizados quanto sons
instrumentais para representar dados de pesquisas envolvendo a vibração interna de
estrelas, mais especificamente da estrela HD 129929.
Cada uma dessas obras se insere em uma longa trajetória musical, dialogando
com a tradição da música de concerto, da música eletroacústica, e das intersecções entre
as duas. Poderíamos imaginar, neste sentido, que a sonificação apenas dá sequência ou
retoma – sob uma outra perspectiva, obviamente – um certo tipo de pensamento
composicional que sempre esteve presente na música, mesmo antes do advento de
tecnologias digitais. Diversos pesquisadores de sonificação – músicos ou cientistas da
computação – tentaram traçar a história deste pensamento, buscando, em práticas
musicais do passado, antecedentes do que entendemos hoje como sonificação; e apesar
dos exemplos serem mais numerosos ao longo do século XX, eles remontam, pelo
menos, ao século XV. A seguir, comentarei alguns destes exemplos, identificando quais
semelhanças eles carregam com a ideia de sonificação, mas também elucidando suas
diferenças.
Destaco previamente, a fim de manter uma descrição cronológica ininterrupta
que conduza, de fato, ao surgimento da sonificação, que semelhanças e diferenças são
estas. As semelhanças resumem-se a dois aspectos que considero centrais à sonificação
do ponto de vista musical.
59 Informações sobre Antartika estão disponíveis no website oficial do projeto em:
<http://www.antarktika.at/>. Acesso em 08/06/2019.
60 Informações, partitura e excertos de Sternenrest disponíveis em:
<http://www.willemboogman.nl/sternenrest.html >. Um dos movimentos da peça pode ser escutado na
íntegra no Soundcloud oficial do compositor em: <https://soundcloud.com/willem-boogman/glas-based-
on-the-star-hd-129929>. Acesso em: 08/06/2019.

64
 O primeiro aspecto é o uso simbólico do som para representar elementos
extramusicais. O desejo de representação sonora sempre existiu e inspirou as mais
diversas obras na história da música ocidental – a despeito da narrativa que parece ter
prevalecido ao final do século XIX, e que teve em Hanslick seu principal proponente, de
que a música seria uma arte puramente abstrata e autorreferente, ou seja, incapaz de
referir-se a qualquer elemento externo a ela mesma. A sonificação materializa este
desejo da maneira mais plena, pois tudo nela gira em torno da ideia de representação de
elementos externos à obra, desde a técnica de mapeamento em si, que tem por objetivo
principal representar os dados e, por conseguinte, os fenômenos aos quais eles se
referem, até a fruição da obra pelos ouvintes, que passa necessariamente pelo
reconhecimento desta representação.
O segundo aspecto é a automatização do processo composicional (ou de parte
dele). Entenda-se por automatização qualquer mecanismo ou procedimento
composicional que o compositor inventa, ou toma de outro lugar, para gerar materiais
ou obras musicais inteiras a partir de um número limitado de regras. Estas regras podem
ser implementadas em ambientes computacionais, como acontece na música
algorítmica, ou não, como acontece na música serial. De qualquer forma, em ambos
casos o compositor relega parte de suas escolhas composicionais a um sistema externo a
ele. O sistema, a partir de um determinado input, devolve materiais musicais prontos, ou
quase prontos, ao compositor. Na sonificação, este aspecto da automatização tem um
papel discursivo curioso, pois imagina-se que, ao desligar-se de parte do processo
composicional, o compositor estaria também neutralizando parte da sua subjetividade
que normalmente estaria impregnada na obra, tornando-a assim mais objetiva, mais
científica.
Um terceiro aspecto adicional, menor e quase sempre atrelado à automatização,
é a parametrização do fenômeno sonoro, em que os componentes básicos da nota
musical (altura, intensidade, ritmo, timbre, etc) são tratados como entidades próprias e
independentes entre si. Este aspecto é especialmente evidente em sonificações
realizadas por meio de síntese sonora em que um fluxo de dados é mapeado a
determinado parâmetro de síntese, fazendo-o modular com o tempo; mas é também
evidente em obras instrumentais. Os exemplos das peças Polar Ice Sonification e
Antarktika que apresentei anteriormente são bem claras na maneira como a

65
parametrização sonora favorece a sonificação, tanto em peças de música eletroacústica
como em peças instrumentais.
Em relação às diferenças, veremos como as práticas musicais geralmente citadas
como antecedentes da sonificação partilham de um ou outro aspecto, mas não todos, e
por isso teríamos dificuldade em analisá-las como sonificações. Algumas, como o
serialismo integral, efetuam um certo grau de automatização e de parametrização
sonora, mas mostram-se impermeáveis a elementos extramusicais. Outras, como a
música programática do século XIX, pretendem-se representações diretas de um
substrato extramusical – o programa – mas não acontecem de maneira automatizada.

3.1 Antecedentes musicais da sonificação

Com estes dois aspectos em mente, olhemos para os exemplos do passado que
pesquisadores frequentemente tratam como antecedentes da sonificação, sugerindo uma
possível trajetória cronológica para o pensamento composicional que conduziu para o
seu surgimento, desde o século XV até o século XX.
Como um preâmbulo desta trajetória, poderíamos apresentar um exemplo ainda
mais antigo e que é frequentemente considerado como a própria fundação da música
ocidental: a noção pitagórica de ‘música das esferas’ e o experimento do monocórdio.
No século VI a.C., Pitágoras de Samos pensava que os princípios da matemática eram
também os princípios que regiam todas as coisas do universo, de forma que tudo o que
existe seria baseado em propriedades e proporções numéricas. A música das esferas, ou
harmonia das esferas, diz respeito à possível correlação entre as proporções numéricas
das distâncias entre os planetas do sistema solar e as proporções numéricas dos
intervalos da série harmônica (PROUST, 2009, p. 358), estes últimos observados por
Pitágoras em seu famoso experimento com o monocórdio. Neste experimento, Pitágoras
demonstrou que determinadas frações do tamanho da corda no instrumento equivaliam a
determinados intervalos musicais – por exemplo, metade do tamanho da corda equivale
ao intervalo de oitava, um terço equivale à quinta, etc. O paralelo com a sonificação,
nesse sentido, é mais poético do que técnico: a ideia de música das esferas pressupõe a
existência de uma grande ‘música universal’ que o ser humano é incapaz de escutar.
Somente através da matemática ele seria capaz de tecer relações entre a astronomia e a
física dos sons, conseguindo assim conseguir representar esta música divina.

66
Curiosamente, séculos depois de Pitágoras, Johannes Kepler retomaria esta ideia em seu
Harmonices Mundi de 1619, associando a velocidade angular do movimento dos
planetas em torno do sol a diferentes velocidades de vibração de notas musicais,
obtendo assim uma espécie de melodia para cada planeta (PROUST, 2009, p. 362).
A música das esferas é um exemplo bastante citado dentro da sonificação, tanto
nos contextos artísticos como científicos (BALLORA, 2014; DOMBOIS et al, 2008;
SCHOON; DOMBOIS, 2009; GROND; HERMANN, 2011; JOY, 2012; POLLI, 2005).
Talvez esta recorrência se explique por uma necessidade de legitimação histórica da
própria ideia de sonificação. O exemplo da música das esferas parece atender esta
necessidade, primeiro, por sua antiguidade, pois remonta aos primórdios do pensamento
ocidental, e segundo, por sugerir que, nesta antiguidade, música (arte) e matemática
(ciências) se misturavam para formar uma cosmologia, um corpus teórico capaz de
explicar todos os fenômenos do mundo. É como se, ao retomar a música das esferas, os
pesquisadores estivessem dizendo que, no princípio, o som foi uma ferramenta
importante de investigação e compreensão das coisas do mundo, que em algum
momento da história isto se perdeu, e que, hoje, a sonificação intenta retomar este
pensamento primordial e fundador para construir uma nova forma de conhecimento.
Para além deste preâmbulo inicial, diversas obras ou práticas musicais são
comumente citadas como antecedentes da sonificação. Um dos exemplos mais antigos é
Nuper Rosarum Flores, composta por Guillaume Dufay em 1436. Trata-se de um
moteto – forma vocal comum durante o final da idade média e a renascença – composto
na ocasião da inauguração do novo domo da catedral de Santa Maria del Fiore, em
Florença. Diversos musicólogos vieram a sugerir que Dufay compôs seu moteto
transpondo relações de proporção da arquitetura da catedral para relações entre os
materiais musicais – hipótese refutada por outros tantos musicólogos (JOY, 2012).
Poderia se dizer que Dufay realizou uma espécie de sonificação das dimensões da
catedral, transpondo-as para relações rítmicas e de duração entre as vozes do moteto;
somente, é claro, se aceitamos a análise de que a obra de fato foi inspirada na catedral.
Sua intenção, porém, estava provavelmente mais ligada a uma numerologia católica,
afinal, a catedral foi construída com as mesmas dimensões do Templo de Salomão –
exemplo não muito diferente de uma infinidade de compositores que utilizaram a
proporção áurea ou a série de Fibonacci para estruturar suas obras (GENA, 2011). Além

67
disso, Dufay utiliza este recurso apenas em algumas frases do moteto, ao contrário da
sonificação, em que os dados subjacentes tendem a estruturar toda a obra.
Tempos depois, já no século XVIII, encontramos um uso bastante lúdico da
noção de automatização composicional em diversos jogos musicais criados para gerar
aleatoriamente pequenas peças a partir do lance de dados. Pelo menos vintes jogos
musicais foram publicados entre 1757 e 1812, voltados principalmente ao público
diletante com a promessa de tornar a composição musical acessível a qualquer pessoa.
Nestes jogos, cada lance de dados gera um número que corresponde a um trecho
musical de uma coletânea montada especialmente para o jogo. Combinando diferentes
trechos a partir de sucessivos lances de dados, forma-se ao final uma peça inteira,
geralmente danças simples como valsas, polonaises, minuetos, marchas, etc (HEDGES,
1978). Apesar de serem claramente uma tentativa incipiente de composição algorítmica,
estes jogos dependiam mais da habilidade do compilador em escolher fragmentos
musicais tonais que funcionassem sempre juntos do que da ideia de acaso ou
aleatoriedade – como mais tarde faria John Cage.
Ao longo do Romantismo, no século XIX, diversas obras foram compostas sob a
alcunha de música programática. Em oposição à ideia de música absoluta, em que a
música não seria capaz de transmitir nada que não fosse ela mesma, a música
programática pressupõe a existência de um programa, uma narrativa textual subjacente
que inspira e conduz a obra. Nestas peças, os sons são usados para representar a
narrativa, às vezes imitando características acústicas de objetos ou eventos, às vezes
lançando mão de símbolos musicais convencionados, como o uso de determinadas
tonalidades ou coloridos instrumentais para representar estados de espírito ou ações.
Qualquer paralelo com a sonificação, neste caso, estaria fundado na possível capacidade
do som de transmitir informações ou de funcionar como símbolo, de forma que a única
semelhança da música programática do século XIX com a sonificação é a de apontar
para algum elemento extramusical subjacente ao som ou à música. Como observa o
musicólogo Volker Straebel, “o ouvinte deve encontrar um significado além da música,
assim como alguém escutando uma sonificação deve interpretar informações sendo
comunicadas através do som” (STRAEBEL, 2010, p. 287). Diferentemente da
sonificação, porém, a representação na música programática está ainda muita imersa na

68
dimensão romântica da expressividade e da subjetividade do compositor, distante,
assim, da ideia de automatização.
Entrando no século XX, as diversas mudanças de paradigmas artísticos
impulsionadas pelo pensamento moderno nos aproximam cada vez mais de um
pensamento musical que, de fato, conduz para a prática da sonificação. Neste contexto,
a noção de automatização do processo composicional torna-se especialmente forte,
radicalizando-se no período pós-guerra e encontrando seu ápice na computer music. O
pontapé inicial deste movimento certamente foi a invenção do dodecafonismo por
Schoenberg e sua posterior radicalização por Webern, abrindo as portas para o
serialismo integral. A ideia de uma série dodecafônica implica uma automatização, pois
lida com as notas musicais como se fossem números, recombinando-as a partir de regras
preestabelecidas – através, por exemplo, do recurso da matriz serial, que oferece todas
possíveis variações de uma série e sobre a qual se compunham peças dodecafônicas
inteiras; um recurso, antes de tudo, emprestado da matemática. Trata-se, obviamente, de
uma iniciativa tímida de automatização, ainda muito ligada, na prática, a ideais de
expressividade romântica, mas que se radicalizou no momento em que compositores
passaram a aplicar o mesmo pensamento serial a todos parâmetros musicais, não
somente à altura. O serialismo integral tinha como premissa a parametrização de todos
aspectos musicais, desde os mais básicos como altura, duração, intensidade e timbre, até
aspectos formais mais globais, gerando assim toda uma peça de maneira quase
automatizada a partir de uma sequência de números qualquer e suas recombinações.
Este tipo de técnica composicional partilha com a sonificação, portanto, os aspectos da
automatização e da parametrização sonora. Porém, diferente dela, o serialismo se
configura mais como um pensamento de ‘música absoluta’, geralmente impermeável a
elementos extramusicais.
Outros compositores no período pós-guerra deram continuidade a este
pensamento composicional, mas incorporando elementos extramusicais em suas
abordagens composicionais. Dois deles, frequentemente citados como precursores da
sonificação por pesquisadores do campo, foram Iannis Xenakis e John Cage.
Xenakis é uma figura relevante neste contexto por incorporar problemáticas
científicas ao discurso musical, herança direta do compositor Edgard Varése que,
curiosamente, já utilizava o termo art-science para se referir a uma nova prática musical

69
mediada por tecnologias, prenunciando, em 1939, o que viria a ser a computer music
(VARÉSE; WEN-CHUNG, 1966; RISSET, 2004). Xenakis teve papel importante dentro
da computer music, investigando as possibilidades da síntese granular e desenvolvendo
ferramentas musicais computacionais. Contudo, sua contribuição considerada mais
importante para o campo da sonificação estaria no seu método composicional, que
frequentemente empregava cálculos matemáticos estocásticos para gerar materiais
musicais. Volker Straebel (2010) cita, por exemplo, a obra Pithoprakta61, de 1955, para
orquestra. Nesta obra, Xenakis determina a velocidade de 46 glissandos nas cordas da
orquestra a partir de uma fórmula que descreve o movimento browniano de partículas
gasosas, organizando as velocidades obtidas com uma função gaussiana. Com algum
esforço, poderíamos ver este tipo de abordagem como uma sonificação, representando
dados científicos através do som. Contudo, Xenakis certamente não estava interessado
em representar dados. O uso de tais fórmulas matemáticas em sua obra servia apenas
como inspiração e forma de gerar materiais musicais (STRAEBEL,2010). Na verdade, é
bem possível que Xenakis não viesse a gostar da ideia de sonificação, algo explicitado
em um pequeno trecho de sua tese, Formalized Music, publicada originalmente em
1971:

Os tecnocratas de hoje e seus seguidores tratam a música como uma

mensagem que o compositor (fonte) envia para um ouvinte (receptor). Neste
sentido, eles acreditam que a solução para o problema da natureza da música
e das artes em geral está nas fórmulas extraidas da teoria da informação […]
Identificações da música com mensagem, com comunicação e com
linguagem são esquematizações que tendem ao absurdo e à dessecação
(XENAKIS, 1992, p.180, tradução nossa)62.

Nesta mesma tese, Xenakis critica a postura de alguns compositores que

incorporam a aleatoriedade em suas práticas musicais, entendendo isso como um “abuso
de linguagem”, não mais do que uma música improvisada. Sem citar nomes, talvez se
referisse a Cage. Tal hostilidade só torna mais curioso o fato de que ambos compositores
são vistos como precursores da sonificação pelos mesmos motivos: automatização,
61 Gravação de Pithoprakta disponível em: <https://www.youtube.com/watch?v=nvH2KYYJg-o>. Acesso
em: 09/06/2019.
62 “Today’s technocrats and their followers treat music as a message which the composer (source) sends

to a listener (receiver). In this way they believe that the solution to the problem of the nature of music and
of the arts in general lies in formulae taken from information theory. […] Identification of music with
message, with communication, and with language are schematization whose tendency is towards
absurdities and desiccations” (XENAKIS, 1992, p.180).

70
parametrização do som e uso de elementos extramusicais no processo composicional.
Cage, porém, talvez fosse uma figura mais influente por sua veia experimental e
conceitual, alimentando o campo artístico que viria a ser a arte sonora – e, sob uma
análise mais cuidadosa, veremos que diversos trabalhos de sonificação se inserem com
mais facilidade na arte sonora do que na música.
Em muitas de suas obras, Cage empregou o acaso e a aleatoriedade como
mecanismos de automatização (com uma justificativa poética muito sólida e que vai
além da simples automatização, obviamente) somados à parametrização sonora.
Algumas obras de Cage são também muito citadas em meio aos pesquisadores da
sonificação. Em Music of Changes63 (1951), por exemplo, Cage organiza seus materiais
musicais utilizando o I-Ching, livro milenar chinês originalmente utilizado como
método de adivinhação do futuro. Ao jogar o I-Ching, obtinha como resposta um
hexagrama, que por sua vez indicava, dentro de uma tabela preestabelecida, qual
material musical, dinâmica e duração deveria ser usada na peça. Repetindo este
procedimento várias vezes, Cage construiu as peças que integram o Music of Changes –
diferentemente dos jogos musicais do século XVIII, que lidavam com pequenos
fragmentos musicais compostos de antemão. Outra obra frequentemente citada é Atlas
Eclipticalis64 (1961), em que Cage colocou uma folha de partitura transparente
sobreposta a um mapa astronômico, utilizando assim a posição das estrelas para gerar
materiais harmônicos nos pentagramas vazios, algo que além de se aproximar da
representação de dados científicos pelo som, também estabelece um conteúdo
programático subjacente (STRAEBEL, 2010). Diga-se de passagem, astronomia é um
tema e uma fonte de dados extremamente comum entre obras de sonificação.
Um terceiro compositor digno de nota é Alvin Lucier, pois em algumas de suas
obras a ideia de representação de dados externos à música aparece de maneira bastante
explícita. Sua peça Music for Solo Performer65 (1965) é frequentemente citada por
pesquisadores que a analisam como um uso incipiente da técnica da sonificação. Nesta
obra, Lucier utiliza ondas cerebrais amplificadas para excitar, em tempo real, diversos
instrumentos de percussão espalhados pelo palco. Estas ondas cerebrais, mais
63 Gravação de Music of Changes disponível em: <https://www.youtube.com/watch?v=B_8-B2rNw7s>.
Acesso em: 09/06/2019.
64 Gravação de Atlas Eclipticalis disponível em: <https://www.youtube.com/watch?v=0eF-1HfUoiw>.

Acesso em: 09/06/2019.

65 Gravação de Music for Solo Performer disponível em:<https://www.youtube.com/watch?

v=bIPU2ynqy2Y>. Acesso em: 09/06/2019.

71
especificamente as do tipo alfa que são produzidas quando a mente se encontra em
repouso, são coletadas de um performer vestindo um eletroencefalograma, sendo então
amplificadas e utilizadas para excitar alto-falantes acoplados nos instrumentos de
percussão, fazendo-os soar. A semelhança entre esta peça e o procedimento de
sonificação é evidente. Incontáveis obras de sonificação de ondas cerebrais foram
produzidas desde então, mas sob contextos performáticos diferentes, como a obra
Multimodal Brain Orchestra66 (2009), do compositor Jônatas Manzolli, ou ainda
Eunoia67 (2013) da artista Lisa Park.
Outras duas peças de Lucier podem ser citadas por suas semelhanças com a
sonificação. Clocker68 (1978), por exemplo, utilizava um relógio amplificado com
microfones de contato, sensores GSR (resposta galvânica) para medir a resistência
elétrica da pele, e um efeito de delay. O som do relógio passava pelo efeito de delay
que, por sua vez, tinha sua velocidade alterada em função da variação de resistência
captada pelos sensores na pele do performer. Conceitualmente, esta peça é quase
idêntica a Music for Solo Performer, colocando em jogo as mesmas questões e as
mesmas relações com a sonificação. Outra peça é Panorama69 (1993), para trombone e
piano, em que Lucier utiliza uma fotografia panorâmica dos alpes suíços como material
básico da obra. O contorno dos alpes na fotografia é mapeado ao glissando do
trombone, que sobe e desce de acordo com a figura, e os picos dos alpes são destacados
por acordes do piano. Certamente, é a peça que mais se assemelha à sonificação, com
mapeamentos diretos e com a estrutura geral regida inteiramente pelos dados (no caso,
pela fotografia).

3.2 Sonificação e computer music

Paralelamente a trajetória musical do pós-guerra, e ao mesmo tempo alimentada
por ela, a computer music se desenvolveu. Iniciada nos Estados Unidos a partir de
pesquisas em telecomunicações após a segunda guerra mundial, esta nova prática surgiu

66 Excertos de Multimodal Brain Orchestra disponíveis em: <https://www.youtube.com/watch?v=PW0x-

lV8XgE>. Acesso em: 09/06/2019.
67 Excertos de Eunoia disponíveis em: <https://www.youtube.com/watch?v=6ywzE6vsytw>. Acesso em:

09/06/2019.
68 Excerto de Clocker disponível em: <https://www.youtube.com/watch?v=1QPUnmgR6oI>. Acesso em:

09/06/2019.
69 Gravação de Panorama disponível em: <https://www.youtube.com/watch?v=6p5HJG6vU3k>.Acesso

em: 09/06/2019.

72
das possibilidades oferecidas pelas tecnologias computacionais em desenvolvimento na
época, de forma que cada avanço tecnológico nesta área de pesquisa sempre resultou
também em avanços na própria computer music. Observando sua história, talvez
possamos entendê-la como um exemplo de art-science, especialmente dentro da lógica
interdisciplinar de inovação, pois surgiu e se desenvolveu principalmente dentro dos
studio-labs – a Bell Laboratories sendo o mais importante deles – a partir de uma
intensa colaboração entre cientistas e compositores.
Alguns dos compositores que influenciaram ou colaboraram com o
desenvolvimento da computer music, tanto de maneira direta como indireta, já foram
citados aqui, como Cage e Xenakis, e outros tantos poderiam ser citados;
perceberíamos, porém, que a maioria destes compositores partilharam em alguma
medida de um pensamento composicional herdado da escola serial, que prezava pela
automatização do processo composicional a partir da parametrização sonora. A
computer music talvez represente a continuidade e o ápice deste pensamento,
implementando todas estas ideias no ambiente computacional e tornando-as elemento
central de sua prática – um encontro conveniente entre compositores interessados em
experimentar com a automatização da criação musical e computadores criados com o
único objetivo de automatizar processos.
Dentro deste contexto, a noção de composição algorítmica merece especial
atenção, pois agora o ato composicional está mais ligado à criação de regras e
procedimentos para serem realizados pelo computador de maneira automática do que
aos procedimentos tradicionais de composição instrumental. Esta noção é também a que
mais nos aproxima da sonificação. Segundo Curtis Roads (1996), o que levou ao
surgimento da composição algorítmica foi a possibilidade de reproduzir
automaticamente sequências musicais. Assim, um equipamento controlado
sequencialmente [sequence-controlled device] recebe uma sequência ordenada de dados
com instruções que lhe dizem quando tocar e o que tocar. Este é o mesmo paradigma de
ambientes de programação musical consagrados, como os da série MUSICn,
desenvolvidos inicialmente por Max Mathews na Bell Labs, e seu sucessor, o
CSOUND. Nestes programas as tarefas eram divididas em dois componentes, a
‘orquestra’, encarregada de definir os unit generators (unidades básicas que simulam
osciladores, filtros, efeitos, etc), e a ‘partitura’, encarregada de enviar instruções para a

73
orquestra na forma de sequências de dados. Em última análise, trata-se de um
mapeamento com os dados da ‘partitura’ controlando o comportamento da ‘orquestra’.
Estão colocadas, portanto, as condições para que a sonificação se desenvolva enquanto
prática musical e artística: basta apenas um passo a mais para substituir os dados da
‘partitura’ por outros dados coletados de um fenômeno qualquer; posto de outra forma, e
retomando aqueles dois aspectos que destaquei como centrais na sonificação sob o
ponto de vista musical, basta um passo a mais para que se inclua a representação
extramusical no processo de automatização composicional.
Assim, o surgimento da sonificação esteve diretamente ligado às possibilidades
técnicas oferecidas pela computer music (áudio digital, síntese sonora, protocolos de
comunicação, ambientes de programação, etc), mas também ao próprio pensamento
composicional inerente aos paradigmas de funcionamento das primeiras ferramentas
computacionais. Alguns pesquisadores, como Peter Sinclair (2013), por exemplo,
entendem a sonificação como um braço da computer music, colocando como diferença
entre elas apenas o fato da segunda lidar, geralmente, com processos desconectados do
mundo externo ao computador ou com a interação gestual humana em tempo real.
Curiosamente, a obra mais antiga que encontrei em minha pesquisa e que pode
ser vista como uma sonificação de maneira inequívoca – apesar de ainda não utilizar o
termo sonificação – é uma peça de computer music: Earth’s Magnectic Field70 (1970),
do compositor Charles Dodge, que sonifica a atividade magnética na atmosfera terrestre
causada por ventos solares. A inspiração inicial da peça veio do contato de Dodge com
alguns pesquisadores da NASA em Columbia. Estes pesquisadores, estudando o
fenômeno dos ventos solares, perceberam que a notação dos dados obtidos nas
medições se assemelhavam visualmente à notação musical, e tiraram daí a ideia de
“sonificar” estes dados (THIEBERGER; DODGE, 1995). Dodge realizou esta
sonificação mapeando os dados obtidos das medições da atividade magnética na
atmosfera terrestre – os chamados índices Kp – diretamente a notas musicais, de forma
que cada valor do índice equivaleria a uma nota musical dentro de um conjunto
diatônico. Esta correlação “um para um” pode ser facilmente percebida logo no
primeiro movimento da peça, quase inteiramente monofônico.

70 Excertos de Earth’s Magnetic Field disponíveis em: <https://www.youtube.com/watch?

v=j5MHsnc67yw>.

74
 Figura 14 - Diagramas de Bartels, usados para representar dados da atividade magnética terrestre, que
inspiraram os cientistas por sua semelhança com a notação musical

Fonte: Encarte do disco Earth’s Magnetic Records, pelo selo Nonesuch (1970).

Segundo as informações no encarte do disco original, publicado pelo selo

Nonesuch, a realização da peça aconteceu em duas partes. A síntese sonora digital foi
realizada no computador IBM/360 modelo 91, instalado, na época, no Goddard Space
Flight Center da NASA. Os instrumentos digitais foram programados por Dodge a partir
de um programa de síntese genérico desenvolvido na Universidade de Princeton. A
conversão para o meio analógico foi realizada na Bell Telephone Laboratories
(BOLLER; DODGE, 1970). Estas não são apenas informações gratuitas sobre a
realidade técnica da peça, mas sim importantes pistas sobre o tipo de ambiente em que a
computer music e, por conseguinte, a sonificação, primeiro se desenvolveram.
Anteriormente, sugeri que a computer music poderia ser entendida como um produto da
lógica de inovação, e o processo de criação de Earth’s Magnetic Field, marcada pela
parceria entre compositor e cientistas, exemplifica muito bem esta lógica. Certamente, o
uso das instalações da NASA só foi possível graças ao envolvimento dos pesquisadores
que, talvez por curiosidade ou por passatempo, lançaram-se ao desafio de transformar os
dados de suas pesquisas em música. O mesmo talvez seja verdade no caso dos
laboratórios da Bell, que, embora interessada primordialmente nas pesquisas em
telecomunicações, abria suas portas também para as pesquisas adjacentes de
compositores e artistas na esperança de que as últimas viessem a alimentar as primeiras.

3.3 Sonificação, entre a música e a arte sonora

Em alguns momentos deste capítulo, quando apresentei as obras consideradas
por pesquisadores como antecedentes da sonificação, fiz uma ressalva com relação à sua
estruturação, observando como algumas delas não tratam a representação de dados
como elemento discursivo fundamental, mas sim como uma simples maneira de gerar

75
materiais musicais. Este foi o caso de Nuper Rosarum Flores, Pithoprakta, e Atlas
Eclipticalis, O fato é que, olhando para a história do pensamento composicional
ocidental de maneira geral, o controle estrutural da obra e do discurso musical (‘a mão
do compositor’) sempre foram aspectos muito caros à criação musical – aspectos quase
sempre articulados a partir de formas musicais tradicionais, regras de composição de
cada período ou ainda a partir da expressividade individual do compositor, mas quase
nunca articulados de maneira automatizada a partir de dados extramusicais, como faz a
sonificação.
Na sonificação, mapear dados a sons quase sempre significa abrir mão, ao
menos parcialmente, do controle da estrutura e do discurso musical da obra, pois os
dados e a forma como eles são mapeados passam a ditar estes dois aspectos. Se
imaginarmos um cenário possível de sonificação em que, por exemplo, dados sobre os
valores da cotação do dólar são mapeados à frequência de um oscilador, todos os
eventos sonoros internos desta obra estarão sujeitos à cotação do dólar, de forma que um
eventual glissando ascendente não estaria ali por uma questão estrutural maior ou por
uma escolha composicional, mas porque os dados assim estão configurados. Isso não
impede, é claro, que o compositor tenha uma ação criativa sobre estes dados, pois tanto
a escolha dos dados, quanto dos sons, são, antes de tudo, decisões composicionais.
Alguns artistas mais comprometidos com a composição musical tradicional utilizam a
sonificação de maneira mais flexível, realizando suas intervenções no processo. Um
compositor pode optar por escolher sonoridades que ele sabe que funcionarão bem
juntas, antevendo o comportamento dos dados sendo sonificados, ou ainda criar seções
distintas na peça para tentar criar um discurso musical lógico. Todavia, estas são
maneiras de contornar o problema musical estrutural inerente à sonificação, que
continua presente.
A questão que se coloca, portanto, é o quanto a sonificação se afasta da prática
musical na medida em que se afasta de aspectos que lhe são tão caros. Uma resposta
possível está em outras práticas que partilham destas características, como a da arte
sonora. As discussões sobre as relações entre arte sonora e música são muito mais
amplas e complexas do que o escopo deste capítulo, mas podemos aceitar algumas
noções gerais sobre o que delimita estas duas práticas artísticas:
Por arte sonora entendemos a reunião de gêneros artísticos que estão na
fronteira entre música e outras artes, nos quais o som é material de referência

76
 dentro de um conceito expandido de composição, gerando um processo de
hibridização entre o som, imagem, espaço e tempo. Entre outras questões, a
concepção estética desse repertório vai ao encontro da reflexão e inclusão de
elementos que geralmente possuem um valor secundário, ou mesmo
inexistente na criação musical tradicional, tais como o espaço, a visualidade,
a performance e a plasticidade (CAMPESATO; IAZZETTA, 2006)

A prática artística da sonificação se aproxima da arte sonora em alguns destes

termos. Percebe-se que muitas obras de sonificação se apresentam como instalações ou
esculturas que dialogam com o seu espaço (ou com um outro espaço à distância), que
incorporam elementos visuais (especialmente quando o objeto da sonificação é visível
ou quando imagens e sons são gerados a partir dos mesmos dados) e que utilizam o som
de uma maneira mais ‘plástica’ e menos discursiva nos termos da composição musical
tradicional. Percebe-se, inclusive, que muitas obras de sonificação são realizadas por
artistas visuais que, acostumados a lidar com mídias digitais e eletrônicas, transitam
com liberdade dentro do campo sonoro, trazendo consigo uma preocupação
notadamente espacial.
Campesato e Iazzetta (2006) observam como as noções de espacialidade e
temporalidade são bastante diferentes na música e na arte sonora – distinções que
podem ser observadas em alguns trabalhos de sonificação. Na arte sonora, o espaço
torna-se parte integrante e essencial das obras. São obras que geralmente se apresentam
como instalações ou esculturas sonoras, com o som assumindo o papel de elemento
unificador. Já sob a perspectiva temporal, a arte sonora substitui as tradicionais formas
discursivas temporais da música (baseadas em estruturas como motivos e frases e seu
subsequente desenvolvimento) por uma abordagem menos linear do som, prescindindo
de um “desenvolvimento temporal mais extenso ou elaborado” (p. 778). Isso significa
que a apreciação destas obras não depende da escuta em sua totalidade, pois não
existem começos ou finais determinados.
Para exemplificar, aponto algumas obras que materializam bem estas relações
colocadas pela arte sonora na sonificação. A primeira delas é a instalação Building
Materials71 (2010), do artista Owen Lloyd. Esta foi uma instalação baseada na
sonificação em tempo real de atividades humanas dentro do edifício da galeria de arte
Exeter Phoenix, em Londres. Para isso, diversos sensores foram instalados por todo o
71 Informações e documentação do processo de criação de Building Materials disponível em:
<https://buildingmaterialsphoenix.wordpress.com/>. Vídeo demonstrativo da instalação disponível em:
<https://vimeo.com/24221056>. Acesso em: 08/06/2019.

77
edifício para capturar não apenas atividades humanas (como abrir e fechar de portas,
uso de elevadores, movimentação dentro do espaço, etc), mas também temperatura, uso
do ar-condicionado e níveis de luminosidade. Curiosamente, um sensor também foi
instalado no corpo de um piano de armário da galeria, possivelmente um microfone de
contato. Todos os dados recolhidos eram então sonificados por um sistema instalado em
uma sala específica do edifício, onde os sons eram de fato emitidos por alto-falantes.

Figura 15 - Instalação Building Materials

Fonte: Website pessoal do artista. Owen Lloyd, 201172.

72 Disponível em: <https://owenlloyd.net/building-materials>. Acesso em: 10/06/2019.

78
 Como se nota, diversos aspectos aproximam esta obra de uma noção de arte
sonora. Claramente o som é o seu elemento unificador, aspecto evidenciado pelo
próprio uso da sonificação para tornar audível a movimentação interna do prédio.
Apesar disso, não há nada de estritamente musical em termos estruturais nesta obra,
com exceção talvez da presença – irônica – do piano de armário. A ideia de estrutura
musical dá lugar ao acaso ou à própria estrutura de funcionamento do prédio, que
provavelmente é mais movimentado em alguns horários do dia (mais pessoas
transitando, mais luzes acesas, etc), e tal movimentação é representada diretamente na
sonificação. A temporalidade da peça, portanto, é suspensa, pois, ao sonificar em tempo
real estas movimentações, não cria uma direção discursiva determinada: como não há
começo, meio ou fim, o visitante pode experimentar a obra a qualquer momento e por
qualquer duração. Também a espacialidade é fundamental para esta obra, que tem o
próprio edifício no qual ela se encontra como tema e fonte de dados. Esta poética
espacial é reforçada visualmente pelo artista utilizando os cabos que conectam os
sensores ao computador que realiza a sonificação. Os cabos foram cobertos com fitas
coloridas (referência ao mapa do metrô de Londres), criando uma teia visual espalhada
pelo prédio que converge na medida em que se aproxima da sala da instalação,
conduzindo assim o visitante para este ambiente.
Outra obra a ser citada é Cloud Harp73 (1997), escultura sonora do artista
Nicolas Reeves. Trata-se de uma obra móvel baseada na sonificação em tempo real da
distância entre a escultura e as nuvens do céu. No topo da escultura o artista instalou um
equipamento LIDAR (light detection and ranging), tecnologia que detecta a distância
entre objetos calculando o tempo de atraso entre um disparo de luz e sua reflexão. Dessa
forma, com o equipamento apontado para o céu, o artista conseguiu coletar dados de
distância e densidade das nuvens e sonificá-los em tempo real, difundindo o som através
de alto-falantes acoplados no corpo da própria escultura.
As questões que esta obra levanta são fundamentalmente as mesmas de Building
Materials. Claro, ela não foi pensada para algum espaço específico, mas para qualquer
espaço aberto; e ainda assim o espaço é um aspecto essencial, pois são as mutações
deste espaço que alimentam a sonificação. Também a temporalidade da obra não propõe
nenhum tipo de direção, sempre alheia à configuração visual das nuvens sobre ela.
73 Informações sobre Cloud Harp disponíveis em: <http://www.cloudharp.ca/>. Vídeo demonstrativo
disponível em: <https://vimeo.com/5235502 >. Acesso em: 08/06/2019.

79
Como ela foi instalada em espaços abertos de algumas cidades do mundo, seus
visitantes eram, basicamente, transeuntes no local, aspecto que apenas reforça esta
noção de temporalidade da arte sonora que permite que ouvintes entrem ou saiam da
obra a qualquer momento.

Figura 16 - Cloud Harp

Fonte: Website pessoal do artista Nicholas Reeves74.

Em Cloud Harp, Reeves recorreu não apenas à metáfora mais óbvia da aeolian
harp – evidenciada pelo seu título – mas também à metáfora do leitor de discos, pois
sua escultura faz como que uma ‘leitura’ das informações contidas nas nuvens, assim
como um leitor óptico vasculha pelas informações de um CD, ou uma agulha pelos
sulcos de um disco. A título de curiosidade, podemos citar uma obra que realiza o

74 Disponível em: <http://www.cloudharp.ca/>. Acesso em: 10/06/2019.

80
oposto de Cloud Harp, mas sob a mesma metáfora do leitor de discos. Em Global
Player75 (2004), do artista Jens Brand, um satélite em órbita realiza a sonificação em
tempo real da sua distância com o solo. Assim, a superfície terrestre é ‘tocada’ como se
fosse um disco conforme o satélite muda sua posição relativa à Terra. As questões que
envolvem estas obras é a mesma, com a diferença que Jens Brand cria uma situação
performática e uma certa expectativa musical em torno de Global Player. A obra foi
concebida como dois hardwares – ou seja, como dois produtos comerciais –, um
semelhante a uma interface de áudio e outro semelhante a um tocador de mp3, ambos
apresentados em uma instalação que funcionava como um estande de vendas de uma
empresa fictícia. Por conta desta áurea publicitária e por utilizar dois hardwares
geralmente associados à reprodução musical, a ideia de transformar a superfície terrestre
em música é central ao discurso artístico de Global Player, apesar de, em seu resultado
sonoro, estar muito distante do que usualmente se espera de uma obra musical em
termos estruturais.

Figura 17 - Instalação Global Player

Fonte: Website pessoal do artista Jens Brand76.

75 Informações sobre Global Player disponíveis em: <http://www.jensbrand.com/gplayer_text.html>.

Imagens e exemplos sonoros podem ser encontrados em: <http://archive.aec.at/prix/showmode/4608/>.
Acesso em: 08/06/2019.
76 Disponível em: <http://www.jensbrand.com/gplayer_images.html>. Acesso em: 10/06/2019.

81
 Figura 18 - Detalhe do hardware G-POD, de Jens Brand

Fonte: Website pessoal do artista Jens Brand77.

Figura 19 - Detalhe do hardware G-Player, de Jens Brand

Fonte: Website pessoal do artista Jens Brand78.

Com estes exemplos, é possível enxergar claramente uma aproximação entre

arte sonora e sonificação pelos aspectos temporais e espaciais apontados por Campesato
e Iazzetta. São, obviamente, exemplos seletos de uma prática de sonificação que, apesar
de numerosa, não ilustra a sonificação como um todo. Diversas outras obras pressupõem
uma escuta temporalmente estruturada, especialmente aquelas realizadas em contextos
musicais para serem apresentadas em concertos ou veiculadas em mídias fixas. Outras
ainda não estabelecem nenhum tipo de relação espacial ou visual, operando como
verdadeiras peças de música acusmática ou sonificando dados de natureza
completamente abstrata. O fato é que, como já destaquei na introdução, a sonificação é
múltipla e esteticamente variada, sendo a arte sonora apenas um campo possível de
inserção da sonificação, entre a art-science e a música que já discuti anteriormente, e a
ideia de data art que discutirei a seguir.
77 Disponível em: <http://www.jensbrand.com/gplayer_images.html>. Acesso em: 10/06/2019.
78 Disponível em: <http://www.jensbrand.com/gplayer_images.html>. Acesso em: 10/06/2019.

82
 CAPÍTULO 4

Sonificação, cultura de dados e data art

Da mesma forma que investigamos a sonificação sob as perspectivas da art-

science, da música e da arte sonora, podemos também investigá-la sob a perspectiva de
uma cultura de dados contemporânea, expressa na prática artística que tem sido
denominada data art79. Estas perspectivas são, sem dúvida, separações artificiais, pois
todas elas dialogam entre si de maneira intensa no contexto das mídias digitais, que
naturalmente permitem este diálogo. Porém, assim como na art-science, na música e na
arte sonora, observaremos que a data-art ilumina alguns aspectos específicos da
sonificação que estas outras três práticas ainda não haviam levantado. Adiante,
apresentaremos alguns exemplos de obras frequentemente associadas a esta cultura de
dados e que utilizam a sonificação como recurso técnico.
A data art lida diretamente com a realidade tecnológica da sociedade
contemporânea, uma realidade de digitalização dos meios de comunicação, de
conectividade via internet e de globalização. Lida, portanto, com uma sociedade que
produz uma quantidade assustadora de dados a todo instante: imagine que toda atividade
realizada em um computador ou smartphone conectado em rede gera dados e metadados
automaticamente, e que toda atividade humana atualmente passa por estes dispositivos.
É apenas natural que, após uma longa trajetória de incorporação das mídias nascidas no
século XX pelas artes, esta nova realidade tecnológica também viesse a ser incorporada,
criando uma prática artística preocupada com a profusão e com a ubiquidade destes
dados na sociedade. A data art é aquela que toma estes dados como elemento poético e
como material básico, gerando a partir deles imagens, sons, estruturas, etc.
Na introdução deste trabalho, quando estabeleci os paralelos entre sonificação e
visualização, citei em nota de rodapé alguns autores preocupados com esta nova

79Muito do que entendemos neste contexto como data art é por vezes tratado como media-art ou new
media-art. Apesar de não ser um termo utilizado de maneira tão recorrente como estes dois últimos, nos
parece interessante pensar na data-art por pressupor uma prática especificamente voltada para o uso de
dados, algo que não necessariamente acontece em práticas de media art ou new media art.

83
modalidade artística baseada em dados, observando como eles estavam especialmente
voltados para as expressões visuais desta data art, mais especificamente para a
visualização. De fato, a maioria das obras de data art se apresentam como imagens,
instalações ou esculturas geradas a partir de dados. Contudo, diversos artistas, pela
própria natureza maleável e intangível do dado digital, lidam com imagens e sons de
maneira indiscriminada, criando obras que articulam, ao mesmo tempo, técnicas de
visualização e de sonificação. Como observa Simanowski, ao introduzir a noção de ‘arte
de mapeamento’ [mapping art]:

Mapping art é a arte na qual o computador celebra a si mesmo, pois esta arte
se manifesta sobre a qualidade mais significativa do computador: uma vez
digitalizados, uma vez representados para a máquina, todos fenômenos
perdem seu corpo e passam a viver como códigos numéricos que podem ser
facilmente materializados em diferentes formas (SIMANOWSKI, 2011 ,
p.158, tradução nossa)80.

É sintomático que uma das primeiras obras celebradas de data art contenha
elementos visuais e sonoros em jogo. A obra em questão é a instalação Listening Post81
(2001), uma colaboração entre o artista sonoro Ben Rubin e o matemático estatístico
Mark Hansen. Esta é uma instalação baseada na visualização e sonificação de
mensagens de texto coletados em fóruns, chats e bulletin boards online. Para isto, os
artistas desenvolveram um sistema para monitorar e coletar postagens em alguns
websites específicos, alimentando a instalação com novas informações em tempo real.
Este sistema também realizava uma espécie de síntese dos conteúdos das postagens,
identificando e organizando seus tópicos principais para facilitar o posterior
processamento – note-se, portanto, que estamos tratando aqui de uma noção ampliada
de “dado”, que inclui também o processamento da informação nos níveis sintáticos e
semânticos, não mais restrito ao nível da representação numérica. Na instalação, os
textos eram exibidos um por vez nas 231 pequenas telas arranjadas em formato de grade
[grid] e colocadas no espaço de maneira quase teatral, com o público sentado a sua
frente.

80“Mapping art is the art in which the computer celebrates itself because this art is made manifest on the
basis of the computer’s most significant feature: once digitized, once represented to the machine, all
phenomena lose their bodies and live as numerical code that can easily be materialized in different forms”
(SIMANOWSKI, 2011, p.158).
81 Registro de Listening Post disponível em: <https://www.youtube.com/watch?v=dD36IajCz6A>.

Acesso em: 08/06/2019.

84
 Figura 20 - Instalação Listening Post

Fonte: HEBRON (2008).

Figura 21 - Detalhe dos visores utilizados em Listening Post

Fonte: Website do Science Museum Group82.

82Disponível em: <http://collection.sciencemuseum.org.uk/objects/co8091687/listening-post-artwork-art-

installation>. Acesso em: 10/06/2019.

85
 Como o título sugere, Listening Post tem em seu cerne o som, sonificando em
tempo real o conteúdo das postagens (via text-to-speech), suas aparições nas telas (com
um som de clique) e outras informações coletadas pelo sistema da instalação, como
recorrência de tópicos ou o nível de atividade em um chat-room específico. Estes
últimos dados foram usados para provocar mudanças harmônicas em um sistema
musical generativo criado pelos artistas (MODES, 2013). O resultado sonoro da
instalação consistia em cliques e frases espaçadas recitadas por vozes sintetizadas, tudo
isso sobre uma camada musical de arpejos e acordes tonais.
A intenção política desta obra se evidencia ao lidar com informações geradas por
usuários na internet – tema recorrente na data art. Mesmo no ano de sua primeira
realização, em 2001, a internet já possuía uma presença forte o suficiente para levantar
questões sobre privacidade, vigilância, ubiquidade e conectividade, todas estas presentes
em Listening Post. Junto com a dimensão visual e instalativa, a sonificação aparece
nesta obra como uma maneira de “materializar” estes dados e metadados, criando assim
um ambiente que permite aos visitantes tomar consciência de sua própria atividade na
internet e estabelecer algum tipo de relação afetiva com estes dados.
Desde Listening Post, o fluxo de dados em rede, especialmente em redes sociais,
tem sido uma tônica para a data art. A partir de 2010, quando o Twitter ganhou
proeminência, algumas obras tomaram como material os enormes fluxos de dados
movimentados pelas postagens nesta rede social. The Listening Machine83 (2012) é uma
dessas obras, criada em colaboração entre Daniel Jones, Peter Gregson e a orquestra
Britten Sinfonia. Seguindo a linha de Listening Post, esta obra também se baseou na
sonificação de conteúdos de mensagens de texto, lançando mão de um sistema de
análise semântica capaz de determinar o tipo de sentimento presente na mensagem, seu
tópico principal e a prosódia do texto. Postagens de Twitter eram analisadas por este
sistema, mapeando estes três elementos a sons orquestrais pré-gravados dentro de uma
linguagem musical tonal. O resultado da sonificação era transmitido em tempo real pela
internet no website oficial do projeto.

83 Esta obra já havia encerrado suas transmissões antes da escrita deste trabalho, mas mantinha o website
do projeto disponível. No entanto, durante o processo de escrita deste trabalho, o website foi retirado da
internet. Algumas informações podem ser encontradas no artigo da revista Wired, disponível em: <https://
www.wired.com/2012/05/listening-machine-twitter-music/>. Fragmentos sonoros podem ser ouvidos em
uma palestra conferida por Daniel Jones em 2012, disponível em: <https://www.youtube.com/watch?
v=rcVlA0H52K0>. Acesso em: 08/06/2019.

86
 Figura 22 - Screenshot da página principal do website de Listening Machine, antes de ser retirado da
internet

Fonte: XIAO (2012).

Além da atividade de usuários em rede, outras temáticas são recorrentes na data

art e, consequentemente, na sonificação. Uma temática bastante relevante diz respeito a
fenômenos sociais e econômicos, presente em obras que utilizam dados estatísticos
sobre estas duas esferas. Estes dados são geralmente coletados por agências
governamentais ou entidades não lucrativas, como ONGs, com finalidades de pesquisa
ou mapeamento demográfico. Ou seja, são bancos de dados de acesso aberto que o
artista se apropria livremente. As obras que lidam com estes dados acabam assumindo,
inevitavelmente, uma dimensão mista de informação, pois atuam como registros dos
fenômenos aos quais os dados se remetem, e subversão, pois os deslocam de seus
contextos originais para modificar ou atribuir-lhes um novo sentido.
Um projeto especialmente interessante dentro desta lógica é o Data-Driven DJ84,
iniciado em 2015 pelo programador e músico amador Brian Foo. Este projeto consiste
em dez obras de sonificação e visualização de dados de diversos fenômenos sociais,
gerando, como resultado final, vídeos curtos disponibilizados em plataformas como
Youtube e Vimeo. Na primeira obra do projeto, Two Trains, Sonification of Income
Inequality on the NYC Subway85, Foo utiliza dados sobre a renda média de cada região
84 Todos os vídeos e documentações do projeto Data Driven DJ estão disponíveis em:
<https://datadrivendj.com>. Acesso em: 08/06/2019.
85 Disponível em: <https://vimeo.com/118358642>. Acesso em: 08/06/2019.

87
por onde passa a segunda linha do metrô de Nova Iorque. Na sonificação, ele faz
aumentar a dinâmica e o número de instrumentos em bairros onde a renda é maior; na
visualização, um pequeno mapa do metrô e um diagrama com as estações acompanha o
desenvolvimento sonoro, mostrando a atual posição da leitura dos dados.

Figura 23 -Frame do vídeo de Two Trains, Sonification of Income Inequality on the NYC Subway

Fonte: Vimeo do artista Brian Foo, 2015.

Observando esta e outras obras do Data-Driven DJ, nos deparamos com um

resultado sonoro em que transparece o amadorismo musical de Foo, e com um resultado
visual que, quando comparado com obras de data art de discurso artístico mais
elaborado, se assemelha mais a um infográfico típico de revistas ou jornais. Contudo,
chama a atenção o caráter didático deste projeto. Foo utiliza apenas dados de acesso
público, softwares de código aberto e samples de sons de domínio público ou sob a
licença Creative Commons. Cada uma das dez obras possui uma descrição detalhada
sobre a proveniência e o contexto dos dados, softwares utilizados, os tipos de
mapeamentos realizados e a origem dos sons sampleados. Ou seja, o projeto inteiro é
amplamente documentado, aspecto que poderíamos analisar como reflexo de uma
abordagem quase jornalística em torno dos dados, pois preza pela clareza na
representação da informação.

88
 Para além desta abordagem jornalística, outras obras lidam com dados de
fenômenos sociais ou econômicos sob uma agenda de ativismo político, nem sempre
com a clareza informativa que observamos em Data-Driven DJ. São obras que abordam
temas políticos sensíveis, tentando incitar no público uma reação afetiva e,
consequentemente, uma conscientização para estes temas. Esta abordagem é
especialmente comum em obras de data art que lidam com dados militares envolvendo
conflitos bélicos, eventos que tipicamente movimentam grandes quantidades de dinheiro
e resultam em números alarmantes de fatalidades.
Lungs: Slave Labour86 (2005), do artista sonoro Graham Harwood, é uma obra
intrigante sob este aspecto, pois almeja criar uma relação muito intensa entre o visitante
e os dados. A obra é uma instalação baseada em dados recolhidos de registros médicos
de trabalhadores realizados pelos nazistas durante a Segunda Guerra Mundial. Nestes
registros constavam, entre outras coisas, a altura, a idade e o sexo das 4.500 pessoas que
trabalharam sob condição de escravidão em uma antiga fábrica de munição na
Alemanha. Harwood criou um sistema para calcular a capacidade pulmonar de cada
trabalhador cruzando estes três dados e, a partir desta informação, definir o volume de
ar do último suspiro de vida de cada trabalhador. Os alto-falantes na instalação emitiam
um som cujo volume de ar descolado seria equivalente ao do último suspiro dos
trabalhadores, e a tela de monitor do computador permitia visualizar as informações,
ambos colocados sobre uma pequena mesa de escritório. Esta instalação foi criada para
a ocasião de uma exposição do ZKM Karlsruhe, montada no próprio saguão da fábrica
de munição.
A forma como os dados são utilizados nesta obra não é propriamente informativa
em um sentido mais objetivo como observamos em Data-Driven DJ; pelo contrário,
Harwood cria uma narrativa muito peculiar e subjetiva para estes dados, a começar pelo
fato de abstrair uma característica fisiológica que não estava originalmente presente nos
registros médicos: a capacidade pulmonar dos trabalhadores. Esta narrativa é de um
enorme potencial afetivo. É intrigante como, ao atribuir ‘pulmões’ aos dados recolhidos
destes trabalhadores esquecidos no tempo, a obra não apenas os humaniza, mas também

86 De todas as obras comentadas neste trabalho, Lungs é a única que analisei às cegas, ou melhor, “às
surdas”. Não há registro sonoro desta obra em lugar nenhum. No entanto, informações sobre Lungs estão
disponíveis em: <http://yoha.co.uk/lungs>. Algumas outras imagens estão disponíveis em:
<https://zkm.de/en/artwork/lungs-slave-labour>. Acesso em: 08/06/2019.

89
 Figura 24 -Instalação de Lungs: Slave Labour

Fonte: ZKM, 2005. Foto: Franz Wamfof.87

87 Disponível em: <https://zkm.de/en/artwork/lungs-slave-labour>. Acesso em: 10/06/2019.

90
permite ao visitante estabelecer uma conexão sonora, visual e ao mesmo tempo
corpórea com os dados – afinal, a fisiologia da respiração é inata a qualquer pessoa.
Nestes termos, o discurso político da obra fica evidente, e a sonificação possui um papel
central na construção deste discurso.
Em outra obra mais recente, Endless War88 (2013), Harwood, Yokokoji (duo
YoHa) e Matthew Fuller lidaram novamente com a temática militar, desta vez utilizando
os dados vazados sobre a guerra do Afeganistão pela plataforma WikiLeaks em 2010 –
evento que, por si só, já despertou o mundo todo para o poder político que dados
carregam. No entanto, em vez de partir dos dados contidos nos relatórios militares, os
artistas optaram por uma reflexão sobre as próprias máquinas que geraram estes bancos
de dados, criando um sistema computacional para analisar a estrutura do conteúdo
textual. A sonificação, como veremos, assume um papel muito semelhante ao que
observamos em Genesis de Eduardo Kac, adicionando mais uma camada à poética da
obra.
Endless War não lida com dados militares diretamente – como número de
soldados mortos em ação, quantidade de dinheiro investido em munição, etc – mas com
os aparatos que os analisam e extraem deles repetições, padrões, etc; aparatos que,
atualmente, fazem a mediação entre a enorme quantidade de informações produzidas
durante a guerra (contidas em relatórios escritos por soldados, agentes, além de fontes
diretas como aquelas captadas por satélites) e as decisões estratégicas tomadas pelos
militares e pela inteligência de cada nação. No caso dos relatórios vazados pelo
WikiLeaks, suas estruturas confusas e ininteligíveis praticamente gritam a existência
destes aparatos, tanto na criação destes documentos quanto na sua necessidade para que
se extraia algum sentido deles. Endless War opera dentro deste contexto também como
um aparato, introduzindo um sistema de análise destes dados criado pelos artistas e
projetando em tempo real os resultados do processamento na instalação.
O computador que realiza o processamento dos dados é exposto na instalação e
equipado com captadores eletromagnéticos que realizam a sonificação do
funcionamento do sistema. Mais especificamente, trata-se de uma audificação, pois
realiza uma transformação direta do campo eletromagnético gerado pelo computador em
sinal elétrico para ser tocado por alto-falantes. Assim, sempre que um novo
88 Informações e registro de Endless War disponíveis em: <http://yoha.co.uk/endless>. Acesso em:
08/06/2019.

91
processamento é iniciado, os sons da audificação sofrem alguma modificação, tornando
audível este processamento interno. Dentro da poética de Endless War, que lida com os
aparatos de gerenciamento de dados militares e seu funcionamento, faz sentido que a
sonificação não aconteça sobre os dados dos relatórios, mas sim sobre o próprio
funcionamento do sistema criado pelos artistas, que é em si um simulacro destes
aparatos. Neste sentido, a sonificação é utilizada como um gesto reflexivo interno da
obra.

Figura 25 -Projeções da instalação Endless War

Fonte: Website dos artistas do duo Yoha. Foto: Arrhus, 2013.

Figura 26 -Detalhe dos equipamentos utilizados em Endless War

Na imagem, é possível enxergar um captador eletromagnético acoplado ao computador à direita.

Fonte: Website dos artistas do duo Yoha. Foto: Matsuko Yokokoji, 2011.

92
 Uma terceira abordagem comum em obras de data art diz respeito à ideia de
self-tracking, ou seja, com o automonitoramento de diversos aspectos da vida pessoal,
como a própria saúde, performance esportiva, humor, geolocalização e deslocamento. A
possibilidade de uma cultura de self-tracking existir está intimamente relacionada com o
surgimento de smartphones – que, como muitos argumentam, é de fato o primeiro
computador pessoal da história, por ser um instrumento portátil e de uso pessoal
relativamente intransferível – e de seus aplicativos e acessórios tecnológicos – como,
por exemplo, aplicativos de monitoramento de batimentos cardíacos que funcionam
associados a um eletrocardiograma vestido pelo usuário. Um grupo bastante conhecido
e envolvido com esta cultura é o Quantified Self89, criado em 2007 pelos editores Gary
Wolf e Kevin Kelley da revista Wired. O grupo promove frequentemente eventos que
reúnem pessoas interessadas em monitorar e investigar dados sobre seus próprios
corpos, com a finalidade de melhorar a qualidade de vida através do autoconhecimento
mediado tecnologicamente.
Este tipo de movimento de self-tracking, obviamente, produz uma certa
quantidade de dados que precisam ser representados ou materializados de alguma
maneira para que o usuário possa explorá-los. Da mesma forma que eles podem ser
visualizados de maneira clara e eficiente através de gráficos ou textos, estes dados
também podem ser apropriados por práticas artísticas interessadas em dialogar com esta
realidade tecnológica. Alguns projetos de sonificação se inserem neste contexto.
Duas obras do artista sonoro Brian House são bastante ilustrativas deste tipo de
abordagem, embora o artista não possua. A primeira, Forty-Eight to Sixteen90 (2012),
consiste na sonificação de batimentos cardíacos, respiração e ritmo de pedalada do
próprio artista durante um passeio de bicicleta entre os bairros do Brooklyn e Manhattan
– o nome da peça se refere às dimensões da bicicleta utilizada. O artista fez o passeio
vestindo sensores e uma câmera de vídeo acoplada em seu capacete. Os dados dos
sensores foram usados para modular o andamento de uma curta frase musical que era
tocada repetidamente ao violoncelo, de forma que a aceleração dos ritmos corporais
durante o passeio resultava na aceleração do andamento. O vídeo gravado pela câmera
foi posteriormente sincronizado ao resultado sonoro para criar um material audiovisual
89 Homepage do grupo Quantified Self disponível em: <https://quantifiedself.com/>. Acesso em:
08/06/2019.
90Forty-Eight to Sixteen disponível em: <https://brianhouse.net/works/forty-eight_to_sixteen/>. Acesso
em 08/06/2019.

93
de natureza quase documental, representando a passagem do artista por diversos pontos
da cidade e o estado de seu corpo durante esta passagem.
A segunda obra, Quotidian Record91 (2012), também sonifica dados gerados por
atividades do próprio artista, mas desta vez lidando com seu deslocamento pelo espaço
em termos georreferenciais, possivelmente via GPS. Esta obra consiste em um disco de
vinil gravado com a sonificação de dados de posicionamento coletados por House
durante um ano inteiro. A peça dura aproximadamente 11 minutos, com cada rotação do
disco representando um dia. No corpo do disco estão marcados os dias, faixas de horário
e alguns locais específicos visitados pelo artista durante o período (como casa, trabalho,
etc). Poucas informações em relação ao mapeamento são fornecidas na descrição do
trabalho, exceto que cada um destes locais visitados foi mapeado a determinadas
relações harmônicas. O resultado sonoro em si flerta com a música eletrônica de dança,
utilizando um ritmo pulsante, repetições (possivelmente ocasionadas por padrões
repetitivos do cotidiano do artista) e materiais musicais modais. É curiosa a forma como
House, ao utilizar a mídia do disco de vinil, materializa seus dados em um objeto
manuseável e relativamente portátil, permitindo ao ouvinte explorar estes dados através
das indicações impressas no corpo do disco: a agulha faz a leitura dos dados,
possivelmente permitindo ao ouvinte escutar padrões nos trajetos da vida cotidiana do
artista. Como consta na descrição de sua obra:

Enquanto um vinil físico, Quotidian Record pode ser colecionado e

fetichizado, conectando o valor dos dados de hoje em dia com a história da
cultura da música popular. Ele promove uma alternativa expressiva,
corporificada e até mesmo nostálgica às narrativas de classificação e controle
típicas das infraestruturas estatais e corporativas (HOUSE, 2012, tradução
nossa)92.

Esta afirmação não serve apenas para Quotidian Record, mas para todas as obras
de sonificação que citei até aqui dentro desta cultura de dados. Por um lado, observa-se
uma atitude subversiva, expressa no confronto com os mecanismos tradicionais de
gerenciamento de dados e o jogo político que se formou em torno deles (vide WikiLeaks

91 Quotidian Record disponível em: <https://brianhouse.net/works/quotidian_record/>. Acesso em:

08/06/2019.
92 “As physical vinyl, Quotidian Record may be collected and fetishized, connecting the value of data

today with the history of popular music culture. It provides an expressive, embodied, and even nostalgic
alternative to the narratives of classification and control typical of state and corporate data infrastructure”
(HOUSE, 2012).

94
 Figura 27 -Encarte do disco Quotidian Record

Fonte: Website do artista Brian House, 2012. Foto: Artur Ratton.93

Figura 28 -Detalhe das inscrições no disco referentes às datas e aos locais visitados pelo artista

Fonte: Website do artista Brian House, 2012. Foto: Artur Ratton.

93 Disponível em: <https://brianhouse.net/works/quotidian_record/>. Acesso em: 10/06/2019.

95
e os atuais usos de análise de big data em campanhas eleitorais). Por outro lado,
percebe-se a tentativa artística de criar novas narrativas para estes dados, algumas delas
de caráter mais informativo (como vimos no projeto de Brian Foo), outras de caráter
mais reflexivo, discutindo os próprios dispositivos que sustentam esta cultura de dados
(como em Endless War) e/ou assumindo uma dimensão de ativismo político em que os
dados são tomados pelo seu valor documental (como em Lungs: Slave Labour). No
fundo, todas estas obras propõem uma nova maneira das pessoas se relacionarem com
uma realidade tecnológica já consumada em que dados assumem um papel
indispensável em suas vidas e na sociedade contemporânea. Estas forças atuam dentro
da data art, e a sonificação se coloca como uma possibilidade potente de se lidar com
dados, pois se a própria premissa da apropriação destes dados já é subversiva em
alguma medida, ainda mais subversivo seria o uso do som em um contexto tipicamente
dominado por estímulos visuais.

96
 CONSIDERAÇÕES FINAIS

Ao longo deste trabalho, analisei a sonificação a partir dos campos da art-

science, da música, da arte sonora e da data art, buscando entender de que maneira a
sonificação se insere em cada um deles, e também oferecendo alguns exemplos de obras
que julguei pertinentes para minha argumentação. Todos estes campos tiveram algo a
nos dizer sobre a sonificação. O desafio, frente a tantas perspectivas possíveis para
tratar deste tema, é encontrar aspectos gerais que amarrem todas elas. Porém, antes de
propor algumas reflexões mais gerais sobre a sonificação, recordemos os principais
pontos levantados por cada um dos campos investigados.
Ao tratar da art-science, caracterizei a sonificação como uma prática
essencialmente interdisciplinar, marcada pela aproximação entre arte, ciências e
tecnologia. Tomando como referência as reflexões de Born e Barry (2011) sobre o
campo da art-science, tracei um paralelo entre as lógicas de interdisciplinaridade
propostas por esses dois autores – lógicas de prestação de contas, de inovação e
ontológica – e os contextos em que a sonificação geralmente acontece – contextos
educacional, científico e artístico. Estes contextos, embora não sejam excludentes entre
si, são facilmente observáveis quando se considera não apenas o resultado final das
obras, mas também os discursos e interesses que as atravessam, seus públicos, e seus
espaços de realização e circulação. O contexto educacional é aquele marcado pela
lógica de prestação de contas, em que a sonificação aparece como uma maneira de
justificar e tornar o conhecimento científico mais próximo do público através da música.
Obras deste tipo são tipicamente voltadas para o público científico leigo e circulam em
museus científicos, conferências, feiras científicas e palestras de ciência popular. Já o
contexto científico é marcado pela lógica de inovação, em que conhecimentos artísticos
são mobilizados para promover algum tipo de avanço no campo científico, ou para
promover o desenvolvimento de novas tecnologias. Vimos como, na lógica de inovação,
a sonificação circula em contextos acadêmicos entre pesquisadores interessados nos
usos do som na pesquisa científica, na criação de interfaces computacionais, e em
projetos de acessibilidade, e seu público é o de pesquisadores, usuários e consumidores.

97
Por fim, o contexto artístico, marcado pela lógica ontológica, em que a
interdisciplinaridade acontece com a finalidade de promover mudanças ontológicas nas
disciplinas envolvidas, ou ao menos propor uma reflexão sobre suas ontologias. As
obras de sonificação que se inserem no contexto artístico, embora frequentemente
realizadas em parceria entre artistas e cientistas, possuem um discurso
predominantemente artístico, e circulam em ambientes tipicamente artísticos, como a
galeria, o museu de arte, a sala de concerto, o álbum musical.
Em seguida, abordei a sonificação sob as perspectivas da música e da arte
sonora. Muitos artistas que trabalham com sonificação são compositores ou possuem
alguma formação musical e suas obras dialogam diretamente com a tradição da música
de concerto, sejam elas obras de música eletroacústica e computer music, obras
instrumentais, ou ainda uma mescla destas duas possibilidades. Em relação a esta
tradição, foi possível observar como a sonificação articula dois desejos antigos e
recorrentes na história do pensamento musical ocidental: o de automatizar o processo
composicional (ou, ao menos, parte dele), e o de representar sonoramente elementos
extramusicais. Levantando alguns exemplos de obras e práticas musicais do passado que
são frequentemente citados por pesquisadores como antecedentes da sonificação, tracei
uma resumida trajetória deste pensamento, que vai da noção pitagórica de ‘música das
esferas’ do século VI a.C. até a computer music de meados do século XX. Como
argumentei, é somente na computer music que realmente se colocam as bases técnicas
para o surgimento da sonificação, especialmente em função do paradigma de
funcionamento dos primeiros ambientes de programação musical, baseados no
mapeamento de dados a parâmetros de síntese sonora. De certa forma, a computer
music representa o ápice do processo de automatização composicional, e no momento
em que se acrescenta o uso de dados colhidos de fenômenos externos ao computador
como input do sistema computacional, temos o surgimento da ideia de sonificação.
Neste ponto, observamos algumas implicações estruturais da técnica da
sonificação. As técnicas de mapeamento e audificação são, em certa medida, totalizantes
dentro do processo composicional, pois tendem a estruturar todo o discurso sonoro da
obra a partir dos dados. O que define a forma geral de uma peça não é mais a ‘mão do
compositor’ – embora, claro, compositores realizem suas escolhas e intervenções –, mas
sim a configuração interna dos dados utilizados. Se este controle é um aspecto tão

98
importante dentro do pensamento musical, a sonificação talvez se afaste do campo da
música para se aproximar de outras expressões artísticas do som menos interessadas
neste tipo de abordagem, como a arte sonora.
Não me propus a definir os limites da música e da arte sonora, e por isto minhas
considerações sobre estes dois campos possam ter soado redutoras. Também tratei da
arte sonora somente em algumas de suas diferenças mais evidentes com a música, sem
me aprofundar em questões realmente próprias deste campo. E, no entanto, estas
diferenças foram suficientes para entender como algumas obras de sonificação, pela sua
própria natureza técnica, são mais facilmente analisáveis sob o ponto de vista da arte
sonora do que da música. Embora o som permaneça como o elemento unificador das
obras, na arte sonora encontramos algumas noções de visualidade, espacialidade e
temporalidade que raramente aparecem na música e, quando aparecem, tendem a
desempenhar um papel secundário. O uso do som torna-se mais ‘plástico’, permeável a
elementos visuais, e o espaço torna-se parte integrante e essencial da obra. Vimos como
algumas obras de sonificação mais próximas da arte sonora possuem um importante
aspecto visual, especialmente quando o objeto da sonificação é visível ou quando
imagens e sons são gerados a partir dos mesmos dados. Outras obras se apresentam
como instalações ou esculturas sonoras, dialogando com o seu espaço de realização ou
com um outro espaço à distância. Quanto à temporalidade, a arte sonora se afasta das
formas discursivas musicais tradicionais baseadas na noção de desenvolvimento, e opta
por uma abordagem menos linear do som. Disso resulta que muitas obras prescindem de
uma escuta em sua totalidade, pois não existem começos ou finais determinados; a
relação do visitante ou ouvinte com o som destas obras não é mais a de uma expectativa
por desdobramentos de materiais sonoros dentro de uma teleologia musical, mas sim
por uma apreciação do som em sua relação com os contextos espaciais, visuais e
conceituais. As sonificações que lidam com dados coletados de fenômenos acontecendo
em tempo real se aproximam desta noção de temporalidade da arte sonora, pois o
desenvolvimento temporal do som fica completamente entregue às dinâmicas internas
dos fenômenos sonificados.
Por fim, o último campo investigado foi a data art, em que dados são utilizados
como o material básico da produção artística, gerando imagens e sons a partir deles. Via
de regra, obras de data art sempre produzem algum comentário sobre a realidade

99
tecnológica atual, marcada pela digitalização das mídias e pela presença quase ubíqua
da internet nos mais diversos níveis da sociedade. Alguns comentários assumem um tom
apologista, quase que exaltando este mundo da ubiquidade informacional e enxergando
nele uma solução prática para problemas atuais. Discursos desse tipo circulam, por
exemplo, em grupos como o Quantified Self, em pesquisas sobre Smart Cities, ou na
análise de Big Data. Outros comentários assumem um tom crítico explicitamente
político, expressando uma preocupação com o uso dos fluxos de dados em campanhas
políticas e em sistemas de vigilância e controle social. De qualquer forma, a relação
destas obras com os dados é, quase sempre, uma relação de apropriação e subversão:
apropriação, pois os dados são gerados em contextos alheios à prática artística, colhidos
e mantidos em databases por agências governamentais ou entidades privadas;
subversão, pois os dados, uma vez apropriados, são utilizados de maneira distinta
daquela para a qual eles foram originalmente concebidos, passando assim por um
processo de ressignificação, geralmente com o objetivo criar uma relação mais subjetiva
e afetiva das pessoas com os dados. Vimos como algumas obras de sonificação também
partilham destas características e preocupações da data art a respeito de uma cultura de
dados contemporânea. Naturalmente, artistas que lidam com dados precisam
materializá-los de alguma forma, e como dados digitais não possuem expressão material
preferível, imagens e sons podem ser gerados de maneira indistinta através da técnica de
mapeamento. Obras de visualização são claramente mais numerosas neste contexto, mas
a sonificação é também recorrente. Observei como algumas obras sonificam dados
socioeconômicos, dados envolvendo conflitos militares e dados de self-tracking;
algumas de caráter mais informativo e jornalístico, outras mais reflexivas, mas todas se
propondo, às suas maneiras, alterar a relação das pessoas com os dados através do som.

Se existe uma primeira afirmação geral que possa ser feita agora sobre a
sonificação, após analisar tantas obras e perspectivas possíveis para o termo, é a de que
suas expressões são realmente múltiplas. Por vezes, minhas considerações sobre estes
diferentes contextos em que a sonificação se insere devem ter parecido fragmentárias e
desconexas entre si, mas creio que isto resulta da própria maneira como ela se apresenta,
fragmentada. A sonificação, como se observa agora, se configura mais como um
procedimento técnico do que como um gênero artístico; ela não circunscreve nenhuma

100
estética específica. As obras de sonificação sobre as quais baseei minha pesquisa são
muito diversas esteticamente, e também seus autores se inserem nas mais diversas
tradições artísticas. E para complexificar este emaranhado de trajetórias, sobrepõem-se
também, sobre a dimensão artística, preocupações de ordem científica, que não só
possuem seu próprio lugar dentro do estudo da sonificação, mas também
frequentemente atravessam os contextos artísticos.
Meu primeiro esforço, sob a luz desta relação intrincada entre arte e ciência, foi
entender como os pesquisadores definiram sonificação a partir de seus interesses
específicos. As definições que ajustam a técnica da sonificação aos critérios da pesquisa
científica – objetividade, sistematicidade e reprodutibilidade – fazem sentido somente
dentro do contexto desses pesquisadores interessados em usar sons na análise de dados
científicos ou na criação de interfaces computacionais. Quando transportadas para o
contexto artístico, suas definições perdem força, pois ali a funcionalidade da sonificação
cede espaço para preocupações de ordem puramente estética – ainda que, como ressaltei
anteriormente, alguns artistas sejam tão sistemáticos em suas sonificações quanto os
cientistas. Ademais, a sonificação aparece em obras dos mais diversos formatos e
lidando com os mais diversos tipos de dados, de forma que nenhuma definição seria
realmente capaz de abarcar a totalidade de suas expressões.
Com estes problemas em mente, inicialmente ofereci uma definição genérica da
sonificação, reduzindo-a a seus preceitos técnicos: a sonificação é uma técnica de
representação de dados em sons que depende de apenas três pontos: (1) dos dados que
serão sonificados, (2) do algoritmo que executa o mapeamento ou a transposição (no
caso da audificação) dos dados, (3) e da renderização, ou realização sonora.
Embora tal definição – na medida em que desconsidera questões de
funcionalidade e adequações ao método científico – mostre-se suficientemente
abrangente para incluir também as práticas artísticas que envolvem o termo, nem todas
possibilidades de sonificação contempladas por esta definição me interessaram neste
trabalho; foi necessário, portanto, estabelecer um recorte dentro desta definição geral.
Do contrário, teria que considerar também todas as práticas performáticas e de luteria
instrumental baseadas no uso de sensores e que pululam por aí na era da ubiquidade
digital e da cultura maker. A rigor, uma flauta acoplada com um acelerômetro para
alterar algum aspecto do som de acordo com o movimento do instrumentista, ou um(a)

101
dançarino(a) equipado(a) com sensores para captar seus movimentos, seriam
considerados sonificações, pois através dos sensores fenômenos estão sendo
quantizados em dados numéricos, e estes dados estão sendo mapeados a sons. No
entanto, nestes casos nem sempre o interesse da obra recai sobre os dados na construção
de seu universo poético; e é justamente este o aspecto que julgo mais importante para
uma obra artística de sonificação. Nas obras de sonificação contempladas neste
trabalho, todo o interesse está justamente nos dados e na compreensão dos fenômenos
aos quais eles se referem, mesmo que esta compreensão se pretenda apenas superficial,
mais como uma aproximação diletante – como geralmente acontece.
Inevitavelmente, ao estabelecer os critérios de seleção das obras que contemplei
aqui, acabei por produzir uma espécie de definição para o que entendo como uma obra
de sonificação. Esta definição que propus é bipartida: além dos princípios técnicos da
representação de dados, o que define uma obra de sonificação é também um certo tipo
de discurso. Como já havia antecipado no Capítulo 1, este discurso é recorrente em
obras que utilizam os procedimentos técnicos da sonificação, e identifica, nos dados
sonificados, o tema e a razão de ser das obras. Tudo na obra, desde seu título, passando
pela maneira como ela é realizada e pelo contexto de realização, até a maneira como ela
é anunciada pelo artista, reforça ou aponta para este discurso em que os dados – e, por
conseguinte, também os fenômenos aos quais eles se referem – são tomados como o seu
aspecto mais importante, sem o qual ela perderia todo seu sentido. Esta é, no fundo,
uma constatação óbvia, pois, naturalmente, uma obra de sonificação só será reconhecida
e analisada enquanto tal se ela for anunciada como uma obra de sonificação, ou seja, se
os seus sons forem anunciados como o resultado de um procedimento de mapeamento
de dados quaisquer.
Apesar de todas aquelas características específicas que apontei ao tratar da art-
science, da música, da arte sonora, e da data art, este discurso que identifico como
próprio da sonificação nas artes é o único aspecto realmente comum a todas estas
perspectivas e que pode ser generalizado. Em todas as obras que analisei aqui, existe
sempre o discurso – em maior ou menor intensidade – de que a sonificação seria capaz
de fazer o ouvinte acessar, através do som, aquilo que está fora da escala de percepção
humana, aqueles fenômenos que lhe são inacessíveis auditivamente, ou porque não
produzem sons, ou porque produzem sons em faixas de frequência inaudíveis aos

102
ouvidos humanos, ou ainda porque são de natureza abstrata. Por trás de cada obra existe
sempre uma promessa de escuta de um mundo secreto, ou de um mundo grandioso e
magnífico, ou de um mundo misterioso e intangível, ou de um mundo abstrato, ou de
um mundo interno da fisiologia humana, ou ainda – nos casos mais politicamente
carregados, de um mundo virtual formado pelos vestígios de nossas ações em rede.
Este discurso se sustenta, é claro, na própria técnica da sonificação. Se a
sonificação consegue acessar – ou melhor, representar – estes mundos, é porque ela se
constrói através de uma cadeia de transformações que relaciona os sons emitidos aos
dados mapeados, e os dados mapeados ao fenômeno do mundo real ao qual eles se
referem. Em qualquer obra, os fenômenos sonificados são sempre apresentados como
causa direta dos sons emitidos, quase como índices destes fenômenos, mesmo que, entre
eles, exista uma série de intervenções arbitrárias por parte do artista. É por este motivo
que a apreciação das obras passa, necessariamente, por uma compreensão, mesmo que
vaga, da natureza dos fenômenos sonificados e da própria técnica da sonificação.

A técnica e o discurso. Estes foram os principais pontos de investigação da

sonificação neste trabalho, em detrimento de outros tantos possíveis e igualmente
pertinentes. Um destes aspectos esquecidos, e que apareceu apenas de maneira velada
em vários momentos, é a escuta. Se o discurso da sonificação busca permitir ao ouvinte
acessar aquilo que seus ouvidos não conseguem, tal discurso pressupõe uma
predisposição dos ouvintes, uma certa atitude de escuta àquilo que é próprio da
sonificação. Em minha experiência pessoal, sempre me incomodou a ingenuidade
técnica de um grande número de obras de sonificação, obras que me soavam amadoras
musicalmente e de gosto duvidoso. O problema, talvez, estivesse em minha escuta mais
afinada com a música; um problema natural, considerando que o uso do som como
forma de expressão artística será sempre evocativo de uma escuta musical. Porém, deve
haver uma escuta própria da sonificação, e algumas pistas para esta pesquisa futura são
dadas por pesquisadores como Florian Grond (2013), em sua tese sobre design de
sonificação a partir de considerações sobre modos de escuta, e Jonathan Sterne (2003),
com seu conceito de ‘técnicas auditivas’ [audile techniques].
De forma geral, cada um dos pontos destacados neste trabalho pode ser
expandido e aprofundado isoladamente, e ainda outros podem ser incorporados: o papel

103
da sonificação na criação de recursos de acessibilidade, a relação entre sonificação e
paisagem sonora sob a perspectiva documental, os usos da sonificação no ativismo
ecológico, a relação entre a sonificação de imagens e o gênero cinematográfico de
música visual, são alguns destes pontos. No entanto, apesar destes aspectos
negligenciados e de outras tantas limitações, creio que este trabalho contribui para o
estudo da sonificação em termos gerais e também em seus contextos artísticos, ainda
que de maneira tímida, superficial e incipiente.

104
 REFERÊNCIAS BIBLIOGRÁFICAS

BALLORA, Mark. Sonification, Science and Popular Music: In search of the ‘wow’. OrganisedSound,
[s.l.], v. 19, n. 01, p.30-40, 26 fev. 2014. Cambridge University Press.

BALLORA, Mark. Sonification Strategies for the film Rhythms of the Universe. In: 20TH
INTERNATIONAL CONFERENCE ON AUDITORY DISPLAY, 20., 2014, New York. Proceedings... .
New York: International Community For Auditory Display, 2014.

BARRASS, Stephen. Personify: a toolkit for perceptually meaningful sonification. In: AUSTRALIAN
COMPUTER MUSIC ASSOCIATION CONFERENCE, 1995, Melbourne. Proceedings... . Canberra:
Australian Computer Music Association Conference, 1995.

BARRASS, Stephen. The aesthetic turn in sonification towards a social and cultural medium. Ai &
Society, [s.l.], v. 27, n. 2, p.177-181, 30 ago. 2011. Springer Nature.

BARRASS, Stephen; KRAMER, Gregory. Using sonification. Multimedia Systems, v. 7, n. 1, p.23-31, 1

jan. 1999.

BARRY, Andrew; BORN, Georgina; WESZKALNYS, Gisa. Logics of interdisciplinarity. Economy And
Society, [s.l.], v. 37, n. 1, p.20-49, fev. 2008. Informa UK Limited.

BRAZIL, Eoin; FERNSTRÖM, Mikael. Auditory Icons. In: HERMANN, Thomas; HUNT, Andy;
NEUHOFF, John G. (Ed.). The Sonification Handbook. Berlin: Logos Verlag Berlin, 2011. Cap. 13. p.
325-338.

BEN-TAL, Oded; BERGER, Jonathan. Creative Aspects of Sonification. Leonardo, v. 37, n. 3, p.229-
233, jun. 2004. MIT Press – Journals.

BEN-TAL et al. SonART: The Sonification Application Research Toolbox. In: INTERNATIONAL
CONFERENCE ON AUDITORY DISPLAY, 8., 2002, Kyoto.Proceedings... . Kyoto: International
Community On Auditory Display, 2002.

BORN, Georgina; BARRY, Andrew. ART-SCIENCE. Journal Of Cultural Economy, [s.l.], v. 3, n. 1,

p.103-119, mar. 2010. Informa UK Limited.

BROLLER, Bruce R.; DODGE, Charles. [Texto do encarte]. In: Earth’s Magnetic Field.. US: Nonesuch
Records, 1970.

CAMPESATO, L., e IAZZETTA, F. “Som, espaço e tempo na arte sonora”. Anais do XVI Congresso da
ANPPOM, Brasília, 2006.

CAMPO, Alberto de. Science by Ear: An Interdisciplinary Approach to Sonifying Scientic Data. 2009.
211 f. Dissertação (Mestrado) - Curso de Electronic Music And Acoustics, University For Music And
Dramatic Arts Graz, Graz, 2009. Cap. 3.

CANDEY, Robert M.; SCHERTENLEIB, Anton M.; MERCED, Wanda L. Diaz. XSONIFY Sonification
Tool for Space Physics. In: INTERNATIONAL CONFERENCE ON AUDITORY DISPLAY, 12., 2006,
London. Proceedings... . London: International Community On Auditory Display, 2006. p. 289 – 290.

CASSIDY et al. Auditory Display of Hyperspectral Colon Tissue Images Using Vocal Synthesis Models.
In: 10TH INTERNATIONAL CONFERENCE ON AUDITORY DISPLAY, 10., 2004, Sydney.
Proceedings... . Sydney: International Community For Auditory Display, 2004.

105
CHAFE, Chris. Oxygen flute: A computer music instrument that grows. Journal Of New Music
Research, [s.l.], v. 34, n. 3, p.219-226, nov. 2005. Informa UK Limited.

DOMBOIS, Florian et al. Sonifyer: A Concept, a Software, a Platform. In: INTERNATIONAL

CONFERENCE ON AUDITORY DISPLAY, 14., 2008, Paris. Proceedings... . Paris: International
Community On Auditory Display, 2008.

DUBUS, Gaël; BRESIN, Roberto. A Systematic Review of Mapping Strategies for the Sonification of
Physical Quantities. Plos One, v. 8, n. 12, p.1-28, 17 dez. 2013. Public Library of Science (PloS).

DUNN, John; CLARK, Mary Anne. Life Music: The Sonification of Proteins. Leonardo, [s.l.], v. 32, n.
1, p.25-32, fev. 1999. MIT Press – Journals.

FRYSINGER, Steven P.. A Brief History of Auditory Data Representation to the 1980s. Proceedings
of ICAD 05-Eleventh Meeting of the International Conference on Auditory Display, Limerick, Irlanda,
Julho, 2005.

GARDNER, John; LUNDQUIST, Randy; SAHYUN, Steve. TRIANGLE: A Practical Application of

Non-SpeechAudio for Imparting Information. In: INTERNATIONAL CONFERENCE ON AUDITORY
DISPLAY, 3., 1996, Palo Alto. Proceedings... . Palo Alto: Georgia Institute Of Technology, 1996.

GAVER, William. Auditory Icons: Using Sound in Computer Interfaces. Human-computer Interaction,
London, v. 2, n. 2, p.167-177, jun. 1986.

GAVER, William W.. The SonicFinder: An Interface That Uses Auditory Icons. Humancomp.
Interaction, [s.l.], v. 4, n. 1, p.67-94, 1 mar. 1989.

GROND, Florian. Listening-Mode-Centered Sonification Design for Data Exploration. 2013. 205 f.
Tese (Doutorado) - Universität Bielefeld, Bielefeld, 2013.

GROND, Florian; HERMANN, Thomas. Aesthetic strategies in sonification. Ai & Soc, Londres, v. 27, n.
2, p.213-222, 30 ago. 2011.

GROND, Florian; HERMANN, Thomas. Singing function. Journal On Multimodal User Interfaces,
[s.l.], v. 5, n. 3-4, p.87-95, 27 out. 2011. Springer Nature.

HART, Hugh. Smog musicians turn pollution data into jagged melodies. Revista WIRED. 2010.
Disponível em: <https://www.wired.com/2010/10/smog-music/>. Acesso em: 10/06/2019.

HEBRON, Micol. Mark Hansen and Ben Rubin: Listening Post. 2008. Disponível em: <https://www.x-
traonline.org/article/mark-hansen-and-ben-rubin-listening-post>. Acesso em: 10/06/2019.

HEDGES, Stephen A.. Dice music in the eighteenth century. Music & Letters, [s.l.], v. 59, n. 2, p.180-
187, abr. 1978.

HERMANN, Thomas – Taxonomy and Definitions for Sonification and Auditory Display.
Proceedings of the 14th International Conference on Auditory Display. Paris, França. 2008.

HERMANN, Thomas; HUNT, Andy; NEUHOFF, John G.. The Sonification Handbook. Berlin: Logos
Verlag Berlin, 2011.

HOUSE, Brian. Quotidian Record. 2012. Disponível em:

<https://brianhouse.net/works/quotidian_record/>. Acesso em: 09/05/2019.

IDEAS. IDEAS Grant Program. 2004. Disponível em:

<https://www.nasa.gov/audience/foreducators/postsecondary/features/F_IDEAS.html>. Acesso em:
09/05/2019.

106
JOSEPH, Abigail J.; LODHA, Suresh K.. MUSART: MUSICAL AUDIO TRANSFER FUNCTION
REAL-TIME TOOLKIT. In: INTERNATIONAL CONFERENCE ON AUDITORY DISPLAY, 8., 2002,
Kyoto.Proceedings... . Kyoto: International Community On Auditory Display, 2002.

JOY, Jerome. What NMSAT says about sonification. Ai & Society, [s.l.], v. 27, n. 2, p.233-244, 4 out.
2011. Springer Nature.

KAC, Eduardo (Ed.). Signs of Life: Bio Art and Beyond. Cambridge: The Mit Press, 2007.
KENNA, Andrea R.. Audiograf. Proceedings Of The Second Annual Acm Conference On Assistive
Technologies - Assets '96, [s.l.], p.51-56, 1996. ACM Press.

KRAMER, Gregory. Auditory Display: Sonification, Audification, And Auditory Interfaces.

Westview Press, 1994.

KRAMER, Gregory et al. Sonification Report: Status of the Field and Research Agenda. International
Community For Auditory Display, 1997.

LIMA, Manuel. Visual Complexity: Mapping Patterns of Information. Nova Iorque: Princeton
Architectural Press, 2011.

LCHSOUND. About LHCsound. [2010?]. Disponível em:

<http://lhcsound.hep.ucl.ac.uk/page_about/About.html>. Acesso em: 09/05/2019.

LODHA, Suresh K. et al. MUSE: A Musical Data Sonification Toolkit. In: INTERNATIONAL
CONFERENCE ON AUDITORY DISPLAY, 4., 1997, Palo Alto. Proceedings... . Palo Alto: Georgia
Institute Of Technology, 1997.

MACLAY, Kathleen. Interactive music from CO2 readings: Program notes. [2002?]. Disponível em:
<http://chrischafe.net/oxygen-flute/>. Acesso em: 09/05/2019.

MADHYASTHA, T. M.. Porsonify: A Portable System for Data Sonification. University of Illinois. 1992.

MODES, Wes. Revisiting the Technical Achievements of Listening Post Ten Years On. Nmediac: The
Journal of New Media and Culture, v. 9, n. 1, 2013.

MOGGRIDGE, Bill. Designing Interactions. London: The Mit Press, 2007.

MYNATT, Elizabeth D.; EDWARDS, W. Keith. Mapping GUIs to auditory interfaces. Proceedings Of
The 5th Annual Acm Symposium On User Interface Software And Technology - Uist '92, [s.l.], p.61-
70, 1992. ACM Press.

POLLI, Andrea. Atmospherics/Weather Works: A Spatialized Meteorological Data Sonification Project.

Leonardo, [s.l.], v. 38, n. 1, p.31-36, fev. 2005. MIT Press - Journals.

PROUST, Dominique. The Harmony of the Spheres from Pythagoras to Voyager. Proceedings Of The
International Astronomical Union, [s.l.], v. 5, n. 260, p.358-367, jan. 2009. Cambridge University
Press.

QUINN, Marty. “Walk on the Sun”: an interactive image sonification exhibit. Ai & Society, [s.l.], v. 27,
n. 2, p.303-305, 16 set. 2011. Springer Nature.

QUINN, Marty. Research set to Music: The Climate Symphony and other sonifications of ice core, radar,
DNA, seismic and solar wind data. In: 7TH INTERNATIONAL CONFERENCE ON AUDITORY
DISPLAY, 7., 2001, Helsinki. Proceedings... . Helsinki: International Community For Auditory Display,
2001. p. 56 – 61.

107
RISSET, Jean-claude. The Liberation of Sound, Art-Science and the Digital Domain: Contacts With
Edgard Varèse. Contemporary Music Review, [s.l.], v. 23, n. 2, p.27-54, jun. 2004. Informa UK Limited.

ROADS, Curtis. The Computer Music Tutorial. Cambridge: The MIT Press, 1996.

SCHOON, Andi; DOMBOIS, Florian. Sonification in Music. In: 15TH INTERNATIONAL

CONFERENCE ON AUDITORY DISPLAY, 15., 2009, Copenhagen. Proceedings... . Copenhagen:
International Community For Auditory Display, 2009. p. 1 – 3.

SIMANOWSKI, Roberto. Digital Art and Meaning: Reading Kinetic Poetry, Text Machines, Mapping
Art, and Interactive Installations. Minneapolis: University Of Minnesota Press, 2011. (Electronic
Mediations 35).

SINCLAIR, Peter Francis. Using Real-Time Data Flux in Art - The Mediation of a Situation as it
Unfolds: RoadMusic - An Experimental Case Study. 2013. 272 f. Tese (Doutorado) - Curso de Filosofia,
University Of The Arts London, Londres, 2013.

SNOW, Charles Percy. The Two Cultures and The Scientific Revolution. London: Cambridge
University Press, 1959.

STERNE, Jonathan. The Audible Past: cultural origins of sound reproduction. Durham & London: Duke
University Press, 2003.

STEVENS, Robert; EDWARDS, Alistair. Mathtalk: The design of an interface for reading algebra using
speech. Computers For Handicapped Persons, [s.l.], p.313-320, 1994. Springer Berlin Heidelberg.

STRAEBEL, Volker. The sonification metaphor in instrumental music and sonification's romantic
implications. In: THE 16TH INTERNATIONAL CONFERENCE ON AUDITORY DISPLAY, 16., 2010,
Washington D.C.. Proceedings. Washington: International Community For Auditory Display, 2010. v. 20,
p. 287 – 294.

SUPPER, Alexandra. Lobbying for the Ear: The Public Fascination with and Academic Legitimacy of
the Sonification of Scientific Data. 2012. 253 f. Tese (Doutorado) - Universitaire Pers Maastricht,
Maastricht, 2012.

SUPPER, Alexandra. Sublime frequencies: The construction of sublime listening experiences in the
sonification of scientific data. Social Studies Of Science, [s.l.], v. 44, n. 1, p.34-58, fev. 2014. SAGE
Publications.

SUPPER, Alexandra. The Search for The "Killer Application": Drawing The Boundaries Around The
Sonification of Scientific Data. In: PINCH, Trevor; BIJSTERVELD, Karin. The Oxford Handbook of
Sound Studies. Nova Iorque: Oxford University Press, 2012. p. 249-270.

THIEBERGER, Ed M.; DODGE, Charles. An Interview with Charles Dodge. Computer Music

Journal ,[s.l.], v. 19, n. 1, p.11-24, 1995.

VARESE, Edgard; WEN-CHUNG, Chou. The Liberation of Sound. Perspectives Of New Music, [s.l.], v.

5, n. 1, p.11-19, 1966.

VESNA, Victoria. Database Aesthetics: Art in the Age of Information Overflow. Minneapolis:
University Of Minnesota Press, 2007. (Electronic Mediations, Volume 20).

WALKER, Bruce N.; COTHRAN, Joshua T.. Sonification Sandbox: A Graphical Toolkit for Auditory
Graphs. In: INTERNATIONAL CONFERENCE ON AUDITORY DISPLAY, 9., 2003, Boston.
Proceedings... . Boston: International Community On Auditory Display, 2003.

108
WALKER, Bruce N.; NANCE, Amanda; LINDSAY, Jeffrey. Spearcons: Speech-based Earcons Improve
Navigation performance in Auditory Menus. In: 12TH INTERNATIONAL CONFERENCE ON
AUDITORY DISPLAY, 12., 2006, London. Proceedings... . London: International Community For
Auditory Display, 2006. p. 63– 68.

WILSON, Catherine M.; LODHA, Suresh K.. Listen: A Data Sonification Toolkit. In: INTERNATIONAL
CONFERENCE ON AUDITORY DISPLAY, 3., 1996, Palo Alto. Proceedings... . Palo Alto: Georgia
Institute Of Technology, 1996.

WORRALL, David et al. Sonipy: The Design of an Extendable Software Framework for Sonification
Research and Auditory Display. In: INTERNATIONAL CONFERENCE ON AUDITORY DISPLAY, 13.,
2007, Montreal. Proceedings... . Montreal: International Community On Auditory Display, 2007.

XENAKIS, Iannis. Formalized Music: thought and mathematics in composition. Stuyvesant: Pendragon
Press, 1992. (Harmonologia Series).

XIAO, An. Visualizing and Auralizing the Rhythms of Twitter. 2012. Disponível em:
<https://hyperallergic.com/51793/the-listening-machine/>. Acesso em: 10/06/2019.

109
 APÊNDICE A:

Categorizações de sonificação

Ao mesmo tempo que a definição de sonificação aparece como uma

preocupação para os pesquisadores do campo, também aparece a preocupação em
delimitar categorias para o termo, ou seja, identificar tipos diferentes de sonificação,
que elementos estão em jogo em cada tipo e, em última instância, qual tipo é mais
adequado ou não para uma determinada aplicação ou funcionalidade. São, portanto,
categorias criadas para organizar o conhecimento sob uma perspectiva científica e
prática. Mesmo a proposta de Vickers e Hogg (2006), que parte de considerações
estéticas, o faz com vistas a melhorias na comunicabilidade da sonificação. É curioso
observar como muitos dos autores que serão citados aqui são pesquisadores da área de
ciências da computação e design de interfaces computacionais, fato que já nos diz muito
sobre o papel da sonificação dentro da pesquisa destas pessoas e sobre quais aspectos
elas julgam pertinentes para fundamentar suas categorizações – embora, claro, muitos
deles tenham também uma formação musical amadora. Isso não significa, porém, que
estas formas de categorização não possam ter alguma utilidade em minha investigação
sobre o campo artístico; pelo contrário, elas revelam por si só aspectos importantes da
sonificação científica que, de uma forma ou de outra, encontram respaldo no contexto
artístico, e por isso serão aqui apresentadas.

Categorias técnicas básicas

A primeira destas formas de categorização parte de algumas abordagens gerais e
geralmente aceitas da sonificação, dividindo-as em cinco tipos ou técnicas: audificação
[audification], earcon, ícone sonoro [auditory icon], sonificação por mapeamento e
sonificação baseada em modelos [model-based sonification]94. Apesar de recorrente em
muitos artigos sobre o assunto, estes tipos foram mais bem sintetizados nos artigos de
Hermann e Ritter (1999) e Hermann (2008), em que se inaugura o conceito da model-
based sonification e se definem os critérios para uma sonificação estritamente científica.

94 Além destes cinco tipos básicos de sonificação, alguns autores incluiriam o spearcon, semelhante ao
earcon, mas utilizando recursos de text-to-speech.

110
 Audificação consiste na conversão direta dos dados que se deseja representar no
domínio acústico, ou seja, sem o intermédio de mapeamentos. Isso não significa que não
existem intervenções neste método, pois os dados, para que possam ser tocados como se
fossem um sinal de áudio perceptível ao ouvido humano, precisam reajustados no
domínio temporal para uma taxa de amostragem adequada, transpostos para a faixa de
audibilidade (20Hz à 20.000Hz) e acelerados ou retardados de acordo com a
necessidade do usuário. Além disso, se por um lado a audificação se apresenta como
uma abordagem mais “precisa” justamente por ser uma conversão direta dos dados, por
outro lado, em função dessas limitações técnicas, ela acaba inevitavelmente
comprometendo pequenas nuances dentro dos dados na medida em que os reajusta
temporalmente (BALLORA, 2014, p.32). Em suas considerações sobre a audificação,
Sterne e Akiyama (2012) atribuem à audificação duas características importantes.
Primeiro, por sua natureza “isomorfológica” em relação aos dados, a audificação tem
seu uso mais restrito a dados que se desenvolvem temporalmente e que se remetam a
movimentos semelhantes ao de corpos sonoros comuns. Três exemplos comuns de
dados que se prestam à audificação são os de leituras sísmicas, de estudos em citologia e
de ondas eletromagnéticas. Segundo, a audificação pressupõe a indicialidade da
representação sonora, ou seja, os sons possuem uma relação causal com os dados que,
por sua vez, possuem relação causam com algum evento real. Podemos, é claro,
expandir esta noção de indicialidade não só para a audificação mas para qualquer forma
de sonificação, pois todas elas pressupõem este tipo de relação indicial em algum nível.
Earcon, uma junção dos termos em inglês ícone [icon] e ouvido [ear], é uma
abordagem da sonificação proposta por Blattner, Sumikawa e Greenberg (1989), três
pesquisadores de ciência da computação. Earcons são motivos musicais curtos
desenvolvidos para gerar um feedback das atividades do usuário em um GUI (graphical
user interface). Exemplos clássicos desta aplicação são diariamente encontrados por
qualquer usuário de computadores, como o anúncio sonoro de que o computador ligou
ou que um vírus foi detectado. Os earcons, por serem compostos por motivos musicais
simples, podem ser combinados entre si e organizados dentro de uma estrutura
hierárquica dentro do design do GUI, criando assim uma sintaxe própria. Isso é feito
fazendo variar parâmetros musicais tradicionais como altura, ritmo, dinâmica, registro e
timbre. As vantagens deste tipo de abordagem estão em sua facilidade de produção, pois

111
quase todo computador pessoal atualmente suporta ferramentas de manipulação e
reprodução de áudio e MIDI, e em sua natureza abstrata de representação, pois o earcon
não corresponde sonoramente ao objeto que ele sonifica. Por outro lado, em algumas
aplicações mais sofisticadas dos earcons, observa-se um aumento no tempo de
aprendizado dos recursos da interface, comprometendo seu uso (BARRASS;KRAMER,
1999, p.26).
Auditory Icon, ou ícone sonoro, é uma abordagem semelhante ao earcon na
medida em que sonifica apenas um dado isolado [data point] e tem como função criar
um feedback para a atividade de usuários em GUIs. O conceito foi criado por William
Gaver (1986) e consiste no mapeamento de eventos virtuais a sons gravados ou
modelados a partir de objetos reais e que representam, acústica ou conceitualmente, o
evento sendo sonificado. Por exemplo, o som de papel amassando é tocado quando um
arquivo na área de trabalho de um computador é movido para a lixeira. Desta forma, os
ícones sonoros tentam criar uma relação icônica com a ação que eles representam; isso
traz consigo a vantagem da familiaridade com os sons, mas também traz como
desvantagem a dificuldade técnica de se gravar sons em alta qualidade e a dificuldade
ainda maior de se criar modelos de síntese sonora baseados em propriedades acústicas
de objetos reais (BARRASS;KRAMER, 1999, p.26). Assim como o earcon, o ícone
sonoro está especialmente ligado ao design de interfaces computacionais. Uma de suas
primeiras aparições foi com o SonicFinder, projeto desenvolvido por Gaver (1989) na
Apple Computer que visava criar ícones sonoros para ações do usuário no sistema
operacional dos computadores Apple. Retomaremos este projeto quando tratarmos da
sonificação científica sob a lógica de inovação.
A sonificação por mapeamento é possivelmente a abordagem mais utilizada e
também a mais comumente associada ao termo “sonificação”. Basicamente, neste tipo
de sonificação uma ou mais sequências de dados são mapeados a determinados
parâmetros sonoros, como altura, dinâmica, conteúdo espectral, etc, de forma que
mudanças nos dados resultam em mudanças equivalentes no som. Sob o ponto de vista
técnico, tanto os earcons como os ícones sonoros poderiam ser considerados como
sonificações por mapeamento pois utilizam os mesmos mecanismos. Deve-se notar,
porém, que estas duas abordagens lidam com pontos isolados de dados, ao passo que a
sonificação por mapeamento, por definição, lida com mais de um ponto –

112
costumeiramente com grandes sequências de dados que, de outra forma, não poderiam
ser representados com eficácia (HERMANN, 2008, p.2).
Sonificação baseada em modelos [model-based sonification] é aquela que,
apesar de também se basear na dinâmica de mapeamento de dados a parâmetros
sonoros, faz isso através de um modelo de simulação. Este tipo de abordagem,
inicialmente proposta por Hermann e Ritter (1999), é essencialmente interativa e se
baseia em modelos que simulam uma espécie de “física virtual”, soando apenas quando
estimulada pelo usuário. Da mesma forma como um objeto, ao ser manuseado por uma
pessoa, produz sons que permitem a ela inferir informações sobre aspectos como
tamanho, material, densidade, etc, um modelo de simulação, através da interação do
usuário, deve produzir sons capazes de refletir aspectos dos dados sendo sonificados.
Para tanto, utiliza modelos complexos de síntese sonora que não se baseiam em
parâmetros comuns de síntese, mas sim em modelos matemáticos de simulação. Quando
o usuário interage com o modelo de sonificação, através de interfaces visuais ou
tangíveis, os dados selecionados são sonificados. Uma enorme gama de possibilidades
deste tipo de abordagem é apresentada por Hermann, Hunt e Neuhoff (2011), como por
exemplo a dos data sonograms, em que o usuário, navegando pela representação visual
dos dados em gráficos, seleciona uma determinada região dos dados, excitando uma
onda esférica que os sonifica na medida em que se propaga pelo modelo. Por sua
natureza, este tipo de sonificação é melhor aplicada a dados não-temporais que, por não
estarem organizados em sequências lineares, permitem uma disposição mais espacial,
como dados genéticos e químicos (BALLORA, 2014a, p.32).
Uma outra possibilidade de categorização a partir de técnicas de sonificação é
sugerida por Alberto de Campo (2007), reduzindo as cinco categorias já citadas a apenas
três, que resumem os mecanismos básicos de funcionamento das sonificações:
representação contínua de dados, representação de pontos discretos, e representação a
partir de modelos. A representação contínua de dados corresponde à audificação e à
sonificação por mapeamento, lidando com fluxos de dados sequenciados. A
representação de pontos discretos corresponde aos earcons e ícones sonoros, que lidam
com eventos isolados, mas não necessariamente com a finalidade de oferecer feedback
sonoro em interfaces computacionais. A representação por modelos é exatamente a
mesma que a sonificação baseada em modelos. Em seu contexto original, estas

113
categorias servem à metodologia de design de displays sonoros proposta pelo autor
baseada em considerações sobre a natureza dos dados e na tarefa que a sonificação
pretende cumprir. Assim, a partir destas considerações, o designer pode escolher entre
as três categorias aquela que represente os dados com mais eficiência.

Categorias funcionais
Uma segunda categorização amplamente aceita é aquela que considera a função
exercida pela sonificação. Existem quatro categorias básicas, as três primeiras propostas
por Buxton, Gaver e Bly em 1989 (apud WALKER;NESS,2011), e uma quarta categoria
adicionada posteriormente por Walker e Ness (2011). São elas:
1. Alarmes, alertas e avisos;
2. Mensagens de status, processo e monitoramento;
3. Exploração de dados;
4. Arte, entretenimento, esportes e exercícios.
O primeiro tipo se refere a sons usados para indicar que algo ocorreu ou está
para ocorrer, ou ainda que o ouvinte deve imediatamente prestar atenção em algum
evento do ambiente. A tendência é que estes alertas e as informações transmitidas sejam
simples, uma vez que geralmente demandam certa urgência na resposta por parte do
usuário. Todavia, existem aplicações de alarmes e alertas que conseguem transmitir
informações mais complexas através de sons, como aquelas utilizadas em aparelhos
médicos (WALKER;NESS, 2011, p.13).
O segundo tipo descreve aplicações em que o som serve à monitoração de
processos contínuos. A vantagem da monitoração está na capacidade do ouvinte de
detectar pequenas mudanças no estímulo sonoro e sua principal aplicação se dá em
situações em que o usuário tem sua visão comprometida com outras tarefas
(WALKER;NESS, 2011, p.13).
O terceiro tipo é aquele que permite ao usuário explorar informações sobre toda
uma série de dados ou somente algum aspecto destes dados. Ao contrário das duas
funções anteriores, que chamam atenção para estados momentâneos na leitura dos
dados, a função de exploração intenta transmitir informações gerais sobre os dados
sendo sonificados, contando com a audição ativa do usuário (WALKER;NESS, 2011,
p.14).

114
 O quarto e último tipo lida com três funções distintas. No campo do
entretenimento, destaca-se a produção de jogos puramente sonoros, tanto versões
adaptadas de jogos clássicos como produtos originais. Entram também nesta categoria
os diversos aplicativos de acessibilidade criados para pessoas com deficiência visual,
inclusive aplicativos de auxílio à práticas esportivas. Por fim, o uso artístico da
sonificação aparece brevemente como uma prática da computer music
(WALKER;NESS, 2011, p.14).

Categorias semióticas
Por lidar com a ideia de representação, é apenas natural pensar na sonificação
em termos semióticos. Pela particularidade do seu funcionamento, que atribui ao som a
capacidade de transmitir informações e de portar significados, alguns pesquisadores
tentaram estabelecer categorias semióticas para o termo.
Uma maneira de categorização relativamente simples foi proposta por Kramer
nos primeiros anos de desenvolvimento da pesquisa em sonificação. A distinção se dá
entre dois extremos de um continuum entre métodos simbólicos e métodos analógicos
de sonificação. No extremo analógico, a representação é direta e possui relações
intrínsecas com o seu referente, ou seja, com os dados ou com os fenômenos aos quais
os dados se referem. O mapeamento se dá “ponto a ponto” e de maneira imediata. Já no
extremo simbólico, a associação entre o som e o referente pode ser arbitrária ou até
mesmo aleatória, não havendo a necessidade de uma relação intrínseca entre eles
(KRAMER apud WALKER;NESS, 2011, p.22). Posto de outra forma, no lado
analógico do extremo reina o paradigma da audificação, enquanto no lado simbólico
reina o paradigma da sonificação por mapeamento. Porém, há de se levar em
consideração uma questão importante dentro desta distinção criada por Kramer, pois,
em algum nível, toda sonificação carrega consigo um grau de arbitrariedade, mesmo as
que ele designa como analógicas. Por exemplo, as audificações, principais
representantes deste tipo analógico, são também arbitrárias na medida em que
necessitam de um usuário que as ajuste de acordo com suas necessidades. Podemos
questionar também a necessidade de se estabelecer um continuum entre analógico e
simbólico quando, na prática, não existem tantas possibilidades assim para preencher
este continuum.

115
Categorias estéticas
Partindo de um amplo contexto de discussão sobre preocupações estéticas no
design de sonificações, Paul Vickers e Bennet Hogg (2006) propuseram um modelo de
classificação intitulado “espaço de perspectiva estética” (aesthetic perspective space).
Ao mesmo tempo que esta tentativa de categorização reflete uma vontade científica de
tornar as sonificações mais eficientes a partir de considerações ditas “estéticas” - ou
seja, questões de qualidade sonora -, ela também nos aproxima de alguns pontos
pertinentes à nossa investigação sob um ponto de vista artístico.
Em seu artigo, Vicker e Hogg observam que existe uma imensa variedade
estética nas sonificações, com pesquisadores utilizando mapeamentos simples de dados
à frequência de ondas, pesquisadores utilizando preceitos da música tonal tradicional
(paradigma da nota) e outros pesquisadores utilizando técnicas da música eletroacústica.
Os autores argumentam à favor desta última abordagem, utilizando-a como um dos
parâmetros de sua proposta teórica. A premissa desta proposta está na aparente
indistinção, pelo menos no nível sonoro, entre algumas obras eletroacústicas,
produzidas com intenções puramente artísticas, e alguns projetos de sonificação,
produzidos com intenções puramente funcionais.
Na tentativa de aprofundar a discussão sobre como questões estéticas da música
se fazem importantes no design de displays sonoros, Vickers e Hogg criaram um
modelo categórico circular de dois eixos que é o “espaço de perspectiva estética”
propriamente dito: o primeiro eixo, vertical, divide o espectro de produções sonoras
entre sonificações (ars informatica) e composições musicais (ars musica); o segundo
eixo, horizontal, os categoriza segundo sua indexicalidade, ou seja, em que medida os
sons se estruturam a partir de fatores concretos ou abstratos. No caso de uma
sonificação concreta e de alta indexicalidade, teríamos um mapeamento direto (como
uma audificação), ao passo que em uma sonificação abstrata e de baixa indexicalidade
teríamos um mapeamento mediado por fatores interpretativos ou metafóricos. Já na
música, a alta indexicalidade está associada a práticas de assemblagens de sons
gravados (música concreta e eletroacústica), enquanto a baixa indexicalidade está
associada aos modelos de performance tradicionais (partitura, intérprete, etc).

116
 Figura 29 -Digrama do “espaço de perspectiva estética” [aesthetic perspective space]

Fonte: VICKERS; HOGG, 2006, p.214.

Este paralelo que os autores criaram entre os campos da sonificação e da música,

bem como as categorias que eles desenvolveram em torno da indexicalidade
(sonificação abstrata e sonificação concreta), são de nosso interesse sob uma perspectiva
puramente artística, pois além de utilizar como critério a eficiência de uma sonificação
em representar dados, também considera sua sonoridade em termos puramente estéticos.
Contudo, como já apontamos, esta proposta de Vickers e Hogg é ainda fundada em
considerações funcionais e não nos serve por si só para analisar a ampla produção
artística em sonificação. Serve, porém, para ilustrar os debates dentro do campo
científico da sonificação em relação às suas aproximações com a música.

Outras formas de categorização

Para além daquelas já levantadas, poderiam haver inúmeras maneiras de
categorização da sonificação. Neste item, a título de exemplo, optamos por abordar uma
específica que, apesar de ter sido criada por um artista, ainda lida com o aspecto da
funcionalidade. O compositor Scot Gresham-Lancaster (2011) propôs duas
classificações de sonificação, as de primeira ordem e as de segunda ordem.

117
 Antes de explicar estas duas categorias - que não são tema central do artigo -
uma breve contextualização se faz necessária. A tese de Gresham-Lancaster, e que de
certa forma partilha dos ideais científicos da sonificação, é a de que a sonificação deve
passar a considerar, no processo de design, os contextos culturais que a envolvem, pois
somente assim ela poderá ser um dia amplamente adotada. Em sua opinião, a
sonificação é algo além da simples representação rigorosa e científica do mundo, e as
definições geralmente aceitas que enquadram a sonificação em um contexto
estritamente científico são falhas, minando o potencial da técnica. Sua crítica à
objetividade e ao rigor científico da sonificação encontra respaldo também no enorme
abismo que existe entre o resultado final de um display sonoro e a habilidade do ouvinte
de realmente acreditar que o que está sendo ouvido é uma tradução direta dos dados.
Sob o ponto de vista científico, e para que a sonificação funcione, é imperativo que haja
a confiança do ouvinte e que o material sendo representado seja genuinamente gerado a
partir dos dados sendo sonificados. Contudo, na concepção do autor, e sob o ponto de
vista artístico, esta noção é equivocada; ele não acredita na necessidade de uma ligação
óbvia e aparente, chegando a afirmar que os resultados mais satisfatórios musicalmente
são justamente aqueles menos transparentes ou óbvios.
A partir destas formulações, o autor apresenta suas duas classificações de
primeira e segunda ordem. As sonificações de primeira ordem são aquelas que mapeiam
diretamente os dados a parâmetros sonoros. Estas respondem apenas às necessidades
científicas de objetividade na representação, sofrendo porém com a falta de
expressividade por sua obviedade e indiferença à questões culturais de estilo e estética.
As sonificações de segunda ordem, por outro lado, são aquelas que consideram estes
aspectos culturais em que a sonificação se insere. A importância desta característica da
segunda ordem, para o autor, não está apenas em considerações estéticas, mas também
na própria comunicabilidade da sonificação.
Partindo do trabalho de Tor Nørretranders e seu conceito de exformation
(informação
explicitamente descartada), o autor descreve como um uso eficiente da sonificação deve
depender de um conhecimento compartilhado entre o compositor e o ouvinte; do
contrário, não há comunicação. A sonificação deve criar um ambiente sonoro familiar ao
ouvinte para que os estímulos diferentes sejam mais facilmente percebidos.

118
 Dessa forma, e com uma realização enquadrada culturalmente, as nuances do
que está escondido dentro das propriedades dos dados podem ser mais
facilmente detectados como perturbações na expectativa e, portanto, tornadas
mais memoráveis e discretas (GRESHAM-LANCASTER, 2011, p.211,
tradução nossa).

Por este motivo, as considerações culturais e de estilo presentes na segunda

ordem de sonificação abarcam tanto questões estéticas quanto de comunicabilidade.
Gresham-Lancaster não oferece exemplos destas duas ordens de sonificação em seu
artigo, que acabam servindo mais como uma sugestão ou uma diretriz de design do que
de fato uma categorização de projetos ou obras já existentes.

Referências bibliográficas
BALLORA, Mark. Sonification, Science and Popular Music: In search of the ‘wow’. OrganisedSound,
[s.l.], v. 19, n. 01, p.30-40, 26 fev. 2014. Cambridge University Press.

BALLORA, Mark. Sonification Strategies for the film Rhythms of the Universe. In: 20TH
INTERNATIONAL CONFERENCE ON AUDITORY DISPLAY, 20., 2014, New York. Proceedings... .
New York: International Community For Auditory Display, 2014a.

BARRASS, Stephen; KRAMER, Gregory. Using sonification. Multimedia Systems, v. 7, n. 1, p.23-31, 1

jan. 1999.

BLATTNER, Meera; SUMIKAWA, Denise; GREENBERG, Robert. Earcons and Icons: Their Structure
and Common Design Principles. Human-computer Interaction, [s.l.], v. 4, n. 1, p.11-44, 1 mar. 1989.
Informa UK Limited.

CAMPO, Alberto de . Toward a Data Sonification Design Map. Proceedings of the 13th International
Conference on Auditory Display, Montreal, Canada, June 26 - 29, 2007.

GAVER, William. Auditory Icons: Using Sound in Computer Interfaces. Human-computer Interaction,
London, v. 2, n. 2, p.167-177, jun. 1986.

GRESHAM-LANCASTER, Scot. Relationships of sonification to music and sound art. Ai & Society,
[s.l.], v. 27, n. 2, p.207-212, 27 ago. 2011. Springer Nature.

HERMANN, Thomas – Taxonomy and Definitions for Sonification and Auditory Display.
Proceedings of the 14th International Conference on Auditory Display. Paris, França. 2008.

HERMANN, Thomas; HUNT, Andy; NEUHOFF, John G.. The Sonification Handbook. Berlin: Logos
Verlag Berlin, 2011.

HERMANN, Thomas; RITTER, Helge. Listen to your Data:: Model-based sonification for data analysis.
In: LASKER, George Eric. Advances in Intelligent Computing and Multimedia Systems. Baden-
baden: [s.i.], 1999. p. 189-194.

STERNE, Jonathan; AKIYAMA, Mitchell. The Recording That Never Wanted to be Heard and Other
Stories of Sonification. In: PINCH, Trevor; BIJSTERVELD, Karin. The Oxford Handbook of Sound
Studies. Nova Iorque: Oxford University Press, 2012. p. 544-560.

119
VICKERS, Paul; HOGG, Bennett. Sonification Abstraite/Sonification Concrète: An 'Aesthetic
Perspective Space' for Classifying Auditory Display in the Ars Musica Domain. Proceedings of the
12th International Conference on Auditory Display. Londres, UK. 2006.

WALKER, Bruce N.; NEES, Michael A. (Ed.). Theory of Sonification. In: HERMANN, Thomas; HUNT,
Andy; NEUHOFF, John G..The Sonification Handbook. Berlim: Logos Verlag, 2011. Cap. 2. p. 9-39.

120
 APÊNDICE B:

Lista de obras de sonificação

Organização das obras levantadas

A seguir estão listadas as dezenas de obras que levantei durante a pesquisa e que
fundamentaram minhas reflexões sobre sonificação. São obras que utilizam a técnica da
sonificação, às vezes de maneira exclusiva, às vezes em diálogo com outras técnicas de
representação de dados. Também são obras que se apresentam em diversos formatos,
como instalações sonoras, esculturas sonoras, obras audiovisuais, peças eletroacústicas,
álbuns musicais, soundwalks, etc.

Para melhor organizar este material, utilizo como critério o tipo de dado sendo
utilizado na obra. Freeman et al (2015), na tentativa de definir uma taxonomia para a
descrição de obras artísticas que utilizam dados como material, apresentam uma
maneira de organização baseada na origem dos dados. Adequamos o vocabulário
proposto por Freeman et al. para a realidade da minha pesquisa, que não lida com a data
art de maneira geral, mas apenas com a sonificação. Defini, assim, as seguintes
categorias: fenômenos ambientais, fenômenos biológicos, fenômenos econômico-
sociais, feedback espacial (atividade de pessoas em determinado ambiente), e
sonificação de imagens. Esta divisão é bastante frágil por diversos motivos, mas serve
para criar uma organização um pouco mais clara para o material levantado. Foi a melhor
solução que encontrei, sem me aprofundar em estudos sobre práticas curatoriais de
arte digital.

As obras são citadas por seu título, autor(es) e ano de realização. Para cada obra
também apresento o tipo de dado específico sendo trabalhado e o formato (instalação,
mídia fixa, etc).

121
Fenômenos naturais e ambientais
Cosmophone [Richard Kronland-Martinet][1999]
Sonificação do movimento de partículas cósmicas / instalação
Disponível em: <http://cosmophone.in2p3.fr/>. Acesso em: 19/05/2019

Sternenrest [Willem Boogman][2007]

Sonificação de dados astronômicos / peça para ensemble e eletroacústica
Disponível em: <http://www.willemboogman.nl/sternenrest.html>. Acesso em: 19/05/2019.

Bonner Durchmusterung [Marcus Schmickler][2009]

Sonificação de dados astronômicos / mídia fixa (peça eletroacústica com projeções visuais)
Disponível em: <http://piethopraxis.org/projects/bonner-durchmusterung/>. Acesso em: 19/05/2019.

Stellar [Francesco Fabris][2015]

Sonificação de dados astronômicos / instalação interativa
Disponível em: <http://www.francescofabris.com/?project=stellar-2015>.
Acesso em:19/05/2019.

SIDERAL - La Concepcion [Gilberto Esparza e Marcela Armas][2016]

Sonificação do campo eletromagnético da superfície de um meteoro / gravação de campo /instalação
sonora
Disponível em: <http://www.marcelaarmas.net/?p=1063>. Acesso em: 19/05/2019.

Earth's Magnetic Field [Charles Dodge][1970]

Sonificação do campo eletromagnético da Terra / mídia fixa (álbum musical)
Disponível em: <https://www.youtube.com/watch?v=j5MHsnc67yw>.
Disponível em: <http://www.sonifyer.org/wissen/sonifikationmusik/?id=34>
Acesso em: 19/05/2019.

Electric Enigma [Stephen P. McGreevy][1996]

Audificação de dados de tempestades de raios e ventos solares / mídia fixa (álbum musical)
Disponível em: <https://archive.org/details/ird062/>. Acesso em: 19/05/2019.

20Hz [semiconductor][2011]
Visualização e audificação de tempestades geo-magnéticas / audiovisual
Disponível em: <http://semiconductorfilms.com/art/20hz/>. Acesso em: 19/05/2019.

Solar Songs/Rock Around the Bow Shock [Marty Quinn][2001]

Sonificação de ventos solares / mídia fixa (peça musical)
Disponível em: <http://designrhythmics.com/>. Acesso em: 19/05/2019.

Hour Angle [John Eacott][2011]

Sonificação do movimento do sol (declinação e hora angular) / peça para pequeno ensemble / partitura
gerada em tempo real
Disponível em: <https://vimeo.com/160852560>. Acesso em: 19/05/2019.

Dreaming of a Major Third [Christina Kubisch][2005]

Sonificação do posicionamento e intensidade da luz solar / mídia fixa (peça eletroacústica)

Cloud Harp [Nicolas Reeves][1997]

Sonificação da distância entre a obra e nuvens acima dela / escultura sonora
Disponível em: <http://cloudharp.ca/>. Acesso em: 19/05/2019.

Global Player [Jens Brand][2004]

Sonificação da distância entre a superfície terrestre e satélites em órbita / instalação / hardwares
modificados (interface de áudio e mp3 player)
Disponível em: <http://www.jensbrand.com/gplayer_text.html>. Acesso em: 19/05/2019.

122
Mt. Merapi [Florian Dombois][2000]
Audificação de dados sísmicos / instalação interativa / realidade virtual
Disponível em: <http://www.floriandombois.net/works/mt-merapi.html>. Acesso em: 19/05/2019.
Circum Pacific 5.1 [Florian Dombois][2003]
Audificação de dados sísmicos / instalação sonora
Disponível em: <http://www.floriandombois.net/works/circum-pacific.html>. Acesso em: 19/05/2019.

Acceleration 2.200 [Florian Dombois][2003]

Audificação de dados sísmicos / instalação sonora
Disponível em: <http://www.floriandombois.net/works/acceleration.html>. Acesso em: 19/05/2019.

Surf [Florian Dombois][2006]

Audificação de dados sísmicos / instalação sonora interativa / concerto / website stream
Disponível em: <http://www.floriandombois.net/works/surf.html>. Acesso em: 19/05/2019.

This is Not the End [Florian Dombois][2009]

Audificação de dados sísmicos / happening
Disponível em: <http://www.floriandombois.net/works/this-is-not-the-end.html>. Acesso em: 19/05/2019.

Worlds in the Making [semiconductor][2011]

Audificação de dados sísmicos / obra audiovisual / instalação multi-telas
Disponível em: <http://semiconductorfilms.com/art/worlds-in-the-making/>. Acesso em: 19/05/2019.

The Shaping Grows [semiconductor][2012]

Visualização e audificação de dados sísmicos / obra audiovisual / instalação multi-telas
Disponível em: <http://semiconductorfilms.com/art/the-shaping-grows/>. Acesso em: 19/05/2019.

Where Shapes come From [semiconductor][2016]

Audificação de dados sísmicos / visualização de moléculas / documentário científico
Disponível em: <http://semiconductorfilms.com/art/whereshapescomefrom/>. Acesso em: 19/05/2019.

Earthworks [semiconductor][2016]
Visualização e audificação de dados sísmicos / obra audiovisual / instalação multi-telas
Disponível em: <http://semiconductorfilms.com/art/earthworks/>. Acesso em: 19/05/2019.

ear(th) [Steve Roden e AnnMarie Thomas][2004]

Sonificação de dados sísmicos (coletados por interferometria) / instalação sonora
Disponível em: <https://steveroden.bandcamp.com/album/ear-th>. Acesso em: 19/05/2019.

Japan earthquake sonifications [Micah Frank][2011]

Sonificação de dados sísmicos / mídia fixa (álbum musical)
Disponível em: <https://soundcloud.com/micahfrank/sets/japan-earthquake-sonifications>.
Acesso em: 19/05/2019.

Tectonic [Micah Frank][2011]

Sonificação de dados sísmicos / mídia fixa (álbum musical)
Disponível em: <https://micahfrank.bandcamp.com/album/tectonic>. Acesso em: 19/05/2019.

Seismic Sonata [Marty Quinn][2001]

Sonificação de dados sísmicos de um terremoto na Califórnia / mídia fixa (peça musical)
Disponível em: <http://designrhythmics.com/seismic.html>. Acesso em: 19/05/2019.

Le Souffle de la Terre [Lorella Abenavoli][2001]

Audificação de vibrações sísmicas / escultura sonora
Disponível em: <http://abenavoli.net/>. Acesso em: 19/05/2019.

123
Rainwater Isotope Sonification [Matthew Kenney][2014]
Sonificação de dados pluviais / mídia fixa (peças eletroacústicas)
Disponível em: <http://matthewkenney.site/shalehills>. Acesso em: 19/05/2019.

Aqua.litative [Jon Bellona, John Reagan e John Park][2016]

Sonificação de dados pluviais / instalação sonora
Disponível em: <http://aqualitative.org/>. Acesso em: 19/05/2019.
Flood Tide [John Eacott][2009]
Sonificação da correnteza do rio Tâmisa / peça para ensemble / partitura gerada em tempo real
Disponível em: <http://www.floodtide.eu/>. Acesso em: 19/05/2019.

The Climate Symphony [Marty Quinn][2000]

Sonificação de dados climáticos da Groenlândia / mídia fixa (peça musical)
Disponível em: <http://designrhythmics.com/climate.html>. Acesso em: 19/05/2019.

A Song of Our Warming Planet [Daniel Crawford][2014]

Sonificação de dados sobre mudanças climáticas / peça para violoncelo solo
Disponível em: <https://vimeo.com/69122809>. Acesso em: 19/05/2019.

Antartika [Frank Halbig][2009]

Sonificação de dados climáticos da Antártida / peça para quarteto de cordas
Disponível em: <http://www.antarktika.at/>. Acesso em: 19/05/2019.

Polar Ice Sonification [Matthew Kenney e Mark Ballora][2014]

Sonificação de dados envolvendo as geleiras da Antártida / mídia fixa (peças eletroacústicas)
Disponível em: <http://matthewkenney.site/polar>. Acesso em: 19/05/2019.

Sonic Antarctica [Andrea Polli][2008]

Sonificação de dados climáticos da Antártida / instalação audiovisual / mídia fixa (álbum
musical)
Disponível em: <http://www.gruenrekorder.de/?page_id=342>. Acesso em: 19/05/2019.

Seven Airs [Chris Chafe e Greg Niemeyer][2012]

Sonificação da qualidade do ar em diferentes localidades / web-streaming
Disponível em: <http://www.sevenairs.com/>. Acesso em: 19/05/2019.

Oxygen Flute [Chris Chafe e Greg Niemeyer][2002]

Sonificação de níveis de gás carbônico no ar / instalação interativa
Disponível em: <http://chrischafe.net/oxygen-flute/>. Acesso em: 19/05/2019.

End of Winter [Chris Chafe e Greg Niemeyer][2009]

Sonificação de concentração de CO2 no ar / instalação
Disponível em: <http://chrischafe.net/end-winter/>. Acesso em: 19/05/2019.

Smog Music [Chris Chafe e Greg Niemeyer][2010]

Sonificação da concentração de CO2 no ar / website stream
Disponível em: <http://chrischafe.net/smog-music/>. Acesso em: 19/05/2019.

Esmog Data [Vanessa Gañán, Christian Quintero e Julián Jaramillo][2016]

Sonificação de dados referentes à poluição do ar / instalação / audiovisual
Disponível em: <https://sonologiacolombia.wordpress.com/lab/esmog-data/>. Acesso em: 19/05/2019.

The Place Where You Go to Listen [John Luther Adams][2006]

Sonificação de dados climáticos e sísmicos do Alasca / instalação sonora
Disponível em: <http://johnlutheradams.net/the-place-where-you-go-to-listen-essay/>. Acesso em:
19/05/2019.

124
Elements [Ethan Rose][2015]
Sonificação de dados climáticos / instalação sonora
Disponível em: <http://www.ethanrosemusic.com/elements>. Acesso em: 19/05/2019.

Change Ringing [Brian House][2013]

Sonificação de dados astronômicos, climáticos e sociais / radio-arte (peças de um minuto
transmitidas no rádio a cada hora sonificando os dados coletados na hora passada)
Disponível em: <http://brianhouse.net/works/change_ringing/>. Acesso em: 19/05/2019.

Weather Sonification APP [Daniel McKemie][2018]

Sonificação de dados climáticos / web art
Disponível em: <https://weather-sonification-app.firebaseapp.com/>.
Disponível em: <https://medium.com/@danielmckemie/online-data-sonification-in-the-browser-
21651dbb01e3?
fbclid=IwAR2oJP7n3Q7IDkpPU4WAxsVXzy6K8uc78IUXZ16zIKgLQrqOYvVbLxYwdQ8>
Acesso em: 19/05/2019.

Weather for the blind [Quintronics][2014]

Sonificação de dados climáticos / sintetizador
Disponível em: <http://weatherfortheblind.org/>. Acesso em: 19/05/2019.

Molecular Music [Thierry Delatour][2000]

Sonificação de dados moleculares / mídia fixa (peças eletroacústicas)
Disponível em: <https://www.youtube.com/watch?v=ZJygnAAwBm0>. Acesso em: 19/05/2019.

First Life: Imagining the chemical Origins of Life [Steve Everett][2012]

Sonificação de dados químicos e moleculares / peça para quarteto de cordas, live-electronics e projeção
Disponível em: <https://vimeo.com/38749631>. Acesso em: 19/05/2019.

Fenômenos biológicos
Genesis [Eduardo Kac e Peter Gena][1999]
Sonificação de sequências genéticas / instalação / website stream
Disponível em: <http://www.ekac.org/dnamusic.html>. Acesso em: 19/05/2019.

Red Blood Cells [Peter Gena][1995]

Sonificação de sequências genéticas de glóbulos vermelhos / mídia fixa (peça eletroacústica)
Disponível em: <http://www.petergena.com/DNAmus.html>. Acesso em: 19/05/2019.

Life Music [John Dunn e Mary Anne Clark][1998]

Sonificação de sequências genéticas / mídia fixa (álbum musical)
Disponível em: <http://www.algoart.com/music.htm>. Acesso em: 19/05/2019.

Collagen and Bass Clarinet [Peter Gena][1997] – revisada em 2004 e 2005

Sonificação de sequência genéticas e de proteínas / peça para clarone e eletroacústica
Disponível em: <http://www.petergena.com/DNAmus.html>. Acesso em: 19/05/2019.

The Dark Side of the Cell [Anne Niemetz e Andrew Pelling][2004]

Audificação de micro-sons de células orgânicas (sonocitologia) / instalação audiovisual
Disponível em: <http://www.darksideofcell.info/about.html>. Acesso em: 19/05/2019.

Blue Morph [Victoria Vesna e James Gimzewski][2007]

Audificação de micro-movimentos da superfície de uma crisálida de borboleta / instalação
sonora.
Disponível em: <http://artsci.ucla.edu/BlueMorph/main.html>. Acesso em: 19/05/2019.

125
Spores [Yann Seznec][2011]
Sonificação do movimento de queda dos esporos de um cogumelo / instalação sonora /
concerto
Disponível em: <http://www.yannseznec.com/works/spores/>. Acesso em: 19/05/2019.

Tomato Music [Chris Chafe e Greg Niemeyer][2007]

Sonificação de concentração de CO2, temperatura e iluminação em estufas / instalação,
performance e concerto
Disponível em: <http://chrischafe.net/tomato-quintet/>. Acesso em: 19/05/2019.

Years [Bartholomaus Traubeck][2011]

Sonificação de padrões de anéis internos de troncos de árvores / escultura sonora / mídia fixa
Disponível em: <http://traubeck.com/works/years>.
Disponível em: <https://traubeck.bandcamp.com/album/years>. Acesso em: 19/05/2019.
VERTICALE [Lorella Abenavoli][2014]
Audificação do fluxo de seiva dentro de um tronco de árvore / instalação sonora
Disponível em: <http://abenavoli.net/projects/verticale-etude1/>. Acesso em: 19/05/2019.

EOD02 [Frederik de Wilde e lab[au]][2006]

Audificação das descargas elétricas de peixes em aquários / instalação sonora
Disponível em: <http://meta.lab-au.com/projects/eod02/>. Acesso em: 19/05/2019.

The Lake [Julie Freeman][2009]

Sonificação do movimento de peixes dentro de um lago / gravação de campo /instalação /
website stream
Disponível em: <http://www.translatingnature.org/lake/>. Acesso em: 19/05/2019.

Dag(fish) is a DJ [Syndrome][2014]
Sonificação e visualização dos movimentos de um peixe dentro de um aquário / instalação / performance
Disponível em:
<https://cycling74.com/projects/dag-fish-is-a-dj>. Acesso em: 19/05/2019.

LOGOS I [Peter Gena][1974]

Sonificação de ondas cerebrais alfa / performance musical / mídia fixa (peça eletroacústica)
Disponível em: <http://www.petergena.com/compmus.html>. Acesso em: 19/05/2019.

Brain Pulse Music [Masaki Batoh][2012]

Sonificação de ondas cerebrais / mídia fixa (álbum musical)
Disponível em: <https://masakibatoh.bandcamp.com/album/brain-pulse-music >. Acesso em: 19/05/2019.

Superorganism [Mickey Hart Band][2013]

Sonificação de ondas cerebrais / mídia fixa (álbum musical)
Disponível em: <https://en.wikipedia.org/wiki/Superorganism_(Mickey_Hart_Band_album)>. Acesso
em: 19/05/2019.

Multimodal Brain Orchestra [Jonatas Manzolli][2009]

Sonificação de ondas cerebrais / peça múltiplos performers
Disponível em: <http://specs-lab.com/portfolio-items/2009-multimodal-brain-orchestra-art-through-
technology/ >. Acesso em: 19/05/2019.

Sitting.Breathing.Beating.(Not)Thinking [Adam Overton][2004]

Sonificação de ondas cerebrais / performance solo
Disponível em: <https://archive.org/details/Sitting.Breathing.No.1>. Acesso em: 19/05/2019.

Fragmentation [JesterN][2012]
Sonificação de ondas cerebrais / performance solo
Disponível em: <https://vimeo.com/61407436 >. Acesso em: 19/05/2019.

126
Eunoia [Lisa Park][2013]
Sonificação de ondas cerebrais / performance solo
Disponível em: <http://www.thelisapark.com/eunoia/>. Acesso em: 19/05/2019.

Running Expressions [Jon Bellona][2011]

Sonificação de dados fisiológicos de um performer correndo em um esteira / performance solo
Disponível em: <http://jpbellona.com/work/running-expressions/>. Acesso em: 19/05/2019.

Forty-Eight to Sixteen [Brian House][2012]

Sonificação de batimentos cardíacos, respiração e pedalada durante um passeio de bicicleta /
obra audiovisual (gravação de violoncelo solo e vídeo)
Disponível em: <http://brianhouse.net/works/forty-eight_to_sixteen/>. Acesso em: 19/05/2019.

Heartmonic [Lisa Park][2017]

Sonificação de batimentos cardíacos / performance
Disponível em: <https://www.youtube.com/watch?v=Bp2nZitK5e8>. Acesso em: 09/06/2019.

Fenômenos socioeconômicos
Guernica [Somatic Sounds][2011]
Sonificação dos números da população mundial entre os anos 1 e 2006 / mídia fixa (peça eletroacústica)
Disponível em: <https://soundcloud.com/somatic-sounds/guernica>. Acesso em: 19/05/2019.

Junction [Micah Frank][2011]

Sonificação do movimento de táxis em cruzamentos de Nova York através de imagens de segurança /
instalação audiovisual
Disponível em: <https://micahfrank.bandcamp.com/track/junction>. Acesso em: 19/05/2019.

Buzu [Esteban Viveros Astorga, Fernando Iazzetta e Julíán Jaramillo Arango][2019]

Sonificação do posicionamento de ônibus do transporte público da cidade de São Paulo / instalação
Disponível em: <https://sonsdesilicio.wordpress.com/participantes/esteban-viveros-fernando-iazzetta-e-
julian-jaramillo-arango/> Acesso em: 19/05/2019.

Sounds of the Economy [Matthew Kenney][2015]

Sonificação de dados economicos diversos / mídia fixa (peças eletroacústicas)
Disponível em: <https://www.foreignaffairs.com/audios/2015-07-22/sound-economy>. Acesso em:
19/05/2019.

Chart Music [ Johannes Kreidler][2009]

Sonificação de dados econômicos de empresas e fundos de investimento / audiovisual
Disponível em: <http://www.kreidler-net.de/english/works/chartsmusic.htm>.
Acesso em: 19/05/2019.

Data-Driven DJ [Brian Foo][2015]

Sonificação de dados econômicos e sociais / mídia fixa (conteúdo audiovisual para webstreaming)
Disponível em: <https://datadrivendj.com/>. Acesso em: 19/05/2019.

airportmusic [Derek Kwan][2016]

Sonificação das chegadas e partidas e aviões no aeroporto de Hong Kong / mídia fixa (peça
eletroacústica)
Disponível em: <http://www.derekxkwan.com/musicart/airportmusic.html>.
Acesso em: 19/05/2019.

safety certificate [Florian Grond][2010]

Sonificação sensores de caixas de eixo em trens de alta velocidade / performance solo
Disponível em: <http://www.grond.at/>. Acesso em: 19/05/2019.

127
You’ll Just Have to Take My Word For It [Brian House][2013]
Sonificação de dados da caixa preta de um automóvel durante um acidente envolvendo um
político norte-americano / peça para duas guitarras e saxophone tenor
Disponível em: <http://brianhouse.net/works/youll_just_have_to_take_my_word_for_it/>.
Acesso em: 19/05/2019.

Lungs: Slave Labour [Graham Harwood][2005]

Sonificação de dados de registros médicos de trabalhadores escravos / instalação audiovisual
Disponível em: <http://yoha.co.uk/lungs>. Acesso em: 19/05/2019.

The CIA Fact Book [Ambrose Field][2006]

Sonificação de dados do livro de registros da CIA / mídia fixa (peça eletroacústica)
Disponível em: <http://www.sonifyer.org/wissen/sonifikationmusik/?id=39>. Acesso em: 19/05/2019.

Hard data [Luke DuBois][2009]

Sonificação de dados da guerra do Iraque / website stream / peça para quarteto de cordas
Disponível em: <http://sites.bxmc.poly.edu/~lukedubois/projects/index.html?id=harddata>.
Acesso em: 19/05/2019.

Iraq Body Count [Somatic Sounds][2011]

Sonificação do número de fatalidades de civis iraquianos / mídia fixa (peça eletroacústica)
Disponível em: <https://soundcloud.com/somatic-sounds/iraq-body-count-guillaume-potard>.
Acesso em: 19/05/2019.

Sonic Dog Tags [Jon Bellona][2011]

Sonificação de arquivos de texto militares informando falecimento de soldados em serviço /
obra audiovisual
Disponível em: <http://jpbellona.com/work/sonic-dog-tags/>. Acesso em: 19/05/2019.

Endless war [Graham Norton e Matsuko Yokokoji][2013]

Audificação do campo eletromagnético de um computador / visualização de dados militares /
instalação audiovisual
Disponível em: <http://yoha.co.uk/node/761>. Acesso em: 19/05/2019.

Ping [Greg Niemeyer e Chris Chafe][2001-2005]

Sonificação do tempo de atraso de mensagens em rede / instalação
Disponível em: <http://chrischafe.net/ping/>. Acesso em: 19/05/2019.

The Listening Post [Ben Rubin e Mark Hansen][2001]

Sonificação e visualização de postagens de texto em fóruns na internet / instalação
Disponível em: <https://www.youtube.com/watch?v=dD36IajCz6A>.
Disponível em: <http://modes.io/listening-post-ten-years-on/>. Acesso em: 19/05/2019.

Sonification of You [Martin John Callanan][2006]

Sonificação do fluxo de dados de aparelhos celulares via bluetooth ou wi-fi / instalação
sonora
Disponível em: <http://sonification.eu/>. Acesso em: 19/05/2019.

#tweetscapes [HEAVYLISTENING][2011]
Sonificação de postagens no Twitter / web-streaming
O website original do projeto encontra-se indisponível.

The Listening Machine [Daniel Jones, Peter Gregson e Britten Sinfonia][2012]

Sonificação de postagens no Twitter / web-streaming
O website original do projeto encontra-se indisponível.

128
#Carbonfeed [Jon Bellona][2014]
Sonificação de feeds de Twitter / instalação / website stream
Disponível em: <http://jpbellona.com/work/carbonfeed/>. Acesso em: 19/05/2019.

Listen to Wikipedia [Stephen LaPorte e Mahmoud Hashemi]

Sonificação e visualização de modificações em entradas na Wikipedia / web-streaming
Disponível em: <http://listen.hatnote.com/>. Acesso em: 19/05/2019.

Quotidian Record [Brian House][2012]

Sonificação de dados georreferenciados do cotidiano do artista / mídia fixa (disco de vinil)
Disponível em: <http://brianhouse.net/works/quotidian_record/>. Acesso em: 19/05/2019.

Sun Run Sun: Satellite Sounders [Yolande Harris][2008]

Sonificação de dados georreferenciados / soundwalk
Disponível em: <http://yolandeharris.net/?nk_work=sun-run-sun-satellite-sounders>.
Acesso em: 19/05/2019.

Sun Run Sun: Dead Reckoning [Yolande Harris][2008]

Sonificação de dados georreferenciados / instalação sonora
Disponível em: <http://yolandeharris.net/?nk_work=sun-run-sun-dead-reckoning>.
Acesso em: 19/05/2019.

Electric Walks [Christina Kubisch][2003]

Audificação de ondas eletromagnéticas / soundwalk
Disponível em: <http://www.christinakubisch.de/en/works/electrical_walks>.
Acesso em: 19/05/2019.

Waves to Waves to Waves [Damian Stewart e Chris Sugrue][2008]

Audificação e visualização de ondas eletromagnéticas / performance
Disponível em: <http://damianstewart.com/waves>. Acesso em: 19/05/2019.

Feedback espacial
Resonanzboden 1-8 [Florian Dombois][2006]
Audificação de vibrações mecânicas em um edifício / instalação interativa / site-specific
Disponível em: <http://www.floriandombois.net/works/resonanzboeden.html>. Acesso em: 19/05/2019.

Enter [Florian Dombois][2006]

Audificação de vibrações mecânicas em um edifício / disco de vinil
Disponível em: <http://www.floriandombois.net/works/enter.html>. Acesso em: 19/05/2019.

Struck Modernism [Florian Dombois][2010]

Audificação de vibrações mecânicas em esculturas / instalação sonora
Disponível em: <http://www.floriandombois.net/works/struck-modernism.html>. Acesso em:
19/05/2019.

Work No. 409 [Martin Creed][2005]

aka Singing Elevator
Sonificação do movimento de um elevador / instalação sonora
Disponível em: <http://martincreed.com/site/works/work-no.-409>.
Disponível em: <https://vimeo.com/14339448>. Acesso em: 19/05/2019.

Road Music [Peter Sinclair][2010]

Sonificação de imagens e do funcionamento de um carro em movimento / carro modificado
Disponível em: <http://nujus.net/~petesinc/roadmusic_autosync/index.html>. Acesso em: 19/05/2019.

129
Building Materials [Owen Lloyd][2010]
Sonificação de atividades humanas dentro de um edifício / instalação sonora
Disponível em: <https://buildingmaterialsphoenix.wordpress.com/>. Acesso em: 19/05/2019.

Sonicity [Stanza][2010]
Sonificação de aspectos internos e externos de um edifício / instalação sonora
Disponível em: <http://www.stanza.co.uk/sonicity/index.html>. Acesso em: 19/05/2019.

iFlux [Silvia Laurentiz, Martha Gabriel e Fernando Iazzetta][2012]

Visualização e sonificação de aspectos internos e externos de um edifício / instalação
audiovisual e interativa
Disponível em: <https://www.youtube.com/watch?v=FXsK4D6M274>. Acesso em: 19/05/2019.

Sonificação de imagens
Fusiform Polyphony [Ken Rinaldo][2011]
Sonificação de imagens de rostos de participantes na obra / instalação audiovisual / escultura robótica
Disponível em: <http://www.kenrinaldo.com/portfolio/fusiform-polyphony-face-music-toronto-2011/>.
Acesso em: 19/05/2019.

Bondage [Atau Tanaka][2001]

Sonificação de imagens (fotografias de Nobuyoshi Araki) / instalação audiovisual interativa / mídia fixa
(álbum musical)
Disponível em: <http://www.ataut.net/site/Bondage>. Acesso em: 19/05/2019.

EGERYA [Peter Gena][1972]

Sonificação de padrões visuais em um tapete escandinavo / mídia fixa (peça eletroacústica)
Disponível em: <http://www.petergena.com/compmus.html>. Acesso em: 19/05/2019.

Voice of Sisyphus [George Legrady e Ryan McGee][2011]

Sonificação de imagens / instalação audiovisual
Disponível em: <https://vimeo.com/34859885>. Acesso em: 19/05/2019.

Wind [Damian Stewart][2008/2011]

Sonificação de imagens em movimento captadas em tempo real / instalação móvel
Disponível em: <http://damianstewart.com/wind>. Acesso em: 19/05/2019.

Move Music/Walk on the Sun [Marty Quinn][2009]

Sonificação de imagens solares / instalação interativa
Disponível em: <http://designrhythmics.com/exhibits/>. Acesso em: 19/05/2019.

Brilliant noise [semiconductor][2006]

Sonificação de imagens solares / obra audiovisual / instalação multi-telas
Disponível em: <http://semiconductorfilms.com/art/brilliant-noise/>. Acesso em: 19/05/2019.

The Haptophone [Florian Grond][2015]

Sonificação de formas tridimensionais / escultura sonora interativa / acessibilidade
Disponível em: <http://www.grond.at/>. Acesso em: 19/05/2019.

San Giovanni Elemosinario [Jon Bellona][2014]

Sonificação de imagens e plantas arquitetônicas / obra audiovisual
Disponível em: <http://jpbellona.com/work/sonification-of-san-giovanni-elemosinario/>.
Acesso em: 19/05/2019.

130
Referências bibliográficas
FREEMAN, Julie et al. A Concise Taxonomy for Describing Data as an Art Material.
Leonardo, [s.l.], p.22-29, 16 fev. 2017. MIT Press - Journals

131