O uso criativo do mapping na composição de músicas

mistas em tempo real

Wellington Eleuterio Alves

Rael G. B. Toffolo

16 de dezembro de 2021

Sumário

Sumário . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1 LIVE-ELECTRONICS, INTERATIVIDADE E IDENTIDADE . . . . 5

2 INTERATIVIDADE . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1 Descritores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 Mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

3 IDENTIDADE E VARIABILIDADE NA MÚSICA TRADICIONAL . 13

4 CONSIDERAÇÕES FINAIS . . . . . . . . . . . . . . . . . . . . . . . 15
 Introdução

A área das artes interativas tem constantemente buscado meios de aumentar

as possibilidades de interação. No campo da criação musical contemporânea, temos
assistido ao desenvolvimento de obras que buscam promover a interação de diferentes
agentes: computador e intérprete, público e obra, público e intérprete. De acordo com
[Rocha (2008, p.20)], “a interatividade é uma das maiores questões na discussão atual de
música eletrônica. No centro dessa discussão, reside a relação humano x máquina, presente
em trabalhos mistos”. Todavia, tal relação nos apresenta o desafio de se estabelecer
uma troca menos rígida entre os intérpretes. Esse tipo de problema de comunicação
entre diferentes agentes colocou em evidência (ou teste) diversas hipóteses e modelos que
acabaram por se relacionar com a cognição, principalmente ao considerar conceitos como
o de modelos reativos [(Fieldsteel, 2014)], inteligência artificial [(Cope, 2012)] ou até
modelos incorporados [(Hayes, 2018)]. Nesse contexto, os conceitos mais importantes a
serem considerados nesta pesquisa, são o de Mapping e o de descritores de áudio.
1 Live-electronics, interatividade e identi-
dade

O séc. XX foi palco de uma miríade de mudanças e descobertas dentro da música,

iniciando com Schönberg e o rompimento do sistema tonal tradicional, que foi aos poucos
alargando as fronteiras do que seria considerado aceito musicalmente, sendo seguido pelo
advento de duas formas de pensar a música que posteriormente se manifestariam na música
eletrônica: o pensamento serial iniciado com o dodecafonismo do próprio Schönberg e
desenvolvido por Webern, Berg, baseado primariamente na estrutura formal da obra, de
acordo com Lazzarini "nas suas formas mais extremas, o serialismo chega a desprezar os
limites da percepção humana e a maneira com que tentamos organizar a nossa experiência
sonora como ouvintes."Esses compositores buscaram formas de organizar o som de forma
precisa: a princípio altura e duração eram manipulados de diversas formas, e posteriormente
outros parâmetros foram sendo incluídos (ou explorados) como dinâmica e articulação, até
chegarmos ao timbre.
O pensamento serial encontrou seu ponto máximo do ponto de vista exploratório
e de controle na Elektronische Musik encabeçada por Eimert. Ele pregava uma música
eletrônica desprovida de associações com o mundo real e de sons anedóticos, baseada
em procedimentos seriais e construída estritamente com tons gerados eletronicamente.
Esse meio era visto como o veículo natural da composição serial, uma vez que permitia
que a parametrização e a estruturação descessem ao nível mais baixo, aos tijolos do som.
Uma vez que a própria matéria-prima para a música poderia ser construída por geradores
sonoros eletrônicos, as técnicas seriais poderiam ser aplicadas a todo o processo de geração.
A outra forma de se pensar música, em contraponto a música estruturalista, tem
suas primeiras sementes em Luigi Russolo com seus intoranumori(1913), composta de
rangidos, zumbidos e sons de trovão. George Antheil em seu Ballet parade(1917), pra
conjunto de pianos, percussão, sinos e hélices, e muitos outros compositores como Satie e
Darius Milhaud. Tal forma de pensar, encontrou em Edgard Varèse seu primeiro grande
representante.
Varèse chamava suas obras de "sons organizados", e se referia a si mesmo como
alguem que trabalhava com "frequências e intensidades", tornando "o som material básico de
todo o discurso composicional, e assim transferindo para a matéria o status de material"[2].
Esse posicionamento originou-se do seu interesse pela física e, em especial, do seu contato
com as obras de Hoëne Wronsky (1778-1853) e Hermann Helmholtz (1821-94) cujas idéias
levaram-no a considerar as propriedades físicas do som dentro do discurso musical [5].
De acordo com [5]
 No período compreendido entre os anos de 1936 e 1954, Varèse compôs
apenas uma obra: Étude pour espace (1947). Muitos autores atribuem
esse período improdutivo à ausência de recursos que possibilitassem a
realização de suas concepções musicais. Embora não saibamos, com
exatidão, o grau de correspondência entre os recursos que idealizava e os
meios tecnológicos que começaram a surgir a partir dos anos 50, o fato
é que esses novos meios o incentivaram ao retorno de suas atividades
composicionais primeiramente com Déserts em 1954 e, posteriormente,
com Poème électronique em 1958, suas duas últimas obras completas.
Entretanto, os meios utilizados para a construção dessas obras seriam
abandonados na composição de Nocturnal (1961) e Nuit (1965), suas
últimas obras que permaneceriam incompletas.

Essa maneira de se pensar a música e o som encontrou sua correspondente eletrônica

na Musique concrète, desenvolvida inicialmente por Pierre Schaeffer nos anos 40, que
posteriormente em conjunto com Pierre Henry irá fundar o Groupe de Recherches Musicales
(GRM).
No início, diferentemente da música de câmara tradicional na qual os músicos criam
o discurso em tempo real, e se auto regulam através da experiência e linguagem corporal, a
música feita com máquinas acabava se tornando uma via de mão única, onde o performer
humano precisava obedecer estritamente aos parâmetros temporais em favor do sincronismo,
como aponta [1], para que a obra pudesse ser executada corretamente, eliminando (ou
diminuindo drasticamente) para alguns, a variabilidade de interpretação. Mesmo no caso
de obras com uma maior maleabilidade de execução, como é o caso de Mikrophonie I (1964)
de Stockhausen, há uma limitação na interação que afeta a organicidade na interpretação
que comumente pode-se presenciar em uma performance de câmara tradicional.
Apesar das argumentações a favor da interatividade no que diz respeito a uma
maior maleabilidade de interpretação, autores como [Alvarez (1989)] apontam vários
exemplos de peças para tape e instrumento onde um alto grau de flexibilidade é preservado.
[Stroppa(1999)] ainda afirma que no caso de peças como Kontakte de Stockhausen, o
tape e os instrumentos estão tão bem estruturados que a questão da interatividade se torna
irrelevante do ponto de vista do público. Da mesma forma, [menezes, 2002b] vai afirmar
que a maleabilidade de uma obra irá se dar em sua estrutura e não em seus materiais, de
tal forma que a responsabilidade por uma obra mais, ou menos flexível fica por conta do
compositor, e da forma em que este organiza os elementos composicionais.
Podemos concordar que até certo ponto é irrelevante para o público se uma obra
possui uma grande interatividade entre os intérpretes (humanos ou máquinas), ou não.
Todavia, considero importante fornecer ao intérprete uma experiência de performance
mais maleável e o mais próximo possível do que seria uma interação (ou integração) com
o intérprete virtual. Em acordo com esse aspecto, [mcnutt, 2003] afirma que para o
instrumentista, a performance com suporte fixo é como tocar com o pior parceiro possível:
desatencioso, inflexível, sem resposta e totalmente surdo.
 Historicamente, a solução inicial para o problema da interatividade veio com o
aumento do poder de computação e o encolhimento do hardware necessário para executá-lo
no live electronics: uma forma de se criar e interpretar música eletroacústica mista ao vivo,
onde o elemento eletrônico já não possui a mesma rigidez do tape. O desenvolvimento da
informática permitiu que cada vez mais usuários pudessem ter acesso a um grande poder
de computação com menos custos. Tal avanço tecnológico logo atraiu a classe artística e
permitiu que novas formas de se criar música pudessem ser pensadas. A música eletrônica
pôde encontrar um lar natural nesse meio, e através do trabalho de pessoas como Philippe
Manoury, Max Mathews e Miller Puckette, entre tantos outros, pôde-se ver os primeiros
avanços rumo a uma interatividade humano x máquina mais orgânica através da técnica
de score following, discutida no importante trabalho Score Following in Practice[4]. Tal
técnica consiste em alimentar o computador com uma partitura, e realizar uma comparação
nota a nota em tempo real entre a performance de um músico por meio de uma interface
midi, ou microfone, e a partitura virtual. Se a comparação for bem sucedida, o computador
avança em seu banco de dados pela partitura, podendo disparar eventos relacionados a
momentos específicos da obra com bastante precisão de forma automática. O problema
do score following inicialmente é que a máquina dependia de uma partitura precisamente
notada, e de um parâmetro do som bastante específico, como altura, para conseguir seguir
a performance sem sofrer muitos problemas. Isso acabava dificultando as possibilidades
para uma maior maleabilidade interpretativa, e limitava em certo ponto o uso de sistemas
alternativos de notação, bem como o emprego de um discurso sonoro mais procedural e
voltado para transformações timbrísticas.
Uma das possibilidades para superar as limitações iniciais do score following nasceu
com o desenvolvimento dos descritores de audio: algoritmos que [6] buscam estabelecer
uma correlação quantitativa entre a posição em uma dimensão perceptual e um valor em
uma dimensão acústica derivados do sinal sonoro [3].A partir deles, o computador não
precisaria mais de uma partitura pra ser seguida a risca, pois o som em seus diversos
parâmetros pôde servir como referência direta para o disparo e manipulação de eventos e
processos sonoros.
Vale notar que os descritores por si só não realizam nenhuma atividade fora a
tradução de parâmetros específicos do som em números. Cabe ao compositor selecionar
quais os parâmetros relevantes, e mapear (ou ressignificar) os valores recebidos em eventos
com significado artístico.
No contexto da música computacional (ou algorítmica), Mapping é o processo
que consiste em extrair parâmetros musicais de gestos composicionais de forma que um
conjunto seja mapeado em outro [(Dornbusch, 2002)], como por exemplo uma correlação
entre dinâmica e frequência em Hertz. Essa extração é realizada pelos descritores de áudio,
que consistem em algoritmos capazes de descrever parâmetros sonoros como frequência e
decibels em unidades numéricas. No próximo capítulo iremos visitar com mais detalhes
como a união entre o processo de mapping e o uso de descritores de audio pode servir
como base para a construção de obras interativas.
2 Interatividade

De acordo com [Rocha(2008, p.20)], “a interatividade é uma das maiores questões

na discussão atual de música eletrônica. No centro dessa discussão, reside a relação humano
x máquina, presente em trabalhos mistos”. Essa relação pode ser implementada de diversas
formas, e com níveis variáveis de interatividade.
O termo interatividade deve ser aproximado com cautela, tendo em vista que autores
diferentes o entendem de formas diferentes. No caso da música eletrônica, “interatividade”
usualmente é entendida como um elemento presente em sistemas eletrônicos - na maior
parte das vezes baseados em computadores - que podem ser controlados em tempo real
([(GARNETT, 2001;] [BELET, 2003;] [WINKLER, 1998)]). Tal afirmação ainda
abre espaço para diferentes pontos de vista: uma faixa de áudio cuja difusão é controlada
em tempo real por um performer-mediador pode ser considerada uma peça interativa?
Uma peça para tape e instrumento acústico pode ser considerada uma peça interativa?
Garnett afirma que uma peça interativa deve conter um forte elemento de per-
formance entre as dimensões eletrônica e humana, assim como no caso de performances
estritamente humanas. Uma interação musical, nesse caso, “requer um entendimento
musical envolvendo um grande número de convenções e conhecimentos compartilhados
baseados em anos de experiência coletiva” [(MIRANDA E WANDERLEY, 2006,
p. 224)]. Uma performance ao vivo de música mista é um tipo de música de câmara em
que alguns membros do grupo estão invisíveis [(MCNUTT, 2003, p.299)].

2.1 Descritores
De acordo com Peeters et al.(2011), descritores de áudio buscam estabelecer uma
correlação quantitativa entre a posição em uma dimensão perceptual e um valor em
uma dimensão acústica derivados do sinal sonoro. Podendo ser inicialmente classificados
entre baixo, e alto nível, sendo que os primeiros descrevem características físicas do
som, como frequência em Hertz, decibels, massa espectral, entre outras, enquanto que
os segundos descrevem características que se constroem à partir de marcadores culturais,
como estilo musical, batimentos por minuto (BPM) ou identificação de instrumentos/voz.
Herrera(2001) afirma que descritores de baixo nível estão intimamente ligados ao sinal em
si e seus representantes e os divide entre descritores temporais e espectrais. Descritores
temporais, em geral, podem ser imediatamente calculados à partir do sinal-base, como
tempo de ataque e zero-crossing. Descritores espectrais necessitam normalmente de uma
análise prévia do material, como FFT e STFT, e são muito utilizados na construção
de descritores de alto nível. Alguns exemplos são: envelope espectral, centroide, forma
espectral, desvio harmônico e frequencia da fundamental.
Enquanto os descritores de baixo nível não são capazes de carregar qualquer
informação de valor semântico, os descritores de alto nível podem carregar consigo tanto
informações sintáticas quanto semânticas (Herrera, 2001). Um descritor sintático de alto
nível funciona como um aglomerado de descritores de baixo nível, que pode descrever do
que um som é feito sem considerar qualquer valor simbólico, como um identificador de
timbres que pode nos dar informações sobre um timbre, sem identificá-lo com o nome
de algum objeto sonoro, ou com alguma qualidade específica. Para isso, é necessário
adicionarmos conhecimento cultural, ou como diz Herrera, conhecimento do mundo real,
para que possamos realizar classificações como: "instrumento de corda", "instrumento de
sopro", "assustador", "tranquilo". Constituindo então um descritor semântico de alto nível.

2.2 Mapping
Como o Mapping é programado no domínio digital, a relação entre o input e
o output pode ser configurada de forma arbitrária [(Caramiaux et al, 2014)], o que
permite a implementação de uma imensa variedade de tipos de Mapping. Rovan et al (1997)
sugere duas abordagens principais, baseadas na física e na biomecânica de instrumentos
tradicionais: Mapping convergente, quando vários inputs são necessários para controlar
um parâmetro (ex: a dinâmica de uma flauta depende da quantidade e da velocidade do
ar, bem como a digitação empregada pelo flautista). Mapping divergente, quando um
input controla vários parâmetros (ex: o arco de um violino controlando timbre, articulação,
entre outros).
De acordo com [Varela et. al (1991)] e [Oliveira (2003)], os paradigmas das
ciências cognitivas podem ser classificados como cognitivismo, conexionismo, e enativismo.
A partir dessa classificação, é possível estabelecermos um paralelo entre o modus operandi
das diferentes estratégias de Mapping e os paradigmas acima citados: modelos de vertente
cognitivista (ou cibernética), irão seguir padrões algorítmicos lineares, com elementos
controlados por um sistema central, alto grau de previsibilidade e capacidade de repetição.
Modelos de vertente conexionista, diferente do anterior, não carecem de um sistema central
de controle, e se baseiam em sistemas de reconhecimento e classificação em paralelo, de
onde comportamentos, conexões e/ou eventos podem emergir, possibilitando assim um
maior grau de imprevisibilidade. As estruturas mais utilizadas e conhecidas nesse modelo
são chamadas de Redes Neurais, pois modelam o funcionamento dos neurônios humanos.
Por fim, a abordagem enativa parte do modelo não-centralizado e auto organizado do
conexionismo e o expande ao situar o corpo e o ambiente como partes constituintes de um
mesmo sistema. Modelos segundo essa abordagem, irão considerar o corpo do performer
como elemento integrante do sistema, não como um controle central, mas como uma das
várias partes que formam a obra e participam da emergência de novos eventos.
Considerando os modelos de Mapping e descritores utilizados nas obras interativas
e em tempo real, podemos intuir que há diferentes modelos que se enquadram em hipóteses
epistemológicas diferentes, sendo os mais frequentes, modelos de controle linear onde um
parâmetro específico do som (ex. amplitude) é mapeado para um parâmetro de síntese
(ex. frequência de corte de um filtro). Tal abordagem, apesar de eficiente, limita o campo
de possibilidades de interação devido a sua natureza predeterminista oriunda dos modelos
cibernéticos, ainda bastante praticados atualmente. Em contrapartida, modelos que se
aproximam da abordagem dinâmica, abrem mão de um controle central e linear em prol da
adaptabilidade e uma menor determinação de resultados, ampliando as possibilidades de
interação. Sistemas de Mapping construídos sob essa abordagem, podem modelar sistemas
vivos, e utilizarão mecanismos de feedback que podem alterar parâmetros dos descritores
em tempo real, de acordo com suas regras internas (ou identidade).
3 Identidade e variabilidade na música tradi-
cional
4 Considerações finais