UNIVERSIDADE DO ESTADO DE MINAS GERAIS

Programa de Pós-Graduação em Artes

Escola de Música

Projeto de Pesquisa
Cognição, materialidade e culturas musicais: uma perspectiva experimental
sobre as relações epistêmicas entre músicos, bailarinos e objetos

Projeto de pesquisa apresentado como requisito à

candidatura de apoio financeiro orientada pelo edital
FAPEMIG 01/2017 – Demanda universal.

Belo Horizonte
Março 2017
 2

TÍTULO DO PROJETO

Cognição, materialidade e culturas musicais: uma perspectiva experimental

sobre as relações epistêmicas entre músicos, bailarinos e objetos.

RESUMO
A evolução do plano de estudos das ciências cognitivas tem aberto o campo das teorias da arte
para compreender a materialidade dos objetos do cotidiano na formação do que chamamos de
conhecimento artístico. Estes objetos epistêmicos que mediam, ampliam, limitam e alteram
nossa mediação com a realidade estão também espalhados nos domínios da cultura, em especial
as culturas musicais e principalmente as culturas populares. Neste projeto, nos concentramos
nas relações de produção de conhecimento que emergem na interação dos artistas com seus
objetos e agentes externos. Mais especificamente, o projeto se concentra nas interações entre
músicos, bailarinos sobre seus objetos materiais e imateriais. Para estudar estas relações,
primeiramente, descrevemos as interações originais entre pessoas e objetos a partir de dados
quantitativos utilizando captura de movimento e dados de sensores. Em um segundo momento,
desenhamos experimentos onde as interações originais são alteradas a partir de modificação
dos objetos ou da proposição de limitações de interação. A comparação entre interação original
e interações alteradas permite observar como as propriedades dos objetos alteram as formas de
interação e influenciam o que chamamos de conhecimento musical, posto em ação pelo músico
e bailarino.

INTRODUÇÃO

As relações entre objetos e pessoas frequentemente alteram o arranjo de

conhecimentos estabelecidos em um determinado tempo e lugar. Por exemplo, para

uma grande parte dos indivíduos vivendo nas sociedades modernas e informatizadas,

a memória para guardar números foi gradativamente substituída pela habilidade que

permite registrar e recuperar listas de contatos em um telefone celular. Ao substituir

canetas por computadores, cadernos por telas, bicicletas por carros, deixamos de lado
 3

algumas habilidades e criamos demandas por outras habilidades que interagem com

as nossas capacidades cognitivas e com o arranjo de objetos com os quais

interagimos. Sob um ponto de vista de teorias atuais nas ciências cognitivas

(discutidas no decorrer do projeto), podemos dizer que estes objetos fazem parte de

nossa cognição. Uma cognição que processa informações por mecanismos que não

estão mais situados nos paradigmas fisiológicos da mente e do corpo.

A cultura está permeada por mecanismos que nos ajudam no processamento

de informações e na realização de ações sobre a cultura. Mais especificamente, nas

culturas musicais, a sofisticação dos instrumentos musicais nos permite facilitar a

execução da intencionalidade musical por meio de diversos dispositivos: o mecanismo

das chaves de uma flauta, a lógica de afinação de um violão, ou a mecânica interna

de um piano nos permitiram dominar o material musical ao ponto de que esse novo

domínio influenciou o modo como criamos as texturas musicais, estabelecendo novos

estilos e influenciando a cultura. Entretanto, a interação emerge da experiência

sensitiva com a realidade, e a terceirização destas cargas cognitivas necessárias à

performance não se realiza somente através de objetos, mas da experiência sensorial.

Por exemplo, a manutenção do pulso musical é frequentemente auxiliada pela

interação cíclica e física entre a batida dos pés e a fisicalidade onipresente do solo.

Alguns tipos de música dependem fortemente da reverberação específica de alguns

espaços arquitetônicos específico para serem executados, como determinadas peças

de música sacra realizadas para espaços reverberantes como as igrejas. Da mesma

forma, bailarinos se utilizam de determinadas interações não previstas com o solo

 4

para marcar estruturas rítmicas, ou se utilizam da cinética envolvida na condução do

par de dança para a escolha dos próximos movimentos. Em resumo, a experiência

sensível com os limites e interações da realidade física parece influenciar não só o

modo como produzimos cultura, mas nos ajudam a aprender e estabelecer relações

culturais.

Neste projeto, nos concentramos nas relações de produção de conhecimento

que emergem na interação dos artistas com seus objetos e agentes externos. Mais

especificamente, este estudo está limitado às culturas musicais, que envolvem o

músico e o bailarino como agentes artísticos sobre seus objetos. Esta descrição toma

a forma de duas abordagens. Na primeira, descrevemos a interação original entre

pessoas e objetos a partir de dados quantitativos utilizando captura de movimento e

dados de coletados de sensores. Na segunda abordagem, criamos experimentos

onde as interações originais são alteradas a partir de modificação dos objetos ou da

proposição de limitações de interação. A comparação entre interação original e

interações alteradas permite observar como as propriedades dos objetos alteram as

formas de interação e influenciam o que chamamos de conhecimento musical, posto

em ação pelo músico e bailarino. Estas abordagens estão descritas em detalhe na

seção metodologia e estão fundamentadas por estudos recentes, descritos a seguir.

REVISÃO DA LITERATURA

O atual estágio e velocidade de transformações técnicas e avanços em

tecnologias da informação parecem promover dois processos de distanciamento. Por

um lado, as habilidades manuais e cognitivas necessárias ao controle do corpo na

produção de música ou dança parecem se distanciar das habilidades do cotidiano da

vida moderna. Memorizar sequências complexas de movimentos, desenvolver

coordenações sensíveis entre o corpo, parceiros, instrumentos e som, e abstrair

processos não-verbais em sequências sonoras não fazem parte de nosso modo de

trabalho cada vez mais simbólico (como discutido em SERRES, 1995 por exemplo).

Por outro lado, as novas interfaces multimodais parecem migrar para formas menos

dependentes de uma relação direta entre o corpo e objeto: há um franco processo de

normalização ou planificação do desenho industrial das interfaces (e.g. um plano, uma

tela) onde a relação custo/generalização de uso se torna mais rentável para as

indústrias de tecnologia. Nestas interfaces, o desenho, prática e utilização das

ferramentas são primordialmente simbólicos, o que Magnusson (2009) chamou de

ferramentas epistêmicas. O domínio da produção de música por meio da mistura de

outras gravações (mashup), samplers, sequenciamento em computadores e tablets

demonstra como este modo de interação com o material musical exige um novo

panorama de habilidades simbólicas e manuais, praticadas em instrumentos

 6

eletrônicos e mecânicos que apresentam outras possibilidades e limitações de

interação com o corpo. De que maneira e quão importante são os objetos e os limites

impostos por eles para nosso conhecimento sobre as formas de música e dança?

Como o músico e o bailarino abstraem das associações motoras apreendidas para

realizar uma intenção artística?

A relação entre o músico profissional e seu instrumento é frequentemente

ilustrada por uma ideia de “transcendência” entre as fronteiras entre o corpo do músico

e o instrumento. Swanwick (1994), por exemplo, propõem que estágios avançados de

desenvolvimento musical resultam de um pleno domínio da articulação materiais

musicais básicos, expressão e estrutura musical em favor de uma expressão

simbólica, cultural ou meta-cognitiva da música. A noção de “transcendência” pode

ser vista também como uma sensação de “organicidade” entre corpo e o instrumento

onde a técnica do instrumento se torna uma estrutura dinâmica do “esquema corporal”

do músico (NIJS; LESAFFRE; LEMAN, 2009). O conceito de “esquema corporal” ou

simplesmente esquema, é definido como uma unidade de ação automática que

contêm não somente um conhecimento conceitual, explícito, mas está fortemente

orientado para a ação e, portanto, engloba elementos sensórios e motores (NIJS;

LESAFFRE; LEMAN, 2009; PEZZULO, 2007; PEZZULO et al., 2011). Vários autores

e teorias que abordam o tópico parecem também indicar que os elementos do

esquema corporal não se processam em planos paralelos mas formam uma unidade

de consciência e atividade (veja, por exemplo, a teoria da Atividade em KAPTELININ,

1996). Entretanto, mesmo que o instrumento se incorpore aos esquemas cognitivos e

 7

motores do músico, a estrutura física do dispositivo está desvinculada fisicamente do

corpo humano. A questão reside na forma como este objeto ou entidade externa

interage com as associações entre ação e som. Ou, proposto de outra forma, o que

aconteceria com a performance caso a relação com o objeto, ações, movimentos e

sons fossem rompidos?

Clark & Chalmers (1998) sugerem que a cognição se expande através do

ambiente externo, que inclui as tecnologias que aprendemos a utilizar para realizar

nossos objetivos, como a escrita, os computadores e outros artefatos da vida

cotidiana. A súbita ausência dessas tecnologias poderia ser comparada à da remoção

de uma parte do cérebro e resultaria na diminuição das competências e capacidades

para realizar ações orientadas à um objetivo:

In these cases, the human organism is linked with an external entity in

a two-way interaction, creating a coupled system that can be seen as a
cognitive system in its own right. All the components in the system play
an active causal role, and they jointly govern behavior in the same sort
of way that cognition usually does. If we remove the external
component the system's behavioral competence will drop, just as it
would if we removed part of its brain. Our thesis is that this sort of
coupled process counts equally well as a cognitive process, whether or
not it is wholly in the head. (CLARK; CHALMERS, 1998, p. 9)

Nesta concepção de “mente estendida”, objetos e artefatos serviriam como um

“playground do pensamento” onde um ciclo de percepção-ação forma o conhecimento

enativo (MAGNUSSON, 2009). Desta forma, o local onde a informação ou processo

ocorre perderia a importância em favor do objetivo e função do processo cognitivo em

si. Isto implicaria em uma definição de cognição que extrapola os limites físicos do

corpo. Em nosso estudo, os objetos que interagem com músicos e bailarinos poderiam
 8

ser entendidos como uma continuação das suas mentes e corpos, se observados a

partir de uma concepção de cognição que não se encerre em oposições entre corpo,

mente, objetos ou ambiente.

As teorias da mente incorporada têm oferecido uma forte crítica à esta noção

de Cartesiana de conhecimento que propõe que pensamento se encerra entre os

domínios do cérebro/mente (em contraposição ao corpo). O conceito de

“conhecimento incorporado” (MERLEAU-PONTY, 1945), que se estendeu para a ideia

de cognição ou mente incorporada (LAKOFF; JOHNSON, 1980, 1999) capitalizou uma

série de tendências encontradas nas ciências cognitivas, linguística, robótica e

biologia que traziam evidências de uma forma de conhecimento que se projetava não

só na mente, mas através do corpo e no ambiente. A ideias de um corpo cognoscente

que interage com o ambiente e de um conhecimento que é realizado no “fazer”

originaram aos conceitos de conhecimento “enativo” (BRUNER, 1968; GIBSON, 1979;

VARELA; THOMPSON; ROSCH, 1992). A evolução do plano de estudos da teoria de

“embodiment” nas ciências cognitivas abriu pressupostos fundamentais para o

entendimento desse conhecimento impregnado nas práticas culturais e artísticas e

não facilmente traduzível nas modalidades tradicionais de conhecimento científico.

Paralelamente, uma crítica à noção de conhecimento que não considera os

objetos do cotidiano foi desenvolvida para se contrapor a abordagens exclusivamente

hermenêuticas que tomavam o estudo da teoria das artes. É compreensível que, ao

contrário da aparente imaterialidade do corpo em dança ou da música, a teoria da arte

vinculada a modalidades como as artes visuais ou pintura, estabelecesse uma noção

 9

mais clara do impacto da fisicalidade e da experiência com os objetos. Dewey (2005),

na década de 1940, já argumentava que a experiência envolveria mais do que a sua

concepção intelectual e que a tentativa de conceitualizar a arte por um viés

exclusivamente teórico era problemática. Dewey inaugura uma literatura de crítica

não-hermenêutica que não só olha para a experiência e para os objetos como uma

forma de conhecimento em si. Este campo, posteriormente chamado de

“pragmatismo estético” (FLUCK, 1999), tentar diversificar o campo teórico com

abordagens que não dependem exclusivamente da hermenêutica característica das

ciências humanas (JOHN, 2007). Passados quase um século da incursão de Dewey

no campo das artes, as abordagens da pesquisa em arte ainda ensaiam novas

propostas para uma metodologia não hermenêutica na abordagem das artes. Em

especial, as artes temporais que consideramos como música e a dança são

amplamente afetadas pelo desenvolvimento dos planos teóricos pois a fisicalidade de

seus objetos não está facilmente apresentada na experiência humana. Na dança, por

exemplo, a sobreposição do corpo-mediador e do corpo-objeto artístico, fez com que

os estudos da dança na cultura se concentrassem em relações secundárias com

contextos, pessoas e textos, como evidencia Desmond (1994):

Cultural studies remain largely text-based or object-based, with literary

texts still predominating, followed by studies of film texts and art
historical objects.' Even excursions into popular culture are concerned
largely with verbal or visual cultural products, not kinesthetic actions.
Much current work on rap music, for instance, focuses primarily on the
spoken text or legal and economic aspects of the music industry. Even
the now popular subfield of critical work on "the body" is focused more
on representations of the body and/or its discursive policing than with
its actions/movements as a "text" themselves. In part this omission
reflects the historical contours of disciplinary development within the
academy. In addition, the academy's aversion to the material body, and
its fictive separation of mental and physical production, has rendered
 10

humanities scholarship that investigates the mute dancing body nearly

invisible. That dancing-in a Euro-American context at least-is regarded
as a pastime (social dancing) or as entertainment (Broadway shows),
or, when elevated to the status of an "art form," is often performed
mainly by women (ballet) or by "folk" dancers or non-whites (often
dubbed "native" dances, etc.) also surely contributes to the position of
dance scholarship. However, these omissions signal reasons why such
investigation is important. They mark clearly the continuing rhetorical
association of bodily expressivity with nondominant groups.
(DESMOND, 1994, p. 36)

Na música, o objeto ressonante e invisível do som naturalmente desvia e

confunde o objeto artístico com a notação ou memória (a partitura) ou, da mesma

forma que a dança, desvia o foco para relações secundárias como os textos, contextos

e interpretações. Estas tendências marcaram praticamente toda a história de

musicologia até o século XXI e ainda permanecem nas práticas de disciplinas como a

musicologia (CASTAGNA, 2008; PARNCUTT, 2007).

Não obstante a crítica à hermenêutica nos campos de estudo da dança e

música possa ser apropriada, ela não apresenta em si um método claro para um

estudo não-hermenêutico, principalmente em relação aos seus objetos. A adaptação

de métodos dentro dos campos da cognição aliadas ao estado da arte da captura e

análise de dados utilizando meios computacionais podem oferecer combinações

metodológicas mais eficientes para observar o impacto das relações dos objetos com

as formas de arte. A chave destes novos desenhos de estudo pode estar em

estabelecer um plano de estudo que descreva mais objetivamente as ações artísticas

incluindo corpo e objeto em processos empíricos onde se alteram limites do corpo e

do objeto, como variáveis controladas.

 11

Em Marreiro e Naveda (2015), desenvolveremos um estudo piloto onde alguns

métodos empíricos foram aplicados para o estudo da relação entre músicos

acordeonistas e o acordeom. Neste estudo, alteramos a estrutura do instrumento

musical através da simulação por uma interface táctil que mantinha todas as relações

locais de manipulação para acionamento dos sons (posicionamento dos dedos) mas

apresentava um corpo completamente diferente do original (um tablet). O experimento

consistia em solicitar a performance de pequenos excertos melódicos amplamente

conhecidos pelos acordeonistas e medir os tempos e quantidades de erros dos

sujeitos. Os grupos observados incluíam não somente acordeonistas, mas pianistas e

violonistas que estavam tocando a interface pela primeira vez. Ao mensurar a dados

da performance dos instrumentistas foi observado que os acordeonistas sofreram uma

degradação muito maior da performance que os outros instrumentistas, mesmo que

os não-acordeonistas não soubessem sequer o posicionamento dos acionamentos

das notas originais do acordeom. A figura 1 mostra o tempo de execução das tarefas

para os três instrumentistas e indica que a subtração da presença física do

instrumento musical tem um efeito devastador sobre as habilidades do “expert”, se

comparado com as habilidades de iniciantes.

 12

Figura 1: Tempos de execução das tarefas por acordeonistas, violonistas e

pianistas, como apresentado em Marreiro e Naveda (2015).

Este experimento exemplifica como abordagens empíricas podem fornecer

subsídios para o estudo da relação entre sujeito e objeto em interação. Ao ampliar

estes objetos e método para outras atividades podemos pensar que a alteração de

elementos isolados da interação entre sujeito e objetos pode fornecer dados para o

estudo aprofundado destas relações. Desta forma, a alteração de partes de

instrumentos (peças, chaves, sons) ou de estruturas da performance (piso, sapatos,

resposta sonora) poderia ser desenhado como uma variável independente para o

estudo das relações entre corpos e objetos, em conjunto com o controle de variáveis

por meio de sensores e abordagens qualitativas. A questão norteadora deste projeto,

parafraseada de Magnunson (2005), pode ser definida desta forma: Como os objetos
 13

epistêmicos no entorno dos músicos e bailarinos permitem, produzem, mantem,

suportam, aumentam ou limitam nossos processos cognitivos e criativos?

Desta forma, este estudo se concentra em uma abordagem empírica sobre a

relação entre artistas e objetos na música e na dança. A metodologia se baseia em

abordagens experimentais onde a construção de pequenos experimentos e captura

de dados de performance formarão a base de dados primários para verificações.

Embora o estudo seja fundamentalmente de natureza quantitativa, as especificidades

da experiência artística forçam uma combinação interdisciplinar de metodologias

qualitativas e quantitativas, com uma atenção especial à novas abordagens de

visualização de dados, descritas nas próximas seções.

 14

OBJETIVO GERAL

Descrever como objetos influenciam processos cognitivos dentro de sistemas

músico-instrumento e bailarino-contexto.

Objetivos específicos

Construir bases de sensores para o estudo de interações entre músicos,

bailarinos e objetos

Realizar uma série experimentos envolvendo interações entre objetos e

sujeitos

Descrever as interações entre objetos e sujeitos em performances de dança e

música utilizando dados de sensores

Descrever o impacto destes objetos na cognição musical de músico e bailarino

METODOLOGIA

O desenvolvimento do projeto envolve uma primeira fase de prototipagem

e desenvolvimento dos experimentos onde um estudo da literatura e de design

de interfaces para sensores será combinado com a realização de pequenos

estudos pilotos. Na segunda fase, ou fase experimental propriamente dita, serão

realizados uma série de experimentos envolvendo músicos e bailarinos.

Inicialmente, o desenho experimental deve envolver 6 experimentos diferentes,

repetidos 3 vezes em um período de 18 meses. É esperado que três destes

experimentos envolvam interações entre sujeitos bailarinos enquanto os outros

3 experimentos envolvem sujeitos músicos. É possível que parte destes

experimentos também envolvam a interação entre músicos e bailarinos. A seguir,

o universo, limitações e fases do projeto serão descritas de acordo com o

cronograma do projeto.

Limitações e universo de estudo

A escolha por um universo de pesquisa que aborde sem grandes

distinções a atuação de músicos e bailarinos está fundamentalmente vinculada

aos espaços de performance conjunta destes dois fenômenos nas culturas.

Embora as disciplinas acadêmicas tenham optado pelo isolamento das

disciplinas de dança e música (além das divisões entre dança e música popular
ou tradicional) é essencial que o universo combinado da dança e música popular

seja abordado por sua abrangência demográfica, sua penetração econômica e

social e por seu impacto terapêutico e social. Por outro lado, o impacto

econômico das indústrias culturais e da indústria de tecnologia digital é revisitado

nas discussões sobre as interfaces digitais como objetos epistêmicos (discutido

mais amplamente em MARREIRO; NAVEDA, 2015). Esta discussão,

fundamentada por dados empíricos de interação sujeito-objeto pode atrair a

atenção de stakeholders ou produzir spin-offs (no longo prazo) nas indústrias

tecnológicas ou criativas, a partir de colaboradores interessados em desenvolver

processos de inovação na interação entre objetos e consumidor. O projeto ainda

está profundamente vinculado ao desenvolvimento de tecnologias de captura e

análise de dados por meio de sensores o que promove a pesquisa no espaço de

desenvolvimentos relacionados à Internet das coisas (IOTs).

A escolha de participantes que determinará o universo de estudo tomará

como critério de inclusão músicos e bailarinos profissionais que atual

profissionalmente em Belo Horizonte. Estes profissionais serão cooptados nas

diversas instituições parceiras no trabalho do coordenador do projeto e nas

instituições de formação artística onde o projeto será executado (Escola de

Música e Programa de pós-graduação em Artes da UEMG). Uma vez que o

desenho experimental depende da realização de dispositivos de captura de

dados, não é possível estabelecer uma descrição apropriada para submissão da

proposta ao conselho de ética (CEP) correspondente. Embora a resolução

510/2016 do Ministério da Saúde flexibilize a necessidade de parecer do CEP

para projetos desta natureza, optaremos pelo envio do projeto assim que os

desenhos experimentais forem detalhados.

Preparação

A fase de preparação envolve 5 atividades principais: (1) revisão da

literatura, (2) compra de equipamentos, (3) treinamento de bolsistas e (4)

prototipagem e (5) desenvolvimento de experimentos.

Revisão da literatura

Embora a fase de revisão da literatura possa parecer trivial, o campo de

estudo que envolve interface e sensores para captura de interações com objetos

está em processo de expansão de suas bases informacionais e físicas além de

receber o aporte de financiamento e pesquisa pública e privada. A

disponibilidade de sensores, novos controladores e plataformas de captura de

dados muda constantemente assim como novas perspectivas teóricas se abrem

tanto em campos interdisciplinares (e.g. multimídia), quanto de aplicação (e.g.

engenharia) e teoria das artes. A revisão da literatura é essencial para o

desenvolvimento de abordagens inovadoras dentro da fase experimental e tem

um impacto importante na decisão das plataformas e sensores a serem

comprados.
Compra de equipamentos

A compra de equipamentos e em especial, a compra de material de

consumo como sensores, microcontroladores, material de consumo para

prototipagem e objetos para elaboração de experimentos implica em uma análise

bem realizada do estado da arte dos estudos e tecnologias disponíveis,

prototipagem e teste. Estas tecnologias permitirão a coleta de dados precisa e a

manutenção de bancos de dados ricos em informações. É esperado que parte

da compra de material permanente e de consumo destinada à prototipagem e

experimentos piloto seja realizada nos 6 primeiros meses do projeto. Assim que

os testes piloto forem realizados, a compra do restante do material será realizada

para a finalização da fase experimental.

Treinamento de bolsistas

Os bolsistas contratados para o desenvolvimento do projeto estarão à

cargo de parte do desenvolvimento e da manutenção das estruturas de hardware

e captura de dados envolvidos no experimento, além de acompanharem o

desenvolvimento dos experimentos. Os planos de trabalho envolvem

treinamento científico, programação em plataformas de software e hardware

como Arduino, acompanhamento de experimentos, incluindo logística de teste

com sujeitos. O coordenador do projeto tem experiência e formação comprovada

na área de programação de multimídia interativa, com formação técnica em

eletrônica. Sua atuação na graduação e pós-graduação na instituição além da

coordenação do grupo de pesquisa “Corpo, música e cognição” ainda garante a

formação continuada a partir da iniciação científica ou a partir de disciplinas

ministradas na instituição (e.g. Fundamentos das Artes Digitais).

Desenvolvimento de protótipos e desenho dos experimentos

A fase de desenvolvimento de protótipos e desenho de experimento

consiste na elaboração das estratégias de captura de dados que representarão

as propriedades das interações com os objetos. Este campo de desenvolvimento

é relativamente pouco explorado porque as tecnologias de captura de dados de

objetos como instrumentos musicais, pisos para dança ou sapatos estão

concentradas na reprodução das ações de acionamento das performances, e

não necessariamente na interação do corpo com os objetos. Esta interação pode

ser representada por dados inerciais ou descrições de pressão em várias partes

destes objetos. Tecnicamente, é necessário alterar ou produzir maquetes destes

objetos e inserir sensores como medidores de pressão e unidades de medidas

inerciais, amplamente disponíveis no mercado em formas miniaturizadas de

valor acessível (satisfazendo a definição de material de consumo). Como

explicado anteriormente, as alterações dos objetos são utilizadas como

estratégias do desenho experimental para verificar o impacto da mudança dos

objetos nos processos cognitivos. Desta forma, a alteração do acionamento das

chaves de uma flauta poderia permitir o estudo das estratégicas de

remapeamento motor de músicos. A figura 2 abaixo exemplifica algumas

possibilidades de posicionamentos de sensores em músicos e bailarinos.

Figura 2: Exemplos de posicionamento de sensores.

A prototipação de objetos será realizada com o auxílio de um scanner e

impressora 3d, que será utilizado para copiar e modificar partes de objetos de

interação. A tecnologia de captura de dados por sensores será desenvolvida a

partir de plataformas de aquisição de dados amplamente disponíveis no mercado

como Arduino e Raspberry. Por ser uma fase de desenvolvimento experimental,

a fase de prototipagem representa a área de maior espaço inovador e criativo

dentro do projeto. Ao desenhar protótipos de dispositivos que interferem nos

objetos utilizados por músicos e bailarinos ou inserir sensores para aferição de

interações entre os corpos e os objetos, o projeto dialoga com soluções de

monitoramento e análise de dados que podem ser reaproveitadas para o

desenvolvimento de novas interfaces para a indústria cultural ou aproveitadas

por outras indústrias.

 O universo de instrumentos e tipos de danças abordados no desenho

experimental depende do desenvolvimento destes dispositivos. Embora seja

esperado que esta seleção seja coletada do espaço da cultura popular, a escolha

de cada exemplo será realizada durante o projeto e de acordo com a

disponibilidade de participação de um número considerável de sujeitos.

FASE EXPERIMENTAL

A fase experimental envolve inicialmente um modelo de comparação de

dados de interação em um cenário usual e em um cenário alterado. Embora este

modelo tenha sido frutífero nas abordagens anteriores, não está descartado o

desenho de experimentos com modelagens mais clássicas, envolvendo grupos

de controle e um desenho estatístico tradicional. No entanto, a aplicação de

modelos estatísticos tradicionais é normalmente problemática no contexto dos

fenômenos culturais. Performances de dança e música estão frequentemente

sujeitas a efeitos de ordem e problemas de quebra de homogeneidade e

independências das amostras, o que violaria abordagens clássicas (discutido

mais profundamente em NAVEDA et al., 2016a). A tendência do projeto seria

utilizar técnicas como análise de rede, técnicas de visualização de dados e

aprendizado de máquina no conjunto de dados das performances, ao exemplo

de desenvolvimentos realizados pelo autores em diversos trabalhos anteriores

(NAVEDA et al., 2016b; NAVEDA; LEMAN, 2010).

 Os problemas na aplicação de modelos estatísticos básicos para a análise

dos experimentos também corroboram para a repetição dos experimentos em 3

momentos diferentes. Este procedimento poderia compensar em parte a falta de

um número amostral alto e atestar a recorrência de observações (FREEDMAN,

2010; STERGIOU, 2004).

Desenho experimental

O desenho experimental aplicado parte primeiramente de uma coleta de

dados ampliada, adicionando procedimento de captura de dados que indiquem

a distribuição de força do sujeito em seu corpo ou objeto. As tecnologias de

captura utilizarão sistemas de captura de movimento quando apropriado

(disponível na instituição via projeto CHE - APQ-02689-15), unidades de

medição inercial controladas por micro controladores (Arduino) ou captura de

pressão aplicada utilizados sensores diversos controlados por microcontrolador

(Arduino). Em uma outra fase, a interação entre sujeito e objeto é alterada pelas

propriedades do objeto (forma, tamanho, resposta) que responde através de

alteração em sua performance ou qualitativamente através de dados de

questionários. Este tipo de abordagem, utilizada em trabalhos anteriores está

exemplificada pela alteração do objeto na figura 3.

Figura 3: Processo de alteração do corpo do instrumento musical e manutenção das
relações entre acionamento de teclas e resposta sonora (MARREIRO; NAVEDA, 2015).

Repetições dos experimentos

Ao total estão planejadas a realização de 6 experimentos com 3

repetições idênticas realizadas com o mesmo grupo de participantes, durante 18

meses (média de 1 experimento por mês). A comparação dos resultados visa

estabelecer uma medida de significância não dependente de medidas com

pressupostos estatísticos clássicos. A repetições dos desenhos experimentais

ainda permite o treinamento científico dos bolsistas e o aprimoramento das

análises de dados.
Documentação e divulgação

Durante todo o cronograma de realização do projeto, serão coletadas

mídias para documentação e produção de material de disseminação da

pesquisa, incluindo a produção de vídeos e um website.

CRONOGRAMA
REFERÊNCIAS
BRUNER, J. Processes of cognitive growth: Infancy. Worcester, MA: [s.n.].

CASTAGNA, P. Musicologia enquanto método científico–Avanços e Perspectivas na

Musicologia histórica brasileira–Eventos brasileiros no campo da Musicologia: Histórico,
presente e futuro. Revista do Conservatório de Música da UFPel. Revista virtual, p.
7–31, 2008.

CLARK, A.; CHALMERS, D. The extended mind. Analysis, p. 7–19, 1998.

DESMOND, J. Embodying Difference: Issues in Dance and Cultural Studies. Cultural

Critique, v. 26, p. 33–63, 1994.

DEWEY, J. Art as experience. [s.l.] Penguin, 2005.

FLUCK, W. Pragmatism and Aesthetic Experience. Yearbook of Research in English

and American Literature, v. 15, p. 227–242, 1999.

FREEDMAN, D. A. Statistical models and causal inference: a dialogue with the

social sciences. [s.l.] Cambridge University Press, 2010.

GIBSON, J. J. The ecological approach to visual perception. [s.l.] Houghton Mifflin

Boston, 1979.

JOHN, J. D. Experience as Medium: John Dewey and a Traditional Japanese Aesthetic.

The Journal of Speculative Philosophy, v. 21, n. 2, p. 83–90, 2007.

KAPTELININ, V. Activity theory: Implications for human-computer interaction.

Context and consciousness: Activity theory and human-computer interaction, p.
103–116, 1996.

LAKOFF, G.; JOHNSON, M. Metaphors we live by. [s.l.] Chicago London, 1980.

LAKOFF, G.; JOHNSON, M. Philosophy in the flesh: The embodied mind and its
challenge to Western thought. [s.l.] Basic Books, 1999.

MAGNUSSON, T. Of epistemic tools: Musical instruments as cognitive extensions.

Organised Sound, v. 14, n. 2, p. 168–176, 2009.

MARREIRO, M.; NAVEDA, L. Dinâmicas de reaprendizado motor nas relações entre

alturas e teclas do acordeom. In: Actas del 12mo Encuentro de Ciencias Cognitivas de
la Música. Buenos Aires, Argentina: SACCoM, 2015.

MERLEAU-PONTY, M. Phénoménologie de la Perception. Paris: Edition Gallimard,

1945.

NAVEDA, L. et al. Cross-Cultural Comparisons of Unconstrained Body Responses to

Argentinian and Afro-Brazilian Music. In: KRONLAND-MARTINET, R.; ARAMAKI,
M.; YSTAD, S. (Eds.). . Music, Mind, and Embodiment. Lecture Notes in Computer
Science. Cham: Springer International Publishing, 2016a. v. 9617p. 42–57.
NAVEDA, L. et al. Musical Meter, Rhythm and the Moving Body: Designing Methods
for the Analysis of Unconstrained Body Movements. In: KRONLAND-MARTINET, R.;
ARAMAKI, M.; YSTAD, S. (Eds.). . Music, Mind, and Embodiment. Lecture Notes in
Computer Science. Cham: Springer International Publishing, 2016b. v. 9617p. 42–57.

NAVEDA, L.; LEMAN, M. The spatiotemporal representation of dance and music

gestures using Topological Gesture Analysis (TGA). Music Perception, v. 28, n. 1, p.
93–111, 2010.

NIJS, L.; LESAFFRE, M.; LEMAN, M. The musical instrument as a natural extension of
the musician. Proceeding of the 5th conference on Interdisciplinary Musicology,
2009.

PARNCUTT, R. Systematic Musicology and the History and Future of Western Musical
Scholarship. Journal of Interdisciplinary Music Studies, v. 1, n. 1, p. 1–32, 2007.

PEZZULO, G. Schemas and schema-based Architectures. 2007.

PEZZULO, G. et al. The mechanics of embodiment: A dialog on embodiment and

computational modeling. Embodied and grounded cognition, p. 196, 2011.

SERRES, M. Angels, a modern myth. [s.l.] Flammarion-Pere Castor, 1995.

STERGIOU, N. Innovative analyses of human movement. [s.l.] Human Kinetics

Publishers, 2004.

SWANWICK, K. Music Knowledge: intuition, analysis and music education.

London: Routledge, 1994.

VARELA, F. J.; THOMPSON, E. T.; ROSCH, E. The Embodied Mind: Cognitive

Science and Human Experience (New edition edition.). [s.l.] Cambridge, Mass.: The
MIT Press, 1992.
Plano de trabalho do bolsista de iniciação científica
Projeto: Cognição, materialidade e culturas musicais: uma perspectiva experimental sobre as
relações epistêmicas entre músicos, bailarinos e objetos

Coordenador: Prof. Dr. Luiz Alberto Bavaresco de Naveda

Objetivos
● Introduzir ao orientando os princípios básicos de planejamento de experimentos
científicos
● Promover um rotina de trabalho que impulsione o interesse científico do aluno.
● Treinar o bolsista para a aquisição de habilidades básicas para pesquisa na área de
programação e montagem de eletrônica básica.
● Promover o desenvolvimento do projeto através do gerenciamento dos experimentos e
manutenção dos trabalhos de pesquisa e disseminação em websites, contato com
pesquisadores e interessados.

Plano de trabalho
O plano de trabalho foi pensado para promover a formação de quadros de excelência para
atuação futura do aluno em sua carreira acadêmica. Embora o plano evidencie rotinas de
coleta de dados, análise e disseminação o bolsista será acompanhado para desenvolver
habilidades de planejamento, independência e pensamento crítico necessárias para o
prosseguimento de sua carreira.

O bolsista iniciará seus trabalhos auxiliando o planejamento e execução das revisões, compras
e prototipagens primeira fase do projeto. Durante este processo serão introduzidas habilidades
de programação de microcontroladores, eletrônica básica e planejamento de experimentos. No
decorrer do projeto o bolsista organizará e trabalhará na disseminação dos resultados por meio
de um website. Serão oferecidas todas as condições e treinamentos necessários para a
execução das tarefas.

Ao final da bolsa, é esperado que o aluno tenha alcançado as seguintes metas:

• Familiarização com as rotinas de planejamento experimentos e programação em

Pure Data e Arduino
• Familiarização com os processos de captura, filtragem, edição e preparação de
dados de movimento e sensores
 Cronograma
Fase Atividade Atividade semestre 1 semestre 2 semestre 3 semestre 4

Meses: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Fase 1
1 Revisão da literatura

•2 Familiarização com os softwares de edição de movimento, música, vídeo e imagem.

Compra de equipamentos e material

•3 Capacidade de realizar códigos simples para a computação de descritores de

Treinamento dos bolsistas
4 Prototipagem
movimento
5 Desenvolvimento e áudio
de experimentos piloto utilizando pacotes de computação numérica.

Fase 2
• Edição e gerenciamento de um website científico
6 Realização dos experimentos - Parte 1
•7 Análise
Publicação
dos dados de um relatório ou artigo científico sobre um tópico desenvolvido na
iniciação
8 Publicação de resultados preliminares

9 Revisão dos experimentos

10 Repetição dos experimentos - Parte 2

11 Repetição dos experimentos - Parte 3

O Cronograma abaixo descreve as rotinas do bolsista durante a realização do projeto.

12 Análise dos dados e preparação de publicações
em jornais

13 Documentação, divulgação e produção do Pitch

Cronograma

O cronograma da pesquisa descrito no projeto interage com o plano de trabalho do bolsista nas
áreas onde é possível a participação e onde as rotinas de processamento e não apresentem
complexidades técnicas. Estas atividades incluem a manutenção de laboratório, teste de
equipamentos, contatos com pessoas e preparação e experimentos, entre outras atividades
descritas em detalhe no projeto. A cor azul indica onde o bolsista será incluído dentro do
cronograma.

Cronograma de participação do bolsista

Fase Atividade Atividade semestre 1 semestre 2 semestre 3 semestre 4

Meses: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Período de vigência da bolsa - Azul = Participação do bolsista

Fase 1

1 Revisão da literatura

2 Compra de equipamentos e material

3 Treinamento dos bolsistas

4 Prototipagem

5 Desenvolvimento de experimentos piloto

Fase 2

6 Realização dos experimentos - Parte 1

7 Análise dos dados

8 Publicação de resultados preliminares

9 Revisão dos experimentos

10 Repetição dos experimentos - Parte 2

11 Repetição dos experimentos - Parte 3

12 Análise dos dados e preparação de publicações

em jornais

13 Documentação, divulgação e produção do Pitch

Quadro 1: cronograma de realização do projeto demonstrando a participação do bolsista.

1
Estruturas disponíveis

A Escola de Música e o Programa de Pós-graduação em Arte do qual o autor faz parte

oferecem diversas instalações para o desenvolvimento dos trabalhos. A escola de música
dispõe de uma gama de equipamentos de projeção de imagens e som para atividades
relacionadas. A Escola de música também oferecerá espaço de trabalho para duas pessoas
(professor e bolsista) além de apoiar eventual uso das salas de aula para captura de
movimento (uma vez que o sistema de captura é portátil). O programa de mestrado em Artes
ainda pode disponibilizar espaços para orientação, estudo e pesquisa em outro prédio, além de
sala de computadores.

Referências

BROWNING, Barbara. Samba: Resistance in Motion. [S.l.]: Indiana University Press, 1995.

DE SOUSA SANTOS, Boaventura. A Discourse on the Sciences. Review (Fernand Braudel

Center), 00033, p. 9–47, 1992. Acesso em: 22 fev. 2015.

LAKOFF, G.; JOHNSON, M. Philosophy in the flesh: The embodied mind and its challenge to
Western thought. [S.l.]: Basic Books, 1999. Disponível em:
<http://scholar.google.be/scholar?q=lackoff+johnson+book&hl=en&btnG=Search&as_sdt=2001
&as_sdtp=on#1>.

LEMAN, Marc; NAVEDA, Luiz. Basic Gestures as Spatiotemporal Reference Frames for
Repetitive Dance/Music Patterns in Samba and Charleston. Music Perception, v. 28, n. 1, p.
71–91, 2010.

LI, HenBing; LEMAN, M. A Gesture-based Typology of Sliding-tones in Guqin Music. Journal of

New Music Research, v. 36, n. 2, p. 61–82, 2007.

MCCLARY, S. Feminine endings: Music, gender, and sexuality. [S.l.]: Univ Of Minnesota Press,
2002.

MERLEAU-PONTY, M. Phénoménologie de la Perception. Paris: Edition Gallimard, 1945.

NAVEDA, Luiz; MARTÍNEZ, Isabel; DAMENSÓN, Javier; GHIENA, Alejandro; HERRERA,

Romina; et al. Cross-cultural differences in free body movement responses to Argentinian and
Afro-Brazilian music. 11th International Symposium on Computer Music Multidisciplinary
Research. Plymouth, UK: CMMR, 2015. .

NAVEDA, Luiz; MARTINEZ, Isabel; DAMESÓN, Javier; GHIENA, Alejandro; ROMINA, Herrera;
et al. Methods for the analysis of rhythmic and metrical responses to music in free movement
trajectories. In: 11TH INTERNATIONAL SYMPOSIUM ON COMPUTER MUSIC
MULTIDISCIPLINARY RESEARCH, 2015, [S.l: s.n.], 2015.
NAVEDA, Luiz; MARTÍNEZ, Isabel; DAMENSÓN, Javier; GHIENA, Alejandro; HERRERA,
Romina. Methods for the analysis of rhythmic and metrical responses to music in free
movement trajectories. 11th International Symposium on Computer Music Multidisciplinary
Research. Plymouth, UK: CMMR, 2015. .

NAVEDA, Luiz; LEMAN, Marc. A Cross-modal Heuristic for Periodic Pattern Analysis of Samba
Music and Dance. Journal of New Music Research, v. 38, n. 3, p. 255–283, 2009.

NAVEDA, Luiz; LEMAN, Marc. Mapping idiomatic elements in the morphology of dance
gestures: Meter, gender and cultural idiosyncrasies in the samba dance and music. In:
SHIFRES, FAVIO et al. (Org.). . Actas de ECCoM. Vol. 1 N1, “Nuestro Cuerpo en Nuestra
Musica. 11o ECCoM”. Buenos Aires, Argentina: SACCoM, 2013a. v. 1. . Disponível em:
<https://dl.dropboxusercontent.com/u/3321032/Website/blindSpot/publications/Conference-
Confer%C3%AAncias/navedaleman_2013_mapping%20idiomatic%20elements%20in%20the%
20morphology%20of%20dance_naveda2013mapping-idiomatic000.pdf>.

NAVEDA, Luiz; LEMAN, Marc. Mapping idiomatic elements in the morphology of dance
gestures: Meter, gender and cultural idiosyncrasies in the samba dance and music. In:
SHIFRES, FAVIO et al. (Org.). . Actas de ECCoM. Vol. 1 No1, “Nuestro Cuerpo en Nuestra
Música. 11o ECCoM”. Buenos Aires, Argentina: SACCoM, 2013b. v. 1. .

NAVEDA, Luiz; LEMAN, Marc. The spatiotemporal representation of dance and music gestures
using Topological Gesture Analysis (TGA). Music Perception, v. 28, n. 1, p. 93–111, 2010.

NAVEDA, Luiz; SANTANA, Ivani. “Topos” toolkit for pure data: exploring the spatial features of
dance gestures for interactive musical applications. In: GEORGAKI, ANASTASIA;
KOUROUPETROGLOU, GEORGIOS (Org.). . Proceedings of the 40th International Computer
Music Conference (ICMC) / 11th Sound & Music Computing conference. Athens, Greece:
University of Athens, 2014. . Disponível em:
<https://dl.dropboxusercontent.com/u/3321032/website/blindspot/publications/Conference-
Confer%C3%AAncias/naveda_2014_topos%20toolkit%20for%20pure%20data%20exploring_na
veda2014topos-toolkit001.pdf>.

OLIVEIRA, J.L. et al. A parameterizable spatiotemporal representation of popular dance styles

for humanoid dancing characters. EURASIP Journal on Audio, Speech, and Music Processing,
v. 2012, n. 1, p. 18, 2012.

POLITIS, G. Computers and Dance: A Bibliography. Leonardo, v. 23, n. 1, p. 87–90, 1990.

TOIVIAINEN, Petri; BURGER, Birgitta. MoCap Toolbox Manual. Jyväskylä, Finland: University
of Jyväskylä, 2011. Disponível em:
<http://www.jyu.fi/music/coe/materials/mocaptoolbox/MCTmanual>.

VARELA, F J; THOMPSON, E; ROSCH, E. The embodied mind. [S.l.]: MIT Press Cambridge,
Mass, 1991.

WALKER, S S. Everyday and esoteric reality in the Afro-Brazilian Candomble. History of

Religions, p. 103–128, 1990.

YAFFE, Philip. The 7% Rule: Fact, Fiction, or Misunderstanding. Ubiquity, v. 2011, n. October,
p. 1:1–1:5, out. 2011. Acesso em: 30 abr. 2015.