Software Para Prtica De Regncia Coral

Caio Cesar Moreira

DISSERTAO APRESENTADA
AO
INSTITUTO DE MATEMTICA E ESTATSTICA
DA
UNIVERSIDADE DE SO PAULO
PARA
OBTENO DO TTULO
DE
MESTRE EM CINCIAS

Programa: Cincia da Computao

Orientador: Prof. Dr. Ronaldo Fumio Hashimoto

So Paulo, Novembro de 2013

Software Para Prtica De Regncia Coral

Esta verso da dissertao contm as correes e alteraes sugeridas

pela Comisso Julgadora durante a defesa da verso original do trabalho,
realizada em 23/11/2013.

Software Para Prtica De Regncia Coral

Esta verso da dissertao contm as correes e alteraes sugeridas

pela Comisso Julgadora durante a defesa da verso original do trabalho,
realizada em 23/11/2013.

Comisso Julgadora:
Titulares:
Prof. Dr. Ronaldo Fumio Hashimoto (Presidente)
Prof. Dr. Carlos Hitoshi Morimoto
Prof. Dr. Marco Antonio da Silva Ramos
Suplentes:
Prof. Dr Roberto Hirata Junior
Profa. Dra. Susana Ceclia Almeida Igayara de Souza

IME - USP
IME - USP
ECA - USP
IME - USP
ECA - USP

Agradecimentos

Agradeo a Aline Yukari Tozaki por ter me dado todo suporte necessrio para
conseguir seguir cada dia, por me inspirar, conscientizar-me de mim mesmo, e ser meu
porto seguro.

Ao professor Marco Antnio da Silva Ramos por compartilhar de seus sonhos

comigo. Ao professor Ronaldo Fumio Hashimoto por ter acreditado em mim durante
todo o curso.

cincia, que nos d o poder da criao e de realizar sonhos.

ii

Resumo
MOREIRA, C. C. Software Para Prtica De Regncia Coral. 2013. 60 f. Dissertao
(Mestrado) - Instituto de Matemtica e Estatstica, Universidade de So Paulo, So Paulo,
2013.
Neste documento um software proposto para apoiar o ensino da regncia coral com base em
um modelo de aula padro observado na disciplina: Anlise Musical para Performance:
Interfaces entre Criao e Interpretao a Partir do Universo Coral do Departamento de
Msica da Escola de Comunicaes e Artes da Universidade de So Paulo. Neste software
possvel: (i) monitorar, (ii) mensurar e (iii) avaliar os padres de regncia (gestos) de regncia
realizados e as posies corporais de um estudante de regncia coral. O principal objetivo
permitir, atravs da interao com o software, que o estudante possa aprimorar sua
conscincia corporal atravs do monitoramento de seu posicionamento espacial enquanto
realiza os padres de regncia e se v projetado tridimensionalmente no sistema. Para que este
monitoramento seja suportado, trs mdulos foram criados, de modo que as devidas
configuraes possam ser realizadas, assim como a visualizao seja feita, a saber: (a) mdulo
de configurao de padres de regncia, onde padres de regncia so criados ou
modificados; (b) mdulo de criao de prticas, que podem ser: (b.1) sintticas, e neste caso
utilizam os padres de regncia pr-definidos em (a), dispondo-os em sequncias ao longo do
tempo as quais so associadas s mos do regente, ou (b.2) gravadas, onde atravs do registro
de movimentos corporais por um perodo de tempo em frente ao sensor, as juntas corporais
so capturadas ao longo do tempo, de modo que se possa comparar estes movimentos com os
realizados em tempo real; e (c), o mdulo de visualizao, onde o usurio poder (c.1) assistir
a reprise de prticas j realizadas, ou configuradas anteriormente; (c.2) comparar e visualizar
prticas diversas entre si; ou ainda, (c.3) pratic-las de fato, onde receber uma nota ao final
do exerccio. A idia que estudantes possam realizar prticas repetidas vezes, onde iro
melhorando suas notas, e aprimorando seus gestos atravs da conscientizao corporal. Outro
ponto importante que estudantes e regentes podem interagir entre si atravs da troca das
configuraes, j que estas so salvas em arquivos, possibilitando a criao de um repositrio
de regncia coral, o que permite que as informaes extrapolem os limites de sala de aula.
Para implementar tal soluo, algoritmos de viso computacional foram aplicados no contexto
da regncia coral, em conjunto com o sensor Kinect para auxiliar na captura das informaes
corporais. Por fim, busca-se iniciar um trabalho com o sentido de aprimorar a formao de
regentes e possibilitar que o ensino desta arte seja fundamentado em dados quantitativos que
podero auxiliar o regente a tirar concluses sobre os mtodos e escolas de regncia
atualmente existentes.
Palavras-chave: regncia coral, padres de regncia, Kinect, viso computacional,
conscincia corporal, avaliao, interatividade.

iii

iv

Abstract
MOREIRA, C. C. Software For Choral Conducting. 2013. 60 f. Dissertao (Mestrado) Instituto de Matemtica e Estatstica, Universidade de So Paulo, So Paulo, 2013.
In this document a software to support the teaching of choral conducting is proposed based on
the conducting classes observed while coursing the discipline: Musical Analysis for
Performance on the Choral Universe in the Music Department of the School of Arts and
Communications of University of Sao Paulo. Through this software is possible to: (i) monitor,
(ii) measure and (iii) evaluate the choral conducting patterns (gestures) performed and the
body positions of the student. The main objective is to allow, by interacting with the software,
that the student improves his body self-perception by having his body position monitored
while he performs the conducting patterns and sees himself tridimensionally projected in the
system. To have this monitoring in place, three modules were created such that the needed
configurations could be done as well as the visualization could have been done, they are: (a)
conducting patterns configuration module, where the conducting patterns are created or
modified; (b) practice creation module, the practices can be (b.1) synthetical, in this case they
use the conducting patterns defined in (a), placing them in sequences accross the time which
are associated to the hands of the conductor, or (b.2) recorded, in which case the body
movements are recorded for a period of time in front of the sensor, the positions are stored
along time and allow to compare these movements recorded with the user information in realtime; and (c), the visualization module, where the user can (c.1) watch a replay of the
practices already performed, or configured previously; (c.2) compare and see diversified
practices, or yet, (c.3) effectivelly practice them, in which case an evaluation mark will be
given at the end. The idea is that students can do and repeat practices over, improving their
marks and gestures through self-perception. Another important point is that students and
conductors can interact by exchanging configurations, since all of them are saved in files,
which allows creating a choral conducting repository which would extrapolate the classroom
boundaries. To implement such solution computer vision algorithms were applied in the
context of choral conducting, together with the Kinect sensor to help capturing the body
information. At last, this work tries does the kick off for teaching conductors through the
usage of technology, allowing that this art is teached based on quantitative data which can
help the conductor drawing conclusions over the current conducting schools and methods.
Keywords: choral conductor, conducting patterns, Kinect, computer vision, body selfperception, evaluation, interactivity.

vi

Sumrio
LISTA DE ABREVIATURAS............................................................................................................................IX
LISTA DE FIGURAS .......................................................................................................................................... X
LISTA DE TABELAS ....................................................................................................................................... XII
CAPTULO 1:

INTRODUO .................................................................................................................... 1

1.1

CONSIDERAES PRELIMINARES ................................................................................................. 1

1.2

OBJETIVO .................................................................................................................................... 1

1.3

ORGANIZAO DO TRABALHO ..................................................................................................... 2

CAPTULO 2:
2.1

CONCEITOS ........................................................................................................................ 4
REGNCIA CORAL........................................................................................................................ 4

2.1.1

Sobre a Regncia Coral .................................................................................................... 4

2.1.2

Conscincia Corporal ....................................................................................................... 5

2.1.3

Ensino da Regncia Coral ................................................................................................. 7

2.1.4

Padres de Regncia ......................................................................................................... 9

2.1.5

Planos de Regncia ......................................................................................................... 12

2.2

VISO COMPUTACIONAL ........................................................................................................... 16

2.2.1

Introduo ....................................................................................................................... 16

2.2.2

Sobre o Kinect ................................................................................................................. 16

2.2.3

Kit de Desenvolvimento ................................................................................................... 18

CAPTULO 3:
3.1

ESTADO DA ARTE .......................................................................................................... 20

NFASE NA REGNCIA ............................................................................................................... 21

CAPTULO 4:

SOFTWARE PARA ENSINO DE REGNCIA CORAL .............................................. 24

4.1

ABORDAGEM ............................................................................................................................. 24

4.2

PBLICO-ALVO .......................................................................................................................... 25

4.3

DESCRIO FUNCIONAL ............................................................................................................ 25

4.4

IMPLEMENTAO ...................................................................................................................... 30

4.5

PRINCIPAIS ALGORITMOS .......................................................................................................... 30

4.5.1

Interpolao de Pontos de Controle para Gerar Padro de Regncia ........................... 30

4.5.2

Escala e Rotao Horizontal dos Padres de Regncia ................................................. 31

4.5.3

Gerao da Prtica Sinttica .......................................................................................... 33

vii

4.5.4

Algoritmo de Clculo de Nota de Execuo de Prtica .................................................. 39

4.5.5

Algoritmo de Deteco Automtica dos Tempos nos Padres de Regncia.................... 40

4.6

USABILIDADE ............................................................................................................................ 41

4.7

EXPERINCIA DO USURIO ........................................................................................................ 44

4.8

ARQUITETURA DO SOFTWARE ................................................................................................... 44

CAPTULO 5:

CONCLUSO .................................................................................................................... 50

5.1

RESULTADOS OBTIDOS .............................................................................................................. 50

5.2

PRINCIPAIS DESAFIOS ................................................................................................................ 52

5.3

CONTRIBUIES ........................................................................................................................ 52

5.4

PRXIMOS PASSOS .................................................................................................................... 53

CAPTULO 6:

REFERNCIAS BIBLIOGRFICAS ............................................................................. 54

viii

Lista de Abreviaturas
LER

Leso por Esforo Repetitivo

HMM

Hidden Markov Models

ICMC

International Computer Music Conference

SDK

Source Development Kit Kit de Desenvolvimento de Cdigo

SEI

Software Engineering Institute

USB

Universal Serial Bus

XML

Extensible Markup Language (XML) Linguagem de Marcao Extensvel

XNA

Framework de computao grfica da Microsoft

ix

Lista de Figuras
FIGURA 1 ROBERT GARRETSON: PADRO DE REGNCIA DE 4 TEMPOS. .................................. 10
FIGURA 2 ROBERT GARRETSON: PADRO DE REGNCIA DE 4 TEMPOS. .................................. 10
FIGURA 3 KURT THOMAS: PADRO DE REGNCIA DE 4 TEMPOS. ............................................ 10
FIGURA 4 PADRO DE REGNCIA DE 4 TEMPOS....................................................................... 10
FIGURA 5 TEMPOS QUATERNRIOS EM DIVERSAS ARTICULAES .......................................... 11
FIGURA 6 - OS DIFERENTES PLANOS DE REGNCIA. .................................................................... 13
FIGURA 7 - TCNICA DA CAIXA. ................................................................................................ 13
FIGURA 8 - ZONAS DE PROFUNDIDADE. ...................................................................................... 14
FIGURA 9 AS DIFERENTES ALTURAS NO CUBO DE RAMOS (2011). ........................................ 14
FIGURA 10 AS DIFERENTES LARGURAS NO CUBO DE RAMOS (2011). .................................... 14
FIGURA 11 AS DIFERENTES PROFUNDIDADES NO CUBO DE RAMOS (2011). .......................... 14
FIGURA 12 - FATIAS DO PLANO HORIZONTAL. ........................................................................... 15
FIGURA 13 - FATIAS DOS PLANO DE PROFUNDIDADE. ................................................................ 15
FIGURA 14 - FATIAS DO PLANO VERTICAL. ............................................................................... 15
FIGURA 15 - PRECISO MDIA COMPARANDO PREDIO DE JUNTAS ATRAVS DE JUNTAS
INFERIDAS E JUNTAS EXTRADA A PARTIR DOS MAPEAMENTOS VERDADEIROS. .................. 18

FIGURA 16 EWATCH. .............................................................................................................. 22

FIGURA 17 EDITOR DE PADRES DE REGNCIA (BIBLIOTECA DE PADRES). .......................... 26
FIGURA 18 - PR-SELEO DE PADRES DE REGNCIA DEFINIDOS EM (1). ................................. 27
FIGURA 19 EDITOR DE PRTICAS SINTTICAS ........................................................................ 28
FIGURA 20 - GERENCIADOR DE PRTICAS GRAVADAS .............................................................. 29
FIGURA 21 - ESCALA ENTRE PADRO ORIGINAL E PADRO REDIMENSIONADO PELO USURIO. .. 32
FIGURA 22 - DIAGRAMA DE UMA PRTICA SINTTICA................................................................ 33
FIGURA 23 - PONTOS E NDICES ARMAZENADOS. ....................................................................... 35
FIGURA 24 - PADRO DE REGNCIA E OS VALORES DE M E N...................................................... 35
FIGURA 25 - PADRO DE 3 TEMPOS EM DIFERENTES BPM. ........................................................ 36
FIGURA 26 - EXEMPLO DE PADRO DE REGNCIA DE 4 TEMPOS P1. ........................................... 37
FIGURA 27 - EXEMPLO DE PADRO DE REGNCIA DE 2 TEMPOS P2. ........................................... 37
FIGURA 28 - COMPARAO DE FRAMES DE DOIS CONJUNTOS F E F'. .......................................... 39
x

FIGURA 29 - VISO GERAL DA INTERAO HOMEM-COMPUTADOR. ......................................... 43

FIGURA 30 - ARQUITETURA DO SOFTWARE. ............................................................................... 48
FIGURA 31 - PRTICA SINTTICA UTILIZADA PARA TREINAMENTO. ........................................... 50
FIGURA 32 - ANLISE DO RESULTADO DOS TREINAMENTOS. ..................................................... 51

xi

Lista de Tabelas
TABELA 1 AMOSTRA DE VALORES DE

( , ) PARA

. ............................................... 38

TABELA 2 - XML REFERENTE AO PADRO EXIBIDO NA FIGURA 17. ........................................... 46

TABELA 3 - XML DE REPRESENTAO DE PRTICA GRAVADA .................................................. 48
TABELA 4 - RESULTADO DE 10 TREINAMENTOS CONSECUTIVOS PARA 5 USURIOS. .................. 51

xii

Captulo 1: Introduo
1.1

Consideraes Preliminares
O presente trabalho prope um software interativo para o ensino da regncia
coral fundamentado pelos conceitos apresentados nas prximas sees, mas
principalmente com base no mtodo de aula apresentado na Seo 2.1.3 (Ensino da
Regncia Coral).
importante dizer que atravs deste software, busca-se fornecer uma
ferramenta de apoio ao ensino da regncia coral, de modo a contribuir com
informaes alm das que podem ser obtidas pelos mtodos tradicionais atuais
utilizados em salas de aula. Entretanto, no pretende, de forma alguma, restringir a
expresso do regente, como artista que .
Quanto ao software apresentado, todo e qualquer cdigo utilizado foi criado
pelo autor do presente trabalho o qual se valeu dos conhecimentos advindos de
disciplinas cursadas na Escola de Comunicaes e Artes desta Universidade, em
conjunto com as disciplinas de Viso Computacional ministradas no Instituto de
Matemtica e Estatstica, alm dos materiais citados no Captulo de Referncias
Bibliogrficas deste documento.

1.2

Objetivo
Segundo RAMOS (2003), h uma enorme distncia entre o processo de
iniciao regncia e o momento em que se d o domnio tcnico e artstico que
permite exercer a regncia de fato. Portanto, o presente trabalho prope um software
de auxlio (apoio) aos processos de ensino e aprendizagem da regncia coral,
permitindo:

Criao de padres de regncia;

Criao de prticas de regncia;

Visualizao, execuo e avaliao das prticas criadas ou executadas

anteriormente.

Estas funcionalidades so baseadas nos modelos de aula observados durante as

disciplinas de regncia coral e buscam trazer principalmente a conscincia corporal
para o estudante de regncia, j que este ainda no est familiarizado com os principais
parmetros da regncia1.
Do ponto de vista do professor de regncia coral, o software permite que vrios
alunos realizem uma mesma prtica pr-definida e que os resultados possam ser
comparados entre alunos, ou com diferentes momentos de prtica do mesmo aluno, de
modo que o professor consiga verificar a evoluo deste ao longo de um perodo de
tempo. Outro benefcio a descentralizao da prtica da regncia, fazendo com que
esta ultrapasse os limites da sala de aula, j que um aluno poderia praticar a regncia
em sua casa, em seu computador, da mesma forma com que faria em sala de aula,
obtendo um feedback logo aps o trmino da execuo da prtica atravs de uma nota.
Desta forma, acredita-se que a aplicao desenvolvida est alinhada com os parmetros
escolhidos (posio da coluna, padres e planos de regncia) e que so comumente os
primeiros a serem trabalhados em sala de aula.
1.3

Organizao do trabalho
No Captulo 1 so apresentados os principais objetivos deste trabalho, onde so
expostos brevemente os principais tpicos a serem tratados ao longo do texto e as
principais reas que se beneficiam com a criao do software.
O Captulo 2 foca em conceitos necessrios para a compreenso do problema e
do universo o qual este est inserido, assim como explica os conceitos necessrios para
a compreenso da soluo apresentada. Ele est dividido em duas subsees: a
regncia e a viso computacional, principais reas do conhecimento utilizadas nesta
dissertao.
No Captulo 3 so apresentados os mais recentes softwares desenvolvidos
utilizando as tecnologias abordadas, buscando sempre focar na regncia coral. No
Captulo 4, o software descrito arquiteturalmente, funcionalmente e tecnicamente,
cobrindo as tcnicas e algoritmos utilizados.

Parmetros de regncia so medidas obtidas atravs de informaes corporais (e.g. rotao da

coluna).

No Captulo 5 so listados os resultados obtidos com o uso da aplicao, os

principais desafios encontrados, as reas que podem ser beneficiadas com o software e
os prximos passos para aprimor-lo.
Por fim, no Captulo 6, referncias so listadas para serem utilizadas como
fonte de consulta.

Captulo 2: Conceitos
Por este trabalho ser multidisciplinar, faz-se necessrio introduzir conceitos de
ambas reas: regncia coral e viso computacional, j que leitores destas podem no
conhecer os conceitos bsicos da outra, e vice-versa.
2.1
2.1.1

Regncia Coral
Sobre a Regncia Coral
importante iniciar este trabalho citando Robert Garretson um dos
professores de regncia coral mais influentes do sculo XX e o qual exerceu
importante papel na regncia atravs da Universidade de Colorado. Segundo ele:
A funo bsica do regente interpretar a msica para os coralistas. Atravs
de meios variados ele favorece e instiga vida e vitalidade na msica resultado o qual
pode ser uma experincia esttica arrepiante e genuna para ambos os participantes e
audincia escutante. O regente precisa ser mais do que um mero marcador de tempo.
O seu conhecimento musical e seus desejos interpretativos devero ser representados
atravs de sua tcnica de regncia. claro, a importncia de demonstraes e
expresses verbais no dever ser minimizadas, mas durantre os ensaios, explicaes
verbais extensas devero ser mantidas ao mnimo. atravs de sua tcnica que o
regente experiente poder mais rapidamente ajudar o grupo alcanar interpretao
desejada (GARRETSON , 1998).
Isso dito, pode-se verificar que toda dinmica e coordenao das vozes e da
msica ditada e gerenciada pelo regente, que interpreta a partitura, convertendo-a em
gestos, os quais so transmitidos ao coro, produzindo o resultado final. Entretanto,
importante notar que uma mesma partitura pode ser interpretada diferentemente por
regentes distintos e at mesmo um nico regente; caso desejar, pode este realizar
distintas interpretaes e comand-las s vozes que compe o coral, medida que for
necessrio.
Esta sinergia e entrosamento exigem treinamento constante de ambos os lados:
(i) do regente, que dever possuir clareza de movimentos e uma boa expressividade; e
4

(ii) de cada uma das vozes do coro, as quais devero estar aptas a reconhecer tais
comandos e express-los de maneira fiel e precisa.
Segundo RAMOS (2003), uma das principais diferenas entre o regente de uma
orquestra e o regente coral, que o ltimo no usa batuta, que um amplificador do
gesto. Sem amplificao, o gesto que grande frente a uma orquestra, por exemplo,
pode ficar acanhado frente a um coro. H, portanto, a necessidade de que a regncia
coral se mostre adequada a este dado de realidade.
E no que diz respeito a regncia coral, conforme CHESNOKOV (2010), os
principais componentes de sucesso de um coral, so: (a) conjunto - todos os indivduos
dentro de sua respectiva seo do coral (naipe), dentro do coro, devero estar
balanceados, unidos e unificados; (b) entonao - cada indivduo dever estar atento
sua volta de maneira que sua prpria entonao seja regulada para preservar a unio e a
harmonia do conjunto; e (c) nuance: cada indivduo dever manter contato visual com
o regente para que a liderana do regente possa atuar sobre os coralistas, dando-lhes
maior percepo da sonoridade gerada pelo coro e conscientizando-os das pequenas
nuances pelas quais so responsveis. Segundo DECKER & HERFORD (1988), o tipo
e a qualidade do tom produzido por um coral influenciado primariamente pelo que o
regente faz, o que mais uma vez revela sua importncia.
Desta forma, o regente precisa estar atento a todos os fatores mencionados
acima, e para isso, necessrio que este seja preparado apropriadamente, o que implica
forte conhecimento terico e uma parte igualmente importante de treinamento tcnico
e fsico, o que inclui memorizar sequncias de movimentos e gestos especficos, que se
constituiro em um repertrio pessoal, ainda que pr-convencionado (GEHRKENS,
2007).
O presente trabalho busca trazer uma contribuio que possa ajudar ampliao
da conscincia corporal de um regente iniciante, ao mesmo tempo em que prov meios
e insumos para o professor de regncia coral avaliar a evoluo de seus alunos, alm
de permitir que seu trabalho tenha um alcance alm dos limites da sala de aula.

2.1.2

Conscincia Corporal

Em termos do estudo da regncia coral utilizaremos o termo conscincia

corporal como a leitura que o regente faz do posicionamento no espao e da
expressividade necessria das diferentes partes de seu corpo em movimento. Partindo
de exemplos da vida cotidiana, vemos que muito comum pessoas adotarem uma
postura prejudicial ao seu prprio fsico, seja ao dirigir, ao trabalhar, ao comer, ao
jogar seus games ao computador, ao caminhar, ao tocar um instrumento musical e,
portanto, no seria diferente ao reger um coral. Entretanto, alm dos males fsicos que
uma m postura acarreta, no caso da arte, isso traz consequncias ainda mais extensas.
Por exemplo, uma bailarina no conseguir expressar o mximo de sua arte atravs de
uma postura incorreta no palco durante uma apresentao, o mesmo tambm ocorre
para o regente, que usa sua postura como base para os gestos de regncia utilizados
para se comunicar com o coral. A postura parte inerente da tcnica.
No mesmo sentido do que foi mencionado, RAMOS (2003), diz que a primeira
necessidade do regente coral encontrar para si uma postura fsica apropriada,
evitando futuros problemas com as temveis LER (Leses por Esforo Repetitivo); (a)
seja em busca de um exemplo postural para o coro fator determinante na produo
vocal; (b) seja em busca de melhor visibilidade para seu gestual fator indispensvel
na comunicao entre coro e regente; (c) seja na garantia de organicidade ao conjunto
de sua movimentao fator de integrao das muitas vertentes fsicas, tericas e
expressivas presentes na performance do regente enquanto tal.
EHMANN (1968) afirma que os gestos em regncia funcionam como a
exteriorizao do pensamento musical criado na mente do regente aps a anlise do
material que estuda. Estes gestos, ao agirem atravs dos msicos (coralistas), geram
um determinado resultado sonoro que, segundo BRANCO (s.d), deve ser observado
pelo regente, de modo a ajud-lo na construo de movimentos adequados,
antecipando assim o som desejvel.
Logo, pode-se dizer que a regncia uma disciplina de interpretao que, por
sua vez, pertence rea da comunicao. Assim, para que a ltima ocorra, necessrio
que o receptor compreenda o que foi transmitido pelo emissor, e isso s ocorrer se
houver clareza na mensagem transmitida, denotando a importncia da postura do
regente.
6

De acordo com RAMOS (2003), o cerne da regncia est ligado, por um lado, a
um conjunto de atitudes tcnicas que buscam clareza e comunicabilidade no contato
com os msicos e coralistas e, por outro, a uma capacidade de estabelecer contato
emotivo direto atravs da utilizao do corpo e da expresso facial. O mesmo autor
ainda diz que necessrio aprender o gestual especfico, em busca das habilidades
fsicas que permitam a instalao de um processo de comunicao no verbal ativo e
eficiente.
O regente iniciante aprende a postura correta e os gestos atravs de:

modelo fornecido pelo professor;

pela observao de regentes em ao;

pela literatura.

E o domnio desta tcnica depende dos seguintes fatores:

compreenso da postura e dos gestos (padres de regncia);

memorizao dos mesmos;

repetio (treinamento) constante para que o estudante consiga

incorporar o movimento, de modo totalmente interiorizado descrito
por RAMOS (2003) como memria geogrfica.

No entanto, este processo de aprendizagem deve ser feito com a superviso

adequada pois, do contrrio, vcios de regncia podem surgir. Segundo GARRETSON
(1998), essencial que o regente possa eliminar seus traos e hbitos incorretos
durante o aprendizado da regncia, de modo que eles no sejam reforados e tornem-se
habituais.
O uso do espelho e filmagens para aprimorar a conscincia corporal utilizado
h muito tempo por regentes, e sua eficcia existe, entretanto, interessante para
estudantes e professor comparar movimentos atuais com movimentos anteriores, ou
ainda, movimentos realizados entre diferentes regentes, que a prtica tradicional
atravs dos mtodos citados no permite.

2.1.3

Ensino da Regncia Coral

O modelo de aula descrito adiante foi observado na disciplina de regncia coral
(Anlise Musical para Performance: Interfaces entre Criao e Interpretao a Partir
7

do Universo Coral) da Escola de Comunicao e Artes da Universidade de So Paulo

ministrada pelo professor Dr. Marco Antonio da Silva Ramos, seguindo sua
metodologia. Este modelo (formato de aula) poder variar conforme a escola de
regncia. Entretanto, os elementos tcnicos que compe as partes da aula so tcnicas
inerentes ao ensino da regncia coral e deveriam ser trabalhados em algum momento
por qualquer escola de regncia.

Parte 1: Ensino de novo elemento de regncia

Os alunos se posicionam em volta do professor, formando uma grande

roda;

O professor ensina e demonstra os novos contedos gestuais aos alunos,

para que todos possam ver. Geralmente os esquemas grficos dos novos
gestos so desenhados na lousa pelo professor;

Os alunos ento executam individualmente o novo gesto. Outras

maneiras de execuo so: em pares; a prtica em frente ao espelho;
entre outras a idia que os alunos passem a perceber os gestos,
conscientizando-se dos mesmos, e assim, consigam aprimorar suas
noes corporais;

O professor passa uma sequncia de gestos para os estudantes

executarem.

Parte 2: Distribuio de nova partitura

O professor distribui uma nova partitura (msica) aos alunos e a repassa

com os alunos para que possam compreend-la;

Um aquecimento vocal2 realizado com todos ao mesmo tempo;

O professor organiza o coral em naipes3.

Parte 3: Prtica da regncia

2

O aquecimento vocal tambm conhecido como vocalise ou vocalizao. No caso das aulas
do professor de regncia coral citado, este momento tem tambm a funo de ensinar a ensinar a cantar
em coro. Cada exerccio realizado analisado em seus objetivos tcnicos e finalidades pedaggicas.
3
Naipe um agrupamento de coralistas conforme seus tipos de voz (e.g. tenor, baixo, soprano,
contralto, etc).

Os estudantes de regncia participam como coralistas, enquanto so

regidos pelo professor ou por outro aluno isso lhe permite observar os
gestos do regente e notar como o coro se comporta medida que estes
so realizados;

Em seguida, um estudante troca de lugar com quem estava regendo, e

passa a reger o coro o professor observa o regente, que ao final da
execuo da msica recebe conselhos, crticas e elogios do professor;

Por fim, o regente retorna ao coro dando lugar a um novo estudante que
reger em seu lugar e isso ocorre inmeras vezes acompanhado da
superviso do professor.

O ciclo descrito na Parte 3 se repete, e idealmente, deveria ocorrer para cada um

dos estudantes. Entretanto, como as aulas possuem um tempo mximo, na maioria das
vezes, somente parte dos estudantes tem chance de atuar como regentes.
Como pde ser observado acima, a relao professor-estudante na regncia
dada pela difuso do conhecimento, observao e anlise. Estes trs elementos podem
ser facilitados atravs do uso da tecnologia, a qual pode ser utilizada para armazenar o
conhecimento e trabalhar sobre o mesmo. Com a tecnologia possvel extrair dados
precisos da cena (e.g. coordenadas tridimensionais de cada junta corporal do regente),
permitindo anlises automticas e gravaes que poderiam ser visualizadas em
momentos posteriores.

2.1.4

Padres de Regncia
Os livros de regncia costumam discorrer sobre os gestos de regncia usando
principalmente trs informaes: (a) esquemas grficos, isto , ilustraes grficas dos
padres de regncia; (b) explicaes descritivas; e (c) exemplos musicais que ajudam a
entender o carter dos mesmos. Abaixo pode-se verificar padres de regncia4 para o
compasso musical5 de 4 tempos:

O padro de regncia um dos gestos realizados pelo regente para marcar o tempo da msica
e pode ser considerado um tipo de gesto realizado.
5
O compasso musical define quantos pulsos ocorrem dentro de intervalo de tempo.

Figura 1 Robert Garretson:

Figura 2 Robert Garretson:

Figura 3 Kurt Thomas:

Padro de Regncia de 4

Padro de Regncia de 4

Padro de Regncia de 4

tempos.

tempos.

tempos.

Fonte: Garretson, 1998.

Fonte: Garretson, 1998.

Fonte: Thomas, 1971.

Figura 4 Padro de Regncia

de 4 tempos.
Fonte: DEMAREE & MOSES,
1995.

Todos os grficos acima so capazes de localizar o msico nos tempos do

compasso (as partes de um todo). Entretanto, as formas dos esquemas exemplificados
so diferentes em funo de terem surgido em escolas de regncia6 diferentes e as
respectivas coerncias de suas construes tcnicas.
Nos padres de regncia, cada nmero representa a marcao de um tempo
(batida) e as linhas representam o percurso a ser realizado pela mo do regente. O
movimento iniciado, pelo menos, um tempo antes daquele onde a msica de fato
comea. Depois, entra no esquema padro7 e se repete sequencialmente.
A velocidade com que o movimento realizado, depender de quantas batidas
por minuto (BPM) so utilizadas pela msica. Uma BPM de 60 significa que em 1
minuto so realizadas 60 batidas, isto , marcaes de tempo. No exemplo de um
6

O presente trabalho no discutir as diferentes escolas de regncia por no ser seu objeto, mas
adiantamos que a ferramenta tecnolgica desenvolvida pode adaptar-se a elas.
7
Ao longo do texto, grficos, esquemas padro, padres de regncia so utilizados
indistintamente.

10

movimento de 4 tempos, isto equivale a dizer que, a cada 1 segundo o prximo tempo
marcado, ou seja, todo padro realizado em 4 segundos. Analogamente, o mesmo
padro seria realizado em 2 segundos se a BPM fosse 120, j que cada tempo seria
marcado a cada segundo. E os msicos atuais usam o metrnomo, como aparelho
para medir o tempo desejado.
Durante a execuo do padro de regncia o regente dever estar atento
marcao de tempo, o qual realiza seguindo os batimentos por minuto abordados
anteriormente, medida que explora o espao.
importante mencionar que os padres mostrados nos exemplos acima
referem-se sempre ao movimento da mo direita. Desta forma, o movimento espelhado
horizontalmente seria o equivalente mo esquerda.
Considerando os dois padres anteriores, vemos que h diferenas devidas ao
fato de serem de escolas distintas, entretanto, outros fatores para escolha de variaes
entre os padres tm caractersticas exclusivamente musicais, como expressividade,
articulao rtmica (staccatos, legatos, etc), fraseado musical e afetividade, entre
outros. Veja abaixo exemplos de alterao nos padres de regncia conforme o tipo de
caracterstica musical fornecido por autores:

Figura 5 Tempos quaternrios em diversas articulaes

Fonte: GRLL (2005).

11

Embora as intenes musicais sejam diferentes entre si, a msica regida no

mesmo padro de quatro tempos por todos os padres acima. Os padres de regncia
ainda podem variar de acordo com marcaes especficas na partitura, como: entradas,
cortes, subdivises, acentos e fermatas, entre outros conceitos musicais.
Com isso nota-se a complexidade da regncia, principalmente no tocante da
execuo de gestos que devero ser claros principalmente por poderem possuir sutis
diferenas entre si. Isso dito, a forma com que o ensino ocorre importante para o
regente iniciante, j que este precisa engajar-se em um criticismo objetivo, de modo
que desenvolva independncia e maturidade sobre seus gestos atravs da conscincia
corporal. Segundo, DECKER & HERFORD (1988), o regente dever desenvolver sua
prpria caracterstica dentro dos moldes e conceitos da regncia.
O software desenvolvido compara em tempo real os gestos realizados pelo
usurio com padres previamente definidos no prprio software o quais sero
vinculados a uma prtica de regncia tambm configurada. Com isso, ser possvel
obter uma nota baseada na diferena entre o gesto realizado e esperado atravs da
comparao de distncias euclidianas.

2.1.5

Planos de Regncia
Um dos parmetros da regncia so os planos espaciais sobre os quais ela se
desenvolve. As mos e os braos do regente sobem e descem sobre planos verticais, se
afastam para os lados ou se reaproximam nos planos horizontais, e se encaminham
para a frente ou voltam em direo ao corpo nos planos frontais.

12

Figura 6 - Os diferentes planos de regncia.

ANDERSON (s.d) prope um mtodo chamado Tcnica da Caixa, onde ele

assume que h quadrados circunscritos centralizados em cada mo. Neste mtodo, o
regente utiliza (i) somente o dedo indicador para se movimentar no quadrado menor
ou; (ii) somente o pulso para se movimentar no quadrado posterior ou; (iii) somente a
mo e o antebrao no quadrado seguinte ou; (iv) todo o brao, incluindo cotovelos,
para se movimentar pelo quadrado maior e mais externo.

Figura 7 - Tcnica da Caixa.

Fonte: ANDERSON, s.d.

Alm dos movimentos realizados nos eixos x e y, como ilustrado anteriormente,

o gesto poder ser executado em diferentes variaes de profundidade, neste respectivo
plano. Isto ilustrado por GMCCB (s.d) e representado pela figura abaixo:

13

Figura 8 - Zonas de profundidade.

Fonte: GMCCB (s.d).

RAMOS (2011) consolida os conceitos acima e cria um cubo (Cubo de Ramos)

o qual o regente pode explorar com seus gestos. Este cubo compreende os trs j
citados planos, centralizado na coluna do regente:

Figura 9 As diferentes alturas no cubo de RAMOS (2011).

Fonte: RAMOS (2011).

Figura 10 As diferentes larguras no cubo de RAMOS (2011).

Fonte: RAMOS (2011).

Figura 11 As diferentes profundidades no cubo de RAMOS (2011).

Fonte: RAMOS (2011).

14

O cubo composto por cubos menores que podem ser explorados

individualmente de acordo com a amplitude e direcionamento do gesto. As figuras
abaixo mostram como o cubo se alinha com o corpo do regente:

Figura 12 - Fatias do Plano Horizontal.

Figura 13 - Fatias dos Plano de Profundidade.

Figura 14 - Fatias do Plano Vertical.

Como normalmente o coro est colocado acima do regente. Este dado, aliado
necessidade bvia de que o gesto do regente seja visto por todos os coralistas, aponta
na altura respectiva do plano vertical.
RAMOS (2011b) declara que as principais funes do cubo so conscincia
corporal e treinamento da referncia espacial. Este jamais dever ser interpretado como
uma gaiola, ou algo que impe limites expresso artstica do regente.

15

Para o presente trabalho, prope-se tambm que tais cubos sejam vistos pelo
usurio medida que este realiza seus gestos no software. E assim, qualquer um dos
sub-cubos que interseccione qualquer uma das mos do regente seria destacado em
uma colorao diferente, de modo que ele saiba em quais regies dos planos suas mos
se encontram.
2.2
2.2.1

Viso Computacional
Introduo
A viso computacional utiliza a computao para solucionar problemas que
dependem de decises tomadas a partir de dados obtidos pela viso pelo uso de
sensores (e.g. cmeras, webcams, scanners, etc).
Segundo SHAPIRO & STOCKMAN (2000): o objetivo da viso
computacional realizar decises teis sobre objetos e cenas fsicas reais baseadas
em imagens capturadas.
Conforme PEDRINI & SCHWARTZ (2008), os algoritmos de viso
computacional utilizam imagens computacionalmente legveis (isto , imagens digitais
capturadas por algum sensor ou criadas virtualmente) como dado a ser analisado para
obter uma determinada sada (resposta). Segundo CORMEN et al. (2001) um
algoritmo tambm pode ser entendido como um qualquer procedimento computacional
bem definido que recebe algum valor (ou um conjunto de valores) como entrada e
produz algum valor (ou conjunto de valores) como sada. Um algoritmo portanto
uma sequncia de passos (instrues lgicas) computacionais, dispostas em um
determinada ordem, e que necessariamente nesta disposio transformam a entrada em
uma sada, resolvendo um determinado problema computacional.

2.2.2

Sobre o Kinect
O software proposto utiliza o Kinect como sensor para capturar a posio das
juntas corporais do usurio no espao tridimensional e aps isso trabalha com tais
dados para exibir informaes teis na tela. A vantagem do uso do Kinect que ele

16

no s captura os dados, mas tambm os dispe em uma estrutura de dados8 de fcil

navegao. Por exemplo, cada junta corporal detectada pelo Kinect disposta em uma
estrutura de dados chamada esqueleto, onde todas juntas so relacionadas entre si e
cada uma possui informaes espaciais como posicionamento e rotao.
importante citar que o Kinect o sensor com maior custo benefcio e fcil
aquisio existente no mercado, tornando assim um fator importante a ser considerado
na distribuio do software proposto. A Microsoft criou um sistema de reconhecimento
de poses a partir de informaes sobre imagens (features9) e seus respectivos dados de
profundidade, estes ltimos obtidos atravs de um feixe de raio infravermelhos
disparados no ambiente e analisados em tempo real a partir do kinect, mapeando o
relevo do ambiente (SANDBERG et al, 2011).
Com descritores extrados de uma srie de imagens, possvel realizar diversas
classificaes em cenas, e com isso descobrir se o objeto a ser encontrado encontra-se
em cena ou no. Por exemplo, pode-se ter uma base de descritores de posturas
humanas e sempre busc-las em cena a partir da anlise de imagens.
O Kinect cria modelos probabilsticos de rotulamento (labeling) a partir das
partes do corpo de uma pessoa e assim infere as possveis juntas corporais. Para isso,
quando foi desenvolvido, o Kinect foi treinado com aproximadamente 500.000
imagens de diversas posturas corporais obtidas atravs de dispositivos de captura de
movimentos (motion capture), cobrindo a maior parte dos movimentos que os usurios
usualmente podem realizar, gerando uma imensa base de features. Alm disso, como a
quantidade de posturas que uma pessoa pode realizar extremamente alta, um
classificador de partes corporais foi desenvolvido para generalizar algumas das poses
que no esto na base de imagens, potencializando ainda mais o dispositivo.
Para se ter uma idia, ao total foram utilizadas 31 partes corporais em conjunto
com features de profundidade para saber se um brao est frente ou ao lado do corpo.
Este mtodo, desenvolvido por SHOTTON et al. (2011), se provou de alta qualidade e

Uma estrutura de dados um continer lgico que armazena um conjunto de variveis que
juntas buscam contribuir para a resoluo de um ou mais algoritmos de forma eficiente (CORMEN et al.
2001).
9
Features so descritores (caractersticas) extrados a partir de uma ou mais imagens, utilizando
um algoritmo especfico, e que servem para inferir algo sobre a(s) mesma(s) (SHAPIRO &
STOCKMAN, 2000).

17

pode-se dizer que o estado da arte no que diz respeito a reconhecimento de posturas
corporais humanas em tempo real atualmente.

Figura 15 - Preciso mdia comparando predio de juntas atravs de juntas inferidas e

juntas extrada a partir dos mapeamentos verdadeiros.
Fonte: SHOTTON et al. (2011).

Outra vantagem do uso do Kinect o fato deste dispositivo no requerer: (i) o

uso de marcadores10 no usurio em cena; (ii) tcnicas complexas de calibragem de
dispositivos como no caso de diversas cmeras posicionadas em um ambiente,
focando distintos ngulos e; (iii) ps-processamentos aps a captura da imagem, j que
os dados das juntas so providos automaticamente.

2.2.3

Kit de Desenvolvimento
Quando uma organizao lana um dispositivo no mercado, junto deste
dispositivo geralmente fornecido um kit de desenvolvimento (SDK do ingls
Software Development Kit), que pode ser compreendido como um conjunto de
funcionalidades acessveis por qualquer software compatvel com os requisitos
mnimos do SDK em questo.
Existem vrios kits de desenvolvimento que podem ser utilizados para fazer uso
das funcionalidades do Kinect, entretanto o mais evoludo, e que foi utilizado no
software proposto, o SDK criado pela prpria Microsoft, atualmente em sua verso
1.7. Algumas das caractersticas deste seguem abaixo:

10

Marcadores so identificadores dispostos num determinado alvo (cena, pessoa ou objeto), de

modo que tal alvo possa ser monitorado de maneira mais fcil pelo sensor utilizado. Geralmente isto
ocorre quando necessrio superar obstculos tcnicos, onde a deteco sem marcadores seria muito
custosa.

18

Deteco completa do esqueleto do usurio, mapeando 19 juntas

corporais;

No necessita de pose de calibragem para detectar o usurio em cena;

Documentao das funcionalidades bem detalhadas tecnicamente;

Gratuito;

Suporta conectividade nativa nas linguagens C++ e C#.

Entretanto, as principais limitaes deste SDK esto relacionados com o fato da

Microsoft, por ser uma empresa privada, promover a difuso de seu sistema
operacional principal, portanto:

Est disponvel somente para mquinas com sistema operacional

Windows 7 ou superior;

O cdigo fonte no disponibilizado.

Contudo, para os propsitos do software, ele segue sendo a melhor escolha para
realizar o desenvolvimento.

19

Captulo 3: Estado da Arte

Recentes artigos retratam excelentes resultados no uso do Kinect para a
obteno de mapas de profundidade, inclusive ele est sendo utilizado para reconstruir
ambientes tridimensionais em tempo real, j que o Kinect consegue fornecer toda esta
informao a 30 quadros por segundo. NEWCOMBE et al. (2011) conseguiram
excelentes resultados na reconstruo de cenas em tempo real atravs do Kinect.
VILLAROMAN et al. (2011) realizaram um estudo sobre as principais
aplicaes do Kinect para auxiliar estudantes nas aulas de interao homemcomputador (IHC), demonstrando as vantagens de se utilizar OpenNI e o NITE como
SDK. SUMA et al. (2011) proprem um middleware chamado FAAST o qual tambm
utiliza os SDKs anteriores para criar um servidor de streaming do esqueleto criado
atravs dos dados fornecidos pelo Kinect, possibilitando vincular teclas do teclado ou
do mouse, aos movimentos capturados. Com isso possvel utilizar gestos com
softwares existentes, sem grande esforo de adaptao, alm de possibilitar o controle
remoto de aplicaes via gestos transmitidos para aplicaes remotas.
SUAY & CHERNOVA (2011), utilizam o Kinect para mover robs
humanides conforme as posturas que so realizadas por um humano mediante ao
sensor do Kinect. OIKONOMIDIS et al. (2011) fazem uso das informaes obtidas
pelo Kinect para realizar o mapeamento das juntas dos dedos da mo de uma pessoa a
15 quadros por segundo.
No Brasil estudantes e entusiastas esto trabalhando em projetos comerciais que
utilizam o Kinect. QUEIROZ (2011), por exemplo, desenvolveu um conversor de
gestos do Kinect em eventos de tecla, fornecendo dados de entrada para um emulador
de vdeo-game no computador, permitindo que o usurio jogue diversos jogos arcade
antigos com o uso do Kinect. MATSUMURA & SONNINO (2011) desenvolveram um
aplicativo para visualizao tridimensional de objetos utilizando o Kinect (suportado
pelo Microsoft SDK) em conjunto com culos que permitem visualizar o anaglifo e
interagir com ele atravs de gestos. TOGORES (2011), faz uso do Kinect para extrair
dados de movimentos realizados pelos usurios, extraindo vetores de caractersticas a
20

serem utilizados em conjunto com tcnicas de filtragem, quantizao e o HMM

(Hidden Markov Models) para tomar decises e obter a classificao dos gestos
realizados.
Ainda no Brasil e preocupando-se com a motivao dos alunos na educao,
NUNES et al. (2011) sugerem que o uso da tecnologia na educao pode ser utilizada
para obter diversas informaes a serem utilizadas com propsito motivacional para o
aluno. No que visa o Kinect, o mtodo abordado analisa caractersticas corporais
fisionmicas obtidas atravs deste sensor, obtendo assim informaes emocionais e
comportamentais dos expectadores perante algo que lhes apresentado. A AGNCIA
DETALHES (2011), lanou um software chamado Kinect Educao que utiliza o
OpenNI e bibliotecas em Flash para criar jogos educacionais utilizando o Kinect. Por
ltimo, DA SILVEIRA (2011) utiliza o Microsoft Kinect SDK Beta para desenvolver
uma aplicao que dispara comandos do teclado a partir do reconhecimento de gestos
pr-definidos detectados partir do ngulo formado por cada um dos cotovelos do
usurio.
Se os mtodos mais recentes aqui abordados forem comparados com mtodos
onde a tecnologia (Kinect) no estava disponvel, como no caso de IRURTIA (2009),
fica clara a dificuldade de realizar o mapeamento correto de juntas e posturas corretas.
Portanto, acredita-se que houve um grande avano nas aplicaes com a chegada desta
tecnologia.
3.1

nfase na regncia
Em relao a aplicaes similares ao que se deseja desenvolver nesta
monografia, BRUEGGE et al. (2007) desenvolveram um aplicativo chamado
Pinocchio. O foco deste aplicativo desenvolver o gosto por msica clssica em
crianas. Para isto ele utiliza dispositivos como cmeras e o wiimote controle remoto
do video-game Nintendo Wii para capturar dados do regente, controlando a orquestra
em tempo real.
SCHMIDT et al. (2007) focam no uso de um outro dispositivo (relgio de
pulso com sensores) chamado eWatch em conjunto com o aplicativo apresentado
anteriormente por BRUEGGE et al. (2007), utilizando os dados retornados pelos
sensores internos do eWatch (ver Figura 16 eWatch. ao invs do uso do wiimote.
21

Figura 16 eWatch.
Fonte: MAURER et al. (2006).

O projeto de SCHMIDT et al. (2007) analisa os dados do regente utilizando o

eWatch paralelamente com uma filmagem em vdeo sincronizada com o clock do
eWatch. Atravs dos dados capturados dos sensores, os padres de regncia so
obtidos, e com estas informaes, o udio pr-gravado da orquestra alterado.
Inclusive atravs desta experimento pde-se verificar que o regente, como esperado,
rege cerca de alguns milisegundos frente da orquestra, como na realidade. Ao final
do artigo apresentado, os autores comentam que gostariam de construir um mtodo
independente de usurio e preciso no reconhecimento de gestos, que permitiria
supervisionar gestos quaisquer de regncia. Desta forma, acredita-se que o trabalho
presente seja de grande valia para esta rea, alm de partir de um desejo anterior de
outros trabalhos.
Entre outros projetos esto o de LEE et al (2005) que analisa os movimentos de
regentes comparando-os a movimentos de no-regentes. GARNETT & BRECHT
(1992) utilizam um mtodo que utiliza uma batuta infravermelha e redes neurais para
extrair os padres de regncia e com isso controlar uma orquestra virtual,
influenciando seus sons.
FUJINAGA & TOBEY (1996) utilizam um sistema com duas cmeras
especiais integradas a um software, posicionadas frente e ao lado do regente, que
capturam seus movimentos atravs da anlise de vdeo que captura os movimentos da
batuta, traduzindo suas coordenadas tridimensionais para um software.
LEE et al. (2006) se baseia na tese de LEE et al (2005), GRLL (2005) e
NAKRA (2000) para criar um sistema que monitora uma batuta desenvolvida
especialmente para deteco de gestos de regncia, de modo a realizar alteraes em
um vdeo e som de uma orquestra a partir dos gestos de regncia.

22

NAKRA (2000) discorre sobre o uso da jaqueta de regncia desenvolvida por

PICARD & MARRIN (1998), utilizando-a para realizar tratamento de sinais advindos
dos sensores da mesma. Esta jaqueta contm uma srie de sensores utilizados para
monitorar os movimentos da regncia.
Por ltimo, USA & MOCHIDA (2006), apresentaram um mtodo que
identifica: (a) o incio e o fim de uma regncia, einsatz (corte de um cantor ou naipe),
marcao de tempo, mudanas no tempo, o nmero do tempo sendo executado dentro
de uma medida (padro), fermatas, dinmica da msica, alguns aspectos da articulao
musical (e.g. expressivo, staccato), respirao. O sistema reconhece os movimentos
realizados pela mo direita e os interpreta atravs de HMM. Em seu trabalho, os
autores tambm listam diversos outros autores que buscaram supervisionar o regente
atravs de uso de diversos tipos de sensores. O ponto negativo do trabalho destes
autores que eles utilizam uma batuta com acelermetros e no somente o corpo do
regente para extrair as informaes.
Em todos os artigos lidos, percebeu-se que houve certa dificuldade dos autores
em conseguir realizar todas as atividades em tempo real, exceto por BRUEGGE et al.
(2007), mas que este usou um aparato desconfortvel para a regncia. Portanto,
acredita-se que o uso do Kinect permitir dar o prximo passo nos softwares de
regncia, principalmente por permitir uma melhor anlise em tempo real, sem que o
regente tenha que usar dispositivos ou sensores desconfortveis. Fica claro que a
maioria dos trabalhos listados anteriormente foca no desenvolvimento de um software
para influenciar um coro ou orquestra virtual a partir de informaes extradas do
regente, mas nenhuma das aplicaes foca na superviso e no ensino da regncia para
o

prprio

regente,

que

escopo

23

principal

do

presente

trabalho.

Captulo 4: Software para Ensino de

Regncia Coral
4.1

Abordagem
Como citado na Seo 1.2, o estudante de regncia precisa se familiarizar com
os parmetros da regncia, seus padres e planos (este ltimo atravs do cubo de
Ramos ver Seo 2.1.5), aprimorando assim sua conscincia corporal e a localizao
espacial e trazendo ao professor uma ferramenta para anlise da evoluo de seus
alunos.
A partir da interao entre o laboratrio Comunicantus da Escola de
Comunicaes e Artes desta Universidade e o Instituto de Matemtica e Estatstica,
observou-se que tais objetivos descritos podem ser alcanados atravs do uso de
tecnologias existentes, tais como o Kinect.
Assim, aps uma srie de reunies com o regente responsvel, Prof. Dr. Marco
Antonio da Silva Ramos, delimitou-se o escopo do software proposto atravs de
funcionalidades as quais foram listadas ao longo deste captulo.
As principais fontes de conhecimento sobre regncia coral aqui utilizadas
foram: (i) notas de aula e material fornecido durante a disciplina Anlise Musical
para Performance: Interfaces entre Criao e Interpretao a Partir do Universo
Coral (Escola de Comunicaes e Artes - Universidade de So Paulo), (ii)
referncias bibliogrficas fornecidas pelo regente responsvel citado acima e (iii)
pesquisas nos acervos digitais de regncia coral de diversas universidades os quais
esto disponveis na Internet. Todas as referncias podem ser encontradas no Captulo
6: do presente documento.
Durante a fase de desenvolvimento, o software foi aprimorado atravs de
diversas reunies com o regente supracitado. Nestes encontros o prottipo da aplicao
era demonstrado e testado. Tambm durante tais reunies, os requisitos eram
detalhados, esclarecidos e novas referncias bibliogrficas eram fornecidas. Alguns
dos encontros foram utilizados para revisar o presente documento, garantindo que a
24

linguagem utilizada pudesse ser compreendida por leitores das diversas reas
envolvidas, j que este se trata de um trabalho multidisciplinar.
4.2

Pblico-alvo
Para utilizar o software o usurio dever ter o conhecimento mnimo sobre
tcnicas de regncia coral (padres de regncia) e teoria musical (compassos, tempos
musicais, etc). Portanto, o principal pblico-alvo seria composto por:

4.3

Estudantes de regncia coral (graduao, ps-graduao);

Professores de regncia coral.

Descrio Funcional
O software foi organizado em trs grandes mdulos tratanto os principais
aspectos do ensino da regncia coral:
1. Editor de Padres de Regncia (Biblioteca de Padres);
2. Editor de Prticas de Regncia;
3. Visualizador (Podium) do Regente.
Em (1) os padres de regncia podem ser criados conforme explicao descrita
na Seo 2.1.4 (Padres de Regncia). Algumas das principais funcionalidades deste
mdulo so:
1. Permitir a criao de formas geomtricas onde cada uma represente um
padro de regncia (como os ilustrados nas Figuras da Seo 2.1.4);
2. Possibilidade de adicionar, remover e movimentar pontos de controle da
curva que representa o padro de regncia;
3. Possibilidade de adicionar, remover e movimentar marcaes de tempo
(tempos) no padro de regncia;
4. Permitir a deteco automtica dos tempos no padro de regncia,
agilizando a criao do mesmo, caso o usurio deseje;
5. Possibilidade de alinhar automaticamente os pontos de controle grade,
facilitando a criao precisa e simtrica do padro de regncia;
6. Permitir o fechamento automtico da curva;
7. Exibir, salvar, excluir ou modificar um padro de regncia.
25

Tais funcionalidades podem ser vistas na Figura 17 abaixo e so identificadas

pelos bales informativos dispostos na mesma.

Figura 17 Editor de Padres de Regncia (Biblioteca de Padres).

Em (2) possvel definir sequncias, envolvendo os padres de regncia

previamente criados em (1), associando-as s mos do regente, definindo assim o
conceito de prtica sinttica. Isto engloba:

Criar uma pr-seleo dos padres de regncia que sero utilizados pela
prtica sinttica (Figura 18 abaixo);

26

Figura 18 - Pr-seleo de padres de regncia definidos em (1).

Selecionar um dentre os padres pr-selecionados anteriormente,

vinculando-o a uma das mos do regente e informando em quais subcubos e em qual profundidade tal padro ser realizado. Esta
configurao denominada sequncia e representa o movimento a ser
realizado pelas mos do regente durante a execuo da prtica sinttica.

Adicionar, modificar ou excluir uma ou mais sequncias;

Possibilidade de definir o valor do parmetro batidas por minuto a ser

utilizado por uma determinada sequncia;

Salvar, modificar ou excluir prticas sintticas.

Tais funcionalidades podem ser vistas na Figura 19 abaixo e so identificadas

pelos bales informativos dispostos na mesma.

27

Figura 19 Editor de Prticas Sintticas

Alm da possibilidade de criar prticas sintticas, possvel criar prticas

atravs de gravaes. Isto , um regente realiza movimentos por um determinado
tempo em frente ao sensor que responsvel pela captura dos mesmos. Aps isso, os
dados so armazenados em uma estrutura de prtica o qual poder ser utilizada
futuramente por outro regente o qual poder tentar copiar os movimentos gravados.
Este tipo de prtica conhecido como prtica gravada. O editor utilizado para
gerenci-las (gravar, atualizar ou excluir) pode ser visto na Figura 20 abaixo:

28

Figura 20 - Gerenciador de Prticas Gravadas

Em (3) possvel:

Visualizar (replay) os movimentos de uma ou mais prticas, sejam estas

sintticas ou gravadas. Sendo que, no caso de prticas sintticas, a
visualizao dada com base nos padres de regncia associados s
mos do regente e as quais foram dispostas em sequncias pertencentes
pratica em questo. Para prticas gravadas, a exibio feita com base
nas coordenadas tridimensionais capturas pelo sensor;

Pausar o replay a qualquer momento, podendo retom-lo quando

desejado;

Realizar treinamentos, em tempo-real, com base em prticas

anteriormente criadas. Neste caso uma nota dada ao usurio ao
trmino do treinamento com base no movimento realizado. Isto feito
da anlise de distncias Euclidianas;

Rotacionar a cmera em volta da cena, podendo visualizar a cena por

qualquer ngulo, assim como aproximar ou distanciar a cmera (zoom)
para uma anlise mais precisa dos movimentos;

Ocultar ou exibir elementos extras (detalhes) em cena;

Exibio do Cubo de Ramos ver Seo 2.1.5 o qual alinhar-se-

coluna do usurio e inclusive rotacionar conforme a coluna
rotacionada;

Detectar interseco das mos do usurio com os sub-cubos

29

pertencentes ao Cubo de Ramos, colorindo-os de maneira diferenciada,

permitindo distino da profundidade a qual a mo se encontra;

Caso a prtica utilizada como base para o treinamento seja uma prtica
sinttica, permitir escutar marcaes de tempo conforme as BPM
definidas anteriormente em (2), atuando como metrnomo.

4.4

Implementao
As tecnologias utilizadas durante o desenvolvimento foram a linguagem C#, o
SDK da Microsoft para o Kinect, o Microsoft XNA (bibliotecas 3D, similar ao
DirectX e OpenGL) e modelagem 3D realizada utilizando o 3DS MAX.

4.5
4.5.1

Principais Algoritmos
Interpolao de Pontos de Controle para Gerar Padro de Regncia
De acordo com o que foi apresentado na Seo 4.3, a Biblioteca de Padres
prov uma interface grfica para que o usurio adicione os pontos de controle que,
aps interpolados, formaro a curva a qual resultar no padro de regncia final.
Uma funo de interpolao de pontos capaz de gerar uma nova sequncia de
pontos a partir de outra j conhecida. As formas mais comuns de interpolao de
pontos so: (a) linear; (b) polinomial; e (c) por spline (BOURKE, 1999).
O mtodo aqui abordado e que foi utilizado na implementao do software, o
Catmull-Rom (CATMULL & ROM, 1974), um mtodo por spline. Inicialmente este
mtodo foi desenvolvido para computao grfica, seu uso inicial era para desenhar
superfcies e curvas, mas posteriormente seu uso se expandiu para outros prpositos
(JOY, 2002).
=

,,

O algoritmo pode ser descrito da seguinte maneira:

Seja
pertencentes
=

ao

padro

de

regncia

, tal que:

" = max&1, " 1) ;

" = ";

" = min&-, " + 1) ;

30

uma sequncia dos pontos de controle

e

para

cada

ponto

seja

2,

1,

1,

Por

"! = min&-, " + 2) ;

1 ).

exemplo,

se

- = 20,

ento

=( ,

Seja 3 5 , o nmero de pontos que se deseja interpolar entre

(( 678 ( ))5 ) ,

denotamos o conjunto 9 da seguinte forma:

Para cada ponto

onde:

1 2
3
9 = :0, , , , = 1;
3 3
3

=
e

, definimos a funo < : 9 , da seguinte maneira:

? (@) = A(@) . C. D ( )

E(F) = (1, F, F , F ) ! ;
0
2
0
1 0
1
G = H
2 5 4
1 3 3
M

= N

0
0
L;
1
1

Como pode ser visto em (1), o resultado de cada < (F) uma funo cbica em

F com as seguintes propriedades:

a) A spline passa por todos os pontos de controle;

b) A spline no possui descontinuidades na direo da tangente e de sua
magnitude.

A propriedade (a) citada acima a principal caracterstica de Catmull-Rom

splines. Alm disso, a movimentao de um nico ponto de controle afetar a curva
localmente. Para o presente trabalho isto desejvel pois permite que o usurio ajuste
precisamente o posicionamento do ponto de controle, sem afetar a curva como um
todo, criando padres de regncia com maior preciso.
4.5.2

Escala e Rotao Horizontal dos Padres de Regncia

Os padres de regncia, criados na Biblioteca de Padres, so utilizados pelo
Editor de Prticas Sintticas durante a criao de uma prtica, onde so dimensionados
conforme seleo realizada pelo usurio no cubo do regente.
31

Figura 21 - Escala entre padro original e padro redimensionado pelo usurio.

Um padro poder ser associado a uma ou ambas as mos do regente. Quando a

mo configurada for a esquerda, no s devemos aplicar uma escala ao padro com
base nas dimenses da janela a qual este encontra, mas tambm devemos reflexion-lo
horizontalmente, criando o movimento oposto equivalente. Isto ocorre porque durante
o treinamento, o Kinect, o qual estar posicionado frente do usurio, tambm
capturar as coordenadas do estudante de maneira reflexionada, tornando necessrio
utilizar o mesmo sistema de coordenadas.
Portanto, necessrio determinar uma escala com base nas dimenses da janela
do padro (e.g. dx e dy), no tamanho da janela de criao do padro (e.g. l), a qual um
quadrado, e na mo escolhida (esquerda ou direita), aplicando tal escala sobre todos os
Seja PQ tal que PQ a largura da janela de seleo definida pelo usurio

pontos do padro original.

no Editor de Prticas Sintticas e seja PS tal que PS a altura da janela de

para um mesmo padro de regncia; T , tal que T constante e representa o lado

seleo definida pelo usurio no Editor de Prticas Sintticas, ambas determinadas

1, VW XPY[ WY\W-]W U[ WV3_WYPX

;
1, VW XPY[ WY\W-]W U[ P"YW"\X

da janela utilizada na criao do padro de regncia pela Biblioteca de Padres (e.g.

300); e: U &1,1) tal que U = :

Podemos encontrar as escalas a serem aplicadas nos pontos do padro de

`ab como o maior inteiro no maior que a (arredondamento para baixo):

regncia para os eixos x e y atravs das seguintes definies, considerando a operao

32

VQ c tal que VQ = d

Sejam

8e
f

. Ug;

VS tal que VS = d g;
=

,,

8h
f

a sequncia matemtica de todos os pontos

i

= ( i,

VQ
regncia gerado aps P receber a escala j = k 0

pertencentes ao padro de regncia e

dimensionado pelo usurio, onde cada

= m( ) = j.

definida da seguinte forma:

i

,,

i)

0
VS l , resultando no padro

o padro de

obtido pela funo m:

(2)

Vemos que atravs de m possvel gerar variaes nas dimenses de um nico

padro conforme a configurao realizada pelo usurio.

4.5.3

Gerao da Prtica Sinttica

O objetivo principal de uma prtica sinttica gerar coordenadas
tridimensionais a partir de uma configurao baseada em sequncias11 de regncia s
quais possuem um ou dois padres de regncia associados, como pode ser visto no
diagrama abaixo:
Sequncia 1 (BPM: 60)
Padro A

Padro B

Sequncia 2 (BPM: 120)

Padro C

...
Sequncia 3 (BPM: 60)
Padro A

Padro D

Prtica sinttica
Figura 22 - Diagrama de uma prtica sinttica.

Estas coordenadas so armazenadas em um arquivo de prtica e possibilitam ao

estudante de regncia realizar treinamentos para aprimorar seus gestos, j que seu
11

Sequncia neste contexto se refere sequncia da prtica sinttica e no a uma sequncia

matemtica. Ser utilizada em itlico para diferenciar-se de sequncia matemtica.

33

movimento, o qual capturado pelo Kinect, ser comparado ao que foi produzido
sintticamente pelo algoritmo a ser descrito nesta seo. Gerar tais coordenadas
sintticas uma tarefa que envolve:
1. Simular como um padro qualquer seria executado normalmente por um
humano (regente).
Se assumssemos que a mo associada ao padro de regncia se movimenta
com velocidade constante atravs do padro de regncia, por mais que a
BPM informada no padro e seus tempos sejam respeitados, estaramos
criando um movimento artificial e o qual seria replicado pelo usurio da
aplicao durante o treinamento, levando o estudante a um movimento longe
do real. Portanto, foi preciso encontrar uma funo que distribusse os pontos
do padro, respeitando o tempo informado no padro e na BPM da sequncia,
para uma movimentao mais prxima da real.
DRISCOLL (1999) observou os movimentos executados por diversos
regentes e verificou que o grfico que tais movimentos produzem no eixo y
similar ao da funo seno. Portanto, o algoritmo desenvolvido faz uso desta
funo a qual est diretamente associada BPM da sequncia a qual o padro
pertence e quantidade de tempos do padro.

2. Encadear uma sequncia de padres, isto , cada um de seus dados, ao

longo do tempo;
Como visto anteriormente, uma sequncia possui uma determinada BPM, e
poder possuir um ou dois padres de regncia, cada qual associado
unicamente a uma mo do regente. Cada padro est associado a uma
profundidade (prximo, mdio ou distante). Assim, preciso interpretar cada
sequncia configurada na prtica, passando por cada um de seus padres e
gerando dados a partir do processo mencionado em (1).

3. Traduzir os padres, at ento exibidos bidimensionalmente, do espao

2D para o 3D.
At o momento, os padres de regncia foram utilizados no espao
bidimensional, entretanto, o usurio do sistema (e.g. estudante de regncia)
treinar no espao tridimensional, e como desejamos medir a preciso do
movimento nos trs eixos (x, y e z) devemos definir um valor em z para os
pontos dos padres informados nas sequncias definidas atravs de um
critrio determinado.

Podemos entender que cada padro de regncia utilizado pela aplicao como
um vetor e que cada posio armazena uma coordenada bidimensional. Por exemplo:
34

ndices

50

Pontos (3, 4) (3, 5) (3, 6) ... (4, 7) (5, 8) n

Tempo

Figura 23 - Pontos e ndices armazenados.

A figura acima ilustra um padro de regncia formado por n pontos e que

possui 2 tempos, os quais podem ser identificados nas posies 3 e 50 do vetor de
Pontos. Isto , nas coordenadas (3, 6) e (5, 8) temos o tempo 1 e 2 do padro
respectivamente. Estes ndices para os pontos que marcam os tempos so armazenados
no vetor de ndices que, conforme exemplo acima, possui dois elementos.
Trabalhar com ndices torna possvel saber quantos pontos existem entre dois
tempos de um padro atravs da subtrao dos respectivos ndices. Tomando como
base o exemplo acima, h 47 pontos entre o tempo 1 e 2. Esta quantidade de pontos no
intervalo pode ser interpretada como a distncia a ser percorrida pelo tempo
=

,...,

a sequncia matemtica dos pontos que

determinado conforme a BPM da sequncia.

compem um padro de regncia e n = &o , o , o , . . . , o6 ) o conjunto dos ndices

Sejam

em

de forma que

pq r

representa um ponto onde h marcao de tempo (beat).

Observe que U < -, isto | | < |n|, j que existem mais pontos em um padro de

regncia do que marcaes de tempo associadas ao padro, como pode ser visto
abaixo:

Figura 24 - Padro de regncia e os valores de m e n.

ter um conjunto n = &279, 324, 502) associado onde

w2 ,

! , x1

Por exemplo, considere o padro logo acima o qual nomearemos , este poderia

marcao de tempo pertencentes a .

35

seriam pontos de

Considere agora uma sequncia matemtica de padres j =

,,

1 [ 2 representando uma sequncia a qual poder possuir um ou dois padres

com

associados e ] uma constante a qual representa a BPM associada a j. Isto , em

um padro de uma sequncia j onde ] = 60, significa dizer que a cada

{1
|

{1
{1

=1

segundo a distncia parcial (distncia entre duas marcaes de tempo) deste padro

dever ser percorrida a exemplo disto temos a Figura 25 a qual retrata o tempo que
leva para percorrer as distncias parciais conforme a BPM varia. Observe que a cada
padro

=} ,

,...,

n = o , o , o , . . . , o6q

~ da sequncia j, est associado um conjunto de ndices

Figura 25 - Padro de 3 tempos em diferentes BPM.

Sabemos que a taxa de atualizao de tela do Podium do Regente de

{1

V.

Portanto, dever existir um conjunto o qual cada elemento represente um incremento

desta taxa. Portanto, seja E = {1 , {1 , {1 , , | o conjunto de taxas de

{1

atualizao, considere a funo : &1, 2, 3, , U ) E , definida da seguinte

(, \) =

forma:

pq

5pq

|M
pq {1

em funo de so percorridos ao longo do tempo \ utilizando a funo seno a qual

A funo acima equivale a dizer que os pontos no intervalo de pontos definido

possui valor mximo quando \ =

{1
|

. Aqui a subtrao dos ndices utilizada para

obter a distncia parcial (quantidade de pontos) entre as duas marcaes de tempo, o

36

ndice de n que somado ao ndice do tempo de incio. Desta forma, para " &1, [),
qual multiplicado pelo resultado do seno. Isto, aps arredondamento, retornar um
com 1 [ 2 e &1, 2, 3, , U ) e \ E, gerada uma sequncia em em

funo do seno, simulando um movimento mais prximo do real.

Figura 26 - Exemplo de padro de regncia de 4

Figura 27 - Exemplo de padro de regncia de 2

tempos P1.

tempos P2.

o padro de regncia de 2 tempos ilustrado pela Figura 27. Se assumirmos n =

Por exemplo,

o padro de regncia de 4 tempos ilustrado pela Figura 26 e

&65, 120, 180, 249), n = &29, 120), j =

seguinte tabela:

1
1
1
1
1
2
2
2
2

1
60
2
60
3
60
...

1
60
2
60
3
60
1

...

( , )

...

{!

{{
{w
{2

...

, e ] = 60 (BPM), teremos a

( , )

...

...
37

Tempo 1

2
3
3
3
3

1
60
2
60
3
60
...

1
60
2
60
3
60

3
4
4
4

Tempo 2

...
w2

...

Tempo 3

...
!

Tempo 4
Fim da sequncia

( , ) para

Sabemos que (, \) retorna valores em , entretanto, queremos analisar o

Tabela 1 Amostra de valores de

movimento do usurio, fornecido pelo o Kinect, em . Por isso, precisamos definir

uma funo que leve os valores de (, \) para . Desta forma, para obtermos o
valor do novo eixo utilizamos o plano de profundidade associado ao padro de
regncia

. Isto , seja:

T &15, 25, 35) =

15, VW [ XPY[ WV\ -[ TX-[ PW Y[<_-P"PXPW YF"U[

25, VW [ XPY[ WV\ -[ TX-[ PW Y[<_-P"PXPW UP"[
35, VW [ XPY[ WV\ -[ TX-[ PW Y[<_-P"PXPW P"V\X-\W
(, \) = F,M , ,M

Definimos a funo : tal que (, \) = (F,M , ,M , T ). Como

sabemos que existe uma sequncia de sequncias definimos = j , j , j , , j ,

onde j , e F = P | P = (, \) , 7 (, \) como a sequncia de frames

que formam o arquivo de prtica sinttica final.
38

4.5.4

Algoritmo de Clculo de Nota de Execuo de Prtica

Para que o estudante possa ser avaliado quantitativamente, ao trmino do
treinamento calculada uma nota resultante da mdia da mdia da soma das distncias
entre as posies tridimensionais das juntas corporais entre o movimento realizado
com o esperado.
Entretanto para que possamos definir o conceito de pior e melhor nota foi
chamaremos de P .

necessrio atribuir um valor para caracterizar a pior distncia possvel a qual

Figura 28 - Comparao de frames de dois conjuntos F e F'.

Tomando como exemplo a Figura 28 e considerando que o Kinect captura 20

< = (F , , ), (F , , ), (F , , ), , (F 1 , 1 , 1 )
juntas

corporais,

para

cada

frame

< = (F , , ), (F , , ), (F , , ), , (F 1 , 1 , 1 ) calculamos

m , o qual representa a mdia da soma das distncias das juntas corporais entre < e <

da seguinte forma:

1
m = U"- :P, (F F ) + ( ) + ( ) ;
20

39

O resultado de m a mdia da soma das distncias euclidianas dos pontos que

compe os frames < e < . Durante a somatria, verificamos se a distncia calculada

maior do que P, e se isto for verdade, armazenaremos a pior distncia.

Seja k = U" -&||, | i |) , se acumularmos valores de m para cada par de

frames enquanto " for uma condio vlida, podemos somar tais valores e

calcular a mdia final com base nos frames analisados. Portanto, podemos calcular a
nota final - da seguinte forma:

1
m

- = 100 100
P

Por exemplo, se todas as distncias calculadas forem maiores ou iguais a P,

ento m = P, logo:

1
P
P
P
- = 100 -
100 = 100 - 100 = 100 100 = 100 100 = 0
P
P
P

o movimento realizado pelo usurio foi perfeito, ento m = 0, logo:

De forma contrria, se todas as distncias calculadas forem iguais a zero, isto ,

1
P0
0
0
- = 100 -
100 = 100 - 100 = 100 100 = 100 0 = 100
P
P
P

importante mencionar que a marcao de tempo na regncia coral um fator

importante, ou seja, se um regente inicia o movimento 5 segundos aps o esperado,
este movimento estar errado. Analogamente, se algum vai a um videok e canta a
msica que exibida no monitor com um atraso de 5 segundos em relao legenda, a
msica estar errada tambm, ou melhor, a msica foi cantada corretamente, mas fora
do tempo esperado. Esta a razo pela qual o algoritmo no busca uma
correspondncia entre os frames para que a comparao seja realizada.

4.5.5

Algoritmo de Deteco Automtica dos Tempos nos Padres de Regncia

Uma das funcionalidades da Biblioteca de Padres vistas na Seo 4.3 a
deteco automtica dos tempos no padro de regncia. Esta funcionalidade pode ser
<(F).

compreendida como um problema de localizao dos mnimos locais de uma funo

40

Dizemos que um uma funo <(F) possui um mnimo em F = X se <(X) for

<(o) > <(X).

menor do que qualquer valor anterior ou posterior

a X denotado por o tal que

Entretanto, como na aplicao no temos uma funo que caracterize a curva a

qual representa o padro de regncia, mas somente pontos representando coordenadas

bidimensionais, podemos realizar a observao da alterao dos valores no eixo y, da
Seja = ( , , , , ) c a sequncia dos valores do eixo y para os

seguinte maneira:

pontos pertencentes ao padro de regncia configurado e tal que

considerado mnimo, se &1, ) e &

4.6

, 5 ).

Usabilidade
Um dos fatores de sucesso de um software sua usabilidade. Segundo ABNT
(2002), usabilidade proporcionar que usurios alcancem seus objetivos e satisfaam
suas necessidades em um contexto particular de uso.
Desta forma, os conceitos bsicos da NBR 9241-11 padro responsvel por
definir o conceito de usabilidade em software, foram aplicados para tornar a
experincia do usurio agradvel e mensurvel, permitindo determinar se os estudantes
e professores de regncia coral consideram o uso do produto aceitvel.
O contexto de uso de um software consiste em: usurios, tarefas, equipamentos
(hardware, software e materiais), e do ambiente fsico e social, pois todos esses podem
influenciar a usabilidade de um produto dentro de um si stema de trabalho. No tocante
do ensino da regncia podemos descrever estes itens da seguinte maneira:

Hardware dever ser de simples manipulao para o usurio final, que

no dever se preocupar com complexidades, especificidades ou
problemas tcnicos para que consiga usufruir do software proposto. Isso
necessrio porque pressupe-se que o pblico-alvo no possui
conhecimento tcnico profundo para lidar com tais desafios e problemas
tcnicos. O uso do Kinect contribui neste sentido j que para faz-lo
funcionar basta conectar o sensor tomada e ao computador via entrada
USB;
41

Ambiente fsico os possveis ambientes para o uso do software so: (i)

salas de aula; (ii) anfiteatros; (iii) teatros; (iv) ginsios; (v) ambientes
externos; (vi) outros. A principal diferena entre estes a variao de
luminosidade. Entretanto, como o Kinect foi escolhido como sensor, e
como este utiliza feixes de raios infravermelhos para obter o mapa de
profundidade do usurio em cena (posio tridimensional das juntas
corporais), a luminosidade do ambiente indiferente para o resultado
final da captura;

Ambiente social composto majoritariamente por estudantes e

professores de regncia coral. Portanto, o linguajar utilizado pelo
software dever seguir os termos tcnicos utilizados no ensino da
regncia coral, facilitando a ambientao e reduzindo o tempo de
aprendizado do software;

Software a ser descrito adiante nesta Seo. Entretanto, segundo

MORIMOTO (2005), os seguintes princpios de usabilidade devero ser
seguidos:
o Fcil de aprender, requerendo pouco treinamento formal;
o Facil de memorizar;
o Maximizador da produtividade, permitindo a realizando de
tarefas de forma eficiente e rpida;
o Minimizador da taxa de erros, informando o usurio
corretamente e possibilitando fcil correo;
o Maximizador da satisfao do usurio, dando-lhe confiana e
segurana.

Para que isto ocorra, necessrio compreender o contexto que permeia o

software, seu propsito, qual ambiente este estar inserido, a linguagem e a linha de
pensamento utilizadas pelos indivduos participantes e inseridos no contexto. Tudo
isso pode ser resumido em uma palavra: ergonomia. E a traduo desta para o universo
do software se d atravs de ferramentas que a atendam, representadas por dilogos de
interface, fontes, campos, botes, disposio da informao, teclas de atalho, etc.
O processo de traduo descrito acima geralmente ocorre atravs de tcnicas de
avaliao baseadas em casos de usos, prottipos ou outros sistemas tomados como
42

base e que so utilizados para validar o design do software em desenvolvimento. A

Figura 29 ilustra todo processo citado:

Figura 29 - Viso Geral da Interao Homem-Computador.

Adaptado de GREENBERG (2004).

No software desenvolvido o uso e o contexto da aplicao foram

compreendidos atravs do contato direto com os alunos e o professor de regncia coral
durante um semestre de aula, em encontros que ocorriam duas vezes por semana. Com
isso, pde-se compreender tambm a linguagem e a maneira com que as informaes
eram processadas pelos alunos medida que o professor expunha novos tpicos de
regncia coral isto pode ser entendido como o Processamento De Informaes
Humanas e a compreenso da Linguagem, Comunicao e Interao, ambos
representados na Figura 29.
O refinamento do software desenvolvido, principalmente no tocante da
interface de usurio, ocorreu atravs da validao de prottipos. A principal vantagem
desta abordagem (prototipao) que o software desenvolvido sem grandes desvios
dos requisitos j que a cada iterao melhorias so realizadas de modo a manter o
software fiel s funcionalidades inicialmente listadas.
43

O principal desafio foi disponibilizar a interface do software da melhor maneira

possvel para o usurio final, focando nos princpios citados anteriormente. A razo
disto foi devido ao fato do usurio final no saber claramente o que possvel de ser
realizado atravs da tecnologia, razo pela qual a participao direta durante a
disciplina e o uso da prototipao terem sido fundamentais na criao do software
final.
4.7

Experincia do Usurio
De acordo com o modelo de HASSENZAHL (2004), os usurios constroem os
atributos de um produto atravs da combinao de funcionalidades (e.g. apresentao,
contedo, funcionalidade e interao) com suas expectativas e percepes pessoais. J
o carter de um produto um grupo destes atributos que pode ser compreendido como
uma estrutura cognitiva que integra tais atributos e suas covariaes.
Ainda segundo tal modelo, dois grupos distintos de atributos existem: os
pragmticos e os hednicos. Os pragmticos esto conectados com a necessidade do
usurio em conseguir atingir seus objetivos ao utilizar o produto, e acima de tudo,
atingir os objetivos requer utilidade e usabilidade. Desta forma, um produto que
permita ao usurio alcanar seus objetivos de maneira eficaz e eficiente percebido
como pragmtico.
Em contraste, os hednicos esto relacionados percepo interior do usurio,
ou seja, com a (1) estimulao e (2) identificao do usurio mediante ao uso da
ferramenta que respectivamente, de acordo com LEVENTHAL et al. (1996) e LOGAN
et al. (1994), esto ligados a (i) novidades e desafios; e (ii) o desejo do ser humano se
expressar atravs de objetos sendo ambos necessidades humanas. Isso torna o estudo
da experincia do usurio subjetiva (LAW et al. apud ROTO et al; 2009). O software
presente tratou os atributos pragmticos, j que o estudo dos atributos hednicos
requer profundo estudo da cognio humana.

4.8

Arquitetura do Software
A arquitetura retrata todos os componentes utilizados pelo sistema, expressando
suas funes e as interaes entre os seus componentes. De acordo com SEI (2013), a
arquitetura de um software descreve um sistema computacional e auxilia no
44

entendimento de como este se comportar. Ela serve como documento e guia para a
equipe do projeto, j que define tarefas que devero ser cumpridas durante o desenho e
desenvolvimento da soluo. A arquitetura a primeira responsvel pelas qualidades
do sistema como: (i) desempenho, (ii) flexibilidade e (iii) segurana - estas no podem
ser obtidas sem uma viso arquitetural unificada. Por ltimo, a arquitetura um
artefato utilizado durante as anlises iniciais e utilizada para certificar que a
abordagem de desenho da soluo leva a um sistema aceitvel. Atravs da construo
de uma arquitetura efetiva, riscos podem ser identificados e mitigados nos estgios
iniciais do desenvolvimento.
As premissas que foram utilizadas para realizar o desenho da arquitetura do
sistema foram:

Promoo da troca de arquivos de configurao entre usurios. Alguns

exemplos disto seriam:
o Professor envia por e-mail um arquivo de configurao contendo
uma nova prtica para que um grupo de estudantes a realize;
o Estudante

envia

resultado

da

realizao

da

prtica

(treinamento) para o professor, que poder visualiz-la e analisla, utilizando as funcionalidades citadas em 4.3;
o Novo padro de regncia criado e compartilhado entre os
alunos para que novas prticas possam ser criadas utilizando-o.

Armazenar dados em arquivos estruturados, legveis e que possibilitem

a facil leitura tanto por usurios, quanto pelo software. Para atender tal
necessidade, o padro XML foi adotado. Exemplos de configuraes
que utilizam o padro:
o Padres de regncia;
<?xml version="1.0"?>
<pattern name="Kurt Thomas - 4 Tempos" comment="Kurt Thomas - 4 Tempos"
tempos="4" maxAvailableHeight="300" maxAvailableWidth="300">
<point type="UNKNOWN" status="A" tempo="-1" x="140" y="20" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="142" y="263" z="0" />
<point type="UNKNOWN" status="A" tempo="0" x="155" y="276" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="155" y="140" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="106" y="128" z="0" />

45

<point type="UNKNOWN" status="A" tempo="1" x="72" y="159" z="0" />

<point type="UNKNOWN" status="A" tempo="-1" x="58" y="136" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="92" y="105" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="149" y="95" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="191" y="123" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="208" y="169" z="0" />
<point type="UNKNOWN" status="A" tempo="2" x="227" y="218" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="269" y="202" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="278" y="80" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="255" y="22" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="206" y="18" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="179" y="58" z="0" />
<point type="UNKNOWN" status="A" tempo="3" x="160" y="60" z="0" />
<point type="UNKNOWN" status="A" tempo="-1" x="140" y="20" z="0" />
</pattern>

Tabela 2 - XML referente ao padro exibido na Figura 17.

Na tabela Tabela 2 acima, o elemento pattern identifica

unicamente um padro de regncia configurado anteriormente
na Biblioteca de Padres (ver Figura 17). Este elemento possui
quatro atributos: (a) name o qual identifica unicamente o nome
do padro; (b) comment comentrio o qual explica o padro,
sendo opcional; (c) tempos identifica quantos tempos existem
no padro criado; (d) maxAvailableHeight valor o qual
identifica o tamanho vertical da janela no qual o padro foi
criado este valor utilizado para conseguir escalar o padro
em outras telas de maneira apropriada; e (e) maxAvailableWidth
valor o qual identifica o tamanho horizontal da janela no qual
o padro foi criado este valor utilizado para conseguir
escalar o padro em outras telas de maneira apropriada.
Os

demais

elementos,

identificados

por

point

representam um ponto de controle o qual faz parte do padro de

regncia. Este ponto de controle identificado pelos seguintes
atributos: (i) type identifica o tipo do ponto, quando o ponto
no pertence a um movimento gravado, onde sabe-se a qual
parte corporal ele se refere, ele classificado como
UNKNOWN, como no exemplo acima; (ii) status identifica se
46

o ponto est ativo (A) ou inativo (I). Pontos inativos so

utilizados para indicar que o ponto no dever ser utilizado para
validao. utilizado no caso de prticas sintticas, onde todas
as juntas corporais so geradas, mas efetivamente somente as
juntas das mos so vlidas; (iii) tempo identifica se o ponto
de controle uma marcao de tempo (valor maior ou igual a
zero) ou no (-1); (iv) x valor do ponto no eixo x; (v) y valor
do ponto no eixo y; (vi) z valor do ponto no eixo y, como o
Editor de Padres trabalha somente em dois eixos (x, y), o valor
de z sempre ser zero. Entretanto, este eixo foi deixado para que
no futuro, caso o editor funcione tridimensionalmente, haja
suporte adequado.
o Prticas sintticas para estas dois arquivos so gerados:
Arquivo com representao da configurao realizada no
Editor de Prticas de Regncia;
Arquivo contendo sequncia interpolada de pontos
seguindo as sequncias configuradas no Editor de
Prticas de Regncia e que ser utilizado efetivamente
para comparao com os movimentos realizados pelo
estudante ou durante o modo de exibio (replay);
o Prticas gravadas aqui tambm depois arquivos so gerados:
Arquivo com representao da prtica gravada contm
informaes bsicas sobre quem gravou tal prtica
(Tabela 3). Neste so identificados o ttulo da prtica
(elemento title); a data de criao da mesma (elemento
creationDate); e o arquivo o qual contm os dados das
coordenadas capturadas (elemento datafile):
<?xml version="1.0"?>
<practiceGUI type="Recorded">
<title>Unsaved_20130522_231935</title>
<creationDate>5/22/2013 11:19:35 PM</creationDate>
<dataFile>Recorded_20130522_231935.pra</dataFile>
</practiceGUI>

47

Tabela 3 - XML de representao de prtica gravada

Arquivo com dados capturados pelo sensor - como no

h configurao via Editor de Prticas de Regncia, o
arquivo gerado equivale ao arquivo de interpolao
citado para as prticas sintticas logo acima, com a nica
diferena de que, diferentemente de uma prtica sinttica
onde diversas sequncias existem, neste tipo de prtica
h somente uma nica sequncia com todas as
coordenadas dentro deste n XML.
Desta forma, como toda informao armazenada segue o padro XML, caso
deseje, possvel criar novas interfaces grficas para o usurio final, de modo que
estas gerem arquivos no mesmo formato XML estabelecido, garantindo assim a
compatibilidade entre tais interfaces e as j existentes.

Figura 30 - Arquitetura do software.

A Figura 30 ilustra os componentes abordados nesta seo, assim como as

bibliotecas envolvidas. Pode-se ver que h um menu principal o qual guia o usurio
entre os diferentes mdulos da aplicao. Quando o usurio deseja visualizar ou treinar
48

uma das prticas criadas, ele utiliza o visualizador (Podium do Regente) o qual recebe
os arquivos XML de prticas como entrada. Todos os mdulos fazem uso de uma
biblioteca com funes e classes (objetos) de uso comum entre os mdulos, alm das
bibliotecas nativas do Kinect e do XNA para realizar, respectivamente, a captura das
coordenadas corporais do corpo do usurio e a exibio de tais informaes na tela.

49

Captulo 5: Concluso
5.1

Resultados Obtidos
Foram comparadas notas de 5 alunos de graduao em regncia coral que
realizaram 10 treinamentos consecutivos de uma mesma prtica sinttica onde todos os
planos de profundidade eram explorados.

Figura 31 - Prtica sinttica utilizada para treinamento.

Pde-se observar que ao trmino do dcimo treinamento, houve uma

significativa melhora na execuo dos movimentos por parte dos estudantes, como
pode ser visto na Tabela 4 a seguir:

50

Estudante 1
2
3
4
1
64
66
69
70
2
25
29
26
28
3
58
63
67
69
4
49
47
45
52
5
36
42
45
47
Mdia
46.4 49.4 50.4 53.2

Treinamento
5
6
75
74
27
29
72
74
50
49
49
58
54.6 56.8

Cresc. 1-10 Cresc. 6-10

7
8
9
10
%
%
76
80
79
78
21.9
5.41
32
40
42
43
72
48.28
71
75
73
74
27.6
0
53
55
54
56
14.3
14.29
52
53
59
55
52.8
-5.17
56.8 60.6 61.4 61.2
31.9
7.75

Tabela 4 - Resultado de 10 treinamentos consecutivos para 5 usurios.

Atravs da Tabela 4, observamos um avano de 31.9% entre a mdia das

primeiras e das ltimas notas dos estudantes. Entretanto, esse percentual deve ser
compreendido com cautela, j que nos treinamentos iniciais o usurio, embora no em
todos os casos, ainda no estava familiarizado com o software, justificando assim as
notas baixas iniciais. Portanto, de modo a obter uma taxa de crescimento mais prxima
da real, outro percentual foi obtido considerando os treinamentos do sexto em diante, o
qual restou em uma mdia de 7.75%, o que parece refletir melhor a realidade, j que
mais difcil aprimorar a tcnica a partir quando se domina a ferramenta, neste caso,
caso o software.
90
80
Estudante 1
70
Estudante 2

Nota

60
50

Estudante 3
40
Estudante 4

30
20

Estudante 5

10
Mdia da Nota dos
Estudantes

0
1

10

Treinamento

Figura 32 - Anlise do resultado dos treinamentos.

De qualquer modo, pode-se concluir que o software ajudou no aprimoramento

do movimento realizado pelo estudante durantes a execuo da prtica. Um ponto
51

importante a ser observado que pode-se dizer que nenhum estudante conseguiu obter
uma nota superior a 80, o que indica que o critrio de avaliao utilizado talvez esteja
muito rgido e precise de alguns ajustes.
5.2

Principais Desafios
O tempo de implementao do software foi de aproximadamente 708 horas,
extrapolando o planejado no cronograma exibido durante o exame e documento de
qualificao. As principais causas para isto ter ocorrido foram:

Desafios tcnicos maiores do que o esperado:

o Dificuldade na realizao do mapeamento de juntas corporais ao modelo
tridimensional exibido;
Esforo excessivo para a gerao de dados interpolados a partir de

configurao da prtica sinttica;

o Adaptaes arquiteturais para suportar funcionalidades;
o Estudo dos algoritmos aplicados.

5.3

Ajustes para refletir corretamente conceitos da regncia coral;

Estudo sobre usabilidade e experincia do usurio.

Contribuies
Este trabalho, embora seja focado para o ensino da regncia coral, pode ser
utilizado como base de expanso para outras reas como:

Reabilitao de movimentos, entre outras reas da fisioterapia;

Treinamentos esportivos, onde movimentos precisam ser aprimorados;

reas correlatas da regncia e msica.

Alm das reas supracitadas, qualquer outra que utilize movimentos corporais
para um determinado objetivo poder ser beneficiada, j que o software apresentado
pode ser compreendido como uma plataforma de comparao de movimentos
corporais.

52

5.4

Prximos Passos
Observou-se que as interfaces ainda precisam ser melhoradas. O Podium do
Regente, por exemplo, poderia fornecer informaes sobre os movimentos executados
pelo usurio em tempo de execuo, indicando por exemplo:

Quanto que o movimento est sendo realizado corretamente por

exemplo, indicar atravs de cores (gradiente do vermelho ao verde
pior ao melhor);

O que o estudante pode fazer para corrigir seu movimento;

Indicar exatamente onde os erros esto sendo cometidos.

Atualmente, o Podium do Regente gera uma nota ao final, que embora indique
algo, no diz precisamente o que deve ser melhorado pelo usurio.
importante citar que at o momento no existe aplicao com este foco
especfico, portanto a criao de artigos multidisciplinares e a publicao de artigos em
revistas de regncia coral uma possibilidade real.

53

Captulo 6: Referncias
Bibliogrficas
ABNT - ASSOCIAO BRASILEIRA DE NORMAS TCNICAS. NBR 9241-11:
Requisitos Ergonmicos para Trabalho de Escritrios com Computadores. Parte
11

Orientaes

sobre

Usabilidade,

2002.

Disponvel

em

http://www.inf.ufsc.br/~cybis/pg2003/iso9241-11F2.pdf. Acessado em 02/06/2011.

AGNCIA

DETALHES.

Kinect

Educao,

2011.

Disponvel

em

http://www.kinecteducacao.com.br/. Acessado em 16/02/2011.

ANDERSON, Ronald. Conducting Clarity Through the "Box Technique!", s.d.
Disponvel

em

http://www.tsmp.org/choir/randerson/anderson_conducting_clarity.html. Acessado em
08/06/2013.
BOURKE,

Paul.

Interpolation

Methods,

1999.

Disponvel

em

http://paulbourke.net/miscellaneous/interpolation/. Acessado em 28/07/2013.

BRANCO, Heloiza de Castello. A contribuio do estudo do sistema laban para o
gestual

do

regente,

s.d.

Disponvel

http://www.uel.br/pos/musica/pages/arquivos/LabanSimpemus.pdf.

Acessado

em
em

28/05/2013.
BRUEGGE, Bernd; TESCHNER, Christoph; LACHENMAIER, Peter; FENZL, Eva;
SCHMIDT, Dominik; BIERBAUM, Simon. Pinocchio: Conducting a Virtual
Symphony Orchestra, 2007. Universidade Tcnica de Munique. Disponvel em
http://eprints.lancs.ac.uk/41518/1/2007_-_Bruegge%2C_B_-_Pinocchio__Conducting_a_Virtual_Symphony_Orchestra.pdf. Acessado em 28/02/2012.
CATMULL, E; ROM, R. A Class of Local Interpolationg Splines, 1974. Computer
Aided Geometric Design, Academic Press, Nova Iorque, 1974.
CHESNOKOV, Pavel. The Choir and How to Direct It, 2010. Musica Russica, 2010.
54

CORMEN, Thomas H; LEISERSON, Charles E; RIVEST, Ronald L; STEIN Clifford.

Introduction to Algorithms, 2. Edio, 2001. The MIT Press.
DECKER, Harold A; HERFORD, Julius. Choral Conducting Symposium 2.
Edio, 1988. Prentice Hall, 1988.
DEMAREE, Robert W; MOSES, Don V. The Complete Conductor, 1995. PrenticeHall, 1995.
DESMET, P. M. A. Designing Emotions, 2002. Dissertao de Doutorado.
Universidade Tcnica de Delft.
DRISCOLL, Michael T. A Machine Vision System for Capture and Interpretation
of

an

Orchestra

Conductor's

Gestures,

1999.

Disponvel

em

http://www.wpi.edu/Pubs/ETD/Available/etd-051199-142455/unrestricted/driscoll.pdf.
Acessado em 31/07/2013.
EHMANN, Wilhelm. Choral Directing, 1968. 1 Edio, Augsburg Fortress Pub,
1968.
FUJINAGA, Ichiro; TOBEY, Forest. Extraction of Conducting Gestures in 3D
Space,

1996.

Disponvel

em

http://quod.lib.umich.edu/cgi/p/pod/dod-

idx?c=icmc;idno=bbp2372.1996.092. Acessado em 29/02/2012.

GARNETT, Guy E; BRECHT, Bennett. Conductor Follower, 1992. Universidade da
Califrnia.

Disponvel

em

http://quod.lib.umich.edu/cgi/p/pod/dod-

idx?c=icmc;idno=bbp2372.1995.056. Acessado em 28/02/2012.

GARRETSON, Robert L. Conducting Choral Music, 1998. 8 Edio, Prentice Hall,
1998.
GEHRKENS, Karl W. ESSENTIALS IN CONDUCTING, 2007. Disponvel em
http://www.gutenberg.org/files/22392/22392-h/22392-h.htm#CHAPTER_I. Acessado
em 26/05/2013.

55

GMCCB, Apostila Livre de Regncia: Estudo dirigido para orquestras, s.d.

Disponvel

em

http://www.gmccb.com/files/Apostila-Livre-de-Regencia-para-

Orquestras-CCB.pdf. Acessado em 03/03/2012.

GREENBERG, Saul. Map of Human Computer Interaction, 2004. Material didtico
do curso Lecture Topics in Human Computer Interaction da Universidade de Calgary.
Disponvel

em

http://pages.cpsc.ucalgary.ca/~saul/hci_topics/powerpoint_presentations/hci_map.ppt.
Acessado em 02/06/2013.
GRLL, Ingo. conga: A Conducting Gesture Analysis Framework, 2005.
Disponvel

em

http://hci.rwth-aachen.de/materials/publications/gruell2005a.pdf.

Acessado em 29/02/2012.
HASSENZAHL, M. The interplay of beauty, goodness, and usability in interactive
products, 2004. Human-Computer Interaction 19, 4; 2004.
HODGES, Steve; FITZGIBBON, Andrew. KinectFusion: Real-Time Dense Surface
Mapping and Tracking, 2011. Artigo apresentado no ISMAR de Outubro de 2011.
HONG, Dongpyo; WOO, Woontack. A Background Subtraction for a Vision-based
User Interface, 2003.
HORPRASERT T; HARWOOD, D. A statistical approach for real-time robust
background subtraction and shadow detection, 1999. Technical report, Computer
Vision Laboratory, University of Maryland, EUA.
HUANG, Zhi-Kai; CHAU, Kwok-Wing. A New Image Thresholding Method Based
on Gaussian Mixture Model, 2008. Applied Mathematics and Computation, Vol.
205, N. 2, 2008, pginas 899-907.
ICMC. ICMC, 2012. Disponvel em http://www.computermusic.org/page/23/.
Acessado em 16/02/2012.
IRURTIA, Luis Unzueta. Markerless Full-Body Human Motion Capture And
Combined Motor Action Recognition For Human-Computer Interaction, 2009.
56

Disponvel

em

http://tcc-fei2010.googlecode.com/svn-

history/r3/trunk/PhD_Luis_Unzueta.pdf. Acessado em 16/02/2012.

JHNE, Bernd, HAUECKER, Horst. Computer Vision and Applications: A Guide
for Students and Practitioners, 2000. Academic Press, 2000.
JOYSTIQ. Kinect: The company behind the tech explains how it works, 2010.
Disponvel

em

http://www.joystiq.com/2010/06/19/kinect-how-it-works-from-the-

company-behind-the-tech/. Acessado em 27/11/2011.

JORDANIA, Joseph. Who Asked the First Question? The Origins of Human
Choral Singing, Intelligence, Language and Speech, 2006.

Disponvel em

http://www.polyphony.ge/uploads/whoaskthefirst.pdf. Acessado em 12/04/2011.

JABRI, Sumer; DURIC, Zoran; WECHSLER; Harry; ROSENFELD; Azriel.
Detection and Location of People in Video Images Using Adaptive Fusion of
Color and Edge Information, 2000.
JOY,

Kenneth

I.

Catmull-Rom

Splines,

2002.

Disponvel

http://graphics.cs.ucdavis.edu/~joy/ecs278/notes/Catmull-Rom-Spline.pdf.

em

Acessado

em 17/07/2013.
JUNG, C. F. Metodologia para pesquisa & desenvolvimento: aplicada a novas
tecnologias, produtos e processos, 2004. Rio de Janeiro/RJ: Axcel Books do Brasil
Editora, 2004.
KARAMAN,

Mustafa;

GOLDMANN,

Lutz;

YU,

Da;

SIKORA,

Thomas.

Comparison of Static Background Segmentation Methods, 2005. Disponvel em

http://elvera.nue.tu-berlin.de/files/0744Karaman2005.pdf. Acessado em 09/01/2011.
KLETTE, Reinhard. Material didtico do curso: Advanced Multimedia Imaging:
COMPSCI 775 Semester 2, Tamaki Campus, 2007. University of Auckland, New
Zealand.
LAW, E; ROTO, V; HASSENZAHL, M; VERMEEREN, A; KORT, J.
Understanding, Scoping and Defining User eXperience: A Survey Approach. In
57

Proc, 2009. ACM SIGCHI conference on Human Factors in Computing Systems,

CHI09.
LEE, Eric; WOLF, Marius; BORCHERS, Jan. Improving Orchestral Conducting
Systems in Public Spaces: Examining the Temporal Characteristics and
Conceptual Models of Conducting Gestures, 2005. Universidade de Aachen.
Disponvel

em

http://hci.rwth-aachen.de/materials/publications/lee2005a.pdf.

Acessado em 28/02/2012.
LEVENTHAL, L; TEASLEY, B; BLUMENTHAL, B; INSTONE, K; STONE, D;
DONSKOY, M. V. Assessing user interfaces for diverse user groups: Evaluation
strategies and defining characteristics, 1996. Behaviour & Information Technology.
LOGAN, R. J; AUGAITIS, S; RENK, T. Design of simplified television remote
controls: A case for behavioral and emotional usability, 1994. In Proceedings of the
38th Human Factors and Ergonomics Society Annual Meeting (pginas 365369).
Santa Mnica, CA: HFES.
MKEL, A; FULTON, S, J. Supporting Users Creativity: Design to Induce
Pleasurable Experiences, 2001. Proceedings of the International Conference on
Affective Human Factors Design, pginas. 387-394.
MATSUMURA, Keila Keiko; SONNINO, Roberto. Fusion4D - Interface Natural e
Imersiva

Para

Manipulao

de

Objetos

3D,

2011.

Disponvel

em

http://www.interlab.pcs.poli.usp.br/fusion4d/docs/Monografia%20-%20Fusion4D.pdf.
Acessado em 16/02/2012.
MAURER, Uwe; ROWE, Anthony; SMAILAGIC, Asim; SIEWIOREK Daniel P.
eWatch: A Wearable Sensor and Notification Platform, 2006. Universidade de
Carnegie Mellon e Universidade Tcnica de Munique.
MORIMOTO, Carlos H, Princpios de Interao Humano Computador, 2005.
Material didtico dos cursos MAC0446 e MAC5768 da Universidade de So Paulo.
Disponvel em http://www.ime.usp.br/~hitoshi/cursos/ihc/aulas/aula01-Introducao.pdf.
Acessado em 02/06/2013.
58

NAKRA, Teresa Marin. Inside the Conductors Jacket: Analysis, Interpretation

and

Musical

Synthesis

of

Expressive

Gesture,

2000.

Disponvel

em

http://vismod.media.mit.edu/tech-reports/TR-518/. Acessado em 28/02/2012.

NEWCOMBE, Richard A; IZADI, Shahram; HILLIGES, Otmar; MOLYNEAUX,
David; KIM, David; DAVIDSON, Andrew J; KOHLI, Pushmeet; SHOTTON, Jamie.
NITE, NITE Algorithms 1.3, 2012. PrimeSense.
NUNES, Maria Augusta S. N; REHEM, Almerindo; BEZERRA, Jonas S; ROCHA,
Alex; SANTOS, Celso A. S. Uso Do Kinect Para A Extrao De Caractersticas
Afetivas Do Usurio, 2011. Anais do XXII SBIE - XVII WIE. Universidade Federal
de

Sergipe

Universidade

Federal

da

Bahia.

http://www.dcomp.ufs.br/~gutanunes/hp/publications/nunes.pdf.

Disponvel

em

Acessado

em

16/02/2012.
OIKONOMIDIS, Iason. KYRIAZIS, Nikolaos. ARGYROS, Antonis. Efficient
Model-based 3D Tracking of Hand Articulations using Kinect, 2011. Disponvel
em
http://www.ics.forth.gr/~argyros/mypapers/2011_09_bmvc_kinect_hand_tracking.pdf.
Acessado em 16/02/2012.
PEDRINI, Hlio; SCHWARTZ, William Robson. Anlise de Imagens Digitais:
Princpios, Algoritmos e Aplicaes, 2008. Thomson Learning, 2007.
PICARD, Rosalind; MARRIN, Teresa. The "Conductor's Jacket": A Device for
Recording

Expressive

Musical

Gestures,

1998.

Disponvel

em

http://vismod.media.mit.edu/pub/tech-reports/TR-470.pdf. Acessado em 28/02/2012.

PREMO.

How

does

PrEmo

work?

2013.

Disponvel

http://www.premotool.com/about-premo/how-does-premo-work/.

Acessado

em:
em

22/06/2013.
QUEIROZ, Murilo. Kinect MAME: Gladiator (Taito, 1986), 2011. Disponvel em
http://muriloq.com/blog/2011/01/kinect-mame-gladiator-taito-1986/.
16/02/2012.
59

Acessado

em

RAMOS, Marco Antonio da Silva. O ensino da regncia coral, 2003. Trabalho

apresentado como requisito parcial para concurso de habilitao livre-docncia junto
Escola de Comunicaes e Artes da Universidade de So Paulo, 2003.
RAMOS, Marco Antonio da Silva. Escolas de Regncia da tradio coral: Questes
tcnicas no Brasil e no panorama internacional, 2011. Concurso para Professor
Titular em Regncia Coral para o Departamento de Msica (CMU) da Escola de
Comunicaes e Artes da Universidade de So Paulo.
RAMOS, Marco Antonio da Silva. Notas de Aula da disciplina: Anlise Musical
para Performance: Interfaces entre Criao e Interpretao a Partir do Universo
Coral, 2011b. Departamento de Msica (CMU) da Escola de Comunicaes e Artes
da Universidade de So Paulo.
VIRPI, Roto; MARIANNA, Obrist; KAISA, Vnnen-Vainio-Mattila. User
Experience Evaluation Methods in Academic and Industrial Contexts, 2009.
Tampere University of Technology, Nokia Research Center and University of
Salzburg.

Disponvel

em

http://www.cs.tut.fi/~kaisavvm/UXEM09-

Interact_ObristRotoVVM.pdf. Acessado em 21/06/2013.

SANDBERG, David; FORSSN; Per-Erik; OGNIEWSKI, Jens. Model-Based Video
Coding

Using

Colour

and

Depth

Cameras,

2011.

Disponvel

em

http://www.acvt.com.au/wp-content/uploads/2011/12/sandberg_dicta111.pdf.
Acessado em 03/01/2012.
SCHERER, Klaus R. What are emotions? How can they be measured? 2005.
Disponvel

em

http://ssi.sagepub.com/content/44/4/695.abstract.

Acesado

em

22/06/2013.
SCHMIDT, Dominik; SMAILAGIC, Asim; DANNENBERG, Roger B; SIEWIOREK,
Daniel P. Learning an Orchestra Conductors Technique Using a Wearable
Sensor Platform, 2007. 11. Simpsio Internacional do IEEE em Wearable
Computers, 2007.

60

SEI.

What

Is

Software

Architecture?

2013.

Disponvel

em

http://www.sei.cmu.edu/architecture/. Acessado em 18/06/2013.

SHAPIRO, Linda; STOCKMAN, George. Computer Vision, 2001.
SHOTTON, Jamie; FITZGIBBON, Andrew; COOK, Mat; SHARP, Toby;
FINOCCHIO, Mark; MOORE, Richard; KIPMAN, Alex; BLAKE, Andrew. RealTime Human Pose Recognition in Parts from Single Depth Images, 2011.
Disponvel

em

http://www.cs.dartmouth.edu/~cs104/BodyPartRecognition.pdf.

Acessado em 30/01/2012.
DA SILVEIRA, Marcus Almeida; Tcnica de Navegao em Documentos
Utilizando

Microsoft

Kinect,

2011.

Disponvel

em

http://www.lume.ufrgs.br/bitstream/handle/10183/36884/000819161.pdf?sequence=1.
Acessado em 16/02/2012.
STEINMAN, Scott B; STEINMAN, Barbara A; GARZIA, Ralph P. Foundations of
binocular vision: a clinical perspective, 2000. McGraw-Hill.
SUAY, Halit Bener; CHERNOVA, Sonia. Humanoid Robot Control using Depth
Camera, 2011. HRI '11 Proceedings of the 6th international conference on Humanrobot interaction.
SUMA, Evan A; LANGE, Belinda; RIZZO, Albert; KRUM, David M; BOLAS, Mark.
FAAST: The Flexible Action and Articulated Skeleton Toolkit, 2011. Disponvel
em http://people.ict.usc.edu/~suma/papers/suma-vr2011-faast.pdf. Acessa do em
16/02/2012.
TECHNOLOGYREVIEW.

PrimeSense,

s.d.

Disponvel

em

http://www.technologyreview.com/tr50/primesense/. Acessado em 27/12/2011.

THOMAS, Kurt. The Choral Conductor, 1971. The American Choral Foundation,
American Choral Review Volume XIII, Nmeros 1 e 2.
TOGORES, Tiago Andrade. Vitruvius: Um Reconhecedor de Gestos para o Kinect,
2011. Disponvel em
61

http://www.linux.ime.usp.br/~togores/mac499/pdf/monografia.pdf. Acessado em
03/08/2012.
USA, Satoshi; MOCHIDA, Yasunori. A Multi-Modal Conducting Simulator, 2006.
Disponvel

em

http://quod.lib.umich.edu/cgi/p/pod/dod-

idx?c=icmc;idno=bbp2372.1998.297. Acessado em 28/02/2012.

VILLAROMAN, Norman; ROWE, Dale; SWAN, Bret. Teaching Natural User
Interaction Using OpenNI and the Microsoft Kinect Sensor, 2011. Disponvel em
http://sigite2011.sigite.org/wp-content/uploads/2011/10/session14-paper02.pdf.
Acessado em 16/02/2012.

62