Machine Translated by Google

Veja discussões, estatísticas e perfis de autores para esta publicação em: https://www.researchgate.net/publication/228344553

ANTESCOFO: Sincronização Antecipada e Controle de Parâmetros

Interativos em Computação Musical.
Artigo de agosto de 2008

CITAÇÕES LÊ

88 355

Alguns dos autores desta publicação também estão trabalhando nesses projetos relacionados:

Projeto de vista de fundo

O projeto Vista da Cozinha

Todo o conteúdo desta página foi carregado por Arshia Cont em 03 de março de 2014.

O usuário solicitou aprimoramento do arquivo baixado.

Machine Translated by Google

ANTISCOFO: SINCRONIZAÇÃO ANTECIPADA E CONTROLE

DE PARÂMETROS INTERATIVOS EM MÚSICA DE COMPUTADOR

Arshia Cont
UCSD, Departamento de Música, e
Ircam - UMR CNRS STMS.
cont@ircam.fr

ABSTRATO Tem havido pouca ou nenhuma consideração para diferentes

Antecofo é um sistema modular de acompanhamento antecipado de
partituras que reúne partituras instrumentais e eletrônicas e é capaz de
executar partituras eletrônicas em
sincronização com uma performance ao vivo e usando vários controles
ao longo do tempo. Em seu uso muito básico, é um sistema clássico
de acompanhamento de partituras, mas em uso avançado ele permite
a representação e o reconhecimento simultâneos de diferentes
descritores de áudio (em vez de pitch), controle sobre várias escalas
de tempo usadas na escrita de música e permite interação entre a
performance e a eletrônica
pontuação. Antecofo vem com uma linguagem de partitura simples para
escrita flexível de tempo e interação em música de computador.
1. INTRODUÇÃO
No momento em que uma peça musical composta por computador se
preocupa com uma mistura de instrumentos ao vivo e eletrônica, o
questão de como lidar com sincronização e interação
entre os dois torna-se inevitável. Durante o início
períodos de peças mistas, a maioria dos compositores (com exceções)
tratou o problema como uma preocupação secundária. Dentro
início dos anos 80 e com o advento dos ambientes interativos de música
por computador e sua popularidade entre os músicos, a ideia de lidar
com a interação tanto durante
performance e composição tornaram-se mais aparentes e
softwares e tecnologias como seguidores de pontuação começaram
aumentar as possibilidades que tal controle poderia trazer para o
mundo da composição e performance de música por computador.
Hoje, comemorando 25 anos de pontuação após pesquisa
e performance, a divisão entre 'composicional' e
aspectos 'performativos' da música por computador [1] e a falta de
de consideração para a interação na escrita da peça
são ainda mais aparentes do que eram na época. Isto é
também acompanhado pela relutância de muitos compositores em
considerar tais técnicas no processo composicional. Nós
acredito que esta situação é parcialmente devido ao seguinte com
tensões nos sistemas de música de computador interativos disponíveis:
(1) Embora o vocabulário comum usado na partitura de música
instrumental tenha se expandido extensivamente, a sincronização
ou pontuação as seguintes aplicações são extremamente limitadas a
vocabulário muito simples na notação tradicional ocidental (notas,
trinados etc). (2) A noção de interação é mais frequentemente limitada
ao mero acionamento de uma partitura eletrônica separada. (3)
temporalidades dos eventos musicais, a interação temporal
dentro e a escrita do tempo envolvido [2].
Este artigo está preocupado com componentes interativos
de repertório de música instrumental e eletrônica mista partiturada onde
a necessidade de uma interação explícita entre o
instrumento ao vivo e a eletrônica é evidente. Apresentamos
Antes, uma ferramenta que lidava tanto com a pontuação quanto com a
interação ao vivo dessas peças de música de computador. Em seu muito básico
uso, o antesscofo é uma partitura clássica seguindo a aplicação
que sincroniza áudio em tempo real com uma partitura musical (como
midi). Mas ele foi projetado em seu núcleo para abordar o
seguintes extensões que lidam com scripts de pontuação flexíveis e
interações ao vivo: (1) para habilitar
e representações definidas pelo usuário do fluxo de áudio no
pontuação, (2) para representar e lidar simultaneamente com diferentes
escalas de tempo tanto na pontuação quanto no reconhecimento e permitem uma
escrita flexível de tempo, (3) para fornecer uma linguagem de pontuação
que lida com a interação entre o(s) performer(es) ao vivo e
eletrônica tanto em termos de tempo quanto de processo durante o tempo de
execução (ou seja, performance musical).
Neste artigo apresentamos as principais ideias que fundamentam o
antesscofo e discutimos seu uso durante a produção
e desempenho. Começamos o artigo fornecendo algumas
formação musical e técnica sobre o assunto. Isto é
seguido por uma descrição geral do projeto subjacente
arquitetura que define as principais preocupações e componentes do
sistema. Esboçamos nosso modelo nas seções 7 a
10 com ênfase contemplativa no tempo de modelagem para
música na seção 5. A linguagem da partitura e a sintaxe desenvolvida
para o antescofo são definidas na seção 8. Por fim,
direcionar a atenção dos leitores para o desenvolvimento e produção
questões relativas ao sistema, bem como discussões e direções futuras.
Neste artigo, focamos nossa atenção na
aspectos musicais do design em Antecofo e deixar derivações científicas
e provas de métodos introduzidas brevemente
por uma questão de completude para uma comunicação posterior.
2. FUNDO DA MÚSICA
O consenso para a interação entre uma performance de música ao vivo
e a eletrônica remonta aos primeiros experimentos
de Maderna, Stockhausen e Davidovsky entre outros
através de peças «fixas» ou de fita onde o intérprete ao vivo
é responsável por sincronizar com a eletrônica us-
Machine Translated by Google
faixas de cliques ou escuta ativa. Mais tarde, em meados dos anos 80,
o movimento é acompanhado por experimentos e repertório de
a chamada “eletrônica em tempo real”, a partir de experimentos de
Manoury e Boulez, onde na maioria das vezes uma partitura
seguinte aplicativo é responsável por sincronizar eventos
dos instrumentos ao vivo para a partitura pré-escrita e acionando os
eventos eletrônicos apropriados (sejam fixos ou
através da geração viva). Neste último grupo, até hoje, um
muitos compositores se apoiaram na ideia de uma partitura seguindo
um aplicativo para automatizar a execução da partitura eletrônica com
sincronização ao(s) intérprete(s) ao vivo,
enquanto outros, com Manoury como precursor, imediatamente
reconheceram e incorporaram as possibilidades em
escrevendo partituras eletrônicas interativas que são realizadas
durante a apresentação ao vivo.
Naturalmente, o advento das técnicas de acompanhamento de pontuação para
sincronização de performance ao vivo com partitura eletrônica
e o controle da interação criaram muito impulso tanto
nas comunidades de pesquisa e música, mas não sem
crítica. Entre muitas críticas dirigidas à escola de eletrônica em tempo
real, de particular interesse são as
pelos compositores Jean-Claude Risset e Marco Stroppa. Ris set
argumenta que “não só o uso de sistemas em tempo real traz limitações
e dificuldades para a durabilidade
da música, mas pode-se até argumentar que o conceito
de tempo real diz respeito principalmente ao desempenho e pode ser
de pouca relevância para a composição musical” [3]. Uma leitura
construtiva do artigo de Risset apontaria para uma importante falta nos
sistemas existentes: a falta de uma interação composicional durante a
performance. Enquanto esta questão é
na maioria das vezes estético, também tem muito a ver com
a falta de projetos explícitos para tais questões. A extensa crítica de
Stroppa à eletrônica em tempo real é acompanhada por
a proposta detalhada do compositor para um Intérprete Virtual
sistema[2]. Nesta vasta proposta (que não detalharemos
neste artigo), o compositor está preocupado principalmente com a
temporalidade dos eventos musicais e diferentes graus temporais
de interação em música de computador abrangendo desde
interação de processos eletrônicos fixos ou ativos com tempi detectado
em tempo real para representações contínuas de tempo
para permitir o ajuste fino de componentes eletrônicos compostos para um som ao vivo
atuação.
3. HISTÓRICO DE PESQUISA
Desde o início dos primeiros seguidores de partitura MIDI em
1984 por Dannenberg [4] e Vercoe [5], a comunidade de pesquisa fez
muitas contribuições e avanços
para o campo, incorporando reconhecimento mais avançado
e técnicas de alinhamento como modelos probabilísticos [6],
modelagem gráfica [7] e muito mais que não revisaremos no escopo
deste artigo e remeteríamos o leitor curioso a [8] para uma revisão
histórica. Para este papel,
estamos particularmente interessados em abordagens onde
modelos de tempo estão envolvidos durante o reconhecimento;
mencionando que nenhum dos sistemas disponíveis, na medida
conhecimento do autor, integrou explicitamente a interação com a
partitura eletrônica dentro do sistema de reconhecimento
interação de itens e manuseio é deixada para o usuário uma vez que os eventos
são reconhecidos em tempo real.
É interessante notar que o MIDI Syn thetic Performer inicial de
Vercoe teve interação explícita com o deduzido
1 . Com a mudança para o áudio
tempo do performer ao vivo[5]
sistemas usando algoritmos de detecção de pitch o tempo foi
temporariamente esquecido com foco em técnicas de correspondência de cordas
e de volta com Grubb e Dannenberg [6] onde o
as observações de pitch usadas no modelo probabilístico podem
influenciar o tempo de corrida comparando o tempo decorrido
e o tempo idealizado da partitura. Talvez a taxa mais elaborada e o
modelo de tempo explícito que foi usado pertença
para Rafael [7]. O projeto de Raphael possui duas etapas para
decodificação da posição e do andamento da partitura. A primeira, composta
Modelos ocultos de Markov deduzidos da pontuação responsável por
decodificar a posição na partitura e o segundo,
uma elaborada rede Bayesiana que toma esta informação para deduzir
o andamento suave durante a performance.
Notavelmente, Raphael usa esse tempo em interação com seu
sistema de acompanhamento para adaptar o tempo-duração do
seção de acompanhamento usando técnicas de codificação de fase
que provou ser muito eficaz.
Antecofo é um seguidor de pontuação antecipatória com um design
antecipatório que será descontinuado a seguir. É capaz de produzir o
tempo em tempo real da performance
mas ao contrário das abordagens anteriores, compreende duas
agentes de áudio e tempo que trabalham de forma colaborativa e
competitivamente em um projeto antecipado para reduzir a computação
e a complexidade do projeto e aumentar a robustez
quando há incerteza em um dos dois agentes. a
desenho central da abordagem probabilística no Antecofo, permite o
acesso direto a estruturas temporais que podem ser
facilmente acessado e ajustado na linguagem de partitura fornecida.
4. ARQUITETURA GERAL
O sistema proposto neste artigo é baseado em pares acoplados
agentes de áudio e tempo. A partitura é representada
através de um modelo gráfico probabilístico construído diretamente a
partir de uma partitura simbólica. Os dois áudios e
os agentes tempo colaboram o tempo todo para mapear o tempo real
entrada de áudio para a sequência de estado mais provável na partitura
modelo. O agente de tempo calcula na escala de tempo do evento
e é baseado em um modelo cognitivo de estrutura métrica musical
introduzido em [9] e fornece previsões contínuas de tempo com base na
entrada de áudio ao vivo e na música fornecida
pontuação. Por outro lado, o agente de áudio é computado na escala
de tempo de áudio contínuo e atribui
valores probabilísticos fora do prazo para estados relevantes no
espaço de estados de pontuação. O modelo proposto é uma antecipação
sistema que implica “um sistema contendo um
modelo de si mesmo e/ou de seu ambiente, o que lhe permite
mudar de estado em um instante de acordo com o modelo
previsões relativas a um instante posterior” [10]. áudio
agente é influenciado dinamicamente pelo tempo previsto,
1 Veja o vídeo histórico em http://www.youtube.com/
assistir?v=vOYky8MmrEU
Machine Translated by Google
e, em troca, o agente do tempo é diretamente afetado pelo
decisões obtidas instantaneamente pelo sistema.
Este modelo tem a hipótese subjacente de que o sinal de áudio pode
ser totalmente gerado pelo modelo de pontuação do espaço de estados
subjacente. Portanto, o problema de seguir a pontuação é o inverso desta
hipótese, ou para encontrar o
provável sequência de estados associada a tempo real observado
sequência de áudio. Devido à natureza deste problema inverso,
a seqüência de estado subjacente que gera o áudio é
não observável diretamente pelo sistema. Este processo de
encontrar a sequência de estado mais provável em um processo oculto
até o presente é referido como o problema de inferência.
O modelo gerador de espaço de estados da pontuação proposta
aqui está uma cadeia híbrida oculta de Markov/semi-Markov [11].
A Figura 1 mostra um diagrama geral do projeto da Antecofo.
Além de decodificar a posição e o andamento corretos da partitura,
o sistema é capaz de realizar ações de pontuação (eletrônica) se estiverem
presentes na pontuação pré-carregada como
maneira de se comunicar com motores externos generativos ou de síntese
acoplados com as escalas de tempo musicais que são
fornecidos através da linguagem de partituras da Antecofo.
Fluxos de áudio
desligada
tempo real
Observadores
pontuação
Inferência e decodificação
pontuação pontuação
analisador ações
Áudio Tempo
Posição de pontuação Tempo
Figura 1. Diagrama de Projeto Geral da Antecofo
A seguir, veremos um projeto mais detalhado
de cada componente do sistema descrito acima.
5. NA MODELAGEM DO TEMPO MUSICAL
5.1. Fundamentos Musicais
Na maioria dos sistemas de música de computador que lidam com modelos
Com o passar do tempo, os conceitos de modelagem são herdados de
modelos há muito estudados disponíveis para fala ou sequências biológicas.
Em quase todos os campos de pesquisa que lidam com sequências de
tempo, a questão da propagação de crenças através do tempo é
um enorme dilema e objeto de intensa pesquisa em andamento.
Escolher uma abordagem em detrimento de outra traz desvantagens
e aproximações de acordo com a hipótese de partida
mentiu no próprio modelo. Quando se trata de música
sinais, a questão da modelagem de tempo é mais pesada. Sobre
por outro lado, músicos e artistas, diferentemente dos pesquisadores,
ter mais liberdade em contemplar a questão do tempo
modelagem. O autor acredita que ainda há muito
aprender com os artistas no que diz respeito ao tempo de modelagem em cada
campo de pesquisa que trata do assunto. Nesta seção, nós
reunir diversas contemplações importantes sobre a modelagem do tempo
como insumos da comunidade artística que constitui
o núcleo da modelagem temporal do antesscofo. não há
referência única sobre modelos de tempo nas artes! todo
compositor ou artista lidou com o problema de uma maneira ou
outro. Não passaremos por todos os aspectos da modelagem de tempo
neste artigo e deixaremos uma análise mais ampla para o futuro.
Além disso, não pretendemos fornecer um modelo universal de
Tempo. Aqui, apresentamos várias visões e categorias que
são amplamente aceitos e são altamente inspiradores para o
projeto do Antecofo e foram parcialmente apresentados em [12] .
5.1.1. temporário vs. Eterno
Formalizado primeiramente por Xenakis[13], o Atemporal (ou fora do
tempo) corresponde a um objeto que possui sua própria estrutura temporal
interna independente da estrutura temporal geral.
estruturas da peça musical. Ele também enfatiza sobre
a independência das estruturas bitemporais. se conformar
esta distinção com nosso projeto probabilístico, definimos um
Objeto ou evento atemporal como aquele que possui uma
espaço na partitura, mas não contribui para o físico
hora do placar. Exemplos típicos de objetos atemporais
são notas de graça e notas internas de um trinado (livre) no
notação clássica ocidental. Embora ambos tenham presença física, os
eventos individuais não contribuem para a noção
de tempo, mas sua aparência temporal relativa no caso
do primeiro, ou sua estrutura global em tempo no caso de
a segunda contribui para a noção de tempo. Outros exemplos de objetos
atemporais são os eventos com fermatas ou caixas de improvisação livre
vistas em diversas músicas contemporâneas
repertório.
5.1.2. Tempo estriado vs. tempo suave
O tempo estriado é aquele que se baseia na recorrência temporal
regularidades enquanto o tempo suave é uma noção contínua de
tempo como um fluxo de informação [14]. O tempo pulsado usado
na maioria da notação de música clássica ocidental é uma notação regulamentada
fluxo de tempo estriado que usa um relógio musical interno geralmente
acionado por um parâmetro de tempo em batidas por minuto. Dentro
nossa terminologia, distinguimos entre uma escala de tempo estriada
onde a noção de tempo é dirigida em relação a um tempo em constante
evolução, e uma escala de tempo suave onde o
a informação no nível microscópico consiste em elementos individuais
atemporais ou é definida em relação a um relógio. Exemplo típico de um
evento de tempo suave no oeste
notação tradicional são glissandis livres. Essa distinção é
crucial para permitir uma escrita flexível do tempo e
também para permitir a coexistência de notações de eventos
tradicionais com a de eventos contínuos acionados por áudio.
6. MODELOS PROBABILÍSTICOS DE TEMPO
Um dos principais objetivos da modelagem probabilística é decodificar a
dinâmica temporal de um processo externo. O principal
dificuldade em relação a esta tarefa é a dinâmica temporal de
o modelo subjacente em uso. Na maioria dos problemas, qualquer estado
Machine Translated by Google
de um determinado processo ocupa uma duração que pode ser
terminística ou não. Em tais tarefas, estamos interessados em um
modelo probabilístico da duração do macroestado e do tempo de jornada.
Em um contexto musical, um macroestado pode se referir a um evento
musical (nota, acorde, silêncio, trinados etc.)
dada uma duração prevista. Uma maneira comum de modelar
dados de séries temporais na literatura é pelo uso de modelos de espaço
de estados. Um modelo de espaço de estados de uma sequência é um
sequência de grafos indexados no tempo (nós e arestas) onde
cada nó se refere a um estado do sistema ao longo do tempo. Portanto,
cada estado tem uma ocupação de tempo que pode ser usada para
tempo de permanência do modelo e duração dos eventos em
consideração. Neste artigo, limitamo-nos a duas amplas
classes de modelos gráficos e seus modelos de duração que
cobrem a maioria das abordagens existentes: Modelos de Markov
Ocultos (HMM) e Cadeias de Semi-Markov Ocultas. O prefeito
desvantagem no HMM é a sua inflexibilidade em descrever o
tempo gasto em um determinado estado devido à sua natureza implícita de
ocupação do tempo. Uma cadeia de semi-Markov é composta por um
Cadeia de Markov incorporada representando as transições entre
estados distintos e ocupação de estado explícita discreta
distribuições representando tempos de permanência. Nossa proposta é
para usar os benefícios dos dois mundos, introduzindo cadeias híbridas
de Markov/semi-Markov como definido pela primeira vez em [11].
Na seção 8 mostraremos como tal mistura pode representar diferentes
dependências de tempo visitadas na última seção.
Para formalizar o problema, assumimos que o áudio
ÿ o design do antesscofo, decidimos torná-lo modular, fornecendo um
fluxo através do tempo ÿ ou x 0 (como abreviação de x0, . . . , xÿ ) é
um processo estocástico representado pela variável aleatória
{Xt}, que é gerado por uma sequência de estados s
ugh a variável aleatória {St} correspondente a (oculto)
estados em uma cadeia híbrida de markov/semi-Markov gerada
da pontuação. A solução para o problema de inferência então
determina a sequência de estados mais provável S ÿ isso iria
0
gerar Xÿ 0 e em troca a posição do placar e em tempo real
tempo decodificado. Além deste ponto, usamos P(St = j) como um
abreviação de P(St = sj ) denotando a probabilidade de que o estado j
é emitido no instante t.
Seja St uma cadeia híbrida de estado-J Markov/semi-Markov.
Pode então ser definido por:
• Probabilidades iniciais:
ÿj = P(S0 = j) com P j ÿj = 1, que executa spond até
o ponto inicial na pontuação do aplicativo de sincronização durante
a execução.
• Probabilidades de Transição:
– estado semi-Markoviano j:
para cada k 6= j, pjk = P(St+1 = k|St+1 6=
j, St = j) onde P pjk = 1 e pjj = 0.
k6=j
– Estado de Markov j:
p˜jk = P(St+1 = k|St = j) com P
k
• Uma distribuição explícita de ocupação (ou tempo de permanência)
anexado a cada estado semi-Markoviano:
dj (u) = P(St+u+1 6= j, St+uÿv = j, (1)
v = 0, . . . , u ÿ 2|St+1 = j, St 6= j)
onde u = 1, . . . , Mj e Mj denotam a parte superior
vinculado ao tempo gasto no estado j. Assim, assumimos que
as distribuições de ocupação dos estados estão concentradas
em conjuntos finitos de pontos de tempo.
• Uma distribuição implícita de permanência anexada a cada estado
markoviano j onde
P(St+1 = k|St+1 6= j, St = j) = ˜pjk/(1 ÿ p˜jk)
definir uma distribuição de ocupação estadual implícita como
a distribuição geométrica com parâmetro 1 ÿ p˜jk:
uÿ1
dj (u) = (1 ÿ p˜jk) ˜pjk
7. O OBSERVADOR
O processo de áudio {Xt} está relacionado ao híbrido Markov /
cadeia semi-Markov {St} (ou a pontuação) pela observação
probabilidades:
bj (y) = P(Xt = y|St = j) onde X bj (y) = 1.
S
As observações em nosso contexto correspondem à crença instantânea
sobre os eventos de pontuação esperados dadas as últimas entradas
(ou em tempo real) do sistema. A maioria dos aplicativos de
acompanhamento de pontuação vem com seus mecanismos internos de
observação ou são ajustados para um módulo de observação específico
que vive fora do próprio seguidor de pontuação. Por
mecanismo interno de observação
ÿ
através e também habilitando entradas de observação definidas pelo usuário. Em seu
0
uso básico, o antesscofo é um aplicativo de partitura clássica que aceita
uma lista de notas (em Hz ou MIDI) como entrada
para mapeá-lo para a posição da partitura e a variável tempo. Mas
Para usuários mais curiosos, o Antecofo é capaz de aceitar observações
simultâneas de diferentes naturezas. O número de observações atuais
para o sistema (que são definidas pelo usuário
e calculados fora da Antecofo) e seus nomes de código
são definidos pelo usuário durante a instanciação do objeto em Max
ou PS A Figura 2 mostra as aparências clássicas e definidas pelo usuário
do Antecofo em uma janela Max. Aqui o
usuário criativo da figura 2(b) tentou fornecer quatro
observação simultânea diferente para o módulo. Consequentemente, a
pontuação que o usuário cria normalmente
faça uso dessas diferentes fontes para acompanhar diferentes aspectos
dos fluxos de áudio durante uma apresentação. Nós vamos chegar
voltar a este ponto mais tarde na seção 8.2 e aqui focar
como essas observações são preparadas pelo observador para
os módulos de inferência e decodificação.
Antecofo vem com várias observações padrão incorporadas para
partituras clássicas que são indicadas
por: hz, midi e KL usados respectivamente para observação de afinação
usando um rastreador de afinação externo, observação de MIDI
p˜jk = 1. e observações de áudio polifônicos. Para obter probabilidades de
observação instantânea para os módulos modulares da Antecofo
observador, simplesmente centralizamos as distribuições normais sobre o
valor esperado indicado na pontuação e obter probabilidades em tempo
de execução. Obviamente, se a entrada consiste em um
vetor de valores distribuições normais multivariadas são usadas
em vez de. A variância dessas distribuições normais (ou a
Machine Translated by Google
(a) Clássico
(b) Definido pelo usuário
Figura 2. Observação Modular no Antecefo
matriz de covariância diagonal para entradas vetoriais) são definidas como 1%
do valor esperado (ou um semitom para afinação), também controlável pelo
usuário através da partitura (seção 8.2). a
acima vale para todos os modos de observação, exceto o modo KL
que é projetado para rastreamento polifônico e é deixado de fora
aqui devido a considerações de espaço.
8. TOPOLOGIA DE PONTUAÇÃO E IDIOMA
A topologia de espaço de estado de {St} é determinada pela
pontuação, onde cada elemento de pontuação é mapeado em um híbrido
Cadeia equivalente de Markov/semi-Markov usando Antecofo's
analisador. Esses mapas integrados descrevem diferentes tipos de eventos
e modelos de tempo e podem ser descritos diretamente usando um
linguagem de pontuação baseada em texto simples. A linguagem de pontuação de
Anteriormente, foi cuidadosamente projetado para permitir a importação de
formatos de partitura comuns, como MIDI e para poder
descrever facilmente o repertório comum de música clássica como
bem como eventos definidos pelo usuário provenientes de diferentes
observações e com diferentes temporalidades. Nesta seção descrevemos
o básico da linguagem de partitura do antesscofo
com suas equivalências no mundo real e mostrar como o mesmo
sintaxes podem definir eventos de pontuação não convencionais complexos.
Além disso, a linguagem da partitura do antesscofo possibilita a coexistência
da partitura instrumental e da música eletrônica
pontuação total. Como convenção, nas figuras a seguir, um estado de
Markov é demonstrado por um círculo regular
e um estado de Semi-Markov por um círculo de linha dupla. Também
na definição de sintaxes de comando, o sinal de mais (+) ao lado de
cada tipo deve ser interpretado como “um ou mais de”. Ás
uma última convenção, um <float> indica um número flutuante que
representa as observações anotadas na partitura. Por
eventos afinados e como convenção, os eventos seriam representados por
números de notas MIDI ou MIDIcent.
8.1. Comandos básicos
8.1.1. Comando BPM
O andamento inicial e qualquer mudança de andamento na partitura podem
ser codificado pelo comando BPM em Beats-Per-Minute.
8.1.2. evento único
Um único evento pode ser um único tom, silêncio ou nota de graça
se a observação em consideração for pitch. Estes eventos
pode ser temporário ou atemporal (ver seção 5.1.1).
A sintaxe usual para um único evento é a seguinte:
<float> <duração> <nome opcional>
onde a duração é expressa como o número de batidas em relação ao
tempo da partitura inicial. A Figura 3 mostra uma amostra
pontuação gráfica, o equivalente Antecofo e o diagrama de transição de
estado criado após a análise. Se a duração
associado a um único evento é definido como 0,0, é um sinal de que
o evento associado é atemporal. Neste exemplo, os arremessos
são codificados usando o formato MIDIcent e um estado esquerdo-direito
é criado um diagrama que está em correspondência um-para-um
com a pontuação. Observe que neste exemplo, um silêncio temporário
temporário é criado no estado intermediário. antecofo's
analisador coloca automaticamente silêncios fictícios entre eventos
onde apropriado para modelar melhor o áudio de entrada.
; Esta é uma pontuação de amostra
BPM 60
7200 0,0 ; notas de graça
7200 1,0 nota 1 ; nota normal
7600 0,0
7400 1,0 nota 2
0 0,5 ; silêncio
74 72 0 76 74 0
Figura 3. Amostra de pontuação da Antecofo e transição de estado
diagrama para eventos únicos
8.1.3. Classe TRILL
Como o nome sugere, a classe TRILL do Antecofo é
uma maneira de imitar a notação trinado da música clássica. termos
de modelagem, o TRILL da Antecofo é um evento in-time que
tem vários eventos fora do tempo dentro. Além disso, a ordem
em que esses subestados aparecem não é importante. A Figura 4 mostra
dois exemplos para o TRILL syn tax de antesofo onde o segundo é retirado
do primeiro compasso
em Little-I de Marco Stroppa para flauta e eletrônica e
demonstra um glissando livre que pode ser
codificado usando a classe TRILL no Antecfo. O TRILHO
sintaxe da classe é a seguinte:
TRILL ( +<float> ) <duração> <nome>
8.1.4. Classe CHORD
Como o nome sugere, uma classe de acordes denota um único semimarkov
(ou markov se a duração for definida como zero) que
modela eventos polifônicos. A sintaxe regular para o CHORD
classe é semelhante à classe TRILL, mas se traduz em apenas
um estado:
CHORD ( +<float> ) <duração> <nome>
8.1.5. Classe MÚLTIPLA
Usando os comandos acima, qualquer peça de música clássica pode
ser facilmente analisado ou reescrito no formato do Antecofo. Nós
Machine Translated by Google
; Este é um trinado simples
BPM 60
TRILHO ( 7200 7400 ) 1.0 meuTrill
72 74
; Isso também é um trinado
BPM 60
TRILL ( 6600 6700 6550 ) 8.0 myTrill
66 67 65,5
Figura 4. Amostra de pontuação da Antecofo e transição de estado
diagrama para classe TRILL
adicione mais uma classe para permitir objetos mais complexos e
codificação temporária. A classe MULTI é semelhante à classe
classe TRILL com a exceção de que os símbolos definidos
dentro dele são ordenados a tempo. Esta nova adição à sintaxe de partitura
do An tescofo permite a decodificação de tempo contínuo
eventos como glissandis (em notação ocidental) e até mesmo
fluxos de áudio associados a uma observação predefinida
para correspondência de áudio. A sintaxe MULTI é a seguinte:
MULTI ( +<float> ) <duração> <nome>
Nesta nova topologia, um estado semi-markov de alto nível
representa a estrutura temporal geral de todo o objeto que é mapeado para
uma série de Markov sequencial esquerda-direita
correntes. A Figura 5 mostra um exemplo MULTI para dois glissandis
notados consecutivos.
; Esta é uma amostra para a classe MULTI
BPM 60
MULTI ( 6080 6100 6150 6200 ) 4.0 First-Gliss
MULTI ( 6300 6200 6150 6100 ) 4.0 2º Gliss
Figura 5. Amostra de pontuação da Antecofo e transição de estado
diagrama para classe MULTI
8.2. Comandos avançados
8.2.1. VARIAÇÃO
A variação associada ao observador (consulte a seção 7)
também pode ser controlado na partitura e toma como unidade, semitons
(para eventos de altura) ou valores percentuais do evento de pontuação
esperado (para outras observações). Isso é bastante
útil em várias circunstâncias. Por exemplo, ao seguir sinais de áudio de
uma flauta em uma apresentação ao vivo,
a afinação dos agudos pode tornar-se diferente do
afinação esperada considerada na partitura devido ao aquecimento
do corpo da flauta. Um aumento da variância do observador
nesse caso poderia salvar o sistema e o desempenho!
Além disso, ao lidar com diferentes fontes de informação de
áudio, pode-se querer adaptar essa porcentagem à natureza do processo
de entrada.
8.2.2. O operador
Conforme mencionado na seção 7, o Antecofo é capaz de ter representações
simultâneas de fluxos de áudio para captação e interação. Por padrão, o
Antecofo usa a entrada mais à esquerda para todo o trabalho de
reconhecimento, a menos que especificado previamente pelo operador @. A
string após o @operator deve estar de acordo com os nomes de código
criados pelo usuário
durante a instanciação do objeto (seção 7), caso contrário
seria negligenciado durante a análise de pontuação e uma mensagem de
erro seria enviada. Com isso, o usuário pode alternar facilmente
entre várias representações de áudio e siga as
aspectos desejados simultaneamente em uma única partitura.
8.3. Ações de partitura de música de computador
Uma das características importantes das pontuações do antescofo é a
coexistência da parte instrumental com a eletrônica
parte no mesmo lugar. Tradicionalmente, na maioria dos
ambientes que fazem uso de sistemas de acompanhamento de pontuação,
a partitura eletrônica vive separadamente em qlists adicionais
e os números de eventos (ou nomes no nosso caso) associados
com eventos de pontuação específicos acionariam as mensagens em
a qlist para processamento posterior. Isso pode ser feito facilmente
dentro das pontuações do Antecofo. Além disso, a Antecofo
possui um temporizador interno que é acoplado ao tempo decodificado em
tempo real que pode ser usado para fazer o sequenciamento sobre o
mensagens a serem enviadas. Observe que enquanto as qlists tradicionais também
permitem o sequenciamento através de valores de atraso em milissegundos,
o simples fato de que o sequenciador no Antecofo pode aceitar valores
musicais relativos (em batidas) que são realizados em
tempo de execução (durante o desempenho) adiciona uma nova dimensão e
flexibilidade na escrita de processos temporais para
repertório de música instrumental e computadorizada.
Um evento de música eletrônica interativo (ou fixo) pode
estar vinculado a um único evento na partitura. Nesse caso,
uma sequência de comandos FWD com mensagens correspondentes
seguindo o evento na pontuação do antesscofo faria
o trabalho. A sintaxe simples do FWD é a seguinte:
FWD <símbolo> +<mensagem>
FWD <atraso> <símbolo> +<mensagem>
onde <symbol> é a string correspondente ao símbolo receptor e
+<message> corresponde ao(s) átomo(s)
que seria enviado para o símbolo na posição desejada.
A opção <delay> se existir, é um número float que indica o valor do tempo
atrasado em batidas que atrasaria o
hora do relógio para enviar a mensagem para processos externos
usando um agendador interno acoplado ao agente tempo.
O comando adicional LFWD (ou loop forward) em
permite mensagens periódicas com a seguinte sintaxe:
LFWD <nome> <período> <símbolo> +<mensagem>
que ao ser acionado envia as mensagens indicadas para um
símbolo de forma periódica. O período é dado em batimentos
Machine Translated by Google

e é acoplado ao andamento decodificado dentro do Antescofo.
Isso significa simplesmente que o período da mensagem em loop
mudaria apropriadamente com o ritmo do(s) músico(s). O comando
KILLFWD pode parar um loop para frente chamando o nome do
processo em qualquer lugar na partitura:
KILLFWD <nome>.
Essa característica da linguagem de partituras do Antecofo é constantemente
crescendo de acordo com as necessidades da comunidade de música
por computador usando o software desenvolvido. Para obter uma lista
abrangente de ações de pontuação e planos futuros desses
características convidamos o leitor curioso a experimentar e seguir o
desenvolvimento na seção 11.
seria um derivado da distribuição de von Mises como mostrado abaixo
[9]:
1
F(ÿ, ÿ) = 2ÿ e ÿ cos(2ÿÿ) sen 2ÿÿ
exp ÿ
Aqui, o parâmetro ÿ desempenha um papel importante como menor
valores espalham a correção por todo o domínio de fase.
Para levar esse fato em consideração, acumulamos
fatores que ocorrem durante os IOIs de notas e resolvem numericamente
para o melhor ÿ que deve ser usado durante a próxima atualização.
Pode-se mostrar que as considerações acima correm em resposta
à seguinte atualização de andamento na chegada de cada
nova posição de pontuação decodificada do agente de áudio:

9. DECODIFICAÇÃO DE TEMPO
sn+1 = sn(1 + F(ÿn, ÿ))

A percepção do tempo em tarefas de sincronização de música é

10. INFERÊNCIA ANTECIPATÓRIA
não apenas uma análise do conteúdo rítmico, mas sim
FORMULAÇÃO
molda uma estratégia de escuta ativa na qual o
expectativas sobre eventos futuros podem desempenhar um papel
Como mencionado anteriormente, o problema de inferência aborda a
tão importante quanto os próprios eventos musicais. Portanto, qualquer
decodificação da sequência de estados mais provável em associação de tempo.
modelo para sincronização de tempo de eventos musicais deve ÿÿ1
com a sequência de áudio observada x 0 . Em um não
considerar a hipótese de que a estrutura temporal das expectativas
contexto em tempo real, uma inferência exata pode ser obtida usando
dos ouvintes é uma estrutura dinâmica. para primário
A função de tal estrutura é atencional que permite uma antecipação o algoritmo de Viterbi [15] que para cada tempo t usa ambos
crenças do tempo 0 a t (referido como para frente ou
de eventos futuros, possibilitando o direcionamento perceptivo,
e coordenação de ação com eventos musicais. esto ÿ probabilidade) e conhecimento futuro do presente (t) para
um estado terminal no tempo T (referido como para trás ou ÿ
considerações levaram Large et al. [9] para projetar um
probabilidade). Em um sistema de acompanhamento de pontuação que exige
modelo de andamento baseado em oscilações internas.
sincronização em tempo real de áudio com a partitura da música,
O modelo usado no Antecofo para decodificação da variável de
usando a probabilidade ÿ ou inversa de uma inferência exata
tempo contínuo é altamente inspirado em [9]. O andamento interno é
quadro é impossível ou introduziria atrasos consideráveis no sistema.
representado por uma variável aleatória sk
No sistema proposto,
revelando o quão rápido a música está fluindo no que diz respeito
esperamos compensar essa ausência de crenças futuras por meio de
o tempo físico. Depois de Large, modelamos o comportamento de
nosso modelo antecipatório de agentes acoplados áudio/tempo
tal variável aleatória como um oscilador interno arrastando
e um procedimento de cálculo de ÿ adaptativo. Aqui, formulamos uma
para a performance do músico. Essa oscilação interna
abordagem de programação dinâmica para um
pode ser representado e modelado facilmente usando círculo senoidal
cálculo de ÿ para um híbrido oculto Markov/semi-Markov
mapas. Esses modelos têm sido bem estudados na literatura e podem
processo. As técnicas de inferência mostradas aqui podem ser
ser considerados como modelos não lineares de oscilações que
deduzidas e comprovadas matematicamente da estrutura
treinam para um sinal periódico e usando formalismo de tempo
discutidos na seção 6, que são deixados de fora devido ao espaço
discreto. Usando esta estrutura, representamos o considerações.
variável aleatória tempo em segundos/batida e início da nota
Para um estado semi-Markoviano j, a recursão de Viterbi de
posições como valores de fase ÿk no círculo senoidal. Por aqui,
a variável direta é fornecida pela seguinte dinâmica
dado um tempo local sk, o tempo de início tn pode ser representado
formulação de programação:
como ÿn = vocês todos

+ 2kÿ onde k é o número de andamento

sk
ciclos para atingir tn. Para nosso modelo, um avanço de fase
ser a parte do período do oscilador correspondente a ÿj (t) = bj (xt) max( max
1ÿuÿt
note Intervalos entre inícios (IOI). ( (uYÿ1 v=1 bj (xtÿv) )
Para compensar flutuações temporárias durante a apresentação dj ( u )max (pijÿi(t ÿ u))))) (dois)
i6=j
de música ao vivo, precisaríamos de uma função de
ÿ que corrigiria a fase durante a sincronização ao vivo e ao mesmo Para um estado de Markov j, o mesmo objetivo equivale a:
tempo modelaria o efeito atencional discutido anteriormente, permitindo
tÿ1
= sim 0 , xt 0 = x 0 )
vocês

assim o direcionamento perceptivo, e ÿ˜j (t) = max P(St = j, Stÿ1 0

s0,...,stÿ1
coordenação de ação com evento musical. A atenção
= bj (xt) max ( ˜pijÿ˜i(t ÿ 1)) (3)
O pulso pode ser modelado usando uma função de densidade de Ei

probabilidade periódica, a distribuição de von Mises, que é a versão

Dentro desta formulação, a probabilidade do
do mapa circular da distribuição gaussiana. Já que estamos ÿÿ1
sequência x 0 juntamente com o estado mais provável se
interessado na atualização de andamento e não diretamente na fase,
sequência é argmax [ÿj (ÿ ÿ 1)].
o fator de atenção correspondente para a variável tempo j
Machine Translated by Google
As equações 3 e 2 nos fornecem uma estrutura recursiva para
decodificar a posição da partitura em tempo real, dado que
conhecemos a função de sobrevivência dj (u) para cada evento na
partitura na equação 2. Em troca, o tempo pode ser decodificado
corretamente se temos as posições da partitura da nota atual e das
notas anteriores, conforme visto na seção 9. Para resolver ambos os
problemas, juntamos os dois agentes onde ambos estão sendo
executados em paralelo e colaborando para decodificar a melhor
posição e andamento da partitura. Embora a influência do
decodificador de posição da partitura no agente de tempo seja
evidente, precisamos refinar o contrário principalmente porque os
dois agentes são executados em escalas de tempo diferentes.
Para resolver essa carga, consideramos um processo estocástico
P(Tk) que modela o tempo estimado de chegada (em termos de
do número de quadros de análise) para a º evento no
pontuação k como um processo de poisson. Uma vez que a função
de sobrevivência dj (u) é o tempo entre chegadas, usando os
princípios estocásticos básicos, pode-se mostrar facilmente que,
ÿÿ(tnÿtnÿ1) dj
(tn ÿ tnÿ1) = e
onde ÿ é o número esperado de ocorrências que se esperaria que
acontecessem durante o intervalo de tempo dado.
Durante a estrutura de inferência da equação 2, sendo tn o tempo
real e tnÿ1 a última posição decodificada, podemos obter facilmente
ÿ usando o último tempo decodificado e a duração do evento (em
batidas) da partitura.
11. DESENVOLVIMENTO E DISCUSSÃO
Anteriormente, foi desenvolvido usando bibliotecas de modelos C++
avançadas e está disponível gratuitamente no site do autor para
ambientes Max/MSP e PureData em seus respectivos sistemas
operacionais. A linguagem de partitura descrita do Antecofo também
pode ser exportada através do software de notação musical comercial
NoteAbility Pro 2 . A
Figura 6 mostra um instantâneo do arquivo de pacote
ajuda que
paravem com o
download
com exemplos e tutoriais demonstrativos: http://cosmal.ucsd.edu/
arshia/antescofo/
Figura 6. Instantâneo da Ajuda do Antecofo no Max/MSP
Antecofo foi concebido principalmente para “... of Silence” de
Marco Stroppa para saxofone e eletrônica de câmara, estreado em
23 de novembro de 2007 em Shizuoka, Japão. Desde
dois
http://debussy.music.ubc.ca/NoteAbility/
Ver estatísticas de publicação
em seguida, foi usado em vários shows, incluindo “...Explosante-
Fixe...” de Boulez com a Filarmônica de Los Angeles em janeiro de
2008 e várias novas produções estão em andamento.
Neste artigo demonstramos fundamentos e conceitos básicos do
antesscofo. Deixamos uma discussão mais rigorosa sobre o desenho,
avaliação e exploração do sistema para uma futura comunicação.
12. AGRADECIMENTOS
O autor gostaria de agradecer fortemente sua colaboração com
Marco Stroppa neste projeto, sem cuja forte intuição musical e
perseverança este projeto nunca alcançaria seu estado atual.
13. REFERÊNCIAS
[1] Miller Puckette. Uma divisão entre aspectos 'composicionais' e
'performativos' do pd. In First International Pd Convention, Graz,
Áustria., 2004.
[2] Marco Stroppa. Eletrônica ao vivo ou música ao vivo? para uma crítica
da interação. Contemporary Music Review, 18(3):41-77, 1999.
[3] Jean-Claude Risset. Compondo em tempo real? Contemporary Music
Review, 18(3):31-39, 1999.
[4] Roger B. Dannenberg. Um algoritmo online para acompanhamento em
tempo real. In Proceedings of the International Computer Music
Conference (ICMC), páginas 193-198, 1984.
[5] Barry Vercoe. O performer sintético no contexto da performance ao vivo.
In Proceedings of the ICMC, páginas 199–200, 1984.
[6] Lorin Grubb e Roger B. Dannenberg. Um método estocástico de
acompanhamento de um intérprete vocal. In Proceedings of the ICMC,
páginas 301–308, 1997.
[7] Cristóvão Rafael. Alinhando o áudio da música com partituras simbólicas
usando um modelo gráfico híbrido. Aprendizado de Máquina,
65(2-3):389-409, 2006.
[8] Arshia Cont. Melhoria da modelagem de observação para
acompanhamento de pontuação. Dea atiam, Universidade de Paris 6,
IRCAM, Paris, 2004.
[9] Edward W.Large. Periodicidade, formação de padrões e estrutura
métrica. Journal of New Music Research, 22:173-185, 2001.
[10] Roberto Rosen. Sistemas Antecipatórios, volume 1 da Série Internacional
da IFSR sobre Ciência e Engenharia de Sistemas.
Pergammon Press, Oxford, 1985.
[11] Yann Guedon. Cadeias híbridas ocultas de markov/semi-markov.
Estatísticas Computacionais e Análise de Dados, 49:663–688, 2005.
[12] Ircam. Colloque International Ecritures du temps et de l'interaction. In
Agora Festival, Paris, França., Junho de 2006.
Ircam-Centro Pompidou.
[13] I. Xenakis. Música formalizada. Imprensa da Universidade de Indiana,
1971.
[14] Pierre Boulez. Pense na Música Aujourd'hui. gallimard,
1964.
[15] Kevin P. Murphy. Redes Bayesianas Dinâmicas: Representação,
Inferência e Aprendizagem. Tese de doutorado, UC Berkeley,
Computer Science Division, 2002.