MelodiaeHarmonia

MarceloCicconet

Melodia
umasucessodetonscompostademodo,
ritmoenotasmusicaisarranjadasdemodoa
alcanarformamusical,sendopercebida
comoumaunidadepelamente(VirginiaTechMul?midia
MusicDic?onary)

Parteobscuradamsicaquepermiteao
humanorepe?laassobiando
Sequnciadenotamusicaisaolongodo
tempo

Harmonia
Combinaoconsonantedenotastocadas
simultaneamenteparaproduziracordes(Virginia
TechMul?midiaMusicDic?onary)

Acompanhamento

MelodiaeHarmonia
Ambassofundamentadasnoconceitode
notamusical(pitch)
Notamusicallembrafrequncia

MelodiaeHarmonia
Aseguir
Anlise
Composio
Sntese

Anlise
Baixonvel
Trabalhasesobreaondasonoraemformato
digital(PCM)observandoconceitosSsicoscomo
frequnciaeamplitude

Altonvel
Trabalhasecomrepresentaessimblicas(do
?poMIDI)levandoseemcontaaspectosdeteoria
musical(escala,modo,acordeprincipal,etc)

Anlise
Descritoresharmnicos/?mbrais
Descritor:vetorrepresentandoalgumapropriedade
(caracters?caSsica)doudio
Normalmenteob?dosdesegmentosdetamanho
constante(janelas)quesesobrepe
Para44100fpsotamanhodajanelavariade512a
4096frames
Sobreposio:geralmentedotamanhodajanela

Anlise
Taxadeeventos
Inversodosinalemframesconsecu?vos
Anulaodaderivadadosinal

Anlise
TransformadadeFourierdiscreta(DFT)
Devolveaamplitudecomplexacomqueas
frequnciasentrezeroeametadedataxade
amostragemestopresentesnosinal

Anlise
TransformadadeFourierdiscreta(DFT)
Seataxadeamostragemde44100fpseo
tamanhodajanelade1024frames,aDFT
devolve512valoresdefrequnciaigualmente
espaadosentrezeroe22050
Umaumentodotamanhodajanelanoaumenta
agamadefrequnciasavaliadas,masaresoluo
deavaliaodasfrequncias
Estratgiacomum:zeropadding

Anlise
TransformadadeFourierdiscreta(DFT)
Janelamento(windowing)

Anlise
Espectrodepotncias
Quadradosdasmagnitudesdoscoecientesde
Fourier

Anlise
Amplitude(loudness)
Mdiadasentradasdoespectrodepotncias
Medidadaenergiadosinalsonoro
Muitasvezesrepresentadoemescalalogartmica
(porrazesperceptuais)

Anlise
Autocorrelao
Medidadequantoumsinalsemelhanteele
mesmotransladado

Anlise
Vetordecroma
Muitousadoparadetecodeacordes

Anlise
Cepstrum
MagnitudedatransformadadeFourierinversado
logaritmodamagnitudedatransformadade
Fourierdosinal

Anlise
Exemplos
AudioFeature
AudioUnits

Anlise
Detecodefrequnciafundamental(F0)
Frequnciafundamental:frequnciatalqueseus
ml?plosexplicammelhorocontedodoespetrodo
sinal
Aplicaes:anadoreletrnico,transcrio
autom?cademelodia,acompanhamento
autom?co,reconhecimentodefala,transposiode
notasmusicais,
Osalgoritmossedividememduasclasses:osque
atuamnodomniodotempoeosqueatuamno
domniodafrequncia

Anlise
Detecodefrequnciafundamental(F0)
Es?maoviaTaxadeEventos

Anlise
Detecodefrequnciafundamental(F0)
MtododeMcLeod:procurasepormximosde
umafunodeautocorrelaonormalizada

autocorrelao

Anlise
Detecodefrequnciafundamental(F0)
MtodoYIN:procurasepormnimosdeuma
funodiferenanormalizada

Anlise
Detecodefrequnciafundamental(F0)
MtodoHPS(HarmonicProductSpectrum):
percorreseoconjuntodefrequnciasevericase
qualdelastemharmnicoscujoprodutodas
energiasmaior

100Hz

200Hz

300Hz

Anlise
Detecodefrequnciafundamental(F0)
Mximaverossimilhana:criaseumbancode
dadoscomoschamadosespectrosideaise,
dadoumespectrodecujaondasequersabera
frequnciafundamental,procurasenabasede
dadosoespectromaisprximo

Anlise
Exemplos
AudioUnits

Anlise
Deteodeacordes
Criaseumacoleodevetoresdecromade
acordesreais,comvriasamostrasdomesmo
acorde,asquaistendemaformaragrupamentos
Dadoumacordeaclassicar,u?lizasealgum
mtododeAprendizagemdeMquina(knn,por
exemplo)paraassociaroacordeaumdos
agrupamentos

Anlise
Anliseestruturaldepeasmusicais
Matrizdeautosimilaridade(SSM)
Descritor:croma

Descritor:amplitude

Anlise
Anliseestruturaldepeasmusicais
Matrizdeautosimilaridade(SSM):Aplicaes:
Segmentao
Resumodepeasmusicais(thumbnailing)
Audiongerprint
Visualizao

Anlise
Exemplos
AudioFeature
EigenSound

Composio
Protocoloparacomposioautom?ca:

Composio
Algumasferramentasu?lizadas:
CadeiasdeMarkov
Autmatoscelulares
Fractais
RedesNeurais

Composio
Exemplos:
Con?nuator,porFranoisPachet
hqp://www.csl.sony.fr/~pachet/Con?nuator/

Composio
Exemplos:
MusicStretching,porTristanJehan
hqp://web.media.mit.edu/~tristan/

Original(20s)
Stretched(80s)

Sntese
Porwavetable
Reproduosucessivadamesmaformadeonda,
armazenadanumatabela

Taisondaspodemsersint?cas

Sntese
Snteseporwavetable
Unidadedesntese:oscilador,controladorde
amplitudeecontroladordefrequncia

Sntese
Snteseporwavetable
Envelopedeonda:(1)ataque,(2)decaimento
inicial,(3)sustentao,(4)decaimentonal

Sntese
Snteseadi?va
Somadasformasdeondageradasporumbanco
defontes

Sntese
Snteseadi?va
AaproximaofornecidapelasriedeFourier
podeservistacomosnteseadi?va
4 osc
16 osc

64 osc

Sntese
Sntesesubtra?va
Confundesecomltragem

Sntese
Sntesepormodulao

AM

FM

Sntese
Sntesepormodulao
SnteseFM
frequncia base

ndice de modulao

amplitude
taxa de amostragem

frequncia moduladora

Sntese
Sntesepormodulao
SnteseFM
Sistemanolinear
AnliseviaFunesdeBesseldoPrimeiroTipo
Asfrequnciassignica?vasacrescentadasaosinal
originalsoasquedistamdafrequnciabaseml?plos
inteirosdafrequnciamoduladora,sendoaquan?dade
detaisml?plosigualaI+2

Sntese
Sntesepormodulao
SnteseFM

I=1

I=2

I=3

Sntese
Sntesepormodulao
SnteseFM

WC Olo Garb (http://www.youtube.com/watch?v=R-hML-I5RV0)

TendnciaseAplicaes

LocalizaoeIden?cao
Querybyhumming(QbH)
Fase1:criaodeumbancodedadoscom
representaesdealtonveldealgumascanes
Fase2:dadaumacanoiden?car,processla
demodoanlogoaosexemplosdobancode
dados
Devolveroexemplodobancodedadoscuja
melodiamaisseaproximaencontradana
entrada

LocalizaoeIden?cao
Querybyhumming(QbH)
Representaesmeldicas

LocalizaoeIden?cao
Querybyhumming(QbH)
Aplica?vos
Midomi(www.midomi.com)

Musipedia(www.musipedia.org)

LocalizaoeIden?cao
Monitoraoderdios
Tcnica:Impressodigitaldoudio
Oarquivosegmentadoeumdescritorextraidode
cadasegmento
Umalgoritmodeagrupamentoaplicadoaoconjuntode
descritores,sendoeleitoumrepresentantedecadagrupo
Oconjuntoderepresentantesdeneaimpressodigital
Oudioquesequerclassicarpassapeloprocedimento
doprimeiroitemeosdescritoresob?dossocomparados
simpressesdigitaisdobancodedados

RecomendaoporSimilaridade
iTunesGenius:recomendacanesdaloja
iTunescombaseumumamsicaescolhidana
bibliotecadousurio
LastFM,Pandora:alistadeexecuo
compostademsicassemelhantesqueo
usuriosugere

RecomendaoporSimilaridade
Abordagensparaoproblemade
recomendaoporsimilaridade
Baseadaemcontedo
Recomendaofeitasimplesmenteapar?rdas
caracters?casdoproduto

Colabora?va
Umprodutorecomendadocombasenaspreferncias
deusurioscomperlsemelhanteaodocliente

Mtodoshbridos
Usamasduasabordagens,priorizandoaltragem
colabora?va

NovasInterfaces
PrincetonLaptopOrchestra(PLOrk)
hqp://plork.cs.princeton.edu/

NovasInterfaces
PrincetonLaptopOrchestra(PLOrk)
Hardware
Laptop,interfacerewire,amplicador,altofalante
hemisfrico

Sowware
Max/MSP,SuperCollider,Chuck

NovasInterfaces
Interfacesmul?touche/outangveis
Reactable(UniversitatPompeuFabra)
hqp://mtg.upf.es/reactable/

NovasInterfaces
Interfacesmul?touche/outangveis
Reactable(UniversitatPompeuFabra)

NovasInterfaces
Interfacesmul?touche/outangveis
Reactable(UniversitatPompeuFabra)

NovasInterfaces
Interfacesmul?touche/outangveis
BluesMachine(IMPA)
hqp://www.visgraf.impa.br/bm/

NovasInterfaces
Interfacesmul?touche/outangveis
BluesMachine(IMPA)
iPhoneeiPodTouch(disponvelnaAppStore)

RefernciasRecomendadas

RefernciasRecomendadas
TheComputerMusicTutorial(Cur?sRoads)

RefernciasRecomendadas
TheTheoryandTechniqueofElectronicMusic
(MillerPuckeqe)
hqp://crca.ucsd.edu/~msp/techniques/latest/
book.pdf

PureData
hqp://puredata.info/

RefernciasRecomendadas
Music:AMathema?calOering(David
Benson)
hqp://www.maths.abdn.ac.uk/~bensondj/html/
music.pdf