PROGRAMAÇÃO

DE ÁUDIO
ESZI034 – Jogos Digitais,
Fundamentos, Aspectos
Técnicos e Aplicações
Prof. Mário Minami
 PARTE I – MÚSICA E SONS EM
FILMES e GAMES

PARTE II – CONCEITOS BÁSICOS

SUMÁRIO MUSICAIS, ÁUDIO E ACÚSTICA

PARTE III – UNITY e ÁUDIO 3D

UFABC - ESZI034 - Programação de Áudio 2

 • “Penso que um bom estudo de música é
Homenagens e indispensável aos animadores – compreender
os princípios da música, como é natural para
Depoimentos... uma pessoa apreciar uma música – um
estudo do ritmo, a dança – os vários ritmos
que estão na nossa vida a cada dia”
Walt Disney

• “Eu quero que a música seja um contraponto

de graça e charme, para expressar
sentimentos, sem o qual (...) uma obra de arte
é incompleta”
Charlie Chaplin

• “Computadores são para muitas pessoas, mas

https://www.youtube.com/watch?v=nsUb10HIEUs música é para TODO MUNDO”
Steve Jobs

UFABC - ESZI034 - Programação de Áudio 3

"Música é arquitetura líquida; Arquitetura é
musica congelada" (Goethe).
https://www.youtube.com/watch?time_continue=22&v=XyBensMp_MA&feature=emb_logo

Final Fantasy VIII, “Liberi Fatali”. Nobuo Uematsu. “Coral, órgão e

orquestra de arrepiar os cabelos, clímax glorioso, em duelo a nível
Jedi (de John Willians) entre Squall e Seifer”.
Review In: https://www.lacedrecords.co/blogs/news/final-fantasy-vii-vs-
viii-which-is-the-greatest-nobuo-uematsu-score
UFABC - ESZI034 - Programação de Áudio 4
Steven Spielberg apresenta homenagem a
John Willians https://www.youtube.com/watch?v=tJY5l6I253c

UFABC - ESZI034 - Programação de Áudio 5

 Som
Panorâmico:
ouvir “vendo”
tudo
• “Pan” ou “Panning”

Como o
“Skyline”
de uma
paisagem

UFABC - ESZI034 - Programação de Áudio 6

 Game Clássico
Homenageado

https://www.youtube.com/watch?v=iEGniXc7Xtc

UFABC - ESZI034 - Programação de Áudio 7

 A “Visão”
também
depende da
Paisagem

P. ex. o do
Pan Jazz é
mais “cool”
UFABC - ESZI034 - Programação de Áudio 8
GAME com pitada de JAZZ Band Latina...
https://www.youtube.com/watch?v=QRB6Likh478

UFABC - ESZI034 - Programação de Áudio 9

Menos variedade,
mais “distinção”

Pan Pop&Rock
https://www.youtube.com/watch?time_continue=11&v=BSsfjHCFosw&feature=emb_logo
UFABC - ESZI034 - Programação de Áudio 10
 Funções em Game Audio Programming
• Audio Programmer
• Pessoa com expertise em programar sons no game, com ferramentas

• Engine Programmer, Signal Processing Programmer, Game Audio Manager

• Desenvolve ferramentas de alto nível para áudio (Audio Engines)
• Programa efeitos de aúdio diretamente em código
• Audio Designer, Sound Designer
• Opera todos os aspectos de design sonoro e pós-produção e implementação
• Grava sons originais
• Efetua gravações ao vivo e em licações junto às filmagens
• “ear to the ground” para novas músicas – de artistas populares e acervos de música

UFABC - ESZI034 - Programação de Áudio 11

Audio Programming & Game Audio
Master, dicas de Guy Somberg
https://www.youtube.com/watch?v=Vjm--AqG04Y

UFABC - ESZI034 - Programação de Áudio 12

 Award: The Sound of Shadow of Tomb Rider
https://www.youtube.com/watch?v=x7glfcfpEWE

Diretor Game Senior:

Daniel Chayer-Bisson,
Diretor de Audio:
Rob Bridgett,
Sound Designer Líder:
Frédéric Arnaud,
Sound Designer:
Hugo Léger,
Sound Designer:
Anne-Sophie
Mongeau, e
Music Composer:
Brian D’Oliveira.

UFABC - ESZI034 - Programação de Áudio 13

Designing the Sound of Reality in Shadow
of the Tomb Rider, Anne-Sophie Mongeau
https://www.youtube.com/watch?v=Y0jr8uUUdNY&feature=emb_logo

Apresentação
desta Designer de
Som, num evento
de Áudio, com
explicação bem
didática e demos
do que eles
fizeram neste
Game, premiado
em Sound Design
em 2018
UFABC - ESZI034 - Programação de Áudio 14
Outras Game Audio Tools
• Digital Audio Workstation (DAWs)

• Virtual Instruments

• Free Tools

Bfxr
UFABC - ESZI034 - Programação de Áudio 15
Sons e Músicas em
The Witcher 3
Tema: Orquestra do Estado de Brandenburg

Hurdy Gurdy
Instrumento
Medieval

Típicas: banda Persival

de música folk polonesa

Gravação ao vivo por exemplo na re-construção da batalha de Grunwald (1410)

UFABC - ESZI034 - Programação de Áudio 16
The Witcher 3: Wild Hunt - Creating the sound
Sound Designers e equipe de pós produção

https://www.youtube.com/watch?v=g3B2QHIT1Q4
UFABC - ESZI034 - Programação de Áudio 17
PARTE II – CONCEITOS
BÁSICOS MUSICAIS,
ÁUDIO E ACÚSTICA

UFABC - ESZI034 - Programação de Áudio 18

Pitch - Sensação Auditiva dos tons musicais (“notas”)

Sistema de
Helmholtz
Clave de FÁ
Clave de SOL
Sistema
Científico

UFABC - ESZI034 - Programação de Áudio 19

Como Ler Partituras:
• VÍDEOS:
• Na Clave de SOL: https://www.youtube.com/watch?v=S7rnmAVPsxU
• Na Clave de FÁ: https://www.youtube.com/watch?v=2uAQj6Ewkik
• Para Praticar um pouco a leitura e execução:
https://www.youtube.com/watch?v=RQterRRM_Ig
• SITE:
• https://www.descomplicandoamusica.com/como-ler-partitura/

• APOSTILA:
• lendopartitura.pdf

UFABC - ESZI034 - Programação de Áudio 20

Frequências e cifras

DÓ Central -> Divide a

mão direita da esquerda

Notação de Letras

UFABC - ESZI034 - Programação de Áudio 21

Notas, Frequências e MIDI
Musical Instrument Digital Interface

As oito escalas (oitavas) do piano

UFABC - ESZI034 - Programação de Áudio 22

Tabela com escala cromática extendida
escala cromática é uma escala que contém 12 notas com intervalos de semitons entre elas

UFABC - ESZI034 - Programação de Áudio 23

Formatos MP3, WAV, AIFF e OGG Vorbis
• MPEG 2 – layer 3, MP3, codificação de áudio comercial. Necessário
licenciar.
• WAV – Waveform Audio File Format, é o formato licenciado pela
Microsoft e pela IBM.
• AIFF, Audio Interchange File Format, é licenciado pela Apple
• OGG Vorbis, Open Project, RFC6716. Opus-Codec (free).

UFABC - ESZI034 - Programação de Áudio 24

Envelopes É uma das formas mais comumente utilizadas para
ADSR aplicar um envelope de amplitude a um som para
produzir um timbre característico de
um instrumento musical

UFABC - ESZI034 - Programação de Áudio 25

Head Related Transfer Functions (HRTF)

UFABC - ESZI034 - Programação de Áudio 26

Surround Sound

UFABC - ESZI034 - Programação de Áudio 27

Efeitos de Ambiente:
Reverberações

UFABC - ESZI034 - Programação de Áudio 28

Parte III – UNITY e
ÁUDIO 3D

UFABC - ESZI034 - Programação de Áudio 29

Unity e Áudio
• Formatos AIFF, WAV, MP3, OGG
• Audio Source,
• Audio Listener, atua como um microfone
• Audio Mixer,
• Audio effects
• Ambisonic Áudio

UFABC - ESZI034 - Programação de Áudio 30

 Referência para o clip de áudio a ser tocado.
Audio O som pode vir através de um audio
listener ou de um audio mixer.
Source Determina a prioridade desta fonte de áudio source
em relação das que coexistem na cena. (Prioridade: 0
= mais importante. 256 = menos importante. Default
Fixa a posição = 128.). Use 0 para faixas de música para evitar que
num campo elas sejam ocasionalmente removidas.
estéreo para
sons em 2D. Quantidade de mudança no pitch devido ao
slowdown/speed up de um Audio Clip. Valor 1 é a
velocidade normal de playback.
Determina quanto efeito doppler será aplicado para
esta audio source (se for “0”, então nenhum efeito é
aplicado).

UFABC - ESZI034 - Programação de Áudio 31

Som 3D: Tipos de Rolloff
• O Rolloff é a transição para o “ouvir” o som (fade in)

Logarítmico Linear Customizado

UFABC - ESZI034 - Programação de Áudio 32

 • Tomam um Audio Clip e distorce-o
Zonas de Reverberação dependendo de onde o audio listener
está localizado dentro da Reverb Zone.
• Elas são usadas quando se deseja
gradualmente uma mudança de um
ponto onde não há efeito do ambiente
para outro local onde ele existe, por
exemple quando se entra numa
caverna (vide exemplo de palestra de
Anne-Sophie)

UFABC - ESZI034 - Programação de Áudio 33

Audio Mixer

Propriedade
Função:
do Botão:
S Só (Solo) este grupo.
M Grupo fica Mudo.
B Bypass todos os
efeitos no grupo.

UFABC - ESZI034 - Programação de Áudio 34


Audio Filters (Efeitos)
UFABC - ESZI034 - Programação de Áudio
Podem filtrar as faixas de
frequência do som ou gerar
reverberação e outros efeitos:
• Os efeitos são aplicados pela
adição de componentes ao
objeto com a Audio Source ou
Audio Listener.
• A ordenação dos componentes
é importante, uma vez que ela
reflete a ordem na qual os
efeitos serão aplicados à fonte
sonora.
• Um Audio Listener é modificado
primeiro pelo Low Pass Filter e
depois por um Audio Chorus
Filter ou Audio High Pass Filter.
35
Audio Reverb Filter

UFABC - ESZI034 - Programação de Áudio 36

 Ambisonic Audio:
armazenados em
multicanais

Importação de um ambisonic audio clip

Um arquivo multi-channel WAV pode ser importado:
• Na janela do inspector do audio clip, seleciona-se
a Caixa ambisonic.
• O arquivo WAV deve ter B-format, com ordenação
ACN e normalização SN3D.
Referências:
[1] VR Sound Design in Unity (Getting Started Guide). In: https://gamedevbeginner.com/vr-sound-design-in-unity-getting-started-guide/#ambisonic_audio
[2] Ambisonics Explained: A Guide for Sound Engineers. In: https://www.waves.com/ambisonics-explained-guide-for-sound-engineers
[3] Som espacial no Unity. In: https://docs.microsoft.com/pt-br/windows/mixed-reality/spatial-sound-in-unity
UFABC - ESZI034 - Programação de Áudio 37
 "Áudio adaptável" é um termo usado
para descrever áudio e música que
reage apropriadamente para - e até
mesmo antecipa - a jogabilidade.
Áudio
Adaptativo Guy Whitmore (Gamasutra)

UFABC - ESZI034 - Programação de Áudio 38

Setores com Event trigger diferentes

1 – Verde, player se move confortavelmente, áudio calmo e mais “suave”

2- Preta, áudio neutro
3 – Amarela, zona de exposição, tons de áudio de cuidado e apreensão
4 – Rosa, maior exposição, sons de tensão e expectativa
5 – Vermelha, zona de ataque a qualquer momento, áudio dramático e rápido

UFABC - ESZI034 - Programação de Áudio 39

Mixagem Horizontal e Vertical: Mood’s (“ânimo”)

FMOD, uma Engine de Áudio

que pode ser instalada como
Package

Mixer do Unity é uma DAW

boa para Vertical

UFABC - ESZI034 - Programação de Áudio 40

FMOD

UFABC - ESZI034 - Programação de Áudio 41

AFX’s
Panner

Snapshot
Reverb

Por Script..., enfim,

inumeráveis combinações

Música Adaptativa
UFABC - ESZI034 - Programação de Áudio 42
Outras Referências
• MINAMI, M. e KURASHIMA, C. S., Slides “Codificação de Áudio” da Disciplina
“Codificação de Sinais Multimídia – UFABC”, 2017.
• MINAMI, M. e NOSE, K., Slides “Acústica de Pequenas Salas” da Disciplina “Aplicações
em Acústica, Áudio e Voz – UFABC”, 2018.
• TOOLE, F. E., Sound Reproduction – Loudspeakers and Rooms, Focal Press - Elsevier,
USA, 2008.
• SOMBERG, G., Game Audio Programming - Principles and Practices, CRC Press, USA,
2017.
• http://www.rollingstone.com/culture/news/nine-legitimately-awesome-video-game-
soundtracks-20131004, acessado em 14/03/17, 14:47h.
• THOMAS, F. and JOHNSTON, O.; The Ilusion of Life – Disney Animation, Walt Disney
Productions, NY, 1981.
• Unity Manual Documentation, Audio.
In: https://docs.unity3d.com/560/Documentation/Manual/Audio.html

UFABC - ESZI034 - Programação de Áudio 43