04/11/2011

SNTESIS DE SONIDO Y EFECTOS DE AUDIO DIGITAL

Isabel Barbancho Profesora Titular de Universidad Universidad de Mlaga E.T.S. Ingeniera de Telecomunicacin Campus de Teatinos s/n, 29071 Mlaga Telfono: 952132587 email: ibp@ic.uma.es Noviembre, 2011
1

Organizacin de la charla
1. 2. 3. 4. Introduccin Tcnicas de sntesis de sonido Efectos de sonido Conclusiones

04/11/2011

Introduccin
Qu se entiende por sntesis de sonido? Breve historia Notas musicales Sonido Percepcin del sonido Caractersticas temporales Caractersticas frecuenciales

Introduccin
Qu se entiende por sntesis de sonido?
Tcnicas de procesado de seal aplicadas a replicar sonidos o crear nuevos sonidos.

Historia de la sntesis de sonido

Primer ejemplo: Vocoder 1939. Homer Dudley, Bell Laboratories (New Jersey). Tecnologa de vlvulas

04/11/2011

Introduccin

Historia: Sntesis analgica

Uno de los primeros en sintetizar msica. Sintetizador de Moog. Principios de los 50. Tecnologa de transistores.

Introduccin

Historia: Sntesis Digital

Max Matheus (Bell Lab)en los 60 ordenador. generacin de sonidos por

Padre de la Msica por ordenador y de las DIGITAL MUSIC TOOLS MUSIC, primer programa ampliamente empleado para generacin de sonido (1957) No se poda usar en tiempo real ordenadores muy lentos

04/11/2011

Introduccin

Historia: Sntesis Digital

John Chowning en 1966 sintesis FM tiempo real asequible

YAMAHA realiz el chip DX-7 en los 70

Introduccin

Historia: Sntesis Digital

Julius Smith en los 80 por gua de onda sntesis de sonido mediante modelado

En los 90 sntesis wavetable

04/11/2011

Notas musicales
Cada nota musical lleva asociada una determinada frecuencia fundamental (pitch)
Escala temperada

Nota Frecuencia Nm. (pitch) MIDI Do4 Re4 Mi4 Fa4 Sol4 La4 Si4 Do5 C4 D4 E4 F4 G4 A4 B4 C5 261.63 Hz 293.66Hz 329.63Hz 349.23Hz 392.00Hz 440.00Hz 493.88Hz 493.88Hz 60 62 64 65 67 69 71 72
9

Notas musicales
Forma de onda en tiempo y espectro de la nota A4

Nota Frecuencia Nm. MIDI A4 440.00Hz 69

y = A sin(2ft )
fs=44100; f=440; t=0:1/fs:1; y=sin(2*pi*f*t); sound(y,fs)
10

04/11/2011

Notas musicales
Nota A4 de un piano

11

Notas musicales
Nota A4 de un clarinete

12

04/11/2011

Notas musicales
Nota A4 voz

13

Sonido
Sistema de generacin/recepcin de sonido

Generador

Sistema vibratorio nota musical

Sistema vibratorio instrumento

Medio de radiacin

Odo

Msico

Instrumento

Recinto

Calidad Cuerda, Expresividad membrana, Partitura aire,

Caja de resonancia

Teatro, Saln de actos, aire libre,

14

04/11/2011

Percepcin del sonido

Caractersticas del sistema auditivo

Rango audible: (20Hz-20kHz) No presenta una respuesta plana

80dB

60dB

Umbral de Audicin
Audible

40dB

20dB

Bastante insensibilidad a la fase del espectro de los sonidos

Inaudible
0dB 10Hz 100Hz 1kHz 10kHz

frecuencia

Influye en el diseo de las tcnicas de sntesis musicales

15

Caractersticas temporales
La envolvente de la seal vara con el tiempo (ADSR)

Cada (Decay) Ataque (Attack) Sostenimiento (Sustain)

Relajacin (Release)

Amplitud

Los tiempos de ataque y relajacin son los ms determinantes en la identificacin del instrumento!!

16

04/11/2011

Caractersticas temporales

17

Caractersticas temporales
Instrumentos de entonacin definida y no-definida

18

04/11/2011

Caractersticas frecuenciales

19

Caractersticas frecuenciales

0.2 0.1 0 -0.1 x 10 -0.2 0 2 4

4

Evolucin temporal de las componentes espectrales

Transformada corta de Fourier (STFT)

L-R

Muestras

10

w(m)

DFT N

20

10

04/11/2011

Organizacin de la charla
1. 2. 3. 4. Introduccin Tcnicas de sntesis de sonido Efectos de sonido Conclusiones

21

Tcnicas de sntesis de sonido

Clasificacin Sntesis en frecuencia

Aditiva Sustractiva FM LPC

Sntesis en tiempo
Wavetable Modelado fsico

22

11

04/11/2011

Tcnicas de sntesis de sonido

SNTESIS EN FRECUENCIA

Aditiva Sustractiva Modulacin en amplitud FM Prediccin lineal (LPC) Interpolacin espectral

Modulacin en anillo Modelado de ondas (Waveshaping)

SNTESIS EN TIEMPO

Muestreo wavetable Granular Modelado fsico

23

Tcnicas de sntesis de sonido

SNTESIS EN FRECUENCIA

Aditiva Sustractiva Modulacin en amplitud FM Prediccin lineal (LPC) Interpolacin espectral

Modulacin en anillo Modelado de ondas (Waveshaping)

SNTESIS EN TIEMPO

Muestreo wavetable Granular Modelado fsico

24

12

04/11/2011

Sntesis en frecuencia: Aditiva

Fundamento: desarrollo en serie de Fourier de seales peridicas
x (t ) = Ak sen(k 2 f 0t + k )
k =0

donde:
Ak es la amplitud de la componente k f0 es la frecuencia fundamental de la seal k es la fase de la componente k

Problema:
Las seales musicales no son peridicas No se puede sumar un nmero infinito de seales
25

Sntesis en frecuencia: Aditiva

Solucin a la no periodicidad: Aplicar STFT, de manera que se obtiene la evolucin temporal de las componentes del espectro. Solucin a la suma de un nmero infinito de componentes: Eliminar las que estn fuera del rango audible (20-20.000Hz). Simplificacin: Insensibilidad del odo a la fase de las componentes Expresin a utilizar:

x (t ) Ak (t )sen(k 2 f 0t )
k =1
26

13

04/11/2011

Sntesis en frecuencia: Aditiva

Diagrama de bloques
A1

x (t ) Ak (t )sen(k 2 f 0t )
k =1

f0 A2 Sonido sintetizado

2f0

An

Hay que estimar Frecuencia f0 Nmero de armnicos n Amplitudes Ak

27

nf0

Sntesis en frecuencia: Aditiva

Ejemplo: Do4 de un clarinete
STFT del Do4 del clarinete Aproximacin STFT del Do4 del clarinete

20 15 10 5 0 0 0.5 1 1.5 1500 1000 1170Hz 2000 2500

1170Hz 702Hz 234Hz

2 2.5 t(s) 0

500 702Hz 234Hz f(Hz)

14

04/11/2011

Sntesis en frecuencia: Aditiva

Ejemplo: Do4 de un clarinete
Aproximacin de las envolventes

Aproximacin STFT del Do4 del clarinete

20
20

15
15

10
10

5
5

0 0 0.5 1 1.5 2 2.5 t(s) 0 500 1500 1000 1170Hz 2000 2500

0 0 0.5 1 1.5 2 t(s) 0 1000 2000 1500 2500

702Hz 234Hz f(Hz)

1170Hz 500 702Hz 234Hz f(Hz)

Aprox. Lineal Do4 de un clarinete

Sntesis en frecuencia: Sustractiva

Diagrama de bloques

Instrumento Nota

Seal de banda ancha Pulsos cuadrados Pulsos triangulares Diente de sierra Ruido blanco

Filtro variante en tiempo Modela a ADSR

Sonido sintetizado

Limitaciones en la imitacin de sonidos naturales Ofrece timbres muy particulares

30

15

04/11/2011

Sntesis en frecuencia: Sustractiva

La4 de un clarinete
STFT del La4 de un clarinete (armnicos impares de 440Hz) STFT de seal cuadrada (f=440Hz)

440Hz

2200Hz 1320Hz

31

Sntesis en frecuencia: FM
Idea bsica: El timbre de una forma de onda simple, vara si se modula en frecuencia al dar lugar a una forma de onda ms compleja. Seal modulada FM:

x FM (t ) = Ap cos[ (t )] = Ap cos[ p t + (t )] = Ap cos p t + 2 k Am xm (t )dt

donde:

x p (t ) = Ap cos( p t )

Am xm (t )
fi (t ) =

1 d (t ) = f p + kAm xm 2 dt

seal portadora seal moduladora con xm(t)1 (t ) frecuencia instantnea constante de desviacin en frecuencia
32

16

04/11/2011

Sntesis en frecuencia: FM
Si la moduladora es un tono
Am cos( mt )

kA x FM (t ) = Ap cos p t + 2 k Am cos( mt )dt = Ap cos p t + m sen( m t ) fm

kAm f = fm fm

I=

ndice de modulacin mxima desviacin de frecuencia frecuencia instantnea

33

f = kAm
f i (t ) = f p + kAm cos( mt )

Sntesis en frecuencia: FM
La relacin portadora-moduladora (fp/fm), fija la posicin de las componentes en el espectro Se pueden tener espectros armnicos o inarmnicos El ndice de modulacin (I), determina la amplitud relativa de las componentes del espectro Su variacin en el tiempo, hace que cambie la amplitud de las componentes as como su nmero Hay aadir la evolucin temporal global de las notas: la envolvente espectral (ADSR)
34

17

04/11/2011

Sntesis en frecuencia: FM
La4 de un clarinete El espectro es armnico y slo estn presentes los armnicos impares Los armnicos altos tienen poca energa

Parmetros a definir: fp/fm ndice de modulacin Envolvente espectral

35

440Hz

2200Hz 1320Hz

Sntesis en frecuencia: FM
La4 de un clarinete
STFT del La4 de un clarinete STFT del La4 de un clarinete sintetizado FM

36

18

04/11/2011

Sntesis en frecuencia: LPC

LPC Linear Predictive Coding. Muy utilizada en sntesis y reconocimiento de voz. Requerimientos bsicos: Establecer un modelo que represente los parmetros de la seal que se desea extraer. Algoritmo de anlisis basado en el modelo. Programa de sntesis.
37

Sntesis en frecuencia: LPC

Modelo para el mecanismo de produccin del habla
pitch Generador tren de pulsos Sonido sonoro

H ( z) =

G 1 ak z k
k =1 p

x Generador de ruido aleatorio

Filtro variante en tiempo H(z)

voz

Sonido sordo

Parmetros del tracto vocal

Sonidos sonoros: Generados por las cuerdas vocales. Modificado por el tracto vocal. Espectro discreto y armnico. Sonidos sordos: producido por el aire a travs de los estrechamientos del tracto vocal. Su espectro es continuo y de banda ancha.

38

19

04/11/2011

Sntesis en frecuencia: LPC

Relacin entre las muestras de voz y la excitacin.
p

s ( n ) = ak s ( n k ) + G u ( n )
k =1

s(n)

muestras de la seal de voz

Sistema de prediccin lineal:

~ s ( n ) = k s( n k )
k =1

La funcin de un sistema de prediccin lineal de orden p es:

P ( z ) = k z k
k =1 p

39

Sntesis en frecuencia: LPC

Error de prediccin:
p

e( n ) = s ( n ) ~ s ( n ) = s(n ) k s(n k )
k =1

El error de prediccin es la salida de un sistema con funcin de transferencia:

A( z ) = 1 k z k
k =1

Comparando el error e(n) con

s ( n ) = ak s ( n k ) + G u ( n )
k =1

El filtro de prediccin A(z) es el filtro inverso de H(z)

40

20

04/11/2011

Sntesis en frecuencia: LPC

Problema a resolver: determinar los coeficientes {ak} de A(z)

H ( z) =

G A( z )

La seal de voz es variante en tiempo los coeficientes deben estimarse para pequeos segmentos de la seal de voz. Encontrar {ak} que minimice el error cuadrtico medio de prediccin en un pequeo fragmento de la forma de onda de voz. Determinado {ak} calcular el error utilizarlo como entrada del filtro H(z) = G / A(z) reconstruir la seal de voz s[n]. Si la prediccin lineal est funcionando bien impulsos (un impulso por trama). Seal fuente Ruido para fricativos. error parecido a un tren de

un tren de impulsos ideal para sonoros

41

Sntesis en frecuencia: LPC

Emisin de sonidos sonoros.

42

21

04/11/2011

Sntesis en frecuencia: LPC

Emisin de sonidos sonoros.

X r ( z ) = Y ( z ) H r1 ( z )

43

Sntesis en frecuencia: LPC

Emisin de sonidos sonoros.

44

22

04/11/2011

Tcnicas de sntesis de sonido

SNTESIS EN FRECUENCIA

Aditiva Sustractiva Modulacin en amplitud FM Prediccin lineal (LPC) Interpolacin espectral

Modulacin en anillo Modelado de ondas (Waveshaping)

SNTESIS EN TIEMPO

Muestreo wavetable Granular Modelado fsico

45

Sntesis en tiempo: Wavetable

Fundamento: Digitalizar el sonido original y almacenar las muestras en una tabla de onda (Wavetable)

Seal original

Digitalizacin

Almacenamiento en wavetable

Lectura de las tablas

Seal sintetizada

Necesidad de optimizar la cantidad de informacin a almacenar

46

23

04/11/2011

Sntesis en tiempo: Wavetable

Ejemplo de almacenamiento para instrumentos de entonacin definida. Fragmentos de seal que se repiten peridicamente (sostenimiento) slo se almacena un periodo Fragmentos de seal no repetitivos
2

se almacenan completos

Seal original

1 0 -1 -2 0 0.5 1 1.5 2

Los fragmentos han de tener un nmero entero de periodos

Seal almacenada

1 0 -1 -2 0 0.5 1 1.5 2

47

Sntesis en tiempo: Wavetable

Ejemplo para un piano. Se almacenan dos partes del sonido del instrumento: Se almacena el ataque cuerda del piano sonido del martillo golpeando una

Se almacena un pequeo fragmento del periodo de sustain

Cuando se toca la nota: La parte del ataque se reproduce, seguido por una repeticin en bucle del segmento de sostenimiento. El segmento que se repite, se procesa para crear un decaimiento natural del sonido

48

24

04/11/2011

Sntesis en tiempo: Wavetable

Ventajas: Fcil de implementar Muy buena calidad Eficiente en el tratamiento de seales peridicas

Inconvenientes: No es muy til para crear sonidos nuevos Necesita mucha memoria para almacenar sonidos muestreados

49

Sntesis en tiempo: Modelado fsico

Sntesis de sonido utilizando un modelo matemtico para simular las propiedades fsicas de la fuente del sonido. Cook la utiliz para sintetizar voz. El sonido se genera usando: Resonadores: cmo vibran los elementos fsicos del instrumento parmetros que describen los materiales fsicos empleados en el instrumento Generadores: excitacin que produce el sonido interaccin del usuario con el instrumento. Mtodo muy utilizado: Diseo de guas de onda a partir de modelos discretos en tiempo.
50

25

04/11/2011

Calidad de los sonidos sintetizados

Proceso subjetivo de evaluacin

Categoras de calidad de sonido

Mejor Fsicamente indistinguible

Misma forma de onda Diferencia inaudible Sonidos intercambiables Cambio de interprete Instrumento distinto Sonidos diferentes

Percepcin indistinguible Musicalmente indistinguible Musicalmente aceptable Musicalmente diferente

Peor

Musicalmente independiente

51

Organizacin de la charla
1. 2. 3. 4. Introduccin Tcnicas de sntesis de sonido Efectos de sonido. Conclusiones

52

26

04/11/2011

Digital Audio Effects

Efectos de audio. Utilizados por individuos involucrados en la generacin de seales musicales. Formas especiales de tocar de los msicos Usos concretos de los micrfonos Variaciones multiples de la seal de audio

Clasificacin: Filtrado Paso alto, paso bajo, ecualizadores Filtros variantes en tiempo Wah-wah, Phaser Efectos de retardo Vibrato, Flanger, Chorus, Echo Moduladores Ring modulation, Tremolo, Vibrato Procesado no-lineal Compresin, Limitadores, Distorsin Efectos espaciales Panning, Reverb, Surround Sound
53

Filtro variante en t: wah-wah

Filtros variantes en tiempo Wah-wah. Filtro paso banda con frecuencia central variable y ancho de banda estrecho. La seal filtrada se mezcla con la seal original.
1-mix x(n) mix x x + y(n)

54

27

04/11/2011

Efectos de retardo
Efectos de retardo Vibrato, Flanger, Chorus, Echo Estructuras bsicas con filtros FIR e IIR muy sencillos. Universal Comb Filter combinacin de FIR e IIR. FIR Comb Filter

y ( n ) = x ( n ) + gx ( n M ) con

M = / fs

55

Efectos de retardo
IIR Comb Filter Simula una reflexin sin fin.

y ( n ) = Cx ( n ) + gy ( n M ) con

M = / fs

56

28

04/11/2011

Efectos de retardo
Universal Comb Filter

BL FB FF FIR comb IIR comb allpass delay 1 1 a 0 0 g -a 0 g 0 1 1

57

Efectos de retardo: Vibrato

Variacin peridica del retardo temporal Implementacin: un retardo y un oscilador de baja frecuencia para variar el retardo.

x(n)

Z -M

y(n)

Retardo tpico: 5 a 10 ms Oscilador de baja frecuencia: 5-14Hz

58

29

04/11/2011

Efectos de retardo: Flanging

Variacin peridica del retardo temporal donde se suma tambin la seal original. Implementacin
G x(n) Z -M x + y(n)

Retardo tpico: >15 ms Oscilador de baja frecuencia: 1Hz

59

Efectos de retardo: chorus

Simula varias voces cantanto en un unsono imperfecto. Implementacin: Se suman varias copias de la seal de entrada retrasadas y con variaciones aleatorias de dicho retardo.
1 x(n) g1 Z M1 x + x + y(n)

g2 Z M2 x +

Retardo tpico: 10-25 ms. Retardo vara aleatoriamente poco y despacio.

60

30

04/11/2011

Efectos de retardo: tabla resumen

Configuracin de varios efectos de retardo
Efecto Resonador Flanger Chorus Slapback Echo Rango de retardos (ms) 0...20 015 1025 2550 >50 Modulacin Ninguna Sinusoidal Aleatoria Ninguna Ninguna

61

Efectos moduladores
Efectos de modulacin: Una seal de audio modula en amplitud y fase una seal sinusoidal
Efecto Wah-wah modulacin de amplitud modulacin de fase Efectos Vibrato, Chorus y Flanger

Ring Modulation:
Voz normal

y ( n ) = x ( n ) m( n )
Voz robot Audio ring_mod

Modulacin de amplitud: Vibrato

y ( n ) = (1 + m( n )) x (n )

Tremolo con seno

Tremolo con onda triangular 62

31

04/11/2011

Efectos espaciales
Efectos de espaciales: Cambian la localizacin espacial del sonido. Ejemplo: Introduccin de la respuesta al impulso de un determinado espacio. Grabar la respuesta a un pequeo impulso en el recinto (una palmada, un golpe de tambor). Convolucionar el sonido con la respuesta al impulso del recinto.

63

Conclusiones
Cmo caracterizar una nota musical. Distintas tcnicas de sntesis de sonido: Frecuencia Tiempo

Diversas formas de introducir efectos a una seal musical. Filtrado Modulacin Efectos espaciales

64

32

04/11/2011

Bibliografa
M. Russ, Sound Synthesis and Sampling, Third edition, Focal Press, 2009. U. Zlzer, DAFX. Digital Audio Effects, Wiley, 2011. R. Boulanger, The Csound Book, MIT Press, 2001. D. Simn Zorita, Anlisis y Sntesis de Seales Musicales, E.U.P. Madrid, 2000. U. Zlzer, Digital Audio Signal Processing, Second edition, John Wiley, 2008. S. Bilbao, Numerical Sound Synthesis, John Wiley, 2009. L. R. Rabiner, R. W. Schafer, Digital Processing of Speech Signals, Prentice-Hall, 1978. P. R. Cook, ``Singing voice synthesis: History, current work, and future directions,'' Computer Music Journal, vol. 20, pp. 38-46, Fall 1996. https://ccrma.stanford.edu/~jos/pasp/Digital_Waveguide_Model.html Bonada, J., Serra, X.," Synthesis of the Singing Voice by Performance Sampling and Spectral Models", IEEE Signal Processing Magazine, vol.24, no. 2, pp. 67-79, 2007.
65

SNTESIS DE SONIDO Y EFECTOS DE AUDIO DIGITAL

Isabel Barbancho Profesora Titular de Universidad Universidad de Mlaga E.T.S. Ingeniera de Telecomunicacin Campus de Teatinos s/n, 29071 Mlaga Telfono: 952132587 email: ibp@ic.uma.es Noviembre, 2011
66

33