ESTUDO DA MELHORIA DA TAXA

DE APRENDIZAGEM DE UM
ALGORITMO PARA SEPARAO
CEGA DE FONTES UTILIZANDO
TCNICAS VINDAS DA TEORIA DE
REDES NEURAIS
FELIPE AUGUSTO PEREIRA DE
FIGUEIREDO
MAIO/ 2011
Estudo da melhoria da taxa de
aprendizagem de um algoritmo para
Separao Cega de Fontes utilizando
tcnicas vindas da teoria de Redes
Neurais
FELIPE AUGUSTO PEREIRA DE FIGUEIREDO
Dissertao apresentada ao Instituto Nacional de
Telecomunicaes, como parte dos requisitos para obteno do
Titulo de Mestre em Telecomunicaes.
Orientador: ProI. Dr. Carlos Alberto Ynoguti
Santa Rita do Sapuca
2011

Figueiredo, Felipe Augusto Pereira de
F475e
Estudo da Melhoria da Taxa de Aprendizagem de um Algoritmo
para Separao Cega de Fontes Utilizando Tcnicas vindas da Teoria de
Redes Neurais / Felipe Augusto Pereira de Figueiredo. Santa Rita do
Sapuca, 2011.
137 p.

Orientador: PhD. Carlos Alberto Ynoguti
Dissertao de Mestrado Engenharia de Telecomunicaes
Instituto Nacional de Telecomunicaes INATEL.
Inclui anexo e bibliografia.

1. Separao Cega de Sinais 2. Redes Neurais 3. Filtragem
Adaptativa 4. Anlise de Componentes Independentes. I. Ynoguti, Carlos
Alberto. II. Instituto Nacional de Telecomunicaes INATEL. III. Ttulo.
CDU 621.39
Dissertao deIendida e aprovada em 09/05/2011, pela comisso julgadora:

ProI. Dr. Carlos Alberto Ynoguti (Orientador) - Inatel

ProI. Dr. Luciano Leonel Mendes - Inatel

ProI. Dr. Marcelo de Oliveira Rosa - UTFPR

Prof. Dr. Luciano Leonel Mendes
Coordenador do Curso de Mestrado
ii
A minha me,
minha primeira e grande proIessora.
iii
Agradecimentos
Primeiramente, agradeo a Deus por sempre estar ao meu lado, me dando
saude, Iora e perseverana para alcanar meus objetivos. Agradeo a Ele pela
oportunidade de estar sempre trabalhando e aprendendo. Agradeo ao Espirito Santo
por ter me inspirado e me dado os dons necessarios para a realizao deste trabalho.
A Aldair Ibrantina Pereira de Figueiredo, minha me amada, agradeo por
sempre ser meu porto seguro, minha principal incentivadora e por Iorjar em mim as
virtudes que tenho, sem sua ajuda eu no seria o que sou hoje. Agradeo a ela por
todo o amor, carinho, compreenso e respeito que sempre recebi. Ao meu pai e ao
meu irmo, que la do ceu tem me protegido e guiado nos caminhos da vida.
Ao meu orientador, Dr. Carlos Alberto Ynoguti, pela orientao, incentivo e
preocupao despendidas com muita dedicao a realizao deste trabalho. Sua
colaborao permitiu no so o crescimento acadmico, mas, sim, um valioso
desenvolvimento pessoal. A todos os proIessores que acreditaram, colaboraram e
propiciaram para que, eu chegasse ate esse momento.
Aos amigos que compartilharam o arduo processo de desenvolvimento
cientiIico. Em especial ao casal Rodrigo Pimenta Carvalho e Lana Quele Cardoso
Carvalho e aos amigos Breno Carvalho de Abreu e Suzana Barude Fernandes que me
ajudaram com a gravao de uma base de dados para este trabalho. Fao um
agradecimento especial ao amigos Antnio Tomaz de Carvalho e Robelia de Fatima
Dias Pereira pelo inestimavel apoio para que eu concluisse meu trabalho.
Meu sincero muito obrigado, a todos que contribuiram para realizao desta
etapa de minha vida, que Ioram e so muito importantes para mim. Ao INATEL que
me oIereceu todos os recursos que necessitei.
A Deus toda gloria e louvor.
iv
Indice
Lista de Figuras.........................................................................................................vii
Lista de Tabelas.......................................................................................................... ix
Lista de Abreviaturas e Siglas.................................................................................... x
Lista de Operadores e Smbolos............................................................................. xii
Captulo 1 - Introduo............................................................................................ 16
1.1 Historico........................................................................................................... 16
1.2 Motivao do trabalho......................................................................................20
1.3 Aplicaes........................................................................................................ 23
1.4 Objetivos.......................................................................................................... 24
1.5 Organizao do trabalho...................................................................................26
Captulo 2 - Principais Conceitos para a Separao Cega de Fontes...................28
2.1 DeIinio do problema..................................................................................... 28
2.2 Modelos acusticos para a separao cega de Iontes......................................... 31
2.2.1 Modelo para misturas instantneas........................................................... 31
2.2.2 Modelo para misturas convolutivas.......................................................... 33
2.3 Caracteristicas das Iontes e sua utilizao na separao cega.......................... 34
2.3.1 No-brancura............................................................................................ 36
2.3.2 No-estacionariedade................................................................................37
2.3.3 Estrutura temporal das Iontes................................................................... 38
2.4 Ambigidades na separao cega de Iontes.....................................................39
2.5 InIormao Mutua e a Divergncia de Kullback-Leibler.................................40
2.6 Gradiente Descendente..................................................................................... 43
v
2.7 Medida de desempenho.................................................................................... 45
2.7.1 Medida da supresso das Iontes de sinal interIerente............................... 46
Captulo 3 - Algoritmo para Separao Cega de Fontes Misturadas
Convolutivamente baseado em Estatsticas de Segunda Ordem..........................48
3.1 Introduo.........................................................................................................48
3.2 Algoritmo para separao cega de sinais no dominio do tempo...................... 52
3.2.1 Notao matricial para misturas convolutivas.......................................... 53
3.2.2 Criterio de otimizao...............................................................................58
3.2.3 Metodos para inicializao das matrizes de separao.............................63
3.2.4 Gradiente Natural......................................................................................65
3.2.5 Metodos para estimao das matrizes de correlao................................67
3.2.6 Normalizao eIiciente............................................................................. 70
Captulo 4 - Tcnicas para adaptao do passo de aprendizagem....................... 73
4.1 Minimos locais................................................................................................. 73
4.2 Passo de aprendizagem Iixo............................................................................. 74
4.3 Termo momentum............................................................................................ 75
4.4 Bold driver........................................................................................................77
4.5 Decaimento exponencial.................................................................................. 79
Captulo 5 - Resultados e experimentos.................................................................. 81
5.1 Condies gerais dos experimentos................................................................. 81
5.2 Avaliao das tecnicas para adaptao do passo de aprendizagem..................82
5.2.1 Misturas convolutivas sinteticas............................................................... 82
5.2.2 Misturas convolutivas reais...................................................................... 91
5.3 Normalizao eIiciente..................................................................................... 97
5.4 Estimao das matrizes de correlao atraves dos metodos da correlao e da
covarincia............................................................................................................101
5.5 Avaliao da restrio Sylvester e suas aproximaes................................... 103
5.6 Normalizao dos sinais de saida do sistema de separao...........................105
5.7 Locutor em ambiente ruidoso e reverberante................................................. 107
Captulo 6 - Concluses...........................................................................................110
6.1 Sugestes para trabalhos Iuturos.................................................................... 115
vi
Anexo A.................................................................................................................... 118
C.1 Artigos publicados......................................................................................... 118
C.2 Artigos submetidos........................................................................................ 118
Anexo B.................................................................................................................... 119
Referncias Bibliogrficas...................................................................................... 120
vii
Lista de Figuras
Lista de Figuras
1.1: Diagrama em blocos de um modelo generico para SCF......................... 22
2.1: Modelo para soluo do problema da separao cega de sinais..............29
2.2: Sistema MIMO convolutivo para SCF.....................................................34
2.3: GraIico de contorno de uma Iuno de custo com um minimo local......44
3.1: Sistema MIMO linear para SCF...............................................................49
3.2: Diviso do sinal em segmentos sobrepostos............................................ 55
3.3: Ilustrao de 3.20 para o caso 2 x 2......................................................... 60
3.4: Arranjos para SCF que requerem (a) somente Iiltros FIR causais e (b)
Iiltros FIR causais e no-causais..................................................................... 64
4.1: DiIerentes tipos de superIicies Iormadas por Iunes de custo...............74
4.2: InIluncia do termo momentum............................................................... 77
5.1: Comparativo entre as tecnicas para adaptao do passo de aprendizagem
.........................................................................................................................84
5.2: Curva da SIR para a tecnica do passo de aprendizagem Iixo com 2000
epocas.............................................................................................................. 85
5.3: Variao do valor da Iuno de custo ao longo das iteraes..................88
5.4: Testes combinando o termo momentum com outras tecnicas..................88
5.5: Resposta em Ireqncia e diagrama de recepo dos microIones...........92
5.6: Arranjos para SCF que requerem (a) somente Iiltros FIR causais e (b)
Iiltros FIR causais e no-causais..................................................................... 93
5.7: Comparativo entre as tecnicas para adaptao do passo de aprendizagem
.........................................................................................................................94
viii
5.8: Curva da SIR para a tecnica do passo de aprendizagem Iixo com 1000
epocas.............................................................................................................. 95
5.9: Comparao entre as Iormas de normalizao da equao de atualizao
.........................................................................................................................98
5.10: Normalizao eIiciente com passo de aprendizagem igual a 0,009.....100
5.11: Variao do passo de aprendizagem.....................................................100
5.12: Comparao entre os metodos de estimao das matrizes de correlao
.......................................................................................................................101
5.13: Comparao entre a restrio Sylvester e suas aproximaes eIicientes
.......................................................................................................................104
5.14: Curvas de SIR para a normalizao e no normalizao dos vetores de
saida...............................................................................................................106
5.15: Resultados de experimentos com ruidos............................................. 109
6.1: Variao da SIR em relao a variao do passo de aprendizagem.......114
ix
Lista de Tabelas
Lista de Tabelas
5.1: Comparao da taxa de convergncia e SIR maxima para cada tecnica..85
5.2: Tempo medio de processamento para cada iterao................................86
5.3: Comparao da taxa de convergncia e SIR maxima para as combinaes
de tecnicas....................................................................................................... 90
5.4: Comparao entre as tecnica de adaptao do passo de aprendizagem...96
5.5: Comparao da SIR e tempo de simulao entre os metodos de
normalizao................................................................................................... 99
5.6: Comparao da SIR e tempo de simulao entre os metodos de estimao
.......................................................................................................................102
5.7: Tabela comparativa entre a restrio Sylvester e suas aproximaes
eIicientes....................................................................................................... 105
5.8: Tabela comparativa entre a normalizao e a no normalizao dos
vetores de saida y.......................................................................................... 107
5.9: SIR inicial e maxima para os experimentos com ruidos........................ 109
x
Lista de Abreviaturas e Siglas
ASR Automatic Speech Recognition (Reconhecimento automatico de Iala).
BPSK Binarv Phase Shift Keving (Modulao por chaveamento de Iase).
BSS Blind Source Separation (Separao Cega de Fontes).
EDICS Editors Information Classification Scheme.
EEG Electroencephalogram (EletroenceIalograma).
fdp Funo Densidade de Probabilidade.
FIR Finite Impulse Response Filter (Filtro com Resposta ao Impulso
Finita).
HOS Higher Order Statistics (Estatisticas de Ordem Superior).
i.i.d. Independent Identicallv Distributed (Variaveis Aleatorias
Independentes e Identicamente Distribuidas).
ICA Independent Component Analvsis (Analise de Componentes
Independentes).
IIR Infinite Impulse Response (Resposta InIinita ao Impulso).
LTI Linear Time-Invariant (Sistema Linear invariante no tempo).
MIMO Multiple-inputs and Multiple-outputs (Sistema com multiplas entradas
e multiplas saidas).
MLP Multi Laver Perceptron (Perceptron Multicamadas).
PCA Principal Component Analvsis (Analise de Componentes Principais).
SCF Separao Cega de Fontes.
SIR Signal to Inteference Ratio (Relao Sinal-InterIerncia).
SISO Single-Input and Single Output (Sistema com entrada e saida unicas).
SOM Self Organi:ed Maps (Mapas Auto-Organizaveis).
xi
SOS Second Order Statistics (Estatistica de segunda ordem).
STFT Short-Time Fourier Transform (TransIormada de Fourier de Tempo
Curto).
xii
Lista de Operadores e Smbolos
Operadores
!! ""## Divergncia de Kullback-Leibler entre as variaveis aleatorias p e q.
diag $ Operador que zera todos os valores no pertencentes a diagonal
principal de uma matriz.
bdiag $ Operador que zera todos as submatrizes no pertencentes a diagonal
principal da matriz.
det % Determinante de uma matriz quadrada.
&% Operador esperana.
$
&%
Estimativa da esperana atraves de media temporal.
!!%# Ordem.
rank % Posto do argumento.
'( % Restrio Svlvester.
'(
(
%
Restrio Svlvester da coluna.
'(
)
%
Restrio Svlvester da linha.
tr % Trao de uma matriz, ou seja, soma dos elementos da diagonal
principal.
%" Gradiente com relao a !.
%
"
*+
Gradiente natural com relao a !.
%
2
Operador Laplaciano.
&' &, Derivada parcial com relao a x.
(
- . /
Delta de Kronecker.
xiii
* Operador de convoluo.
!%#
0
Transposto de (.).
!%#
*
Conjugado complexo de (.).
!%#
1
Hermitiano, ou seja, Conjugado transposto de (.).
!%#
)1
Operao inversa de (.).
*!%#* Valor absoluto de (.), escalar.
**!%#**
2
Norma de Frobenius (ou Norma Euclidiana) de (.) (vetor ou matriz).
Smbolos
C Numero de amostras dependentes temporalmente da q-esima Ionte.
D Numero de atrasos de tempo considerados para as correlaes.
f Funo estritamente convexa.
" Matriz que modelo o processo de mistura dos sinais originais.
3
#". 4
k-esimo coeIiciente do Iiltro FIR que modela o caminho entre a
q-esima Ionte e o p-esimo sensor.
#!5."# Funo de custo dependente do bloco atual de processamento e da
matriz de parmetros ".
# Matriz de covarincia.
L Numero de coeIicientes dos Iiltros de separao.
N Comprimento dos segmentos de sinal de saida.
P Numero de sensores.
"
6 . 7
!%# Funo densidade de probabilidade conjunta de dimenso Q para
todos os sinais originais.
"
6
#
.(
!%#
Idp multidimensional com dimenso C da q-esima Ionte.
"
6
#
. 1
!%#
Idp unidimensional da q-esima Ionte.
"
6 . 7(
!%# Idp conjunta de todas as Q Iontes com dimenso QC.
Q Numero de Iontes de sinal original.
$
%%
Matriz de correlaes.
xiv
$
8
"
8
"
Matriz de autocorrelao.
$
&&
! 5#
Matriz de correlao de tempo curto dos sinais captados pelos
sensores.
$
%%
! 5#
Matriz de correlao de tempo curto dos sinais de saida do sistema de
separao.
$
8
"
8
#
!-#
Matriz de correlao cruzada de tempo curto para os canais de saida p
e q.
9
8
"
8
#
!-. ;. < #
Elemento da matriz
$
8
"
8
#
!-#
na u-esima linha e v-esima coluna.
+
$
8
"
8
#
!-# Matriz de correlao cruzada de tempo curto calculada atraves do
metodo da correlao.
' !=# Vetor contendo os sinais originais.
6
#
! =# q-esima Ionte de sinal original como uma Iuno do tempo discreto n.
'>)
8
#
Relao Sinal-InterIerncia para o q-esimo canal de saida.
! Matriz que contem os Iiltros de separao.
?
"#
!4#
CoeIicientes dos Iiltros de separao.
"!0# Ponto de partida do algoritmo para separao cega de sinais.
"
"#
Matriz Toeplitz contendo os coeIicientes do Iiltro que modelo o
caminho entre o p-esimo sensor e a q-esimo saida.
&!=# Vetor contendo os sinais capturados pelos sensores.
(!5# Matriz contendo as amostras captadas pelos P sensores.
,
"
!=# Sinal captado pelo p-esimo sensor como uma Iuno do tempo
discreto n.
(
"
!5#
Matriz contendo 2L x D amostras do sinal capturado pelo p-esimo
sensor.
%! =# Vetor contendo os sinais de saida do sistema de separao.
) !5# Matriz contendo as amostras de todos os Q canais de saida do sistema
de separao.
8
6
9
.#
!=#
Componente contendo a Ionte de sinal original desejada 6
9
!=# .
8
@ .#
!=# Componente de diaIonia presente no q-esimo canal de saida.
xv
)
#
!5#
Matriz contendo N x D amostras do q-esimo canal de saida do sistema
de separao.
o Fator de sobreposio.
, Parmetro de inIluncia de uma iterao passada sobre a atual.
(
8
#
Parmetro para regularizao dinmica das matrizes de
autocorrelao.
- Numero de epocas adotadas para a tecnica do decaimento exponencial.
A!=# Passo de aprendizagem como Iuno do tempo discreto n.
.!- # Termo momentum para i-esima iterao do algoritmo.
xvi
Resumo
Este trabalho se dedica ao estudo da aplicao de algumas tecnicas de
adaptao dinmica do passo de aprendizagem vindas da teoria de redes neurais ao
problema da separao cega de sinais misturados convolutivamente. Estas tecnicas
so estudadas com o objetivo de analisar sua inIluncia na convergncia e
estabilidade do algoritmo para separao cega adotado aqui. As tecnicas para
adaptao do passo de aprendizagem abordadas neste trabalho so utilizadas para a
separao cega de misturas convolutivas reais e sinteticas.
Alem do estudo da utilizao das tecnicas de adaptao dinmica do passo de
aprendizagem, avaliou-se tambem algumas modiIicaes no algoritmo para
separao cega com o intuito de diminuir sua complexidade computacional e
melhorar sua convergncia, ou seja, diminuir o tempo de convergncia e obter o
maior nivel de separao possivel. Por Iim, apresenta-se os resultados de
experimentos que mostram a utilidade do algoritmo adotado neste trabalho na de-
reverberao e denoising de sinais de voz misturados convolutivamente com ruidos.
Palavras-chave: BSS, ICA, Redes Neurais.
xvii
Abstract
The main purpose oI this work is to study the adoption oI some techniques
originated in the neural network area to dynamically adapt the step size used during
the separation process oI convolved mixtures. These techniques are studied in order
to analyze their inIluence on both the convergence and stability oI the algorithm
adopted in this essay. The techniques adopted on this work Ior the step size
adaptation process are used to achieve the blind separation oI real and synthetic
convolved mixtures.
In addition to the study oI the techniques to dynamically adapt the step size,
some modiIications on the adopted algorithm were evaluated with the purpose oI
diminishing the computational complexity and improving the convergence presented
by it. Furthermore, simulations involving the separation oI speech signals
convolutively mixtured with noises were also run and evaluated.
Keywords: BSS, ICA, Neural Networks.
16
Captulo 1 - Introduo
Introduo
Este capitulo introdutorio da uma viso geral do problema da Separao Cega
de Fontes e discute sua importncia. Alem disto, apresenta-se uma viso geral e os
objetivos do trabalho.
1.1 Histrico
As tecnicas para o processamento cego de sinais nasceram nos anos 80,
quando os primeiros equalizadores adaptativos Ioram desenvolvidos para sistemas de
comunicao digital |1||2||3||4|. O problema requeria a criao de um sistema que
compensasse os eIeitos causados por um canal linear estacionario com uma unica
entrada e uma unica saida (Single-Input Single-Output, SISO) sem o conhecimento
do sinal de entrada.
A comunidade cientiIica cunhou o termo 'cego para nomear todos os
metodos de inverso ou identiIicao que se baseiam somente em observaes dos
sinais de saida de um dado sistema. Na verdade, tecnicas para processamento cego de
sinais so empregadas quando o diagrama de olho esta Iechado, o que explica a
terminologia 'cega. O diagrama de olho e uma Ierramenta utilizada para avaliar o
eIeito combinado do ruido de canal e da interIerncia inter-simbolica no desempenho
de um sistema de comunicao digital. Ele e deIinido como a superposio
17
sincronizada de todas as possiveis realizaes do sinal de interesse (e.g., sinal
recebido, saida do receptor) analisadas dentro de um intervalo de sinalizao
particular. O nome diagrama de olho vem do Iato que ele se assemelha ao olho
humano quando se analisa sinais binarios. A regio central do diagrama e chamada de
abertura do olho. Tal diagrama e obtido quando se analisa a sincronicidade de sinais
discretos, tais como sinais BPSK, atraves de um osciloscopio.
O termo 'no-supervisionada Ioi utilizado algumas vezes no inicio dos
estudos, mas atualmente o termo 'cega e a terminologia adotada em todo o mundo,
mesmo que no seja a mais correta, uma vez que so e compreensivel no contexto das
comunicaes digitais.
O problema da Separao Cega de Fontes (SCF) diIere do problema da
equalizao cega, estudado anteriormente por Sato |1|, Godard |2| e Benveniste |3|
pelo Iato de que o sistema linear desconhecido consiste de varias entradas e saidas:
tal sistema e conhecido como sistema com multiplas entradas e multiplas saidas
(Multiple-Inputs Multiple-Outputs, MIMO). Inicialmente restrito a canais sem
memoria, o problema da SCF agora abrange misturas lineares e no-lineares, com ou
sem memoria.
O problema da SCF Ioi Iormulado pela primeira vez por volta de 1982 por
Bernard Ans, Jeanny Herault e Christian Jutten |5||6||7||8|, no mbito de redes
neurais, para o entendimento da dinmica dos movimentos musculares em animais
vertebrados |9|. O problema da separao de Iontes tambem Ioi esboado de Iorma
independente no mbito das comunicaes |10||11|. As primeiras contribuies em
conIerncias de processamento de sinais |5| e redes neurais |7||8| aparaceram por
volta de 1985. Estes artigos atrairam imediatamente a ateno de pesquisadores da
area de processamento de sinais, principalmente na Frana e mais tarde em toda a
Europa.
Em 1985 e 1986, os primeiros estudos sobre separao de Iontes Ioram
apresentados em conIerencias sobre redes neurais, Cognitiva`85 (Paris, Frana) e
Snowbird`86 (Utah, USA). Estes trabalhos atrairam a ateno de alguns
pesquisadores, mas Ioram oIuscados por novos e interessantes estudos no campo das
redes neurais. Por exemplo, na conIerncia Cognitiva`85, Le Cun |12| publicou um
18
trabalho sobre um novo algoritmo de aprendizagem para redes neurais multicamadas
(Multi Laver Perceptron, MLP) o qual Iicou conhecido como o algoritmo back-
propagation. Durante a conIerncia Snowbird`86, muitos pesquisadores estavam
bastante excitados com os modelos de HopIield, Mapas Auto-organizaveis de
Kohonen, MLP e algoritmos de back-propagation. O real interesse pela SCF surgiu
somente bem mais tarde na comunidade de redes neurais, por volta de 1995.
Desde meados da decada de 1990, o problema da SCF tem sido abordado por
pesquisadores com experincia em varios campos: processamento de sinais,
estatistica e redes neurais. Numerosas sesses especiais sobre o assunto Ioram
organizadas em conIerncias internacionais, tais como, GRETSI desde 1993
(Frana), NOLTA`95 (Las Vegas, USA), ISCAS (Atlanta, USA), EUSIPCO desde
1996, NIPS`97 (Denver, USA), ESANN`97 (Bruges, Belgica), IWANN`99
(Alicante, Espanha), MaxEnt2006 (Paris, Frana).
O primeiro workshop internacional totalmente dedicado a este topico,
organizado em Aussois nos Alpes Franceses em Janeiro de 1999, atraiu 130
pesquisadores de todo o mundo. Apos os primeiros artigos internacionais, publicados
em 1991 na revista Signal Processing |13||14||15|, varias revistas internacionais
contribuiram para a divulgao da SCF: Traitement du Signal (em Francs), Signal
Processing, IEEE Transactions on Signal Processing, IEEE Transactions on Circuits
and Systems, Neural Computation e Neural Networks. Adicionalmente, um comit
tecnico dedicado ao estudo das tecnicas de separao cega Ioi criado em Julho de
2001 pela sociedade de circuitos e sistemas do IEEE (IEEE Circuits and Svstems
Societv), e SCF e atualmente uma 'EDICS (Editors Information Classification
Scheme) na IEEE Transactions on Signal Processing e em muitas conIerencias.
O problema da separao de Iontes Ioi inicialmente investigado para o caso
das misturas lineares instantneas |5|. A generalizao para o caso das misturas
convolutivas Ioi considerado no inicio da decada de 1990 |16|. Finalmente, o caso
para misturas no-lineares, com exceo de alguns trabalhos, Ioi abordado no Iinal da
decada de 1990 |17||18||19|. Alem disso, a Analise de Componentes Independentes
(Independent Component Analvsis, ICA), que e uma tecnica utilizada para estimar os
sinais originais baseada na independncia estatistica destes sinais, Ioi introduzida em
19
1987 |20|, e Iormalizada para misturas lineares por Comon em 1991 |21||22|.
Vale ressaltar que na literatura o termo Separao Cega de Fontes, SCF ou
BSS em ingls, e por vezes conIundido ou mesmo usado como sinnimo para
Analise de Componentes Independentes (ICA), embora se reIiram a modelos iguais
ou similares que podem ser solucionados com os mesmos algoritmos sob a suposio
basica de que as Iontes originais so estatisticamente independentes entre si. No
entanto, para muitos casos envolvendo problemas reais, o objetivo da ICA e da SCF
se torna um pouco diIerente. De Iato, o objetivo da SCF e o de estimar os sinais
originais mesmo que eles no sejam completamente independentes entre si, enquanto
que o objetivo da ICA e o de determinar uma transIormao que garanta que os sinais
de saida sejam to independentes uns dos outros quanto possivel. Deve ser salientado
que em muitos casos os metodos para ICA utilizam estatisticas de ordem superior
(High Order Statistics, HOS), enquanto que metodos para SCF esto aptos a utilizar
somente estatisticas de segunda ordem (Second Order Statistics, SOS) |29|. Metodos
de segunda ordem supem que as Iontes apresentam alguma estrutura temporal, ou
seja, consideram que as Iontes originais apresentam estatisticas de segunda ordem
(correlaes, varincia e media) variantes ao longo do tempo, enquanto que metodos
de ordem superior supem somente sua independncia mutua |27||28|. Outra
diIerena e a de que metodos utilizando estatisticas de ordem superior no podem ser
aplicados a sinais que possuam distribuio de probabilidade gaussiana, enquanto
que metodos de segunda ordem no apresentam tal restrio |27||28|. Portanto,
metodos para SCF no substituem a Analise de Componentes Independentes (ICA) e
vice versa, uma vez que cada uma das abordagens e baseada em suposies e
Irequentemente objetivos diIerentes.
Claramente, a independncia das Iontes esta ligada a area de probabilidade e
estatistica, e Ierramentas trazidas deste campo de estudos tm ajudado imensamente
na soluo do problema da SCF. Por exemplo, a tecnica da analise Iatorial, que Ioi
amplamente estudada nos anos 50, parece ser outra Iorma de Iormalizar ICA,
especialmente para o caso do problema da separao. Embora muitos resultados
estivessem disponiveis ha muitos anos, os resultados de Darmois |23| Ioram trazidos
a luz por Comon em 1991 |21|, e mais recentemente, pesquisadores utilizaram alguns
20
teoremas apresentados no livro de estatistica |24| publicado em 1973.
Alem da separao de Iontes, ICA tambem pode ser usada para a
decomposio de dados complexos, tais como sinais e imagens em bases esparsas
cujos componentes possuem a propriedade da independncia mutua |25|.
As palavras chave: separao de Iontes e ICA no Ioram usadas desde o
inicio. Por exemplo, os primeiros artigos |5||6| tinham titulos bastante longos e
intrincados. Em 1986, a palavra discriminao de Iontes Ioi usada, mas a palavra-
chave separao de Iontes se tornou aceita somente apos 1987. Tecnicas para
separao cega tambem receberam uma denominao estranha por P. Duvaut 1990
|26|, cuja traduo corresponde a 'metodos de clarividncia. O termo ICA Ioi
introduzido pela primeira vez em 1987 |20| mas o conceito so Ioi Iormalizado mais
tarde, em 1991 por Comon |21||22|.
O numero de artigos publicados sobre os temas SCF e ICA e enorme: em
Junho de 2009, 22 mil artigos cientiIicos Ioram registrados pelo Google Scholar em
engenharia, computao e matematica |27|. Entre os livros publicados sobe o tema da
SCF se destacam |27||28||29|.
1.2 Motivao do trabalho
Em varias situaes praticas e necessario o uso de sensores para capturar
inIormaes. As inIormaes a serem processadas so obtidas atraves de diIerentes
Iormas, variando de acordo com a aplicao. Por exemplo, os dados podem ser
obtidos por meio de um conjunto de antenas, varios microIones espalhados em uma
sala e sensores biomedicos. Cada um dos sensores capta diIerentes conjuntos de
dados, uma vez que cada sensor apresenta caracteristicas distintas, tais como sua
localizao. Embora diIerentes, as medies oriundas dos sensores podem ser
relacionadas, visto que elas capturam o mesmo evento ou o mesmo conjunto de
sinais originais.
Em muitos casos praticos, os sinais Iornecidos pelos sensores so misturas
dos diversos sinais (Iontes) originais. Alem disso, em geral, no e possivel observar
as Iontes de sinais originais diretamente e to pouco determinar a Iorma com que elas
21
Ioram misturadas. Esse problema e conhecido como o problema da Separao Cega
de Fontes, SCF ou em ingls Blind Source Separation, BSS.
Portanto, a Separao Cega de Fontes consiste basicamente na recuperao
das Iontes de sinal originais a partir dos sinais misturados. Estes sinais misturados
so tipicamente obtidos atraves de um conjunto de sensores, para os quais, cada saida
representa uma combinao de diIerentes Iontes. O adjetivo 'cego e utilizado para
salientar o Iato de que pouco se sabe a respeito das caracteristicas ou propriedades
dos sinais originais e sobre o processo de mistura e/ou como eles inIlui nos sinais
captados pelos sensores. Nestes casos, somente as inIormaes presentes nas saidas
dos sensores e algumas propriedades dos sinais originais so conhecidas. Devido a
este Iato, o desenvolvimento de metodos para SCF tm sido alvo de muitos trabalhos
em diversas areas de conhecimento, como por exemplo, bioengenharia,
telecomunicaes, economia, processamento de sinais e imagens, entre outras |27|.
Na ultima decada, o processamento cego de sinais vem se tornando uma area
bastante promissora de pesquisa dentro do universo do processamento de sinais. Isto
e devido ao seu solido embasamento teorico e suas inumeras aplicaes em potencial.
A principal diIerena entre as tecnicas adotadas para o processamento cego e as
convencionais (e.g., equalizadores e Iiltros adaptativos) esta no Iato de que as
tecnicas para processamento cego no necessitam de dados ou seqncias de
treinamento e desconsideram o conhecimento sobre os sinais originais e tambem
sobre o sistema de mistura ao qual os sinais originais Ioram submetidos |21||28||29|.
Com o intuito de solucionar o problema da separao cega de Iontes e
necessario suprir a Ialta de inIormaes relacionadas aos sinais originais e ao sistema
de mistura. Para suprir esta Ialta de inIormaes, algumas consideraes devem ser
Ieitas. Estas consideraes impem restries as propriedades estatisticas e/ou
estruturais dos sinais originais e do sistema de mistura. Nesta dissertao, o sistema
de mistura sera considerado linear e invariante no tempo (Linear Time-Invariant,
LTI). Outra considerao Ieita nesta dissertao e que o numero de Iontes originais e
igual ao numero de sensores.
Um problema bastante conhecido na area de processamento cego e o chamado
de Cocktail Party. Neste problema, varias pessoas se encontram em uma sala
22
conversando ao mesmo tempo e alem disso, existe uma musica tocando ao Iundo.
Portanto, o objetivo aqui e o de aplicar um metodo de separao para encontrar o
sinal de voz de cada um dos locutores e da musica, a partir dos sinais captados pelos
microIones.
O problema do Cocktail Party Ioi mencionado inicialmente em 1953 por
Cherry |30|, no contexto da capacidade humana de reconhecimento de mensagens de
voz. Desde ento, muitos pesquisadores tm buscado novas Iormas de representar
esse problema |31||32||33|.
O diagrama em blocos de um sistema generico para SCF e mostrado na
Figura 1.1. Como ilustrado na Iigura, assume-se que os sinais observados &!=# ,
onde &!=# e o vetor contendo os sinais captados pelos sensores, Ioram gerados
atraves de uma mistura desconhecida dos sinais originais '!=# , onde ' !=# e o vetor
contendo os sinais originais. Portanto, o objetivo da SCF e o de encontrar um sistema
de separao que consiga estimar os sinais originais. O vetor % !=# , entregue na
saida do sistema mostrado na Figura 1.1, contm as estimativas produzidas durante o
processo de separao.
Sinais
observados
H W
Processo de
mistura
Processo de
separao
Sistema
desconhecido
Estimao dos
coeIicientes de
separao
x(n) s(n) y(n)
Figura 1.1: Diagrama em blocos de um modelo generico para SCF.
Existem duas abordagens basicas para se modelar o processo de mistura dos
sinais originais. A primeira e o caso para misturas instantneas, onde o processo de
mistura e modelado atraves de uma matriz. Neste caso, cada sensor (microIone) capta
uma combinao linear dos sinais originais.
A segunda abordagem para SCF, a qual e adotada neste trabalho, e para as
23
chamadas misturas convolutivas, onde o processo de mistura e modelado atraves de
Iiltros. Neste caso, cada sensor capta verses atenuadas e atrasadas de todos os sinais
originais, ou seja, cada sensor capta o resultado da convoluo dos sinais originais
com a resposta impulsiva do trajeto entre sua origem e o ponto de mistura, neste caso
o sensor. As verses atrasadas dos sinais so devidas a reIlexes dos sinais nas
paredes da sala. No Capitulo 2 apresenta-se uma discusso mais detalhada das
abordagens para se modelar o processo de mistura dos sinais originais.
1.3 Aplicaes
O problema da SCF surge em muitos sistemas multi-sensores: arranjos de
antenas, arranjos de sensores quimicos e conjuntos de sensores para
eletroenceIalograIia. Este amplo conjunto de possiveis aplicaes e uma das razes
pelas quais as tecnicas para SCF tm obtido grande sucesso entre pesquisadores de
diversas areas. Tais tecnicas tm sido empregadas intensivamente em trs campos em
particular:
/ aplicaes biomedicas tais como eletrocardiograma,
eletroenceIalograma, magneto-enceIalograIia, ressonncia magnetica,
e.g. |34||35|;
/ separao de Iontes de audio, com aplicaes especiais para musica e
Iala, e.g. |36|;
/ aplicaes em telecomunicaes, e.g. |27||37||38|.
Alem disso, metodos para SCF tambem tem sido empregados no
processamento de imagens, marcas d'agua digital, preprocessamento para
classiIicao de padres e monitoramento de sistemas complexos. Uma vasta relao
de aplicaes nestas areas se encontra disponivel em |29|.
Metodos para separao cega de Iontes se baseiam essencialmente na
estimao de parmetros desconhecidos, o que normalmente requer um modelo para
o sistema de separao, uma Iuno de custo e um algoritmo de otimizao. Desta
24
Iorma, para que uma dada aplicao atinja resultados relevantes e necessario que:
/ as Iontes satisIaam umas das premissas basicas: independncia
estatistica entre as Iontes de sinal original (i.i.d i.e., independentes e
identicamente distribuidos), no-estacionariedade e/ou esparcidade.
/ o sistema de separao seja adequado ao modelo do sistema de
mistura (modelo para misturas instantneas ou convolutivas), o qual
assume que o modelo Iisico que produz os sinais observados esteja
correto.
Esparcidade e uma caracteristica apresentada por alguns sinais como, por
exemplo, os de voz, os quais possuem uma distribuio muito proxima a da
distribuio de Laplace |121||123|. Estes sinais tambem so conhecidos como super-
gaussianos |28|, pois possuem valores muito proximos de zero durante grande parte
do tempo, Iazendo com que sua distribuio de probabilidade tenha um pico muito
elevado e estreito ao redor de zero. Portanto, quando sinais so suIicientemente
esparsos, pode-se assumir que as Iontes raramente se sobrepem.
Caso estas restries no sejam satisIeitas, ou seja, um modelo ou um criterio
errado Ior usado, o algoritmo de otimizao ira Iornecer estimativas dos sinais
originais que so de Iato otimas com relao ao criterio e ao modelo adotado, mas
cuja relevncia no e garantida.
1.4 Objetivos
Algoritmos para SCF, em sua grande maioria, baseiam-se em tecnicas no-
supervisionadas que empregam Iunes de custo as quais devem ser minimizadas
com o intuito de se encontrar um sistema de separao que entregue em sua saida
estimativas dos sinais originais. A minimizao da Iuno de custo adotada por um
algoritmo para SCF e realizada atraves de metodos de otimizao iterativos |28|.
Estes algoritmos, em sua grande parte, se baseiam no gradiente da Iuno de custo
adotada.
25
Algoritmos para SCF apresentam Irequentemente uma baixa taxa de
convergncia e uma alta dependncia sobre o valor do passo de aprendizagem |28|
|29|. Alem disso, a Iorma da superIicie Iormada pela Iuno de custo, para a maioria
das aplicaes, apresenta irregularidades que so diIiceis de se lidar atraves da
tecnica do gradiente descendente com um passo de aprendizagem Iixo |39|.
Dependendo da complexidade da superIicie Iormada pela Iuno de custo, podero
existir varios minimos locais. Caso o algoritmo encontre uma regio que contenha
um minimo local, ele certamente sera direcionado para aquele minimo e o processo
de otimizao Iicara preso naquele ponto, gerando um resultado sub-otimo, enquanto
seria desejavel que o algoritmo continuasse a procura ate encontrar um minimo
global ou pelo menos um resultado aceitavel (abaixo de um limiar predeterminado).
A separao cega de sinais que Ioram misturados convolutivamente, envolve
geralmente, a estimao de um sistema de separao que pode conter centenas ou
milhares de parmetros (coeIicientes dos Iiltros de separao). Este alto numero de
parmetros Iaz com que a superIicie Iormada pela Iuno de custo seja bastante
complexa, tornando o processo de busca pelo ponto de minimo global mais diIicil.
Sabe-se da teoria de redes neurais que uma manipulao (adaptao) apropriada do
passo de aprendizagem durante o processo de treinamento pode levar a uma melhoria
da taxa de convergncia do algoritmo alem de evitar minimos locais |28||29||40|.
Um grande numero de metodos para adaptao do passo de aprendizagem no
contexto de redes neurais tm sido propostos ao longo dos anos |39|.
O principal objetivo deste trabalho e estudar a utilizao de algumas das
tecnicas de adaptao do passo de aprendizagem utilizadas no treinamento de redes
neurais no contexto da separao cega de sinais misturados convolutivamente. Com o
intuito de atingir tal objetivo, utiliza-se um algoritmo para SCF misturadas
convolutivamente baseado em estatisticas de segunda ordem, tambem conhecidas
como momentos de segunda ordem, primeiramente apresentado em |41|. Os
resultados do estudo da adaptao do passo de aprendizagem so apresentados no
Capitulo 5. Alem destes resultados, estudou-se tambem algumas Iormas de se reduzir
a complexidade computacional do algoritmo utilizado neste trabalho alem de
veriIicar sua utilizao na separao de sinais misturados com ruidos da base de
26
dados Aurora |42|. O algoritmo para SCF Ioi desenvolvido com a Ierramenta de
simulaes Matlab |43|.
1.5 Organizao do trabalho
Esta dissertao Ioi dividida em cinco partes: introduo ao problema da
separao cega de Iontes, estudo de um algoritmo para separao cega no dominio do
tempo baseado em estatisticas de segunda ordem, descrio das tecnicas utilizadas
para adaptar o passo de aprendizagem, simulaes computacionais e concluses.
Este capitulo apresenta uma viso historica e introdutoria ao problema da
separao cega de Iontes, bem como a motivao e os objetivos deste trabalho. Alem
disso, so apresentadas algumas aplicaes para tecnicas de SCF.
O Capitulo 2 apresenta a deIinio do problema da SCF, alem de Iazer uma
breve reviso dos conceitos mais importantes para a compreenso do processo de
separao cega de sinais e do algoritmo apresentado no Capitulo 3, tais como, o
gradiente descendente, a medida da inIormao mutua entre variaveis aleatorias e as
propriedades dos sinais acusticos nas quais o algoritmo se baseia pra realizar a
separao das Iontes. No Capitulo 2 tambem so apresentadas as indeterminaes
inerentes ao processo de SCF devido as suposies Ieitas para a realizao da
separao. Por Iim, so apresentados os modelos acusticos utilizados para modelar o
processo de mistura dos sinais originais e a medida de desempenho utilizada para
avaliar a qualidade da separao obtida pelo algoritmo.
O algoritmo para separao cega adotado neste trabalho e apresentado no
Capitulo 3. Este algoritmo tm como objetivo a separao de sinais misturados
convolutivamente, ou seja, sinais captados por sensores localizados em um ambiente
reverberante. O algoritmo Ioi inicialmente introduzido em |41| e se baseia em
estatisticas de segunda ordem para realizar a separao dos sinais. No Capitulo 4 so
apresentadas as tecnicas de adaptao do passo de aprendizagem vindas da teoria de
redes neurais que sero adotadas neste trabalho para os experimentos mostrados no
Capitulo 5. O Capitulo 5, alem de apresentar os resultados da adoo das tecnicas de
adaptao do passo de aprendizagem mostradas no Capitulo 4 para misturas
27
convolutivas reais e sinteticas, apresenta tambem resultados de experimentos que
visam a diminuio da complexidade do algoritmo utilizado no presente trabalho.
Finalmente, no Capitulo 6 so apresentadas as concluses e as sugestes de
trabalhos Iuturos com base nos resultados obtidos.
28
Captulo 2 - Principais Conceitos para a Separao Cega de Fontes
Principais Conceitos para a Separao Cega de
Fontes
Este capitulo apresenta a deIinio do problema da Separao Cega de
Fontes, alem de Iazer uma breve reviso de alguns dos conceitos mais importantes
para compreenso da separao cega de Iontes e do algoritmo apresentado no
Capitulo 3. Ao Iinal deste capitulo introduz-se a medida de desempenho adotada
neste trabalho para avaliar a qualidade da separao obtida pelo algoritmo para SCF
apresentado no Capitulo 3.
2.1 Definio do problema
O problema da separao cega de Iontes considera a existncia de um
determinado numero de sinais emitidos por Iontes Iisicas. Estas Iontes podem ser por
exemplo, sinais eletricos sendo emitidos por diIerentes areas do cerebro, varios
locutores Ialando simultaneamente em uma sala ou ate mesmo ondas de radio-
Ireqncia. Alem disso, supe-se a existncia de sensores que esto localizados em
posies diIerentes, assim, cada sensor capta uma mistura diIerente dos sinais
originais. O objetivo da separao cega de Iontes e recuperar os sinais originais a
partir deste conjunto de sinais misturados captados pelos sensores. O problema da
separao cega de sinais pode ser deIinido de Iorma geral da maneira que se segue.
Seja o modelo deIinido na Figura 2.1.
29
Sistema de
mistura H
S
1
S
Q
S
2

Fontes

V
1
V
2
V
K !!!
Rudo +
Interferncia
Sistema de
Separao
W
Elementos desconhecidos
X
1
X
2
X
P

Sinais
Misturados
Y
P
Y
2
Y
1

Fontes
Estimadas
!
!
!
!
!
!
!
!
!
Figura 2.1: Modelo para soluo do problema da separao cega de sinais |29|.
Neste modelo, considera-se que 7 sinais '!=# 0 6
1
!=#. 6
2
!=# .... . 6
7
!=#1
0
,
esto sendo emitidos, ou transmitidos, por alguma Ionte ou Iontes Iisicas atraves de
um canal ". A seguir, considera-se a existncia de sensores em diIerentes posies,
os quais captam e armazenam as misturas das Iontes originalmente transmitidas. No
canal de transmisso, alem da mistura, os sinais originais soIrem o eIeito de ruidos e
interIerncias, as quais sero representadas por *!=# . Os sinais misturados captados
pelos sensores so representados por &!=# 0 ,
1
!=# . ,
2
!=# .... . ,
B
! =#1
0
.
O objetivo da separao cega de sinais e o de encontrar os sinais originais
' !=# . Uma Iorma de Iazer isso e atraves de um sistema de separao !, que Iornea
uma estimativa, %! =# 0 8
1
!=#. 8
2
!=#. ... . 8
B
!=#1
0
destes sinais.
Para o caso geral de separao cega de sinais, considera-se P sinais
misturados e normalmente tem-se que B 2 7 . Estes sinais, captados pelos
sensores, podem ser o resultado da convoluo e combinao linear entre os sinais
originais '!=# e o sistema de mistura " ou somente da combinao linear entre as
Iontes e o sistema, dependendo do modelo de mistura adotado.
Neste trabalho assim como na literatura |27||28||29|, a menos que dito o
contrario, as Iontes '!=# so consideradas variantes no tempo, com media zero e
30
totalmente desconhecidas. Salvo consideraes iniciais, o numero Q de Iontes e
tambem desconhecido e pode variar ao longo do tempo. Algoritmos destinados a
separao cega de sinais tem disponiveis apenas os B sinais captados pelos sensores
&!=# .
Portanto, para solucionar o problema descrito acima, e preciso adaptar, ou
estimar, os pesos
?
-/
da matriz de separao ! para que as medidas provenientes
dos sensores &!=# possam gerar boas estimativas %! =# dos sinais originais ' !=#
ou seja, sinais %! =# que se aproximem o maximo de propriedades conhecidas dos
sinais originais '!=# .
Os coeIicientes otimos para o sistema de separao so encontrados quando
os sinais de saida %! =# atendem a algum tipo de restrio ou considerao
estabelecida a respeito das Iontes que se deseja separar. Um tipo de restrio bastante
adotado e o da independncia estatistica entre os sinais de saida do sistema de
separao !. Esta restrio e valida para uma variedade de sinais, tais como os sinais
de voz de multiplos locutores. Portanto, para que o problema da SCF seja
solucionado, deve-se encontrar um sistema de separao cujas as saidas sejam
estatisticamente independentes.
O problema descrito acima e Irequentemente descrito como Separao Cega
de Fontes, SCF |28||71||88|. O termo 'cega salienta o Iato de que os sinais
originais e o sistema de separao so considerados desconhecidos.
A primeira impresso para alguem que acaba de iniciar o estudo sobre SCF e
que ela parece ser impossivel de ser alcanada, uma vez que o termo 'cego insinua
que se deve estimar as Iontes originais sem o conhecimento dos parmetros
envolvidos no processo de mistura dos sinais originais, tais como a distribuio de
probabilidade dos sinais e as caracteristicas do canal. E diIicil imaginar que se pode
estima-los de alguma Iorma. De Iato, apos estudo mais aproIundado, veriIica-se que
sem algum conhecimento a priori, no e possivel encontrar-se estimativas unicas
para os sinais originais. Entretanto, pode-se estima-los ate certas indeterminaes
|29|. Em termos matematicos estas indeterminaes ou ambigidades, podem ser
expressas como escalonamento arbitrario, permutao e Iiltragem dos sinais originais
estimados.
31
Neste trabalho, o sistema de mistura " e representado por Iiltros com resposta
ao impulso Iinita (Finite Impulse Response Filter, FIR). Cada um dos Iiltros que
compem o sistema, modela a Iuno de transIerncia entre as Iontes de sinais e os
sensores. Este modelo de sistema de separao e conhecido como modelo para
misturas convolutivas pelo Iato de que considera verses diretas e atrasadas das
Iontes. Adicionalmente, considera-se neste trabalho a ausncia de ruido e que o
numero de Iontes e igual ao numero de sensores.
2.2 Modelos acsticos para a separao cega de fontes
Desde que Herault e Jutten apresentaram o problema da separao cega de
Iontes em |5| e |89|, varios metodos para solucionar o problema tem sido propostos.
Estes metodos, em geral, adotam uma das duas abordagens existentes para modelar o
processo de mistura. A primeira abordagem e para o caso com misturas instantneas,
a qual modela o processo de mistura como sendo uma matriz de escalares. A segunda
e para o caso que envolve misturas convolutivas. Esta abordagem modela o processo
de mistura como um conjunto de Iiltros. Este trabalho Iocara na abordagem para
misturas convolutivas a Iim de modelar os ambientes acusticos nos quais sinais de
vozes podem ser captados. A seguir, uma breve discusso dos modelos utilizados
para misturas instantneas e convolutivas e Ieita.
2.2.1 Modelo para misturas instantneas
O caso mais simples de SCF lida com um modelo de misturas instantneas,
onde nenhuma verso atrasada dos sinais originais e considerada, ou seja, somente
sinais diretos se encontram presentes nas misturas captadas pelos sensores. Isto pode
ser descrito como um conjunto de observaes ,
"
!=#. " 1,..., B , geradas como
sendo uma mistura linear de componentes independentes 6
#
! =#. # 1,...,7 , pela
equao
32
,
"
3=4
5
#61
B
3
#"
6
#
3=4 <
"
3=4 (2.1)
onde 3
#"
so os coeIicientes de peso de cada Ionte para cada sensor, <
"
3=4 e a
possivel contribuio de ruido em cada um dos sensores e = e o indice de tempo
discreto.
O objetivo da SCF para o caso de misturas instantneas e o de encontrar um
sistema de separao com coeIicientes ?
"#
, que recuperam estimativas
8
#
!=# . # 1,...,7 dos sinais originais 6
#
! =# atraves de
8
#
!=#
5
"61
B
?
"#
,
"
!=# (2.2)
Existem varias aplicaes onde o modelo para misturas instantneas e
aplicavel. Por exemplo, no estudo do cerebro, a SCF ajuda a identiIicar componentes
Iundamentais presentes nas atividades cerebrais captadas por um
eletroenceIalograma, EEG |29|, ou em analises econmicas, onde a SCF e utilizada
para encontrar Iatores ocultos em dados Iinanceiros |28|. Outra aplicao e no
processamento de imagens, onde a extrao de caracteristicas independentes leva a
uma melhoria na qualidade das imagens, por exemplo, de observaes astronmicas
|90|. Um tratamento detalhado do caso para misturas instantneas e os respectivos
algoritmos para sua soluo podem ser encontrados em |28|. Neste trabalho
considera-se o caso da SCF para ambientes acusticos, i.e., ambientes que iro gerar
verses atrasadas dos sinais devido a reverberao, e sendo assim, o modelo para
misturas instantneas no e apropriado, pois este modelo no considera verses
atrasadas dos sinais originais. Para a separao de misturas convolutivas Iaz-se
necessario a adoo de um modelo que incorpore verses atrasadas dos sinais
captados pelos sensores.
33
2.2.2 Modelo para misturas convolutivas
A extenso do modelo para misturas instantneas atraves da adio de verses
atrasadas dos sinais originais 6
#
! =# leva a um sistema de mistura que e Iormado por
Iiltros com resposta ao impulso Iinita (FIR) ao inves de escalares. Um sistema de
mistura com M coeIicientes e descrito por
,
"
3=4
5
#61
7
5
460
C)1
3
#". 4
6
#
3=)44 <
"
3=4 (2.3)
onde 3
#" . 4
. 4 0,..., C - 1 so os coeIicientes do Iiltro FIR que modela os caminhos
percorridos pela q-esima Ionte ate o p-esimo sensor. Deve ser salientado que os sinais
Ionte devem ser considerados puntuais para que se possa modelar os varios caminhos
percorridos por um sinal atraves de Iiltros FIR. Sinais de voz podem ser modelados
como Iontes puntuais, ou seja, Iontes de sinal que emitem ondas sonoras esIericas
cuja intensidade e Iuno da distncia entre a Irente de onda e a Ionte. Alem dos
sinais Ionte, um ruido <
"
3=4 pode ser captado por cada sensor. Similarmente a SCF
para misturas convolutivas, deseja-se encontrar um sistema de separao para o qual,
os sinais de saida 8
#
!=# sejam representados por
8
#
!=#
5
"61
B
5
460
D)1
?
"#. 4
,
"
!=)4# (2.4)
O parmetro L e o comprimento dos Iiltros FIR de separao, ?
"#.4
. Vale
ressaltar que o numero de taps dos Iiltros de separao L deve ser escolhido de tal
Iorma que seja no minimo igual a M, sendo que o valor otimo de L e encontrado
quando este e Ieito igual a M |53|. O modelo para misturas convolutivas juntamente
com o sistema de separao e apresentado na Figura 2.2 atraves de um diagrama em
blocos.
34
h
11
h
Q1
h
1P
h
QP
w
11
w
P1
w
1Q
w
PQ
x
1
x
P
v
Q
v
1 S1
S
Q
Sistema de
separao
Sistema de
mistura
v1
v
p
Figura 2.2: Sistema MIMO convolutivo para SCF.
Analisando-se a Figura 2.2 Iica obvio que a SCF pode ser classiIicada como
uma tecnica para sistemas com multiplas entradas e multiplas saidas (Multiple Input
Multiple Output, MIMO). Os algoritmos para SCF so comumente desenvolvidos
sob a suposio de que o numero de Iontes 6
#
! =#, # 1,...,7 , potencialmente ativas
simultaneamente e igual ao numero de sinais, ,
"
!=#, " 1,..., B , captados pelos
sensores. Este modelo e denominado modelo-padro para SCF. Alem disso, no caso
mais geral, onde tm-se um numero arbitrario de Iontes e sensores pode ser sempre
reduzido para o modelo padro de SCF atraves do uso de tecnicas adequadas |28||45|
|47|. Ao longo deste trabalho adota-se o modelo-padro para SCF. O Ioco principal
deste trabalho e a SCF em ambientes acusticos, para os quais o modelo convolutivo
se mostra mais apropriado. No Capitulo 3, um algoritmo para a soluo do problema
da SCF em ambientes acusticos e apresentado.
2.3 Caractersticas das fontes e sua utilizao na
separao cega
Nesta seo so discutidas as propriedades apresentadas por sinais acusticos
35
tais como Iala e musica, e sua utilizao em algoritmos para separao cega. O
pressuposto basico de algoritmos para a separao cega de Iontes e que as Iontes de
sinais originais sejam estatisticamente independentes entre si. Estes algoritmos
utilizam estatisticas de ordem superior (HOS) e so comumente denominados de
algoritmos para ICA. Os primeiros algoritmos para SCF/ICA |5||7||8||21||22||71|
Ioram derivados para o modelo de misturas instantneas e no levavam em
considerao dependncias temporais exibidas pelos sinais originais. Quando os
sinais originais so considerados estatisticamente independentes entre si e sem
nenhuma estrutura temporal, estatisticas de ordem superior, HOS so essenciais para
a soluo do problema da SCF/ICA. Portanto, originalmente a independncia mutua
para sinais temporalmente brancos, i.e., sinais cujas amostras so independentes ao
longo do eixo temporal, pode ser expressa por
"
6 . 7
![ 6
1
!=# ,..., 6
7
!=#|
0
#
7
#61
7
"
6
#
.1
! 6
#
!=## (2.5)
onde "
6 . 7
!%# e a Iuno densidade de probabilidade conjunta de dimenso Q para
todos os sinais originais e
"
6
#
. 1
!%#
e a Idp unidimensional da q-esima Ionte.
Nos primordios da pesquisa da separao cega de Iontes, trabalhos da
comunidade de processamento de sinais sugeriam que somente a descorrelao dos
sinais captados pelos sensores, ou seja, a diagonalizao de matrizes de correlao
para multiplos atrasos de tempo seria suIiciente para se encontrar estimativas dos
sinais originais |10||91|. Para misturas instantneas de sinais no-brancos a
aIirmao anterior e verdadeira e comprovada em |92||93||94|. Entretanto, para o
caso que lida com misturas convolutivas a descorrelao dos sinais captados no e
suIiciente para se obter a separao dos sinais |92|. Metodos para separao cega de
misturas convolutivas que somente realizam a diagonalizao de matrizes de
correlao ao longo de multiplos intervalos de tempo no apresentam soluo unica e
na verdade, podem gerar estimativas dos sinais originais que so descorrelacionadas
mas no estatisticamente independentes entre si |50|. Portanto, como claramente
mostrado por Weisntein e colegas em |92|, condies adicionais se Iazem necessarias
36
a soluo do problema da SCF para sinais misturados convolutivamente. Estas
condies adicionais podem ser conseguidas atraves da explorao de uma das
propriedades dos sinais apresentadas na seqncia.
2.3.1 No-brancura
Sinais de audio apresentam dependncias temporais que podem ser
exploradas por metodos para SCF. Para tal, assume-se que as amostras de cada um
dos sinais originais no so independentes ao longo do eixo temporal, entretanto, as
amostras de sinais pertencentes a diIerentes Iontes so consideradas mutuamente
independentes. Isto leva a uma generalizao da equao (2.5)
"
6 . 7(
![ '
1
!=# ,..., '
7
!=# |
0
#
7
#61
7
"
6
#
. (
!'
#
! =## (2.6)
onde '
#
!=# e o vetor que contem as C amostras dependentes temporalmente da q-
esima Ionte, "
6 . 7(
!%# e a Idp conjunta, com dimenso QC, de todas as Iontes e
"
6
#
.(
!%#
e a Idp multidimensional com dimenso C da q-esima Ionte. Partindo do
pressuposto da independncia estatistica mutua para sinais originais no-brancos,
expressa pela equao (2.6), varios algoritmos podem ser encontrados na literatura
|49||95||96||97|.
A propriedade da no-brancura e explorada principalmente usando-se
estatisticas de segunda ordem, atraves da diagonalizao simultnea de matrizes de
correlao de saida ao longo de varios atrasos de tempo. Como exemplo, pode-se
citar |49||50||98||99| para misturas instantneas e |93||100| para misturas
convolutivas. Em |101| mostra-se que estatisticas de segunda ordem no so
suIicientes para realizar a separao de sinais brancos; esta somente e conseguida
atraves do uso de estatisticas ordem mais elevada. Isto se deve ao Iato de que sinais
brancos no geram restries suIicientes para se solucionar o sistema linear que
modela o problema da separao cega de Iontes. Sinais brancos so sinais que
possuem Iuno de correlao idntica a apresentada pelo processo estocastico
37
conhecido como ruido branco gaussiano |121|, ou seja, so sinais que no
apresentam nenhuma correlao temporal (temporalmente independentes) |27||28|.
Deve-se notar que algoritmos para separao cega de misturas convolutivas
que se baseiam na independncia mutua estatistica expressa pela equao (2.5) ao
inves de (2.6), tm por objetivo a remoo de dependncias temporais dos sinais
estimados, ou seja, sua descorrelao temporal (branqueamento). Este
branqueamento temporal causara alguma distoro aos sinais separados, caso os
sinais originais sejam temporalmente no-brancos |28|.
2.3.2 No-estacionariedade
As correlaes ou dependncias de tempo curto para sinais de audio so
geralmente consideradas como sendo variantes no tempo. Portanto, em muitas das
aplicaes da SCF para ambientes acusticos a no-estacionariedade dos sinais
originais pode ser explorada atraves da diagonalizao simultnea de matrizes de
correlao de tempo curto de saida em instantes de tempo diIerentes, como exemplo,
pode-se citar |62||92| para misturas instantneas e |102||103||104| para misturas
convolutivas. A estacionariedade das Iontes tem um papel decisivo na separao cega
de misturas convolutivas. Se as Iontes possuem varincias no-estacionarias,
estatisticas espao-temporais de segunda ordem so suIicientes para se obter a
separao, conIorme discutido em |92||102|. Sinais no-estacionarios geram
restries suIicientes para solucionar o sistema linear atraves do qual o problema da
SCF e modelado. Para o calculo das matrizes de correlao de saida de tempo curto e
necessario a separao dos sinais misturados em segmentos, dentro dos quais se
considera os sinais como sendo estacionarios no sentido amplo. Na seo 3.2.4
apresentam-se os metodos de estimao baseados em segmentos utilizados para o
calculo das matrizes de correlao de tempo curto.
38
2.3.3 Estrutura temporal das fontes
Enquanto que metodos utilizados para Analise de Componentes
Independentes (ICA) consideram a mistura dos sinais originais como sendo a mistura
linear de variaveis aleatorias independentes, em muitas aplicaes entretanto, o que
se tem no so variaveis aleatorias mas sim sinais temporais ou series temporais; ou
seja, sinais cujas caracteristicas variam ao longo do tempo e cujas amostras possuem
uma seqncia (ordem), a qual no pode ser alterada. Isto contrasta com o modelo
basico para ICA onde as amostras dos sinais captados pelos sensores no possuem
ordem. Os sinais poderiam ser embaralhados de qualquer Iorma e isto no teria
nenhum eIeito na validade do modelo e tampouco nos metodos de estimao
empregados para ICA. Se os sinais originais so sinais temporais, a situao se torna
bastante diIerente.
De Iato, se os sinais captados so series temporais, eles podem conter muito
mais estrutura (inIormao estatistica) do que simples variaveis aleatorias. Por
exemplo, as autocorrelaes e correlaes cruzadas de series temporais ao longo de
varios atrasos de tempo so estatisticas adicionais bem deIinidas que podem ser
utilizadas para melhorar a estimao do modelo de separao. Alem disto, esta
inIormao adicional pode tornar possivel a estimao do modelo para casos onde os
metodos basicos de ICA no podem Iaz-lo (por exemplo, para o caso onde os sinais
originais so gaussianos mas correlacionados ao longo do tempo).
Modelos padro para ICA Iazem uso de estatisticas espaciais das misturas
para estimar cegamente um modelo de separao espacial. Como dito anteriormente,
em geral, estatisticas espaciais de ordem superior (Higher Order Statistics, HOS) so
necessarias para se atingir este objetivo |28|. Entretanto, se os sinais originais so
correlacionados temporalmente, estatisticas espao-temporais de segunda ordem so
suIicientes para a separao cega sob algumas condies, conIorme mostrado em
|50|. Em contraste, a separao cega para misturas convolutivas deve utilizar
estatisticas espao-temporais das misturas para estimar um sistema de separao
espao-temporal.
39
2.4 Ambigidades na separao cega de fontes
Existem algumas ambigidades inerentes ao processo de SCF dado que o
conceito de separao se baseia puramente na suposio da independncia mutua
entre os sinais originais. O modelo de SCF para misturas instantneas apresenta as
seguintes indeterminaes |28|:
/ Fator de escala: os sinais estimados (separados) podem somente ser
estimados ate um Iator de escala, ou seja, no se pode determinar as
varincias (energias) dos sinais originais. Como conseqncia disto, no
se pode Iixar a amplitude dos sinais estimados.
/ Permutao: a ordem dos sinais estimados no pode ser determinada, ou
seja, no se sabe em qual saida do sistema de separao um dado sinal
original que Ioi estimado ira estar presente. E impossivel determinar a
ordem dos sinais originais estimados sem nenhuma inIormao a priori
|29|.
Embora no seja muitas vezes citado na literatura como uma ambigidade, e
importante observar que em alguns casos, algoritmos para SCF causam tambem uma
alterao na Iase, ou seja, mudana de sinal, no sinal recuperado. Felizmente, esta
indeterminao e em muitos casos insigniIicante |67|.
Como ambos, os sinais originais e o sistema de separao so desconhecidos,
um possivel escalonamento e permutao dos sinais originais pode sempre ser
desIeito por um sistema de separao diIerente. Devido a impossibilidade de se
distinguir se o escalonamento e a permutao ocorreram nos sinais originais ou no
sistema de mistura, estas ambigidades no podem ser resolvidas sem o uso de
inIormaes a priori, caso somente os sinais captados pelos sensores sejam
conhecidos. Desta Iorma, os sinais originais podem ser recuperados somente ate um
escalonamento e uma permutao dos sinais.
40
No caso da SCF para misturas convolutivas as indeterminaes so:
/ Filtragem: os sinais originais podem somente ser estimados ate uma
operao de Iiltragem arbitraria.
/ Permutao: a ordem dos sinais estimados (recuperados) continua ainda
arbitraria.
Como no caso para misturas instantneas, as indeterminaes da permutao
e da Iiltragem no podem ser resolvidas sem a incorporao de inIormaes a priori.
Por exemplo, caso se conhea as posies dos sensores, ento a posio de cada Ionte
pode ser determinada atraves do sistema de separao |105||106|, o que para
algumas aplicaes e suIiciente para resolver o problema da permutao. A
ambigidade da Iiltragem pode ser reduzida a ambigidade do escalonamento caso o
valor otimo para tamanho dos Iiltros de separao seja escolhido |52|.
Embora estas indeterminaes paream ser limitaes bastante severas, para
um grande numero de aplicaes elas no so importantes para a soluo do
problema da separao das Iontes originais, uma vez que grande parte da inIormao
relevante sobre elas esta contida em suas Iormas de onda e no em suas amplitudes
ou na ordem em que elas so disponibilizadas na saida do sistema de separao |28|
|50|. Para alguns modelos dinmicos, entretanto, no se pode garantir que os sinais
estimados tero exatamente as mesmas Iormas de onda dos sinais originais, e ento,
os requisitos devem se tornar, em alguns casos, mais Ilexiveis, na medida em que as
Iormas de onda dos sinais estimados sero verses distorcidas (Iiltradas) das Iontes
originais |107||108|.
2.5 Informao Mtua e a Divergncia de Kullback-
Leibler
A inIormao mutua e uma medida da quantidade de inIormao que uma
variavel aleatoria contm a respeito de outra, ou seja, ela mede o grau de dependncia
41
mutua entre variaveis. Esta medida pode ser interpretada como uma medida de
distncia empregando-se o que se chama de divergncia de Kullback-Leibler. A
Iuno de custo adotada neste trabalho e baseada na medida de inIormao mutua
entre variaveis aleatorias Iornecida pela divergncia de Kullback-Leibler. Uma das
principais utilidades desta medida e a de possibilitar a explorao simultnea de
varias propriedades dos sinais originais. Esta vantagem e empregada na Iormulao
do algoritmo para separao cega de Iontes apresentado no Capitulo 3.
A divergncia de Kullback-Leibler e deIinida entre duas Iunes densidade de
probabilidade n-dimensionais p e q como
!! ""##
8
"! &# log
0
"! &#
#! &#
1
E ! (2.7)
A Divergncia de Kullback-Leibler pode ser considerada como um tipo de
medida de distncia entre duas Iunes densidade de probabilidade, uma vez que ela
e sempre no-negativa, e zero se e somente se as duas distribuies Iorem iguais.
Esta e uma conseqncia direta da convexidade apresentada pelo logaritmo negativo
e da aplicao da desigualdade de Jensen |55|. A desigualdade de Jensen deIine que
para qualquer Iuno estritamente convexa f e qualquer variavel aleatoria v, tm-se
& F ! 8# 9 F ! & 8# (2.8)
Fazendo-se f(v) -log(v) e assumindo-se que v q(x)/p(x) onde x possui a mesma
distribuio dada por p. Ento tm-se
!! ""## & F ! 8# &
:
)log
0
#! &#
"!&#
1;

8
"! &#
:
)log
0
#!&#
"! &#
1;
E !
9 F ! & 8# )log
:
8
"! &#
0
#! &#
"! &#
1
E !
;
)log
:8
#! &# E !
;
0
(2.9)
42
Alem disso, a desigualdade em (2.8) somente se torna uma igualdade se e
somente se v Ior constante. No caso abordado aqui, v e constante se e somente se as
duas distribuies Iorem idnticas e portanto prova-se a propriedade da Divergncia
de Kullback-Leibler citada anteriormente.
A Divergncia de Kullback-Leibler no e realmente uma medida de distncia,
pois ela no e simetrica, i.e., !! ""## <!!#""# .
Para aplicar a divergncia de Kullback-Leibler como medida do grau de
independncia entre variaveis aleatorias, considera-se que as variaveis aleatorias
,
-

sejam independentes. Desta Iorma, sua densidade de probabilidade conjunta pode ser
Iatorada de acordo com a deIinio de independncia, ou seja, elas podem ser
Iatoradas como o produto das Idp's das n variaveis aleatorias. Desta Iorma, poderia-
se medir a independncia das variaveis
,
-
como sendo a divergncia de Kullback-
Leibler entre a densidade real
"
&
!&#
e a densidade Iatorizada
"
,
1
! ,
1
# "
,
2
! ,
2
#. .. "
,
=
!,
=
#
, onde
"
,
-
! ,
-
#
so as densidades marginais das variaveis
,
-
. Atraves de manipulaes algebricas, mostra-se que esta quantidade se iguala a
medida de inIormao mutua |28||55|. Portanto, como exemplo, pode-se mostrar que
o grau de independncia, ou seja, a inIormao mutua entre variaveis aleatorias
,
-

com distribuio normal e dada por
!! ""##
1
2
log !* bdiag , *# - log !* , *# (2.10)
onde , e a matriz de covarincia e bdiag e uma operao aplicada a matrizes
Iormadas por varias submatrizes e Iaz com que todas as submatrizes no pertencentes
a diagonal principal da matriz sejam igualadas a zero.
A interpretao da InIormao Mutua como sendo a Divergncia de
Kullback-Leibler implica na seguinte propriedade: a informao mutua e sempre no
negativa e, e igual a :ero se e somente se as variaveis aleatorias so independentes.
Esta e uma conseqncia direta das propriedades da divergncia de Kullback-Leibler.
43
2.6 Gradiente Descendente
Muitos dos criterios adotados para SCF almejam a minimizao de uma
Iuno de custo # 35."4 em relao a uma matriz de parmetros " a cada
iterao m.
Para a soluo do problema da minimizao de uma Iuno n-dimensional, a
abordagem mais utilizada e a do gradiente descendente que e tambem conhecida
como Maxima Declividade (Steepest Descent). Nesta abordagem, a Iuno de custo
# 35."4 e minimizada iterativamente iniciando-se de um ponto "!0# . Em
seguida calcula-se o valor do gradiente de # 35."4 naquele ponto e ento atualiza-
se (move-se) " na direo do gradiente negativo atraves de um pequeno passo.
Uma vez la, repete-se o mesmo procedimento a partir do ponto atual, e assim por
diante. Atraves do processo de otimizao iterativo descrito acima, a matriz ", para
a iterao atual pode ser obtida atraves da seguinte equao de atualizao recursiva
"354 "35)14 ) A354
&# 3"4
&"
(2.11)
com o gradiente caculado no ponto "35)14 . O parmetro A354 e o tamanho do
passo em direo ao gradiente negativo. Tal parmetro e conhecido como taxa de
aprendizado ou tamanho do passo |56|. A iterao (2.11) prossegue ate a
convergncia de ", o que na pratica acontece quando a distncia Euclidiana entre
duas solues consecutivas, ""354 ) "35)14" , cai abaixo de um valor
predeIinido. A diIerena entre o valor atual e o anterior de " e dada por
"354 ) "35)14 G" (2.12)
Pode-se escrever a regra (2.11) como
G" )A354
& #35. "4
&"
(2.13)
44
Em muitos casos, a taxa de aprendizado A354 precisa e deve ser dependente do
tempo |27||28|.
Geometricamente, a abordagem do gradiente descendente pode ser imaginada
como a descida de um morro em direo a um vale. Cada iterao do algoritmo Iaz
com que se aproxime mais da base do vale. Esta interpretao tambem revela a
desvantagem da utilizao do gradiente descendente: a menos que a Iuno de custo
# 35."4 seja bem simples e suave, o gradiente descendente ira convergir em
direo ao minimo local mais proximo ao inves do minimo global. Desta Iorma, o
metodo do gradiente descendente no oIerece nenhuma Iorma de se evitar minimos
locais. Funes de custo no-quadraticas podem apresentar muitos maximos e
minimos locais e portanto, bons valores iniciais so muito importantes para a
inicializao do algoritmo |28||56|.
Como exemplo, considera-se o caso mostrado na Figura 2.3. A Iuno
# 35."4 e mostrada como um graIico de contorno. Na regio mostrada na Iigura
existe um minimo local e um minimo global. Do ponto inicial mostrado na Iigura,
onde o vetor do gradiente Ioi plotado, e muito provavel que o algoritmo convirja para
o minimo local.
Vetor do Gradiente
Minimo Local
Minimo Global
Figura 2.3: GraIico de contorno de uma Iuno de custo com um minimo local.
Geralmente, a velocidade de convergncia pode ser bem baixa nas
proximidades de um ponto de minimo. Isto se deve ao Iato de que o gradiente
45
aproxima-se de zero nestas regies |28|. A velocidade de convergncia do algoritmo
depende grandemente do passo de aprendizado A354 e portanto a escolha de um
valor apropriado para este parmetro e essencial a convergncia do metodo: valores
pequenos resultaro em convergncia lenta e valores muito grandes causaro
instabilidade podendo Iazer com que o ponto de soluo do algoritmo Iique
'ziguezagueando em torno do ponto de minimo.
Uma extenso simples do metodo do gradiente descendente, popular entre as
regras de aprendizagem utilizadas em redes neurais, e o uso de iteraes com dois
passos ao inves de somente um, como o utilizado em (2.11), o que leva ao metodo
conhecido como momentum |79|. Encontra-se na literatura de redes neurais um
grande numero de heuristicas, as quais tm como objetivo melhorar a aprendizagem
de metodos que utilizam o gradiente descendente |56||117||122|.
2.7 Medida de desempenho
A qualidade da separao de um algoritmo para SCF e algo complexo de ser
avaliado e que depende da area de aplicao. Em alguns casos deseja-se preservar
alguma caracteristica de interesse ao inves de simplesmente recuperar-se um sinal
que seja o mais proximo possivel do original. Por exemplo, em aplicaes de
reconhecimento de locutor (Automatic Speaker Recognition, ASR), e mais importante
se preservar algumas caracteristicas acusticas do que a inteligibilidade do sinal,
enquanto que em aplicaes para ajuda auditiva, a reconstruo perIeita da Ionte
original no e to importante quanto a inteligibilidade |109|.
O desempenho de algoritmos para SCF e, em geral, medido utilizando-se
metodos derivados de outras areas do processamento de sinais. Tais metodos podem
ser classiIicados em duas areas: avaliao subjetiva, na qual e veriIicada alguma
qualidade subjetiva percebida a partir dos sinais estimados |110| ou diIerenas
subjetivas entre as Iormas das Iontes estimadas e as Iontes originais |110||111|; e
avaliao objetiva, na qual uma quantidade numerica e associada a qualidade da
separao |109||112||113|. No presente trabalho se utilizara uma Iorma de avaliao
objetiva a qual e apresentada a seguir.
46
2.7.1 Medida da supresso das fontes de sinal
interferente
Apresenta-se nesta seo a medida de desempenho utilizada neste trabalho
para avaliar a qualidade da separao realizada pelo algoritmo adotado. Em geral,
algoritmos para SCF Iocam na supresso de interIerncias de Iontes pontuais e
portanto, para ilustrar este aspecto e deIinir uma medida objetiva apropriada
decompe-se os sinais de saida 8
#
!=# , # 1,..., B do sistema de separao como
8
#
!=# 8
6
9
. #
!=# 8
@ .#
!=#
(2.14)
onde
8
6
9
.#
!=#
e a componente contendo a Ionte de sinal original desejada 6
9
!=# . Em
geral, a Ionte de sinal original estimada presente no q-esimo canal de saida pode ser
qualquer uma das Iontes originais devido a ambigidade da permutao. Portanto,
nos experimentos apresentados neste trabalho, os canais de saida do sistema de
separao Ioram ordenados manualmente a Iim de evitar qualquer permutao. Desta
Iorma, nenhuma permutao dos canais de saida ocorre e ento pode se aIirmar que r
q. A componente 8
@ .#
!=# e a componente de diaIonia (crosstalk) presente no q-
esimo canal de saida decorrente das Iontes remanescentes que no puderam ser
suprimidas pelo algoritmo de SCF. DiaIonia e a interIerncia causada por uma Ionte
no desejada ao canal de saida de uma dada Ionte desejada, ou seja, e a presena de
um certo nivel de sinal de uma Ionte no desejada no canal de saida onde se esperava
a presena de somente uma Ionte de sinal. Portanto, pode-se dizer que a Relao
Sinal-InterIerncia (SIR), e uma medida quantitativa da diaIonia presente num dado
canal de saida de um sistema de separao cega, pois ela mede o quanto o sinal
interIerente Ioi suprimido pelo sistema em relao ao sinal desejado.
A decomposio do sinal de saida em componentes desejada e interIerente
permite avaliar a supresso do sinal interIerente atraves do calculo da Relao-Sinal-
InterIerncia (Signal-to-Interference Ratio, SIR) para cada canal de saida q 1,...,P.
A relao sinal-interIerncia e deIinida como a relao entre a energia do sinal
47
separado e a energia do sinal interIerente, sendo dada por
'>)
8
#
10 log
& 8
6
9
. #
2
!=#
& 8
@ . #
2
!=#
= 10 log
5
=
8
6
9
.#
2
!=#
5
=
8
@. #
2
!=#
(2.15)
Como mostrado em (2.15) o operador esperana &. deve ser substituido
na pratica por uma media temporal. ConIorme dito em |86|, a SIR e a deIinio de
qualidade mais adequada aos metodos de SCF, uma vez que SCF se trata da
separao de sinais e no da identiIicao de sistemas. A SIR e utilizada para avaliar
o desempenho do algoritmo apresentado no Capitulo 3 e e dada em decibel (dB).
O sinal 8
#
!=# e separado nas componentes
8
6
9
.#
!=#
e 8
@ .#
!=# gravando-se
cada um dos locutores separadamente. Portanto, as misturas (sinais captados pelos
sensores) so obtidas somando-se as contribuies independentes de cada locutor. No
caso de misturas reais, a contribuio independente de cada locutor ja se encontra
convoluida com a resposta ao impulso do ambiente. No caso de misturas sinteticas, o
sinal do locutor precisa ainda ser convoluido com a resposta ao impulso do ambiente
que esta sendo simulado.
A medida da qualidade da separao apresentada pela SIR e utilizada em
|118| como Iuno-objetivo de um algoritmo genetico para separao cega de sinais
misturados convolutivamente.
48
Captulo 3 - Algoritmo para Separao Cega de Fontes Misturadas Convolutivamente baseado em Estatsticas de Segunda Ordem
Algoritmo para Separao Cega de Fontes
Misturadas Convolutivamente baseado em
Estatsticas de Segunda Ordem
Este capitulo apresenta um algoritmo para separao cega de sinais
misturados convolutivamente que se baseia em estatisticas de segunda ordem e
explora simultaneamente as propriedades da no-brancura e no-estacionariedade dos
sinais originais.
3.1 Introduo
A tareIa da separao cega de misturas convolutivas oriundas de series
temporais desconhecidas corresponde a ideia de extrair sinais de inIormao de sinais
que so o resultado da convoluo entre os sinais de inIormao originais e as
respostas ao impulso dos diversos caminhos entre a origem dos sinais e os sensores.
Este problema emerge em areas to distintas quanto a analise de portIolios |44| e a
engenharia biomedica |119||120|.
Um exemplo proeminente e o chamado problema do Coquetel (Cocktail
Partv Problem) |30|, onde se deseja recuperar os sinais de voz de multiplos locutores
que se encontram Ialando simultaneamente em uma sala. Esta sala podera geralmente
apresentar certo nivel de reverberao devido as reIlexes nas paredes, isto e, os
49
sinais originais
6
#
!=# . # H 1, .. . .7
podem soIrer um processo de Iiltragem imposto
por um sistema com multiplas entradas e multiplas saidas (Multiple Input Multiple
Output, MIMO) antes de serem captados pelos sensores. A Figura 3.1 apresenta o
modelo adotado neste trabalho para abordar o problema da separao cega de sinais
misturados convolutivamente.
h
11
h
Q1
h
1P
h
QP
w
MM
w
P1
w
1P
w
PP
x
1
Sensor 1
x
P
Sensor P
v
P
v
1
S
1
S
Q
Sistema de
Mistura H
Sistema de
Separao W
Figura 3.1: Sistema MIMO linear para SCF.
Onde
6
#
!=# . # 1,...,7
so as Q Iontes de sinal original,
-
#"
. # 1,..., 7. " 1,..., B
so os Iiltros que modelam o ambiente acustico onde se
encontram as Iontes de sinais originais,
,
"
!=#. " 1,..., B
so as P combinaes
dos sinais originais captados pelos sensores,
.
"#
, " 1,..., B, # 1,...,7
so os
Iiltros utilizados para separar os sinais captados pelos sensores e
8
#
!=# . # 1, .. ., B

so os sinais de saida do sistema de separao cega.
A maioria dos algoritmos utilizados para a separao cega de Iontes e
construida assumindo-se que o numero Q de Iontes de sinais
6
#
!=#
e igual ao
numero de P de sinais captados pelos sensores
,
"
!=#
. O caso mais geral, entretanto,
com um numero arbitrario de Iontes e sensores pode sempre ser reduzido para o
modelo mais conhecido e simples de Separao Cega de Fontes (SCF), ou seja, o
caso onde P Q.
50
O caso onde o numero de Iontes e menor do que o numero de sensores e
conhecido como SCF sobre-determinado (P ~ Q). A principal abordagem utilizada
para simpliIicar o problema da separao neste caso e aplicar Analise de
Componentes Principais (Principal Component Analsvsis, PCA) |28| para retirar as
primeiras P componentes e ento usar um dos algoritmos padro para SCF.
O caso mais diIicil onde P Q e conhecido como SCF sub-determinado ou
SCF com bases incompletas. Para este caso, a esparcidade das Iontes pode ser
utilizada para se supor que em um dado intervalo de tempo somente uma das Iontes
de sinal original se encontra ativa |45||46|, conIorme mencionado na seo 1.3 do
Capitulo 1. Esta suposio e utilizada em |47|, onde mostra-se que a esparcidade
pode ser explorada com o intuito de eliminar Q P Iontes, e assim, pode-se aplicar
novamente uma das tecnicas padro de SCF ao problema. A TransIormada de Fourier
de Tempo Curto (Short-Time Fourier Transform, STFT) e Irequentemente adotada
para se explorar a esparcidade das Iontes |46||48|.
Portanto, neste trabalho considera-se o modelo padro de SCF, onde o numero
Q de Iontes
6
#
!=#
e igual ao numero de sinais
,
"
!=#. " H1,. .., B
(Figura 3.1)
capturados pelos sensores. Um sistema de mistura, como o mostrado na Figura 3.1,
com M coeIicientes pode ser descrito por
,
"
!=#
5
#H1
B
5
4H0
C)1
3
#"
!4# 6
#
!=)4# (3.1)
onde
3
#"
!4#. 4 0, . .. . C - 1
so os coeIicientes do Iiltro que modela o canal
Iormado pelos diversos caminhos percorridos pelo sinal da q-esima Ionte ate o p-
esimo sensor.
A SCF busca encontrar um sistema de separao como o mostrado na Figura
3.1, onde as saidas
8
#
!=# . # 1, .. ., B
so descritas por
8
#
!=#
5
"H1
B
5
4H0
D)1
?
"#
!4# ,
"
!=)4# (3.2)
51
onde
?
"#
!4# , 4 0, ..., D - 1
so os coeIicientes dos Iiltros que compem o sistema
MIMO de separao do p-esimo sensor para o q-esimo canal de saida e L e o numero
de coeIicientes dos Iiltros. O parmetro L deve ser escolhido de tal Iorma que seja no
minimo igual a M, possibilitando assim o modelamento de todas as reIlexes. Neste
trabalho, o melhor valor para o parmetro L e encontrado de Iorma empirica, i.e.,
atraves de experimentos onde seu valor e variado ate que o algoritmo apresente a
melhor separao possivel. Varias simulaes Ioram necessarias para se encontrar tal
valor. O valor de L deve ser encontrado de Iorma empirica pois no se conhece as
caracteristicas do ambiente acustico. Os coeIicientes
?
"#
!4#
do sistema de
separao podem reconstruir os sinais originais exceto pelo Iato de que
eventualmente eles podem estar permutados e apresentar uma energia diIerente da
original |28|, como ja mostrado no Capitulo 2.
Para se estimar os B
I
D coeIicientes
?
"#
!4#
do sistema MIMO considera-se
neste trabalho uma abordagem que utiliza estatisticas de segunda ordem. E sabido
que para sinais reais que apresentam alguma estrutura temporal, estatisticas de
segunda ordem geram inIormaes (restries) suIicientes para se solucionar o
problema da SCF, em principio, atraves do uso de uma das seguintes propriedades
destes sinais |28|:
/ No-brancura: explorada atraves da diagonalizao simultnea de
matrizes de correlao calculadas para os sinais de saida atraves de
multiplos atrasos de tempo, e.g., |49||50|.
/ No-estacionariedade: explorada atraves da diagonalizao
simultnea de matrizes contendo correlaes de tempo curto (short-
time correlation) dos sinais de saida em diIerentes instantes de tempo.
Enquanto existem varios algoritmos que lidam com o problema da separao
de sinais misturados convolutivamente utilizando-se unicamente uma das
propriedades acima, somente alguns poucos exploram ambas simultaneamente |51|
|52|. No trabalho apresentado em |53| e mostrado que a abordagem adotada aqui, de
52
Iato, implica na necessidade de se considerar simultaneamente ambas as
propriedades. Isto e provado em |54|, onde mostra-se que tal abordagem de segunda
ordem e a abordagem otima para o problema que lida com misturas convolutivas, no
sentido em que minimiza a inIormao mutua |55| entre as Iontes de sinais originais.
Em |53|, alguns resultados so apresentados, demonstrando-se que o algoritmo
possibilita a separao eIiciente de sinais de voz em ambientes reverberantes e sem
ruido.
Um problema que pode ocorrer durante o processo de estimao dos sinais e a
possivel ocorrncia de overIitting. OverIitting ou treinamento excessivo ocorre
quando o sistema MIMO de separao memoriza os dados sendo processados (dados
de treinamento) ao inves de extrair as caracteristicas gerais que permitiro a
estimao de um sistema de separao. Ele ocorre apos certo numero de iteraes,
quando o numero de coeIicientes L adotados para os Iiltros de separao e muito
maior do que o numero de coeIicientes M dos Iiltros que modelam o sistema de
mistura, acarretando em perda da capacidade de generalizao do sistema de
separao. O overIitting Iaz com que a qualidade da separao alcanada pelo
sistema de separao seja degradada |56|, e portanto, a escolha adequada de L e
essencial para a qualidade da separao alcanada pelo algoritmo apresentado a
seguir. Uma alternativa bastante utilizada para se evitar o overIitting e a de parar o
algoritmo quando o valor da Iuno de custo comear a aumentar excessivamente
|40|. Outro problema que pode aparecer durante a Iase de estimao e o underIitting.
Ele ocorre quando o sistema de separao possui menos parmetros do que o
necessario, ou seja, quando L e muito menor do que M, Iazendo com que o sistema
MIMO de separao no seja capaz de generalizar o que Iaz com que o algoritmo no
convirja |56|.
3.2 Algoritmo para separao cega de sinais no
domnio do tempo
Nesta seo apresenta-se a Iormulao matricial necessaria a derivao do
53
algoritmo para separao cega de Iontes no dominio do tempo adotado neste
trabalho. Este algoritmo Ioi inicialmente proposto em |41| e baseia-se em estatisticas
de segunda ordem para extrair os sinais originais das misturas captadas pelos
sensores.
A parte principal do algoritmo e uma Iuno de custo que leva em
considerao as propriedades da no-brancura e no-estacionariedade dos sinais
originais. Em seguida considera-se a chamada propriedade da equivarincia para o
caso convolutivo e a partir dai encontra-se um termo de atualizao baseado no
gradiente natural.
3.2.1 Notao matricial para misturas convolutivas
Nota-se atraves da Figura 3.1 que em um dado instante de tempo n, os sinais
de saida
8
#
!=# . # 1, .. . . B
do sistema de separao podem ser descritos pela
equao abaixo.
8
#
!=#
5
"H1
B
&
"
0
!=# .
"#
(3.3)
onde
&
"
!=# 0 ,
"
!=# . ,
"
!=)1#. . .. . ,
"
!=)DJ1#1
0
(3.4)
e um vetor que contem as ultimas L amostras do sinal captado pelo sensor
,
"
, e so
reIerentes ao p-esimo canal e onde
.
"#
0 ?
"#.0
. ?
"#.K
.. .. . ?
"#.D)K
1
0
(3.5)
e o vetor que contm os L coeIicientes do Iiltro Iormado pelo caminho entre o p-
esimo sensor e o q-esimo canal de saida.
54
Alem do comprimento L dos Iiltros de separao e do numero de canais P, e
necessaria a introduo de dois novos parmetros:
/ O numero de atrasos de tempo D considerados para as correlaes
presentes na Iuno de custo ! 1 > ! > D# . Estes D atrasos de tempo
so incorporados a Iuno de custo para se explorar a propriedade da
no-brancura das Iontes originais |41|;
/ O comprimento N dos segmentos de sinal de saida que so utilizados
como base para a estimativa das correlaes de tempo curto.
Para assegurar que a matriz de correlaes
$
%%
, a qual sera apresentada
adiante, seja no-singular e, conseqentemente, tenha determinante diIerente de zero,
e necessario que se deIina um vetor de sinais de saida
%
#
com comprimento N, onde
* 9 B! , isto e necessario para se obter uma matriz de correlao
$
%%
com posto
maximo em (3.19) |41||54|. Cada um destes vetores Iorma um segmento com N
amostras dos sinais de saida
8
#
do sistema de separao e pode ser expresso como
mostrado abaixo.
%
#
!5#
5
"H1
B
/
"
0
!5# .
"#
(3.6)
com m sendo o indice de tempo do bloco/segmento, e
%
#
!5# 0 8
#
!5D# . .. . . 8
#
!5DJ*)1#1
0
(3.7)
/
"
!5# 0 &
"
!5D# . .. ., &
"
!5DJ*)1#1 (3.8)
55
/
"
!5#
0
,
"
!5D# ? ,
"
!5D@*)1#
,
"
!5D)1# ? ,
"
!5D@*)2#
A B A
,
"
!5D)D@1# ? ,
"
!5D@*)D#
1
(3.9)
ConIorme pode ser observado,
/
"
!5#. " 1,. .. .B
e claramente uma matriz
que apresenta estrutura Toeplitz e que possui dimenses L x N. Uma matriz Toeplitz
possui o valor de cada diagonal descendente da esquerda para a direita constante, i.e.,
so matrizes que obedecem a igualdade: 0
- . /
60
-)1, / )1
. Estas matrizes possuem
propriedades bastante uteis na soluo de equaes lineares.
Analogamente a Iiltragem adaptativa supervisionada baseada em blocos |57|
|58|, a abordagem adotada aqui pode tambem ser executada com segmentos de dados
sobrepostos, aumentando-se assim a taxa de convergncia. A sobreposio e
introduzida trocando-se o indice de tempo mL nas equaes anteriores por 5! DLM# ,
onde o Iator de sobreposio deve variar entre 1 > M > D . A Figura 3.2 mostra um
Iator de sobreposio de 50. O Iator de sobreposio sera omitido para claridade da
Iormulao matricial.
L/ L/ L/ L/ L/
N
Segmento 0
N
N
Segmento 1
Segmento 2
Figura 3.2: Diviso do sinal em segmentos sobrepostos.
Com o intuito de se incorporar D atrasos de tempo a Iuno de custo adotada
neste trabalho, Iaz-se necessaria a introduo da seguinte matriz
56
)
#
!5# 6
0
8
#
!5D# . .. 8
#
!5D)!J1#
8
#
!5DJ1# B 8
#
!5D)!J2#
A B A
8
#
!5DJ*)1# . .. 8
#
!5D)!J*#
1
(3.10)
a qual possui dimenses N x D. Esta matriz incorpora D vetores
%
#
!5#
os quais so
deIinido em (3.7) e contem N amostras subseqentes do sinal de saida do sistema de
separao.
Usando-se a deIinio acima, a equao (3.6) pode ser estendida para
)
#
!5#
5
"H1
B
(
"
!5#"
"#
(3.11)
onde
(
"
!5#
so matrizes obtidas dobrando-se a dimenso das matrizes Toeplitz
/
"
!5#
, conIorme mostrado abaixo.
(
"
!5# 0 /
"
0
!5#. /
"
0
!5)1#1 (3.12)
e
"
"#
so matrizes com dimenses 2L x D deIinidas como
"
"#
!5#
0
?
"#.0
0 . .. 0
?
"#.1
?
"#. 0
B A
A ?
"#. 1
B 0
?
"#.D)1
A B ?
"#.0
0 ?
"#.D)1
B ?
"#.1
A A B A
0 ? 0 ?
"#.D)1
0 ? 0 0
A ? A A
0 ? 0 0
1
(3.13)
57
Com o intuito de se garantir convolues lineares para todos os elementos de
)
#
!5#
ate o numero maximo de atrasos de tempo D L, as dimenses de
(
"
!5#
e
"
"#
devem ser, respectivamente N x 2L e 2L x D, conIorme mostrado em |41|.
As matrizes /
"
0
!5)1# . " H1, .. . .B , tambem apresentam estrutura Toeplitz
de modo que a primeira linha de
(
"
!5#
contm 2L amostras capturadas pelo p-
esimo sensor e cada linha subseqente e deslocada de uma amostra para a direita e
portanto, contm uma nova amostra.
Matrizes que exibem a estrutura Toeplitz especial como a mostrada em (3.13)
so conhecidas como matrizes Svlvester, de convoluo ou de transmisso |59||60|
|61| e possibilitam expressar a operao de convoluo como o produto entre uma
matriz e um vetor. No restante deste trabalho ira se utilizar o termo matrizes
Svlvester para se reIerir a estas estruturas.
Analisando-se a matriz deIinida em (3.13), nota-se que para o caso geral
1 > ! > D , ou seja, o caso onde o parmetro D pode variar entre 1 e L, as ultimas
L-D1 linhas devem ser preenchidas com zeros para assegurar a compatibilidade
com
(
"
!5#
. Vale ressaltar que quando D 1, somente um atraso de tempo e
considerado e portanto, o algoritmo resultante podera somente explorar a propriedade
da no-estacionariedade dos sinais originais. Desta Iorma, percebe-se que a
propriedade da no-brancura so e explorada caso ! C1 .
Para possibilitar uma notao conveniente do algoritmo, todos os canais so
combinados gerando-se a seguinte equao compacta:
) !5# ( !5#" (3.14)
com as matrizes
) !5# 0)
1
!5#. .. . .)
B
!5#1
(3.15)
(!5# 0 (
1
!5#. . .. . (
B
!5#1
(3.16)
58
"
0
"
11
? "
1P
A B A
"
BK
? "
BB
1
(3.17)
3.2.2 Critrio de otimizao
Apos ter-se deIinido a Iormulao matricial compacta (3.14), utilizada para
modelar a Iiltragem MIMO soIrida pelos sinais captados pelos sensores ao serem
processados pelo sistema de separao, apresenta-se nesta seo o criterio de
otimizao primeiramente derivado em |41| como uma generalizao de |62| que,
simultaneamente, explora as propriedades da no-brancura e da no-estacionariedade
dos sinais originais.
Com o intuito de se encontrar um criterio de otimizao que simultaneamente
explore as propriedades da no-brancura e no-estacionariedade das Iontes, deve-se
deIinir primeiramente as seguintes matrizes de correlao de tempo curto
$
&&
! 5# (
1
!5# (!5# (3.18)
$
%%
! 5# )
1
!5#) !5# (3.19)
onde
1
indica o transposto conjugado da matriz. No presente trabalho, os sinais
acusticos so considerados sinais com valores reais e desta Iorma, o transposto
conjugado tem o mesmo eIeito do transposto e portanto,
1
pode ser substituido
pelo sobrescrito
0
. A Iuno de custo adotada neste trabalho e apresentada na
equao abaixo.
# !5. "#
1
C
5
-60
C)1
log*bdiag )
0
!- # ) !-#* - log*)
0
!-# ) !- #*

1
C
5
-60
C)1
log*bdiag $
%%
!- #* - log*$
%%
!- #*
(3.20)
59
Esta Iuno de custo e baseada na InIormao Mutua de Shannon |55||63| e e
utilizada com o intuito de minimizar a inIormao mutua entre os canais de saida.
Analisando-se a equao (3.20) percebe-se que os sinais de saida
8
#
. # H 1, .. . .B
do
sistema de separao so divididos em M segmentos para que se possa realizar a
medida da inIormao mutua entre os sinais de saida para cada um dos segmentos.
Ao Iinal, o somatorio das inIormaes mutuas ao longo dos M segmentos e
normalizado pelo numero de segmentos em que o sinal Ioi dividido. Como os sinais
de saida so considerados no-estacionarios, cada segmento desses sinais pode
apresentar valores diIerentes para as PD x PD correlaes incorporadas a matriz
$
%%
! 5#
, gerando, assim, inIormaes (restries) adicionais para a separao dos
sinais |53||54|.
As matrizes (3.18) e (3.19), com dimenses 2PL x 2PL e PD x PD
respectivamente, devem ser avaliadas em varios instantes de tempo e incorporam
varios atrasos de tempo com o objetivo de explorar ambas propriedades |116|.
Existem dois metodos para se estimar as matrizes de correlao para sinais de saida
no-estacionarios: o metodo da correlao e o metodo da covarincia. Ambos so
utilizados nos problemas de predio linear |64| e sero apresentados na seo 3.2.6.
Enquanto o metodo da correlao leva a uma complexidade computacional menor
devido a estrutura Toeplitz das matrizes
$
%%
, o metodo da covarincia apresenta
maior preciso. Todos os experimentos apresentados neste trabalho consideram o
metodo da covarincia e somente onde mencionado utiliza-se o metodo da
correlao.
A Iuno de custo (3.20) torna-se zero se e somente se todos os elementos das
submatrizes no pertencentes a diagonal principal de
)
0
)
, isto e, as correlaes
cruzadas entre os varios sinais de saida do sistema de separao, Iorem iguais a zero
para todos os atrasos de tempo considerados (veja a Figura 3.3). Portanto, em adio
a no-estacionariedade, a equao (3.20) explicitamente tambem explora a
propriedade da no-brancura dos sinais de saida.
60
D
D
Cada diagonal
representa um
atraso de tempo
Auto-correlao R
y1y1
Correlao Cruzada R
y1y2
Figura 3.3: Ilustrao de 3.20 para o caso 2 x 2.
Como Ioi adotada a Iormulao matricial (3.14) para se eIetuar os calculos
das matrizes de correlao de tempo curto
)
0
!5#) !5#
, a Iuno de custo inclui
todos os D atrasos de tempo de todas as auto-correlaes e correlaes cruzadas dos
sinais de saida do sistema de separao cega. A desigualdade de Oppenheim
5
#
log*)
#
0
)
#
* 9 log
*
)
0
)
*
|65| assegura que o primeiro termo dentro dos
colchetes na equao (3.20) e sempre maior ou igual ao segundo termo, sendo que a
igualdade so ocorre se todos os elementos no pertencentes a diagonal principal de
)
0
)
, isto e, as correlaes cruzadas de saida se tornarem iguais a zero.
O algoritmo utilizado neste trabalho e baseado no gradiente de primeira
ordem. Para expressar as equaes de atualizao dos coeIicientes dos Iiltros de
separao exclusivamente atraves de matrizes Svlvester ", toma-se o gradiente em
relao a ".
%
N
#35. "4
& #35. "4
&"
(3.21)
61
E como resultado tem-se
%
N
#35. "4
2
C
5
-H0
C)1
$
&%
3-4 $
%%
)1
3-4 $
%%
3-4 )bdiag#
%%
3-4bdiag
)1
$
%%
3-4 (3.22)
Com um procedimento de otimizao iterativo, a matriz de separao corrente
pode ser obtida atraves da equao de atualizao recursiva
"!5# "!5)1#)A!5# G"!5# (3.23)
onde A e o tamanho do passo em direo ao minimo da Iuno de custo.
Este parmetro e conhecido da teoria de redes neurais como taxa de
aprendizagem e G"! 5# e a matriz de atualizao, a qual e Ieita igual a
%
N
#35. "4 para a adaptao do gradiente descendente. Um Iato importante a ser
notado e que devido ao processo de adaptao do gradiente descendente, a matriz de
separao se torna variante no tempo. O problema da inverso das matrizes de
correlao que normalizam a equao (3.22) e discutido na seo 3.2.6.
ConIorme demonstrado em |66||67|, a matriz G"! 5# , a qual contem os
coeIicientes de atualizao dos Iiltros de separao, no apresenta estrutura Svlvester.
Como pode ser visto em (3.13), a matriz
"
"#
possui estrutura Svlvester e sendo
assim, a matriz G"! 5# deve apresentar tambem a mesma estrutura |67|. Desta
Iorma, deve-se aplicar algum tipo de restrio a matriz de atualizao G"! 5# que
Iaa com que ela passe a apresentar estrutura Svlvester. Esta restrio sera a partir de
agora denominada de restrio Svlvester, e sera simbolizada por 12 (Svlvester
Constraint).
A restrio Svlvester e imposta tomando-se a media aritmetica dos elementos
em cada uma das diagonais das matrizes
G"
"#
para ".# 1, .. . .B |67||115|. Esta
Iorma de restrio apresenta uma alta carga computacional, pois para se calcular a
media aritmetica, todos os
B
2
D!
elementos do gradiente descendente
%
N
#35. "4
devem ser calculados. Entretanto, existem duas Iormas de
62
implementao que possibilitam aproximar a restrio Svlvester calculando-se apenas
alguns elementos do gradiente
%
N
#35. "4
|115|. A primeira aproximao calcula
somente os primeiros L elementos da primeira coluna de cada uma das submatrizes
de
%
N
#35. "4
e repete estes elementos Iormando-se assim matrizes com estrutura
Svlvester, esta aproximao e chamada de restrio da coluna e e denotada por
'(
(
.
Em |41||67| mostra-se que o parmetro D deve ser Ieito igual a L para que todos os
elementos de " possam ser ajustados independentemente. A segunda Iorma
eIiciente de aproximao da restrio Svlvester calcula somente os elementos da L-
esima linha de cada uma das submatrizes de
%
N
#35. "4
e tambem repete os
elementos, Iormando-se assim matrizes Svlvester, esta aproximao e chamada de
restrio da linha e e denotada por
'(
)
. Para a segunda aproximao supe-se que o
numero de atrasos de tempo D levados em considerao para o calculo das matrizes
de correlao de saida seja igual a L, desta Iorma, a L-esima linha das submatrizes
contera os L coeIicientes de atualizao
?
"#.4
. 4 0, .. . .D)1
dos Iiltros. A
eIicincia computacional da restrio Svlvester e suas aproximaes eIicientes so
comparadas no Capitulo 5. A restrio Svlvester da linha
'(
)
e a aproximao que
apresenta menor complexidade computacional e resultados muito proximos aos
obtidos quando se utiliza a restrio Svlvester 12 conIorme e mostrado no Capitulo
5.
Dependendo da restrio Svlvester escolhida, diIerentes seqncias de valores
8
#
!=#
sero utilizadas para se calcular as correlaes cruzadas usadas para se obter a
matriz de atualizao G"! 5# , ou seja, cada coluna da matriz de correlaes
cruzadas tem seus valores calculados com base em uma reIerncia de tempo
diIerente. Quando se utiliza a restrio da coluna
!'(
(
#
os coeIicientes dos Iiltros
de separao so multiplicados (convoluidos) somente com os valores da primeira
coluna da matriz de correlaes cruzadas, enquanto que quando se utiliza a restrio
da linha
!'(
)
#
multiplica-se os coeIicientes dos Iiltros de separao com todas as
seqncias de correlao presentes na matriz de correlaes cruzadas, conIorme
mostrado em |41||66|.
63
Examinando-se a multiplicao entre a matriz
"
"#
e a segunda parte da
equao (3.26), observa-se que devido a estrutura Svlvester, a submatriz superior
esquerda com dimenses L x L de
G"
"#
e completamente determinada pela
submatriz superior esquerda L x L de
"
"#
e a segunda parte de (3.26). Alem disso,
analisando-se a matriz deIinida em (3.13), percebe-se que sua primeira coluna e sua
L-esima linha contm todos os L coeIicientes do Iiltro de separao, validando assim
os procedimentos apresentados acima para se obter aproximaes para a restrio
Svlvester. Portanto, conclui-se que o valor otimo para o parmetro D, ou seja, o
numero de atrasos de tempo que devem ser levados em considerao para o calculo
das matrizes de correlao, e obtido quando este e Ieito igual a L. Esta concluso e
conIirmada em |41| e |53| atraves de varias simulaes sob varias condies.
As Iormas eIicientes de restrio eliminam o processo de media dos
elementos mas ainda possibilitam a obteno dos
B
2
D
valores, os quais so
realmente relevantes a atualizao dos Iiltros. Adicionalmente pode ser notado que
para ambas aproximaes a multiplicao matriz/matriz em (3.22) se torna uma
multiplicao entre uma matriz e um vetor |68|. Como mostrado em |68|, a
aproximao da restrio Svlvester !'(# atraves de
!'(
(
#
ou de
!'(
)
#
no leva a
uma degradao signiIicativa da separao. Resultados apresentados em |67| e no
Capitulo 5 deste trabalho, mostram que a restrio Svlvester da linha
!'(
)
#
e a
aproximao mais adequada para a restrio Svlvester !'(# .
3.2.3 Mtodos para inicializao das matrizes de
separao
Quando se aplica o algoritmo para SCF apresentado neste trabalho a
ambientes reais com P 2, ou seja, duas Iontes e dois sensores (microIones), pode-se
distinguir dois tipos de cenarios acusticos, conIorme mostrado na Figura 3.4. De
acordo com a localizao das Iontes de sinal original, metodos diIerentes para a
inicializao da matriz " so necessarios. No arranjo bidimensional mostrado na
Figura 3.4a cada uma das Iontes esta localizada em uma metade do plano Iormado
64
pelos sensores, e portanto apenas Iiltros FIR causais so necessarios para se obter a
separao dos sinais; isto e comprovado em |66||67|. Desta Iorma, os Iiltros de
separao
"
""
! " 1,..., B#
podem ser inicializados com um impulso unitario no
primeiro coeIiciente, ou seja,
?
"". 0
1
enquanto que todos os outros coeIicientes
dos Iiltros
?
"#
. "<#
so Ieitos iguais a zero. Por outro lado, se as Iontes se
encontram localizadas no mesmo semiplano, como mostrado na Figura 3.4b, um
Iiltro FIR
"
21
no-causal se Iaz necessario |67|. Na pratica, o problema da no-
causalidade pode ser solucionado atraves da inicializao dos Iiltros FIR
"
""
! " 1,..., B#
com impulsos unitarios deslocados, similarmente ao adotado por
algoritmos para processamento adaptativo de sinais espaciais (Adaptive
Beamforming) |69|. O deslocamento apropriado e determinado pela distncia entre os
sensores e pelo atraso maximo de chegada dos sinais entre os sensores. Em |66| o
deslocamento do impulso unitario e Ieito igual a L/2, ou seja,
?
"". D' 2
1
.
w
MM
w
21
w
12
w
22
v
2
v
1
Sistema de
Separao
x
2
x
1
S
2
S
1
h
11
h
12
h
21
h
22
w
MM
w
21
w
12
w
22
v
2
v
1
Sistema de
Separao
x
2
x
1
S
2
S
1
h
11
h
12
h
21
h
22
(a) (b)
Figura 3.4: Arranjos para SCF que requerem (a) somente Iiltros FIR causais e (b)
Iiltros FIR causais e no-causais.
A escolha do metodo de inicializao das matrizes de separao determina a
aproximao da restrio Svlvester !'(# mais adequada a ser adotada. Para o caso
onde se tem misturas causais (Figura 3.4a), isto e, inicializao com
?
"". 0
1

ambas as aproximaes
!'(
(
#
e
!'(
)
#
podem ser empregadas. Como descrito
65
acima, para misturas no-causais e necessario que se inicialize as matrizes de
separao com um impulso unitario deslocado, como por exemplo
?
"". D' 2
1
. Em
|54||67| mostra-se que para o caso com misturas convolutivas, a matriz resultante da
aplicao da restrio Svlvester da coluna
!'(
(
#
sempre tera os coeIicientes
G?
"#. 4
para 0 > 4 > DLI O K iguais a zero; isto e, estes coeIicientes no podem ser
estimados. Portanto, para a inicializao com um impulso unitario deslocado,
somente a restrio Svlvester da linha
!'(
)
#
pode ser utilizada.
A restrio Svlvester da linha
!'(
)
#
juntamente com a inicializao
utilizando o impulso unitario deslocado devem ser adotadas quando no se possui
nenhuma inIormao a priori sobre a localizao das Iontes. Isto se deve ao Iato da
alta generalidade obtida por esta combinao |67|.
3.2.4 Gradiente Natural
E sabido que o metodo do gradiente descendente, isto e,
G"! 5# %
N
#!5."#
, apresenta uma convergncia lenta para varios problemas
praticos devido a sua dependncia dos dados sendo processados |41|.
O gradiente descendente de uma Iuno $(m,!) aponta em direo ao menor
valor daquela Iuno em um sistema de coordenadas Euclidianas Ortogonais.
Entretanto, o espao Iormado pelos parmetros da Iuno de custo $(m,!) nem
sempre e Euclidiano, podendo apresentar uma estrutura metrica Riemanniana, como
Ioi mostrado por Amari em |70|. Em tais casos, a direo da maxima declividade e
dada pelo metodo chamado de Gradiente Natural |70| ou Gradiente Relativo |71|.
Com o intuito de usar-se o gradiente natural como Iator de atualizao
%
N
#!5."#
, a seguinte modiIicao deve ser aplicada ao gradiente descendente (3.22) |28||29|
|41|
%
N
*+
#35."4 %
N
#35. "4"
0
" (3.24)
Para a abordagem baseada em (3.14), deve-se reorganizar o lado direito da equao
66
acima, ou seja
%
N
*+
#35. "4 ""
0
%
N
#35. "4 H ""
0
& #35. "4
&"
(3.25)
o que leva a seguinte expresso:
%
N
*+
#35."4
2
C
5
-H0
C)1
"354 $
%%
3-4 - bdiag $
%%
3-4 bdiag
)1
$
%%
3-4 (3.26)
a qual e utilizada como atualizao G"! 5# em (3.23). O operador bdiag e uma
operao aplicada a matrizes Iormadas por varias submatrizes e Iaz com que todas as
submatrizes no pertencentes a diagonal principal da matriz sejam igualadas a zero.
A modiIicao introduzida acima tem como objetivo remover a dependncia
apresentada pelo metodo do gradiente descendente nos dados sendo processados.
Esta dependncia pode ser notada em (3.22), onde percebe-se que o Iator de
atualizao depende do sinal de entrada do sistema de separao (!5# .
A equao (3.26) apresenta desempenho uniIorme ou seja, seu desempenho
no depende do valor atual da matriz de misturas. Isto signiIica que o resultado da
separao dos sinais misturados atraves da otimizao daquela equao e sempre o
mesmo para qualquer que seja a matriz de misturas |28||71|. O desempenho
uniIorme apresentado pela equao (3.26) e devido a propriedade da equivarincia,
introduzida na equao de atualizao dos coeIicientes dos Iiltros de separao
multiplicando-se a equao (3.22) pela matriz ""
0
, |61||72|. Outra vantagem da
utilizao do gradiente natural e a reduo da complexidade computacional, uma vez
que no se torna mais necessaria a inverso da matriz
$
%%
de dimenso PD x PD em
(3.22). Neste caso, somente submatrizes com dimenso D x D precisam ser invertidas
|67|.
67
3.2.5 Mtodos para estimao das matrizes de
correlao
A Iuno de custo apresentada na Equao (3.26) envolve o calculo de
matrizes de autocorrelao e de correlao cruzada para se obter a matriz
$
%%
. Esta
seo apresenta metodos para se calcular tais matrizes.
Dos problemas de predio linear e sabido que, em principio, existem duas
tecnicas para a estimao de matrizes de autocorrelao e correlao cruzada de
tempo curto, os chamados metodo da correlao e da covarincia |73||74||75|.
Ambos baseiam-se em estatisticas de segunda ordem e so utilizados com sinais no-
estacionarios. Enquanto o metodo da correlao apresenta uma complexidade
computacional baixa devido a estrutura Toeplitz das matrizes
$
%%
, o metodo da
covarincia apresenta uma maior preciso para os calculos das correlaes
necessarias em (3.26) |64|. Ambos so apresentados na seqncia.
Mtodo da covarincia
A matriz de correlao cruzada baseada em estatisticas de segunda ordem e
deIinida para cada canal de saida como sendo:
$
8
"
8
#
!-#
1
*
)
"
0
!- #)
#
!-# (3.27)
com a matriz
)
"
!-#
sendo deIinida abaixo.
)
"
!- # 0 %
"
!-D#. ... . %
"
!-D)!@1#1

0
8
"
!-D# ... 8
"
!-D)!@1#
8
"
!-D@1# B 8
"
!-D)!@2#
A B A
8
"
!-D@*)1# ... 8
"
!-D)!@*#
1
(3.28)
68
A deIinio da matriz de correlao cruzada em (3.27) descreve o metodo de
estimao da matriz de correlao real & %
#
0
%
"
, o qual e comumente conhecido
como metodo da covarincia |64|. Neste caso, o elemento de
$
8
"
8
#
!-#
na u-esima
linha e v-esima coluna !;.< D 0,. . ..!)1# e dado por:
9
8
"
8
#
!-. ;. < #
1
*
5
=H-D
-DJ*)1
8
"
!=);# 8
#
*
!=)<# (3.29)
onde o superscrito e o operador conjugado. Isto leva em geral a uma matriz de
correlao cruzada que no exibe nenhuma estrutura especial, uma vez que cada
elemento da matriz e computado avaliando-se os sinais em instantes de tempo
diIerentes. Portanto, os elementos da matriz dependem dos deslocamentos de tempo
u e v dos respectivos canais. A combinao de todos os canais leva a
$
%%
!- #
1
*
5
/60
*)1
%
0
!-D@/ # %!-D@/#

1
*
)
0
!- #) !- #.
(3.30)
com
) !-# 0)
1
!-# .. . .. $
B
!- #1
(3.31)
Este metodo de estimao da matriz de correlao e normalmente chamado de
metodo da covarincia pois possui as propriedades da matriz de covarincias |76|.
Mtodo da correlao
Quando a matriz de correlao e estimada usando-se o metodo da correlao,
seus elementos no dependem mais dos deslocamentos de tempo u e v mas somente
do atraso de tempo relativo ! < - ; !! D )!J1,. .. .!)1# dos sinais
69
8
"
!=);#
e
8
"
!=)<#
. Isto leva a seguinte deIinio
+ 9
8
"
8
#
!- . !#
6
:
1
*
5
=6-D
-D@*)!)1
8
"
!=@!# 8
#
*
!=# "P9P ! 2 0
1
*
5
=6-D)!
-D@*)1
8
"
!=@!# 8
#
*
!=# "P9P ! E 0
(3.32)
onde pode ser visto que o numero de elementos do somatorio decresce de acordo
com o aumento do atraso de tempo ! . A adoo do metodo da correlao leva a uma
matriz de correlao D x D com estrutura Toeplitz. Para indicar a estimao atraves
do metodo da correlao, o simbolo 'til () e usado e, portanto, a matriz de
correlao com estrutura Toeplitz e deIinida como mostrado abaixo
+
$
8
"
8
#
!-#
0
+ 9
8
"
8
#
!- . 0# ... + 9
8
"
8
#
!- . !)1#
+ 9
8
"
8
#
!- .)1# B + 9
8
"
8
#
!- . !)2#
A B A
+ 9
8
"
8
#
!- .)!@1# ... + 9
8
"
8
#
!- . 0#
1
(3.33)
Analogamente ao metodo da covarincia, pode-se expressar a matriz de
correlao cruzada (3.33) para o metodo da correlao tambem como o produto de
matrizes.
+
$
8
"
8
#
!- #
1
*
+
)
"
0
!- #
+
)
#
!- # (3.34)
com a matriz ND-1 x D
70
+
)
"
!-# 6
0
8
"
!-D# 0 .. . 0
8
"
!-DJ1# 8
"
!-D# B 0
A 8
"
!-DJ1# ? A
8
"
!-DJ*)1# A B 0
0 8
"
!-DJ*)1# ? 8
"
!-D#
A A B A
0 0 ? 8
"
!-DJ*)1#
1
(3.35)
A combinao de todos os canais leva a
+
$
88
!- #
1
*
+
)
0
!-#
+
) !-# (3.36)
com
+
) !-# 0
+
)
1
!-# . .. . .
+
)
B
!-#1 (3.37)
Atraves da deIinio da matriz
+
)
"
!-# nota-se que o metodo da correlao
requer somente N amostras do sinal para a estimao da matriz de correlao
cruzada, enquanto que o metodo da covarincia necessita de ND-1 amostras.
Devido a estrutura Toeplitz das matrizes de correlao cruzada, o metodo da
correlao leva a uma menor complexidade computacional quando implementado
|67|.
3.2.6 Normalizao eficiente
Analisando-se a equao (3.26), percebe-se que ela apresenta uma
normalizao atraves das matrizes de auto-correlao
$
8
"
8
"
que e inerente a Iuno
de custo adotada. Esta normalizao e conhecida da teoria de Iiltragem adaptativa
supervisionada |73|. A normalizao atraves das matrizes de auto-correlao garante
71
uma boa convergncia dos Iiltros adaptativos mesmo para aqueles com um grande
numero de coeIicientes e onde os sinais de entrada so correlacionados. Por outro
lado, esta normalizao traz como conseqncia uma grande complexidade
computacional devido a inverso de P matrizes com dimenso L x L. A complexidade
e de
!! D
3
#
quando se usa o metodo da covarincia e para o metodo da correlao e
de
!! D
2
#
devido a estrutura Toeplitz das matrizes envolvidas no calculo das auto-
correlaes. Para ambientes reais, o valor do parmetro L pode estar entre 100 e 1000
coeIicientes, Iazendo com que o algoritmo se torne muito lento. Portanto,
aproximaes que reduzam a complexidade computacional do algoritmo com um
minimo de degradao do desempenho da separao so desejaveis.
Uma possivel soluo para a reduo da complexidade computacional e a de
se aproximar as matrizes de auto-correlao
$
8
"
8
"
!- #
atraves de uma matriz
diagonal, ou seja, atraves das potncias dos sinais de saida
8
"
. " 1, .. . .B
.
conIorme explicado a seguir.
$
8
#
8
#
!- #
1
*
bdiag )
#
0
!- #)
#
!- # (3.38)
Este caso corresponde a uma simpliIicao do metodo da covarincia, onde os
valores das diagonais no so idnticos. Para o metodo da correlao assume-se
estacionariedade dentro de cada bloco i e portanto a matriz de correlao
+
$
8
#
8
#
pode
ser simpliIicada como
+
$
8
"
8
#
!- #
1
*
5
=6-D
-D@*)1
*8
#
! =#*
2
3
o
8
#
2
!-# 3
(3.39)
para # 1,. .. .B . O operador bdiag $ Iaz com que todos os elementos da matriz
no pertencentes a diagonal principal sejam Ieitos iguais a zero.
Para blocos contendo pausas na locuo e baixo ruido de Iundo, a
72
normalizao atraves das matrizes de auto-correlao
$
8
"
8
"
leva a inverso de
matrizes mal condicionadas. No caso das aproximaes (3.38) e (3.39), a inverso
pode levar a diviso por valores de
Q
8
#
2
muito pequenos ou mesmo a diviso por
zero, o que torna a estimao dos coeIicientes dos Iiltros bastante sensivel. Para uma
adaptao robusta,
$
8
"
8
"
e substituido por uma verso regularizada
$
8
"
8
"
(
8
#
3
.
A principal caracteristica da regularizao e o compromisso entre a Iidelidade aos
dados e a Iidelidade a inIormao a priori sobre a soluo |77|. Neste trabalho
utiliza-se uma regularizao dinmica similar as utilizadas para Iiltragem adaptativa
supervisionada |58||78|
(
8
#
(
5P,
R
)o
8#
2
'o
0
2
(3.40)
com dois parmetros
(
5P,
e Q
0
2
. Este metodo proporciona uma transio suave entre
a regularizao para potncias de saida
Q
8
#
2
com valores pequenos e Iidelidade aos
dados sempre que a potncia de saida Ior alta o suIiciente.
73
Captulo 4 - Tcnicas para adaptao do passo de aprendizagem
Tcnicas para adaptao do passo de
aprendizagem
Este capitulo consiste na contribuio original deste trabalho. Ele apresenta
tecnicas trazidas da teoria de redes neurais que so incorporadas ao algoritmo para
Separao Cega de Fontes (SCF) apresentado no Capitulo 3. A adio destas tecnicas
ao algoritmo tem como intuito melhorar sua velocidade de convergncia e sua
Relao Sinal-InterIerncia (SIR) |117|.
4.1 Mnimos locais
O metodo do gradiente descendente e inicializado em algum ponto da
superIicie da Iuno de custo # 35. "4 , a qual e deIinida pelos coeIicientes dos
Iiltros de separao. Em seguida, o metodo tenta se mover em direo ao minimo
local mais proximo da Iuno de custo. A Figura 4.1a apresenta a superIicie de uma
Iuno de custo para a qual o processo de busca do minimo global se mostra bastante
simpliIicado. Entretanto, para problemas reais, a superIicie se mostra bem mais
complexa, muitas vezes se assemelhando a situao mostrada na Figura 4.1b. Como
pode ser percebido, o algoritmo pode Iicar aprisionado em um dos varios minimos
locais mostrados na Iigura. Minimos locais so pontos na superIicie Iormada pela
Iuno de custo que apresentam uma soluo estavel, mas no otima. A soluo
otima e somente atingida quando um minimo global e encontrado.
74
Caso o algoritmo entre em uma regio com um minimo local, a minimizao
sera direcionada para ele e ira parar quando encontra-lo, enquanto que o desejado
seria que a busca continuasse em direo ao minimo global.
(a) (b)
Figura 4.1: DiIerentes tipos de superIicies Iormadas por Iunes de custo.
4.2 Passo de aprendizagem fixo
O algoritmo inicialmente apresentado em |41| adota um passo de
aprendizagem Iixo, o que por muitas vezes Iaz com que o algoritmo leve muitas
epocas (ou iteraes) para atingir uma separao razoavel dos sinais originais. Em
alguns casos, a superIicie Iormada pela Iuno de custo e bastante complexa,
causando assim, lentido na aprendizagem do algoritmo. Alem da taxa de
convergncia lenta, o algoritmo apresenta uma alta dependncia sobre o valor do
passo de aprendizagem.
A escolha de um valor apropriado para o passo de aprendizagem A e
essencial para a convergncia do algoritmo: valores pequenos resultaro em
convergncia lenta e valores muito grandes causaro instabilidade, podendo Iazer
com que o algoritmo Iique ziguezagueando em torno de um ponto de minimo |56|.
Por exemplo, se em algum momento o algoritmo estiver em uma ravina (tipo de vale
estreito e ingreme), e desejavel que se tenha um passo de aprendizagem pequeno,
pois caso contrario, o algoritmo poderia oscilar entre seus dois lados, movendo-se
75
lentamente em direo ao gradiente negativo da Iuno |76|. Se, pelo contrario, o
algoritmo se encontrar no meio de um plat (area plana da superIicie Iormada pela
Iuno de custo situada numa ligeira elevao) e o ponto de minimo estiver distante,
ento um aumento do passo de aprendizagem possibilitara que o algoritmo se mova
mais rapido. A seguir, apresenta-se algumas tecnicas para se adaptar o passo de
aprendizagem com o intuito de evitar minimos locais e melhorar a convergncia do
algoritmo.
4.3 Termo momentum
Entre as tecnicas da teoria de redes neurais utilizadas para acelerar o processo
de treinamento e evitar minimos locais, a do termo momentum e uma das mais
Irequentemente adotadas |40|. Ela Ioi primeiramente utilizada em redes neurais no
trabalho de Rumelhart, Hinton e Williams |79|, onde Ioi usada para melhorar o
desempenho do procedimento de treinamento para redes neurais conhecido como
Backpropagation |56|. A ideia do termo momentum consiste em incorporar a
atualizao atual dos coeIicientes do sistema de separao inIormao de iteraes
anteriores. Sua grande utilizao e inIluenciada pelo Iato de ser uma tecnica simples
e eIetiva. O termo momentum e representado pela equao (4.1).
.!- # , !"!-)1# )"!-)2## (4.1)
onde , e chamado de parmetro momentum e determina o quanto uma iterao
passada inIluenciara a atual. O parmetro i corresponde a atual iterao do algoritmo.
Deve-se ressaltar que para a tecnica do termo momentum o parmetro F no e
variavel no tempo.
A Iormula completa de ajuste dos coeIicientes dos Iiltros que modelam o
sistema de separao utilizando o termo momentum passa ento a ser:
"!- # "!- )1# )FG"!-)1#@.!- # (4.2)
76
A adoo do termo momentum introduz um eIeito de 'amortecimento no
procedimento de procura do minimo da Iuno de custo. Isto evita oscilaes dos
valores dos coeIicientes dos Iiltros de separao em areas irregulares, tais como vales
e ravinas, atraves do calculo da media dos componentes do gradiente com sinais
opostos |80|. Isto e, quando o gradiente permanece mudando de direo durante
varias iteraes, o termo momentum amortece (suaviza) estas variaes. Em muitos
pontos sobre a superIicie Iormada pela Iuno de custo o gradiente no aponta em
direo ao minimo e sucessivos passos do gradiente descendente podem oscilar de
um lado para o outro, progredindo bem lentamente em direo ao ponto de minimo.
Alem disto, a introduo do termo momentum acelera a convergncia do algoritmo
em longas areas planas, e.g., plats |79|. Isto e, quando o gradiente permanece
apontando na mesma direo, o termo momentum aumenta o tamanho dos passos
tomados em direo ao minimo. Deve haver um compromisso entre e pois caso
se utilize valores grandes para ambos parmetros corre-se o risco de se Iazer o
algoritmo sair da regio com um minimo;
Em algumas situaes, o termo momentum consegue evitar que o algoritmo
Iique parado em um minimo local, ajudando-o a saltar por sobre estas regies |80|.
Ele pode ser considerado como uma aproximao de um metodo de segunda ordem,
uma vez que utiliza inIormaes oriundas de iteraes anteriores |56|. Portanto, a
incluso do termo momentum na Iormula de ajustes dos coeIicientes dos Iiltros de
separao aumenta a velocidade de aprendizado (acelerao), reduzindo o perigo de
instabilidade |39|. A Figura 4.2 mostra o eIeito da utilizao do termo momentum no
caminho seguido pelo algoritmo durante o processo de separao.
77
Soluo desejada
Caminho seguido
originalmente
Caminho seguido
utilizando o termo
momentun
Ponto de partida
reIerente aos
pesos iniciais
SuperIicie da Funo de Custo
W
11
(0)
W
11
(1)
$(m,!)
Figura 4.2: InIluncia do termo momentum na procura pelo minimo.
%&% '()* *,-./,
A tecnica heuristica conhecida como Bold Driver Ioi introduzida por Battiti
em 1989 |81|. Ela consiste num metodo para processamento em lotes (batch ou
ciclo) que e utilizado para adaptar o passo de aprendizagem F . Sua operao e
bastante simples: inicia-se o passo de aprendizagem F com um valor pequeno e a
cada iterao (ciclo) do algoritmo compara-se os valores atual e passado da Iuno de
custo # 35."4 deIinida na equao (3.20). Caso o valor atual da Iuno de custo
seja menor do que o valor apresentado para a iterao anterior (indicando
convergncia), o passo de aprendizagem e normalmente incrementado por um Iator
de 1 a 10 de seu valor presente. No caso em que o valor atual da Iuno de custo
e maior ou igual ao valor anterior acrescido de um valor pre-determinado (indicando
divergncia), o passo de aprendizagem deve ser bruscamente decrementado,
tipicamente por um Iator de 50. Isto indica que o valor do passo de aprendizagem
adotado para a iterao atual Ioi demasiadamente grande, Iazendo com que o
algoritmo passasse atraves do ponto de minimo e indo parar do outro lado de um
78
vale. O processo de reduo do valor do passo de aprendizagem e repetido a cada
iterao ate que o valor atual da Iuno de custo se torne menor do que o valor
anterior; isto ira ocorrer inevitavelmente, uma vez que a direo de procura do
algoritmo e aquela apontada pelo gradiente negativo. Caso o valor atual da Iuno de
custo seja menor do que o valor anterior acrescido do um valor pre-determinado,
nada e Ieito, ou seja, o valor do passo de aprendizagem e mantido igual ao da iterao
anterior.
A tecnica do bold driver Iara com que o passo de aprendizagem F cresa
lentamente ate que o algoritmo se encontre dando um passo que claramente o levara
ao outro lado de um vale da superIicie da Iuno de custo. Uma vez que isto signiIica
que o algoritmo alcanou uma area complicada (irregular) da superIicie, Iaz sentido
reduzir-se drasticamente o passo de aprendizagem nestes pontos. A tecnica do bold
driver pode ser resumida atraves da equao (4.3).
H3-I14
6
:
P. H3-4 se #3- . "4J#3-)1, "4. PK1,
S. H3-4 se #3- . "49@ . #3-)1, "4. SJ1, @ K1,
H3-4 caso contrario
(4.3)
onde a e o valor escolhido para se incrementar o passo de aprendizagem caso o valor
atual da Iuno de custo seja menor do que o da iterao anterior. Normalmente um
valor entre 1,01 e 1,1 e adotado, conIorme mencionado anteriormente. Os valores 0,5
e 1,3 so adotados para os parmetros b e c respectivamente. O parmetro i
corresponde a iterao atual do algoritmo.
Na equao (4.3), a Iuno de custo deIinida pela equao (3.20) deve ser
calculada para todos os M segmentos em que os sinais captados pelos sensores Ioram
separados. A equao (3.20) envolve o calculo do determinante da matriz )
0
) com
dimenses PL 0 PL. Com o intuito de se evitar a adio deste dispendioso calculo e,
conseqentemente, no aumentar a carga computacional apresentada pelo algoritmo,
utiliza-se as matrizes de correlao cruzada ja obtidas anteriormente para o calculo da
79
equao (3.26). O calculo da norma L2, tambem conhecida como norma Euclidiana,
das matrizes de correlao cruzada tem como resultado um valor escalar, o qual pode
ser utilizado em substituio ao calculo da equao (3.20). Analisando-se a equao
(3.20) percebe-se que esta se torna igual a zero caso as matrizes de correlao
cruzada sejam nulas para todos os M segmentos. Esta observao valida o uso da
norma L2 como uma Iorma indireta de calculo da equao (3.20). Testes realizados
mostraram que a adoo da norma L2 diminui o tempo de simulao em
aproximadamente 46 quando comparado com o algoritmo que calcula (3.20) a cada
iterao. Os experimentos apresentados na seo 5.2 do Capitulo 5 utilizam a norma
L2 como aproximao a equao (3.20).
4.5 Decaimento exponencial
Outra tecnica heuristica bastante eIetiva que pode ser utilizada para acelerar o
processo de estimao dos coeIicientes dos Iiltros de separao e a tecnica do
decaimento exponencial, que e uma tecnica no-adaptativa, ou seja, no se baseia nos
valores de saida do algoritmo. Foi introduzida por Kohonen em 1982 |82| e e
utilizada em Mapas Auto-Organizaveis (Self Organi:ed Maps, SOM) durante a Iase
de organizao ou ordenao. A seguinte equao, a qual Ioi empiricamente obtida, e
adotada para atualizar o passo de aprendizagem:
F!-# F
0
R
-
2
-LM (4.4)
onde F
0
e o valor inicial do passo de aprendizagem, M e o de Iator de decaimento
da exponencial, - e o numero de epocas adotado e i e o valor da iterao atual do
algoritmo.
Como pode ser percebido, a equao (4.4) varia com as epocas, i.e., e variante
no tempo e decresce gradualmente a cada nova iterao do algoritmo. A equao
(4.4) Iaz com que a aprendizagem para as primeiras iteraes do algoritmo seja
rapida, uma vez que o valor de F para estas iteraes e grande. Isto Iaz com que o
80
algoritmo encontre rapidamente o caminho para o minimo da Iuno de custo. Apos
varias iteraes, o valor de F se torna muito pequeno, quase no aIetando mais o
processo de estimao dos coeIicientes dos Iiltros de separao. Isto se torna mais
claro se a seguinte analogia e Ieita, quando alguem inicia o aprendizado de uma nova
lingua, todas as inIormaes novas so rapidamente assimiladas (alta taxa de
aprendizagem), mas apos um certo tempo o numero de novas inIormaes diminui e,
conseqentemente, a taxa de aprendizagem decresce |82||83|.
A seguir sero apresentados os resultados da adio destas tecnicas ao
algoritmo apresentado no Capitulo 3 deste trabalho, alem de implementaes
eIicientes de tal algoritmo.
81
Captulo 5 - Resultados e experimentos
Resultados e experimentos
Nesta seo apresenta-se os resultados reIerentes aos experimentos realizados
com o algoritmo deIinido no Capitulo 3.
5.1 Condies gerais dos experimentos
Os experimentos apresentados neste capitulo Ioram realizados com sinais
convoluidos com respostas ao impulso sinteticas (tambem chamadas de misturas
convolutivas sinteticas) que simulam o comportamento acustico de uma sala real e
tambem com sinais reais, ou seja, sinais captados por microIones em um ambiente
acustico real (misturas convolutivas reais). O comprimento dos Iiltros de separao
depende do ambiente acustico simulado ou real, e sera citado para cada um dos
experimentos apresentados a seguir. O Iator de sobreposio, conIorme apresentado
no Capitulo 3, e o valor utilizado para determinar o quanto o segmento de voz atual
sobrepe o segmento anterior, e Ieito igual a 1.
Para todos os experimentos realizados neste trabalho, Iaz-se P Q 2, ou
seja, o numero de Iontes e igual ao numero de sensores (microIones). A qualidade da
separao alcanada pelo algoritmo e avaliada atraves da medida da Relao Sinal-
InterIerncia (SIR) apresentada pelos canais de saida
8
"
. " 1, 2
. O calculo da SIR
Ioi apresentado no Capitulo 3. As curvas de SIR apresentadas nos experimentos a
seguir so o resultado da media entre a SIR obtida para ambos os canais de saida do
82
sistema de separao.
A localizao das Iontes de sinal originais tanto para ambientes acusticos reais
quanto para simulados Ioi escolhida de tal Iorma que cada uma das Iontes se localiza
em uma das metades do plano, conIorme mostrado na Figura 3.4 do Capitulo 3.
Desta Iorma, somente Iiltros FIR causais so necessarios e portanto, pode-se iniciar
os Iiltros de separao com impulsos unitarios, conIorme discutido na seo 3.2.2 do
Capitulo 3.
Em todos os experimentos apresentados a seguir, exceto quando
expressamente dito o contrario, utilizam-se a aproximao da restrio Svlvester da
linha
!'(
)
#
, o metodo da correlao para estimao das matrizes de correlao
cruzada e a tecnica da normalizao eIiciente da equao de atualizao apresentada
na seo 3.2.5 do Capitulo 3.
Para os experimentos apresentados na seqencia, cada um dos locutores
proIere uma Irase distinta da do outro.
O algoritmo para Separao Cega de Fontes adotado neste trabalho Ioi
totalmente desenvolvido e simulado com a Ierramenta de simulaes Matlab |43|.
5.2 Avaliao das tcnicas para adaptao do passo
de aprendizagem
Nesta seo compara-se a SIR apresentada pelo algoritmo quando se utiliza
um Iator de aprendizagem Iixo com a SIR de cada uma das tecnicas para acelerao
da aprendizagem descritas no Capitulo 4. So apresentados resultados para misturas
convolutivas sinteticas e reais.
5.2.1 Misturas convolutivas sintticas
Os sinais de audio utilizados nesta seo Ioram gravados especiIicamente
para este trabalho. Estes sinais possuem aproximadamente 6 segundos de durao e
correspondem as vozes de um homem e de uma mulher. As gravaes Ioram
83
realizadas em um ambiente acustico com baixo ruido de Iundo, com Ireqncia de
amostragem igual a 11025 Hz e com 16 bits de resoluo.
As caracteristicas de reverberao e absoro de ondas sonoras em um
ambiente acustico (sala) podem ser simuladas atraves da convoluo da resposta ao
impulso do ambiente e os sinais de voz originais. A resposta ao impulso de um
ambiente acustico pode ser simulada precisamente e eIicientemente pelo metodo da
imagem |84||85|. Os experimentos apresentados nesta seo Ioram conduzidos
utilizando-se sinais de voz convoluidos com respostas ao impulso sinteticas de salas
obtidas atraves do metodo da imagem. O numero L de coeIicientes dos Iiltros de
separao e Ieito igual a 447, que e o numero de coeIicientes dos Iiltros de mistura
gerados pelo metodo da imagem.
O resultado da utilizao das tecnicas para adaptao do passo de
aprendizagem, apresentadas no capitulo anterior e mostrado na Figura 5.1. A Iigura
possibilita uma comparao da velocidade de aprendizagem e SIR entre as tecnicas.
O valor do passo de aprendizagem e Ieito igual a 0,002 para todas as tecnicas
exceto para a tecnica do decaimento exponencial, onde
A
0
e Ieito igual a 0,07. Como
mencionado no Capitulo 4, o valor inicial para o passo de aprendizagem
A
0
deve ser
alto para proporcionar uma rapida aprendizagem.
Alguns dos parmetros das tecnicas utilizadas neste trabalho devem ser
encontrados empiricamente. Varias simulaes Ioram executadas com o intuito de se
encontrar os melhores valores para tais parmetros. Apos algumas simulaes, o
melhor valor para o parmetro momentum , Ioi encontrado como sendo 0,8, o Iator
de decaimento M e Ieito igual a 10. Para a tecnica do bold driver, os parmetros a, b
e c so Ieitos iguais a 1,1, 0,5 e 1,3, respectivamente.
Os resultados apresentados nesta seo Ioram publicados no artigo |117|.
84
Figura 5.1: Comparativo entre as tecnicas para adaptao do passo de aprendizagem.
Como pode ser notado atraves da Figura 5.1, a curva para o algoritmo
utilizando um passo de aprendizagem Iixo no converge para um valor estavel de
SIR durante as 500 epocas adotadas para a comparao entre as tecnicas de
aprendizagem. Pode ser observado que as tecnicas do decaimento exponencial e do
termo momentum tendem para um mesmo valor Iixo (constante) de SIR, entretanto, a
tecnica do bold driver atinge um valor menor de SIR. A concluso para esta diIerena
entre os valores Iinais e que o algoritmo com a tecnica do bold driver encontra um
ponto de minimo local pior (menos proIundo) do que o encontrado pelo algoritmo
quando utiliza as tecnicas do decaimento exponencial ou do termo momentum. A
existncia de varios minimo locais se deve a complexidade da superIicie Iormada
pela Iuno de custo adotada neste trabalho. A Figura 5.2 apresenta a curva da SIR
para a tecnica do passo de aprendizagem Iixo para uma simulao com 2000 epocas.
85
Figura 5.2: Curva da SIR para a tecnica do passo de aprendizagem Iixo com 2000
epocas.
Analisando-se as Figuras 5.1 e 5.2 e a Tabela 5.1, pode-se notar que os
resultados para todas as tecnicas apresentadas neste trabalho so melhores do que o
apresentado pela tecnica do passo de aprendizagem Iixo. Nota-se tambem que a
tecnica do decaimento exponencial apresenta o melhor resultado: ela Iaz com que o
algoritmo convirja mais rapidamente e apresente o maior valor de SIR entre todas as
tecnicas apresentadas neste trabalho.
Tabela 5.1: Comparao da taxa de convergncia e SIR maxima para cada tecnica.
Tcnica poca da convergncia SIR mxima (dB)
Decaimento exponencial 80 36,9158
Bold driver 129 35,8116
Termo momentum 270 36,7553
Passo de aprendizagem Iixo 1596 36.7790
86
As simulaes mostram que o tempo de convergncia do algoritmo adotado
neste trabalho pode ser reduzido por um Iator de aproximadamente 20 vezes quando
se utiliza a tecnica do decaimento exponencial.
A Tabela 5.2 apresenta o tempo medio para cada ciclo (iterao) de
processamento realizado pelo algoritmo. Estes valores de tempo Ioram obtidos em
um computador com processador Intel Core 2 Duo e 2 Gbytes de memoria RAM e
sistema operacional Windows. Como pode ser percebido, nenhuma das tecnicas Iaz
com que o tempo medio para cada iterao aumente consideravelmente. A tecnica do
bold driver apresenta um tempo medio para cada iterao 5,78 maior do que o
tempo medio apresentado pela tecnica do passo de aprendizagem Iixo. Isto pode ser
explicado pelo Iato de que a cada iterao do algoritmo utilizando a tecnica do bold
driver, a norma L2 das matrizes de correlao cruzada precisa ser calculada,
causando assim, este pequeno aumento no tempo medio de cada iterao apresentado
por aquela tecnica.
A melhoria da taxa de convergncia e o pequeno aumento do tempo medio
para cada iterao, justiIica o uso das tecnicas de adaptao dinmica do passo de
aprendizagem descritas no Capitulo 4.
Tabela 5.2: Tempo medio de processamento para cada iterao.
Tcnica Tempo mdio para cada iterao s]
Passo de aprendizagem Iixo 14,71
Decaimento exponencial 15,08
Termo momentum 15,10
Bold driver 15.56
O comportamento oscilatorio apresentado pela curva da SIR para a tecnica do
decaimento exponencial e devido a mudanas do sinal do gradiente, isto e, mudanas
na direo do gradiente descendente a cada iterao do algoritmo. Como visto na
Figura 5.1, a taxa de convergncia para a tecnica do decaimento exponencial e
bastante elevada devido ao alto valor de F para as primeiras epocas do algoritmo.
87
Isto Iaz com que o algoritmo encontre o ponto de minimo rapidamente. Em alguns
casos, o ponto de minimo se encontra em um vale proIundo e estreito da superIicie
Iormada pela Iuno de custo. Este e o caso mostrado na Figura 5.1, pois quando o
algoritmo utilizando a tecnica do decaimento exponencial encontra tal vale, o valor
do passo de aprendizagem F ainda e suIicientemente grande a ponto de Iazer com
que o algoritmo oscile entre ambos os lados do vale. ConIorme o valor de F e
decrementado, o movimento oscilatorio em direo a base do vale diminui, se
estabilizando a medida que F tende a zero. Portanto, devido ao Iato de no ter seus
parmetros ajustados dinamicamente, a tecnica do decaimento exponencial pode
Iazer com que o algoritmo apresente um comportamento oscilatorio como o mostrado
na Figura 5.1. Por terem seus parmetros ajustados dinamicamente, as tecnicas do
bold driver e do termo momentum podem diminuir ou ate mesmo eliminar um
possivel comportamento oscilatorio do algoritmo. A Figura 5.3 apresenta o graIico da
variao do valor da Iuno de custo calculada atraves da norma L2. ConIorme pode
ser notado, o valor da Iuno apresenta oscilao na mesma Iaixa de iteraes do que
a apresentada pela curva de SIR na Figura 5.1. A Iigura mostra que na media a Iuno
de custo esta sendo minimizada, entretanto existem algumas oscilaes devidas a
variaes na direo apontada pelo gradiente. Pode-se perceber que a partir da
iterao de numero 84 as oscilaes cessam e o valor da Iuno permanece estavel.
Testes adicionais Ioram executados combinando-se a tecnica do termo
momentum com as tecnicas do bold driver e do decaimento exponencial. Os testes
Ioram executados com o mesmo conjunto de parmetros deIinidos acima. A Figura
5.4 mostra o resultado de tais experimentos.
Observado-se a Figura 5.4, nota-se que a combinao da tecnica do termo
momentum com a do bold driver ou com a do decaimento exponencial no resulta
em nenhum dos dois casos em uma nova tecnica que apresente velocidade de
convergncia ou mesmo SIR maior do que as apresentadas pelas tecnicas discutidas
aqui quando utilizadas de Iorma separada.
88
Figura 5.3: Variao do valor da Iuno de custo ao longo das iteraes.
Figura 5.4: Testes combinando o termo momentum com outras tecnicas.
A combinao da tecnica do termo momentum com a do bold driver tem
89
como resultado uma curva de SIR que apresenta velocidade de convergncia maior
do que a apresentada pela tecnica do termo momentum. Entretanto, a curva da SIR
para a combinao de tecnicas apresenta convergncia mais lenta quando comparada
com a curva para a tecnica do bold driver. A tecnica do bold driver Iaz com que o
algoritmo convirja na epoca numero 129, ja a combinao de tecnicas Iaz com que
este convirja na epoca numero 141, conIorme mostrado na Tabela 5.3.
Comparando-se os valores de SIR maxima Iornecidos pelas Tabelas 5.1 e 5.3,
percebe-se que a combinao das tecnicas do termo momentum e do bold driver
apresenta um valor de SIR maxima maior do que a apresentada pela tecnica do bold
driver mas menor do que a SIR maxima para a tecnica do termo momentum.
A segunda combinao de tecnicas para acelerar a convergncia do algoritmo
adotado neste trabalho une as tecnicas do decaimento exponencial e do termo
momentum. Como mencionado no Capitulo 4, a tecnica do decaimento exponencial
Iaz com que o passo de aprendizagem F diminua a cada iterao do algoritmo,
tendendo a zero apos algumas iteraes. Isto Iaz com que o termo de atualizao dos
coeIicientes dos Iiltros de separao %"!5# seja zerado. O experimento que
combina as tecnicas do decaimento exponencial e do termo momentum encontra um
ponto de minimo totalmente diIerente do encontrado pelas outras tecnicas. Isto
explica o pior resultado apresentado por tal combinao.
O termo momentum e considerado como uma aproximao de um metodo de
segunda ordem, uma vez que ele utiliza inIormaes de iteraes anteriores. Tais
metodos utilizam a inIormao contida na derivada de segunda ordem da Iuno de
custo. A adoo do termo momentum tende a suavizar a taxa de convergncia do
algoritmo, evitando-se assim comportamentos oscilatorios indesejados |40|. Desta
Iorma, quando o valor do passo de aprendizagem F tende a zero, devido a tecnica
do decaimento exponencial, a curva da SIR para esta combinao de tecnicas se torna
plana. Isto Iaz com que valores consecutivos dos Iiltros de separao "!5# se
tornem idnticos, Iazendo com que o termo momentum se torne igual a zero.
90
Tabela 5.3: Comparao da taxa de convergncia e SIR maxima para as combinaes
de tecnicas.
Tcnica poca da convergncia SIR mxima (dB)
Termo Momentum
Bold driver
141 36,2502
Termo Momentum
Decaimento exponencial
120 29.9176
As oscilaes mostradas na Figura 5.4 durante as epocas iniciais da
combinao entre as tecnicas do decaimento exponencial e do termo momentum so
devidas a combinaes entre os valores de F e do termo momentum que Iazem com
que o algoritmo Iique oscilando entre os lados de um vale. Em alguns casos, o
algoritmo se distancia bastante do vale, tendo que subir uma colina (indicado pelo
decrescimo do valor da SIR) ate que encontre novamente o caminho em direo ao
minimo. Estas oscilaes podem ser diminuidas encontrando-se empiricamente
valores para
F
0
, M e , .
Nesta seo mostrou-se a utilizao de algumas tecnicas vindas da teoria de
redes neurais com o intuito de melhorar a taxa de aprendizagem e qualidade da
separao do algoritmo proposto por H. Buchner e colegas |54| para a separao de
misturas convolutivas sinteticas. Os resultados apresentados aqui provam que todas
as trs tecnicas utilizadas neste trabalho, decaimento exponencial, termo momentum
e bold driver, reduzem o tempo de convergncia do algoritmo alem de aumentarem a
qualidade da separao. Dentre as trs tecnicas adotadas neste trabalho, a do
decaimento exponencial e a que apresenta melhor resultado, ela Iaz com que o
algoritmo convirja mais rapidamente e alcance uma SIR maior.
91
5.2.2 Misturas convolutivas reais
Nesta seo so apresentados os resultados obtidos com a separao de sinais
gravados em um ambiente acustico real. Os sinais de audio usados para os
experimentos desta seo Ioram gravados em um estudio de uma radio com 2,49 m
de altura, 4,30 m de comprimento e 3,44 m de largura. Estes sinais possuem
aproximadamente 4 segundos de durao e correspondem as vozes de um homem e
de uma mulher. As gravaes Ioram realizadas em um ambiente acustico com baixo
ruido de Iundo. Os sinais Ioram amostrados a uma Ireqncia de 8000 Hz e possuem
resoluo de 16 bits.
Quando gravaes reais so utilizadas em experimentos para separao cega
de Iontes a unica inIormao disponivel so os sinais captados pelos microIones
(sensores). A qualidade da separao obtida pelo sistema de separao no pode ser
determinada diretamente atraves dos sinais captados pelos microIones.
A abordagem adotada para avaliar a qualidade da separao obtida pelo
algoritmo proposto neste trabalho Ioi a de realizar gravaes em uma sala quando
somente um dos locutores estava ativo (Ialando). Para estes gravaes ambos os
microIones se encontravam em aberto, ou seja, os dois microIones captaram verses
das locues. Estas gravaes so denotadas por
,
" . 6
#
, isto e, so as contribuies da
q-esima Ionte de sinal original para o p-esimo microIone. Os sinais misturados so
obtidos somando-se estas contribuies independentes, ou seja,
,
"

5
#
,
". 6
#
.
Portanto
,
"
representa os sinais que seriam captados pelos microIones caso todas as
Iontes (locutores) estivessem ativos (Ialando) simultaneamente. Esta soma aritmetica
dos sinais independentes e justiIicada para aplicaes acusticas dado que ondas
sonoras so aditivas tambem |86|. Deve-se salientar que todos os locutores estavam
presentes durante as gravaes individuais uma vez que a acustica do ambiente e
inIluenciada por suas presenas.
Foram utilizados 2 microIones da marca AKG, modelo D880, espaados entre
si de 20 cm. Estes microIones so do tipo cardioide, tambem chamados de
unidirecionais. A curva de resposta em Ireqncia e o diagrama de recepo destes
92
microIones so mostrados na Figura 5.5.
Figura 5.5: Resposta em Ireqncia e diagrama de recepo dos microIones.
A distncia entre os locutores e os microIones Ioi escolhida como 75 cm. Os
locutores Ioram dispostos de tal Iorma que Iicassem posicionados respectivamente a
45 e -45 em relao ao eixo Iormado pelo pelo centro dos microIones, conIorme
pode ser visto na Figura 3.4 do Capitulo 3, a qual e reproduzida abaixo na Figura 5.6.
Isto Iaz com que apenas Iiltros FIR causais sejam necessarios para a separao dos
sinais.
Foram necessarios uma serie de experimentos com o intuito de se encontrar o
melhor valor para o numero de coeIicientes L dos Iiltros de separao, uma vez que
no se possui inIormaes sobre as caracteristicas acusticas da sala onde os sinais
originais Ioram gravados. Alem dos experimentos citados acima, outros experimentos
tambem Ioram executados a Iim de se encontrar os melhores valores para os
parmetros necessarios as tecnicas de adaptao do passo de aprendizagem avaliadas
aqui.
93
w
MM
w
21
w
12
w
22
v
2
v
1
Sistema de
Separao
x
2
x
1
S
2
S
1
h
11
h
12
h
21
h
22
w
MM
w
21
w
12
w
22
v
2
v
1
Sistema de
Separao
x
2
x
1
S
2
S
1
h
11
h
12
h
21
h
22
(a) (b)
Figura 5.6: Arranjos para SCF que requerem (a) somente Iiltros FIR causais e (b)
Iiltros FIR causais e no-causais.
Durante os experimentos realizados para esta seo do trabalho, o numero L
de coeIicientes dos Iiltros de separao Ioi variado de 64 a 1512 em passos de 64
coeIicientes, sendo que o melhor valor (mais alto) de SIR Ioi encontrado quando L e
Ieito igual a 1024. O resultado da utilizao das tecnicas para adaptao do passo de
aprendizagem e mostrado na Figura 5.7. A Iigura possibilita a comparao da
velocidade de aprendizagem e SIR entre as tecnicas. O melhor valor para o passo de
aprendizagem A Ioi encontrado empiricamente como sendo igual a 0,006. Este valor
Ioi utilizado em todas as tecnicas exceto para a tecnica do decaimento exponencial,
onde
A
0
Ioi encontrado como sendo igual a 0,09. Apos algumas simulaes, o
melhor valor para o parmetro momentum, , , Ioi encontrado como sendo 0,6 e o
Iator de decaimento M e Ieito igual a 10. Para a tecnica do bold driver, os parmetros
a, b e c so Ieitos iguais a 1,1, 0,5 e 1,3, respectivamente.
94
Figura 5.7: Comparativo entre as tecnicas para adaptao do passo de aprendizagem.
A curva da Relao Sinal-InterIerncia para o algoritmo utilizando um passo
de aprendizagem Iixo no converge para um valor Iixo (constante) de SIR durante as
500 epocas adotadas para a comparao entre as tecnicas de aprendizagem, conIorme
pode ser visto na Figura 5.7. Pode ser observado que as tecnicas do bold driver e do
termo momentum tendem para um mesmo valor constante de SIR, entretanto, a
tecnica do decaimento exponencial atinge um valor maior de SIR. A concluso para
esta diIerena entre os valores Iinais alcanados e que o algoritmo que adota a tecnica
do decaimento exponencial encontra um ponto de minimo local melhor (mais
proIundo) do que o encontrado pelo algoritmo quando adota as tecnicas do bold
driver ou do termo momentum. A existncia de varios minimo locais se deve como
dito anteriormente, a complexidade da superIicie Iormada pela Iuno de custo
adotada neste trabalho. A Figura 5.8 apresenta a curva da SIR para a tecnica do passo
de aprendizagem Iixo para uma simulao com 1000 epocas. ConIorme mostrado na
Iigura, o algoritmo utilizando tal tecnica de adaptao converge somente apos um
grande numero de iteraes (ciclos), justiIicando o estudo de tecnicas que acelerem o
95
processo de separao realizado pelo algoritmo.
Figura 5.8: Curva da SIR para a tecnica do passo de aprendizagem Iixo com 1000
epocas.
Analisando-se as Figuras 5.7 e 5.8 e a Tabela 5.4 conclui-se que os resultados
apresentados pelas tecnicas introduzidas no Capitulo 4 so melhores do que o
resultado apresentado pela tecnica do passo de aprendizagem Iixo. Alem de acelerar a
convergncia e atingir valores razoaveis de SIR, nenhuma das tecnicas apresentadas
no Capitulo 4 aumenta consideravelmente o tempo de simulao apresentado pelo
algoritmo, ver Tabela 5.4. Nota-se que a tecnica do decaimento exponencial
apresenta novamente o melhor resultado, ela Iaz com que o algoritmo convirja mais
rapidamente, atinja o maior valor de SIR entre todas as tecnicas de adaptao do
passo de aprendizagem e introduz o menor aumento do tempo medio de iterao do
algoritmo.
A Tabela 5.4 apresenta o tempo medio para cada ciclo (iterao) de
processamento realizado pelo algoritmo. Estes valores de tempo Ioram obtidos em
um computador com processador Intel Core 2 Duo e 2 Gbytes de memoria RAM e
96
sistema operacional Windows.
Tabela 5.4: Comparao entre as tecnica de adaptao do passo de aprendizagem.
Tcnica
SIR Inicial
(dB)
poca da
convergncia
SIR
mxima
(dB)
Tempo mdio
para cada
iterao s]
Decaimento exponencial
9.2433
66 15,2876 33,22
Bold driver 121 15,1478 34.88
Termo momentum 382 15,1490 33,24
Passo de aprendizagem Iixo 882 15,0858 33,13
As simulaes (ver Tabela 5.4) mostram que o tempo de convergncia do
algoritmo adotado neste trabalho pode ser reduzido por um Iator de
aproximadamente 13,36 vezes em relao ao tempo de convergncia da tecnica do
passo de aprendizagem Iixo quando se utiliza a tecnica do decaimento exponencial. A
tecnica do bold driver apresenta um tempo medio para cada iterao 5,28 maior do
que o tempo medio apresentado pela tecnica do passo de aprendizagem Iixo.
ConIorme dito na seo 5.2.1, este comportamento e devido ao Iato de que a cada
iterao do algoritmo utilizando a tecnica do bold driver, a norma L2 das matrizes de
correlao cruzada precisa ser calculada.
ConIorme pode ser visto atraves dos valores de SIR maxima mostrados na
Tabela 5.4, a separao das misturas convolutivas reais e mais diIicil do que a
separao das misturas convolutivas sinteticas apresentada na seo 5.2.1. Isto e
explicado pelo Iato de que quanto maior o numero de coeIicientes L, mais complexa
e a superIicie L-dimensional Iormada pela Iuno de custo, Iazendo com que a busca
pelo minimo local se torne mais complicada.
A acelerao da taxa de convergncia, os bons valores de SIR e o pequeno
impacto no tempo medio de cada iterao do algoritmo justiIicam mais uma vez a
utilizao das tecnicas de adaptao do passo de aprendizagem discutidas no
Capitulo 4.
97
5.3 Normalizao eficiente
A equao de atualizao dos coeIicientes dos Iiltros de separao (3.26)
deIinida no Capitulo 3, apresenta uma normalizao das matrizes de correlao
cruzada por meio de matrizes de auto-correlao
$
8
"
8
"
. Esta normalizao introduz
uma grande complexidade computacional ao algoritmo devido a inverso de P
matrizes com dimenso L x L. Na seo 3.2.5 daquele capitulo apresenta-se uma
tecnica de normalizao da equao de atualizao que reduz a complexidade do
algoritmo. Esta tecnica utiliza matrizes diagonais Iormadas pelas potncias dos sinais
de saida ao inves de matrizes de auto-correlao, conIorme descrito na seo 3.2.5.
Esta seo apresenta a comparao entre o metodo da normalizao eIiciente
e a normalizao atraves das matrizes de auto-correlao. As matrizes de auto-
correlao sero estimadas atraves dos metodos da correlao e da covarincia.
Os sinais de audio utilizados nestes experimentos possuem aproximadamente
5 segundos de durao e correspondem as vozes de um homem e de uma mulher. As
gravaes Ioram realizadas em um ambiente acustico com baixo ruido de Iundo, com
Ireqncia de amostragem igual a 11025 Hz e com 16 bits de resoluo. Os sinais de
voz Ioram convoluidos com Iiltros obtidos atraves do metodo da imagem. O numero
L de coeIicientes dos Iiltros de separao e Ieito igual a 1012, que e o numero de
coeIicientes dos Iiltros de mistura gerados pelo metodo da imagem.
A tecnica do passo de aprendizagem Iixo Ioi utilizada nos experimentos desta
seo e o valor do passo de aprendizagem F Ioi Iixado em 0,002. A Figura 5.9
compara a normalizao eIiciente com a normalizao realizada com matrizes de
auto-correlao
$
8
"
8
"
estimadas atraves do metodo da covarincia e da correlao.
A Tabela 5.5 apresenta a comparao entre os valores de SIR e tempo de
simulao entre os metodos de normalizao avaliados nesta seo. Os valores
mostrados na tabela Ioram obtidos em um computador com processador Intel Core 2
Duo e 2 Gbytes de memoria RAM e sistema operacional Windows.
98
Figura 5.9: Comparao entre as Iormas de normalizao da equao de atualizao.
Como pode ser percebido analisando-se os valores apresentados na tabela, a
normalizao eIiciente da equao de atualizao (3.26) reduz o tempo medio de
cada iterao em 56,09 quando comparada com a normalizao atraves de matrizes
de auto-correlao estimadas via metodo da covarincia e em 46,96 quando
comparada com a normalizao atraves de matrizes de auto-correlao estimadas via
metodo da correlao.
Com o passo de aprendizagem Ieito igual a 0,002 o maximo valor para a
Relao Sinal-InterIerncia obtido com a normalizao eIiciente e 5,5485 dB menor
do que a maxima SIR obtida com a normalizao atraves das matrizes de auto-
correlao estimadas via metodo da covarincia. Experimentos adicionais com a
tecnica da normalizao eIiciente mostraram que se o valor do passo de
aprendizagem Ior aumentado, obtem-se um valor de SIR bem proximo ao obtido pela
normalizao atraves de matrizes de correlao estimadas via metodo da covarincia.
99
Tabela 5.5: Comparao da SIR e tempo de simulao entre os metodos de
normalizao.
Normalizao
SIR Inicial
(dB)
SIR Final (dB)
Tempo mdio
para cada iterao s]
Tempo
total h]

$
8
"
8
"

(Covarincia)
7,1430
21,8734 67,44 7,49

$
8
"
8
"

(Correlao)
18.5001 55.83 6,20
EIiciente 16.3249 29.61 3.29
A Figura 5.10 mostra o resultado de um experimento onde utilizou-se os
mesmos Iiltros e os mesmos sinais de audio dos experimentos mostrados na Figura
5.9, mas com o valor do passo de aprendizagem igual a 0,009. O valor de SIR Iinal
para este experimento e de 21,5680 dB, provando o que Ioi dito no paragraIo
anterior.
A Figura 5.11 mostra o graIico de SIR para a variao do passo de
aprendizagem. Percebe-se que o valor de SIR aumenta ate que alcance o valor
maximo de 21,57 dB e depois comea a decair devido a problemas de instabilidade
provocados pelo alto valor do passo de aprendizagem . Apos analise da Iigura, Iica
evidente a dependncia do valor de SIR alcanado pelo algoritmo e o valor do passo
de aprendizagem .
Os resultados apresentados nesta seo mostram que a tecnica da
normalizao eIiciente converge para valores de SIR muito proximos aos obtidos
com a normalizao atraves das matrizes de auto-correlao estimadas via metodo da
covarincia quando o valor do passo de aprendizagem e corretamente escolhido.
Mostrou-se tambem que a adoo da tecnica da normalizao eIiciente reduz a
durao das simulaes, justiIicando portanto seu uso.
100
Figura 5.10: Normalizao eIiciente com passo de aprendizagem igual a 0,009.
Figura 5.11: Variao do passo de aprendizagem.
101
5.4 Estimao das matrizes de correlao atravs dos
mtodos da correlao e da covarincia
As matrizes de correlao que aparecem na equao de atualizao dos
coeIicientes dos Iiltros de separao podem ser estimadas atraves de dois metodos, o
da correlao ou o da covarincia, conIorme discutido na seo 3.2.4 do Capitulo 3.
A diIerena entre a adoo de ambos os metodos de estimao sera avaliada
utilizando-se os Iiltros e sinais de audio utilizados na seo 5.3. A tecnica do passo de
aprendizagem Iixo Ioi adotada e o passo de aprendizagem Ieito igual a 0,002.
O resultado apresentado na Figura 5.12 mostra que ambos os metodos de
estimao possuem uma curva de SIR muito semelhante e que convergem para
valores muito proximos, conIorme mostrado na Tabela 5.6.
Figura 5.12: Comparao entre os metodos de estimao das matrizes de correlao.
Em geral, o metodo da covarincia exibe desempenho um pouco melhor do
que o apresentado pelo metodo da correlao. Isto se deve ao Iato de que o metodo
da covarincia no assume estacionariedade dentro dos segmentos em que os sinais
102
captados pelos microIones so divididos. Entretanto, a estimao das matrizes de
correlao atraves do metodo da covarincia e mais dispendiosa do que a estimao
atraves do metodo da correlao, conIorme pode ser notado atraves dos valores de
tempo apresentados na Tabela 5.6.
Tabela 5.6: Comparao da SIR e tempo de simulao entre os metodos de
estimao.
Mtodo
SIR Inicial
(dB)
SIR Final (dB)
Tempo mdio
para cada iterao s]
Tempo
total h]
Covarincia
7.1430
16,3839 40,43 4,49
Correlao 16,3249 29,61 3.29
A estimao das matrizes de correlao atraves do metodo da correlao Iaz
com que haja um decrescimo de 26,76 no tempo de simulao quando comparado a
durao da simulao que utiliza o metodo da covarincia. Alem disto, a utilizao
do metodo da correlao no causa grandes impactos na separao alcanada, ou
seja, no valor da Relao Sinal-InterIerncia Iinal.
Atraves dos resultados apresentados na Figura 5.12 e Tabela 5.6 conclui-se
que para sinais de voz, o metodo da correlao e a abordagem mais adequada para a
estimao das matrizes de correlao. A utilizao do metodo da correlao tem
como vantagem a reduo da complexidade computacional do algoritmo devido a
estrutura Toeplitz das matrizes de correlao e conseqentemente apresenta menor
tempo medio para iterao. Resultados similares aos apresentados nesta seo Ioram
observados em estudos de predio linear onde o metodo da correlao e a
abordagem adotada devido a sua baixa complexidade computacional e boa
estabilidade |64||67||87|.
103
5.5 Avaliao da restrio 12)./34/, e suas
aproximaes
Na seo 3.2.2 do Capitulo 3 mostrou-se que um tipo de restrio conhecida
como Svlvester e necessaria para garantir a estrutura Svlvester das matrizes de
atualizao dos coeIicientes dos Iiltros de separao G"! 5# . ConIorme discutido
naquele capitulo, a restrio Svlvester !'(# e imposta tomando-se a media
aritmetica dos elementos (valores para atualizao dos coeIicientes dos Iiltros de
separao) presentes em cada uma das diagonais das matrizes
G"
"#
para
".# 1, .. . .B . Adicionalmente, Ioram propostas duas Iormas eIicientes de
aproximao da restrio Svlvester !'(# com o intuito de melhorar o desempenho
apresentado pelo algoritmo. Ao inves de se realizar o calculo da media das diagonais
das matrizes de atualizao, Ioi proposto na seo 3.2.2 que se utilizasse somente a
primeira coluna ou a L-esima linha da matriz
G"
"#
como Iorma de aproximao da
restrio Svlvester !'(# . Estas duas Iormas eIicientes de restrio so chamadas de
restrio Svlvester da coluna e da linha e so simbolizadas por
!'(
(
#
e
!'(
)
#
,
respectivamente.
Nesta seo so comparadas as diIerentes Iormas de implementao da
restrio Svlvester. Os resultados apresentados aqui Ioram obtidos convoluindo-se os
sinais de voz utilizados na seo 5.4 com os Iiltros gerados pelo metodo da imagem
tambem utilizados naquela seo. A tecnica do passo de aprendizagem Iixo Ioi
adotada e o passo de aprendizagem F Ieito igual a 0,002.
A Figura 5.13 apresenta a comparao entre as trs Iormas de implementao
da restrio Svlvester. Nota-se que a restrio Svlvester original !'(# alcana a
maior separao entre as Iormas implementaes da restrio Svlvester. A
aproximao da restrio Svlvester atraves da restrio Svlvester da coluna
!'(
(
#
ou
da linha
!'(
)
#
no leva a uma degradao signiIicante do desempenho da separao
apresentada pelo algoritmo.
104
Figura 5.13: Comparao entre a restrio Svlvester e suas aproximaes eIicientes.
O resultado deste experimento mostra que a restrio Svlvester da linha
!'(
)
#
e uma aproximao adequada para a complexa restrio Svlvester !'(# . A
Tabela 5.7 mostra que o tempo de simulao para a restrio Svlvester da linha
!'(
)
#
e 34,98 menor do que o tempo de simulao para a restrio Svlvester
original, !'(# . A SIR Iinal alcanada pelo algoritmo utilizando a restrio Svlvester
da linha
!'(
)
#
e apenas 0,0791 dB menor do que a SIR alcanada quando se utiliza
a restrio original !'(# .
105
Tabela 5.7: Tabela comparativa entre a restrio Svlvester e suas aproximaes
eIicientes.
Restrio SIR Inicial (dB) SIR Final (dB)
Tempo mdio
para cada
iterao s]
Tempo
total h]
!'(#
7,1430
16,4767 44,20 6,14
!'(
(
#
16,2550 32.05 4.45
!'(
)
#
16.3976 28,74 3,99
5.6 Normalizao dos sinais de sada do sistema de
separao
Nesta seo apresenta-se o resultado reIerente a normalizao dos vetores de
saida do sistema de separao. Os vetores de saida
8
#
!=# . # 1, .. ., B
do sistema de
separao passam por um processo de normalizao, onde cada amostra de saida do
sistema tem o valor da media temporal subtraido e dividido pelo desvio padro.
Utilizou-se nesta seo o sinal de ruido 'babble (reunio) disponibilizado pela base
de dados ETSI/Aurora |42|. O ruido Ioi misturado convolutivamente com o audio de
um locutor do sexo masculino, o qual Ioi gravado especiIicamente para este trabalho.
Os sinais Ioram amostrados a uma Ireqncia de 8000 Hz, possuem resoluo de 16
bits e durao de 4 segundos. Utilizou-se o Iiltro gerado pelo metodo da imagem
adotado nos experimentos realizados na seo 5.2.1. A tecnica do passo de
aprendizagem Iixo Ioi utilizada para o experimento conduzido aqui e o melhor valor
para o parmetro F Ioi encontrado como sendo 0,06 apos varios testes. A Figura
5.14 apresenta as curvas de Relao Sinal-InterIerncia (SIR) obtidas pelo algoritmo
quando se normaliza e no se normaliza os vetores de saida do sistema de separao.
106
Figura 5.14: Curvas de SIR para a normalizao e no normalizao dos vetores de
saida.
A Tabela 5.8 apresenta uma comparao entre os valores obtidos com a
normalizao e a no normalizao dos vetores de saida. Os valores apresentados na
tabela mostram que houve um aumento de 3,4196 dB na separao conseguida pelo
algoritmo quando se normaliza os vetores de saida
8
#
!=# . # 1, .. ., B
do sistema de
separao. Nota-se tambem que ha um aumento de 97,84 no tempo levado pelo
algoritmo para realizar as 500 iteraes. Este aumento no tempo de simulao e
devido ao processo de normalizao dos vetores de saida para cada uma das iteraes
do algoritmo.
107
Tabela 5.8: Tabela comparativa entre a normalizao e a no normalizao dos
vetores de saida v.
Vetor de sada y
SIR Inicial
(dB)
SIR Final (dB)
Tempo mdio
para cada
iterao s]
Tempo
total h]
No
normalizado 6,3846
22,44 16.72 2,32
Normalizado 25.86 33,06 4.59
O objetivo da normalizao e o de Iazer com que a varincia (que aqui e igual
a energia do sinal pois a media e igual a zero) e a media dos sinais utilizados pelo
algoritmo, durante o processo de separao, sejam respectivamente iguais a um e a
zero. A normalizao tende a Iazer com que o processo de separao dos sinais
misturados se torne mais comportado atraves da melhoria das condies numericas
do processo de otimizao. O algoritmo se comporta melhor e produz resultados
melhores. A principal vantagem da normalizao dos vetores de saida e o de evitar
que conjuntos de amostras com um grande intervalo de variao dominem conjuntos
com um pequeno intervalo de variao.
Os resultados apresentados nesta seo mostram que a normalizao dos
vetores de saida tem como resultado uma melhoria do desempenho do algoritmo mas
com um aumento do tempo de simulao.
5.7 Locutor em ambiente ruidoso e reverberante
O realce de sinais de voz em ambientes reverberantes e ruidosos e um
problema desaIiador que possui muitas aplicaes e e bastante util nas areas de
reconhecimento robusto de voz e de telecomunicaes.
A diIiculdade em realar sinais de voz depende Iortemente das condies do
ambiente em que o locutor se encontra. Caso ele se encontre proximo a um
108
microIone, os eIeitos de reverberao so minimos e metodos tradicionais podem
lidar com niveis moderados de ruido. Entretanto, caso o locutor se encontre distante
do microIone, existiro distores mais severas, que incluem grandes quantidades de
ruido e perceptivel reverberao. Denoising e de-reverberao de sinais de voz nestas
condies tem se provado um problema bastante diIicil.
Esta seo apresenta resultados de experimentos que mostram a utilidade do
algoritmo apresentado neste trabalho na de-reverberao e denoising de sinais de voz
misturados convolutivamente com ruidos disponibilizados pela base de dados
ETSI/Aurora |42|. A base de dados Aurora contem a gravao de 5 ruidos captados
nos seguintes ambientes: aeroporto, reunio, restaurante, rua e estao de trem. Estes
ruidos Ioram misturados convolutivamente com o audio de um locutor gravado
especiIicamente para este trabalho. Os sinais Ioram amostrados a uma Ireqncia de
8000 Hz, possuem resoluo de 16 bits e durao de 4 segundos. Utilizou-se o Iiltro
gerado pelo metodo da imagem adotado nos experimentos realizados na seo 5.2.1.
A tecnica do passo de aprendizagem Iixo Ioi utilizada nestes experimentos e o
melhor valor para o parmetro F Ioi encontrado como sendo 0,04 apos varios testes.
Nesta seo, a medida de supresso do sinal interIerente (SIR) pode ser interpretada
como sendo a medida da SNR, pois como visto, o sinal interIerente aqui e um ruido.
Portanto, se utilizara tal termo daqui por diante. A Figura 5.15 mostra a curva da
SNR obtida pelo algoritmo para cada uma das misturas entre o locutor e os ruidos da
base de dados Aurora.
Como pode ser observado, o algoritmo obtem um alto grau de separao entre
o sinal do locutor e os ruidos em todos os casos. A Tabela 5.9 apresenta os valores de
SNR inicial e Iinal para os experimentos realizados.
O ganho e superior a 17 dB para o pior caso e de mais de 20 dB para o
melhor. Este ganho proporcionado pelo algoritmo poderia ser utilizado para aumentar
o desempenho de sistemas de reconhecimento de Iala em ambientes ruidosos.
109
Figura 5.15: Resultados de experimentos com ruidos.
Tabela 5.9: SNR inicial e maxima para os experimentos com ruidos.
Rudo SNR Inicial (dB) SNR Final (dB) Ganho (dB)
Aeroporto 6,1320 26,5912 20,4592
Reunio 6.3846 24,7258 18,3412
Restaurante 7,4158 24,8305 17,4147
Rua 5,2653 25,3379 20,0726
Estao de trem 5,7279 26,1338 20,4059
110
Captulo 6 - Concluses
Concluses
Neste capitulo so apresentadas as principais contribuies da pesquisa
realizada no presente trabalho, bem como sugestes para pesquisas Iuturas, com base
nos resultados obtidos.
Nos ultimos anos, muitas pesquisas tm sido dedicadas ao estudo do
problema da Separao Cega de Fontes misturadas convolutivamente. Existem varias
razes que explicam porque ha um esIoro muito grande por parte dos pesquisadores
para se aplicar tecnicas para separao cega a interIaces homem-maquina, onde
atualmente esquemas de seletividade espacial (beamforming) adaptativo ainda
predominam. Uma razo, e que abordagens para SCF somente se baseiam na
suposio da independncia mutua das Iontes de sinal original e no necessitam de
mais nenhuma inIormao a priori, tais como disposio dos sensores ou a posio
das Iontes de sinal desejado e interIerente. Outra razo se deve ao Iato de que as
caracteristicas espectrais (resposta em Ireqncia) dos microIones utilizados no
aIetam o desempenho de tais algoritmos.
O problema da SCF consiste em recuperar ou identiIicar uma ou mais Iontes
originais quando somente suas misturas esto disponiveis para observao. Nos
ultimos 15 anos, tem crescido o numero de pesquisas relacionadas a este assunto
devido, principalmente, a variedade de aplicaes que envolvem multiplos sensores e
multiplas Iontes. Como conseqncia, cresce o sentimento de que as tecnicas para
separao cega constituem uma Ierramenta universal capaz de encontrar aplicaes
111
nas mais diIerentes areas.....................................................................................
O objetivo principal desta dissertao Ioi o de estudar Iormas de se acelerar a
convergncia de algoritmos para Separao Cega de Fontes atraves de algumas
tecnicas trazidas da teoria de Redes Neurais e realizar simulaes comparativas entre
estas tecnicas. Alem disso, estudou-se tambem Iormas de se diminuir a complexidade
computacional apresentada pelo algoritmo (normalizao eIiciente, estimao das
matrizes de correlao atraves do metodo da correlao e uso da restrio Svlvester
da linha) adotado neste trabalho e sua utilizao na separao de sinais de voz
misturados com ruidos.
O resultado da adoo de trs tecnicas vindas da teoria de Redes Neurais
(Termo Momentum, Decaimento Exponencial e Bold Driver), utilizadas para acelerar
a convergncia e aumentar a qualidade da separao apresentada pelo algoritmo
discutido no Capitulo 3 Ioram estudadas. Simulaes envolvendo misturas
convolutivas sinteticas e reais comprovam que todas as trs tecnicas Iazem com que
o algoritmo apresente uma taxa de convergncia mais rapida do que a apresentada
pelo algoritmo quando utilizando um passo de aprendizagem Iixo. Dentre todas as
tecnicas estudadas, a do decaimento exponencial e a que apresenta um melhor
resultado, devendo ser escolhida sempre que possivel. A unica desvantagem desta
tecnica, e que seus parmetros necessitam ser ajustados empiricamente.
Adicionalmente, Ioram estudadas algumas modiIicaes no algoritmo
adotado neste trabalho com o objetivo de diminuir sua complexidade computacional.
A reduo da complexidade computacional viabiliza a utilizao de tecnicas mais
custosas, tais como a do bold driver, que conIorme mostrado no Capitulo 5 apresenta
o maior valor de tempo medio entre as tecnicas estudadas. Isto e devido a
necessidade do calculo da norma L2 a cada iterao do algoritmo. Vale ressaltar que
a reduo da complexidade computacional e conseqente reduo do tempo de
simulao que e obtida atraves das modiIicaes discutidas no Capitulo 5 pode ser
utilizada para diminuir o tempo de ajuste dos parmetros de tecnicas como a do
decaimento exponencial, que possuem alguns parmetros a serem ajustados. Estas
modiIicaes levaram a implementaes eIicientes do algoritmo utilizado aqui e
mantiveram uma boa qualidade de separao dos sinais misturados. As modiIicaes
112
apresentadas no Capitulo 5 podem ser utilizadas de Iorma separada ou em conjunto,
pois cada uma modiIica uma parte distinta do algoritmo. A combinao de todas as
modiIicaes discutidas no Capitulo 5 leva a uma grande reduo do tempo de
simulao apresentado pelo algoritmo. Entretanto tem-se como conseqncia a
diminuio da qualidade da separao. Quando se combina as trs modiIicaes
discutidas no Capitulo 5, normalizao eIiciente, estimao das matrizes de
correlao cruzada atraves do metodo da correlao e restrio Svlvester da linha
!'(
)
#
obtem-se um decrescimo de 67,26 no tempo de processamento quando
comparado ao tempo de processamento do algoritmo sem nenhuma das modiIicaes
discutidas anteriormente. Entretanto, a qualidade de separao do algoritmo soIre
uma degradao: durante os testes realizados veriIicou-se que esta degradao e de
aproximadamente 1,4 em relao ao algoritmo sem nenhuma modiIicao para
melhoria do desempenho computacional. Esta degradao e insigniIicante e pode ser
eliminada quando se utiliza umas das tecnicas para adaptao do passo de
aprendizagem discutidas neste trabalho. A consideravel diminuio do tempo de
simulao aliada a insigniIicante degradao causada pelas modiIicaes discutidas
no Capitulo 5 Iazem com que elas sejam de grande valia para algoritmos de
separao cega de Iontes que adotam abordagens de segunda ordem (SOS) no
dominio do tempo.
Constatou-se tambem atraves de simulaes que o algoritmo apresenta
excelentes resultados quando este tem como entrada sinais de voz misturados com
varios tipos de ruidos de Iundo (denoising) disponibilizados pela base de dados
ETSI/Aurora |42|. O algoritmo adotado aqui pode ser utilizado como uma etapa de
pre-processamento em sistemas de reconhecimento de Iala em ambientes ruidosos.
Durante as simulaes utilizando-se a abordagem do passo de aprendizagem
Iixo, veriIicou-se que a escolha de seu valor inicial aIeta o desempenho do algoritmo.
Valores muito grandes Iazem com que o algoritmo Iique instavel e valores muito
pequenos Iazem com que o processo de separao se torne lento. O melhor valor para
o passo de aprendizagem para todos os conjuntos de simulaes Ioi encontrado
atraves de um processo empirico. Dentre todas as tecnicas de adaptao do passo de
aprendizagem apresentadas neste trabalho, a do decaimento exponencial e a mais
113
sensivel a escolha do valor inicial do passo de aprendizagem. Isto se deve ao Iato
desta tecnica no ter o valor do passo de aprendizagem ajustado dinamicamente a
cada iterao do algoritmo. O valor do Iator de decaimento da exponencial utilizada
por esta tecnica tambem deve ser encontrado empiricamente.
A Figura 6.1 apresenta um graIico onde compara-se as variaes da SIR
obtida pelo sistema de separao quando se varia o passo de aprendizagem. A
comparao e Ieita entre as tecnicas do passo de aprendizagem Iixo e do decaimento
exponencial. Estes experimentos Ioram realizados utilizando-se as mesmas condies
dos experimentos apresentados na seo 5.7 do Capitulo 5. ConIorme pode ser visto,
a tecnica do decaimento exponencial e realmente sensivel a escolha do passo de
aprendizagem inicial: valores muitos pequenos Iazem com que o algoritmo no
encontre o ponto de minimo e conseqentemente no atinja bons valores de SIR
quando compara-se com o mesmo valor de para a tecnica do passo de
aprendizagem Iixo. Vale notar tambem que para valores pequenos de , a tecnica do
passo de aprendizagem Iixo Iaz com que o algoritmo atinja valores razoaveis de SIR.
Isto se deve ao Iato de que valor do passo de aprendizagem e constante ao longo das
iteraes do algoritmo, o que no ocorre com a tecnica do decaimento exponencial,
onde decai, tendendo a zero ao longo das iteraes. Desta Iorma, o algoritmo no
consegue chegar ate a area com o ponto de minimo, pois o tamanho dos passos
tomados em direo a aquele ponto so diminuidos ao longo das iteraes. ConIorme
aumenta-se o valor de , a tecnica do decaimento exponencial Iaz com que o
algoritmo encontre rapidamente o ponto de minimo e conseqentemente atinja
valores de SIR maiores do que os atingidos quando se adota a tecnica do passo de
aprendizagem Iixo com o mesmo valor de . O aumento deliberado do passo de
aprendizagem Iaz com que o algoritmo Iique instavel, i.e., quando o ponto de minimo
e encontrado, o alto valor de Iaz com que o algoritmo passe o ponto e se distancia
bastante do ponto de minimo. O resultado desta instabilidade so os valores baixos
de SIR quando e muito alto.
114
Figura 6.1: Variao da SIR em relao a variao do passo de aprendizagem.
As tecnicas do termo momentum e do bold driver no so drasticamente
aIetadas pela escolha do passo de aprendizagem, pois so tecnicas que tem o passo de
aprendizagem ajustado a cada iterao do algoritmo.
Apos analise dos resultados obtidos durante as simulaes conclui-se que a
tecnica do decaimento exponencial e a que apresenta melhor resultado. Ela aumenta a
taxa de aprendizagem e conseqentemente diminui o tempo necessario para a que o
algoritmo convirja. Adicionalmente, a tecnica do decaimento exponencial melhora a
qualidade da separao obtida pelo algoritmo, i.e., aumenta o valor da Relao Sinal-
InterIerncia (SIR) de saida do sistema de separao. Alem disto, dentre todas as
outras tecnicas de adaptao do passo de aprendizagem estudadas aqui, a do
decaimento exponencial e a que apresenta menor tempo medio para cada iterao do
algoritmo. O tempo medio de processamento para cada iterao do algoritmo e muito
proximo do tempo levado quando se utiliza a abordagem do passo de aprendizagem
115
Iixo. Entretanto, como citado anteriormente, seus parmetros necessitam ser
ajustados empiricamente.
6.1 Sugestes para trabalhos futuros
As sugestes apresentadas nesta seo so baseadas nos resultados obtidos na
pesquisa do presente trabalho.
/ Uma das desvantagens de muitos algoritmos para SCF e que o numero de
Iontes deve ser conhecido a priori para que o sistema de separao seja
estimado de Iorma correta. Assim uma tecnica que descubra o numero de
Iontes a priori, ou seja, antes do inicio do algoritmo se Iaz necessaria.
/ Todos os experimentos realizados aqui Ioram Ieitos de Iorma offline, ou
seja, todo o sinal a ser processado se encontrava armazenado e o algoritmo
sempre o processava completamente em todas as iteraes. A habilidade de
um algoritmo em se adaptar em tempo real e bastante util em varias
aplicaes. TeleconIerncias e dispositivos para auxilio na audio so
aplicaes onde o processamento em tempo real e necessario. Portanto,
extenses e comparaes do algoritmo adotado aqui para processamento em
tempo real necessitam ser exploradas.
/ A escolha de valores para parmetros tais como passo de aprendizagem,
termo momentum, numero de instantes de tempo considerados para o calculo
das matrizes de correlao e Iator de decaimento exponencial das tecnicas
estudadas neste trabalho Ioram encontrados atraves de um processo empirico.
Este processo e bastante custoso e, conseqentemente, Iormas de se obter
estimativas otimas destes parmetros seriam um topico de estudo bastante
util.
/ O estudo de estrategias para se obter estimativas iniciais dos coeIicientes dos
116
Iiltros de separao, Iariam com que o algoritmo convergisse mais
rapidamente, diminuindo o tempo gasto para se atingir um valor
predeterminado de SIR.
/ O desempenho do algoritmo quando submetido a sinais de entrada com
diIerentes Ireqncias de amostragem deve produzir resultados melhores,
uma vez que quanto maior a Ireqncia de amostragem maior a quantidade de
inIormao e, portanto, talvez maior seja o grau de separao dos sinais
misturados.
/ Modelos de Misturas Gaussianas (Gaussian Mixture Models, GMM)
pertencem a classe de tecnicas para reconhecimento de padres. Eles
modelam a Iuno densidade de probabilidade de observaes de variaveis
utilizando-se misturas de densidades de probabilidade gaussianas
multivariaveis. Dado uma serie de entradas, os pesos de cada uma das
distribuies e reIinado atraves de algoritmos de maximizao da esperana
(Expectation-Maximi:ation, EM). GMMs so utilizados em sistemas de
reconhecimento de locutor. Quando uma locuo de teste e Iornecida ao
sistema e possivel veriIicar qual dos modelos de locutor mais correlacionados
com as propriedades das locuo inserida. Este locutor e ento eleito pelo
sistema de identiIicao como o mais correlacionado com as propriedades da
locuo de teste previamente disponibilizada. O estudo da existncia de uma
relao entre a probabilidade de ocorrncia de uma locuo dado um modelo
de locutor, P(OM), e a Relao Sinal-InterIerncia (SIR) entregue na saida do
sistema de separao seria de grande valia para a area de processamento cego
de sinais. Caso exista uma relao, poderia-se utilizar o valor de P(OM)
entregue por um GMM para prever o grau de separao que pode ser
alcanado por tais algoritmos.
/ Estudo da utilizao de Iiltros passa-Iaixa, passa-baixa ou passa-alta ao inves
de Iiltros passa-tudo na inicializao das matrizes que modelam o sistema de
117
separao.
118
Anexo A
Artigos referentes dissertao
C.1 Artigos publicados
/ Figueiredo, F. A. P. e Ynoguti, C. A. 'On the improvement of the learning
rate in Blind Source Separation using techniques from Artificial Neural
Networks theorv, Proceedings oI the International Workshop on
Telecommunications IWT/09.
/ Figueiredo, F. A. P. e Ynoguti, C. A. 'Blind Source Separation in
Reverberant Environment Using Genetic Algortims, Proceedings oI the
International Workshop on Telecommunications IWT/11.
C.2 Artigos submetidos
/ Figueiredo, F. A. P. e Ynoguti, C. A. 'Noise Reduction in Reverberant
Environments with a Blind Source Separation Algorithm, artigo
submetido ao XXIX Simposio Brasileiro de Telecomunicaes SBrT
2011.
119
Anexo B
Cdigos da implementao
Os codigos criados para implementar o algoritmo de separao cega de Iontes
se encontram num DVD Iornecido juntamente com este trabalho.
120
Referncias Bibliogrficas
|1| Sato, Y. A method of self recovering equali:ation for multilevel amplitude-
modulation svstems, IEEE Trans. Com. 23, pages 679682, 1975.
|2| Godard, D. 'Self recovering equali:ation and carrier tracking in two dimensional
data communication svstems, IEEE Trans. Com. 28, pages18671875, 1980.
|3| Benveniste, A., Goursat, M. e Ruget, G. 'Robust identification of a non-minimum
phase svstem, IEEE Trans. Auto. Contr. 25, pages 385399, 1980.
|4| Donoho, D. 'On minimum entropv deconvolution, in: Applied Time Series
Analysis II, Tulsa, 1980, pages 565608.
|5| Herault, J., Jutten, C. e Ans, B. 'Detection de grandeurs primitives dans un
message composite par une architecture de calcul neuromimetique em apprentissage
non supervise, Actes du Xeme colloque GRETSI, 1985.
|6| Herault, J. e Ans, B. 'Circuits neuronaux a svnapses modifiables. decodage de
messages composites par apprentissage non supervise, C. -R. de l'Acad mie des
Sciences, 299(III-13):525-528, 1984.
|7| Ans, B., Herault, J. e Jutten, C. 'Adaptive neural architectures. detection of
primitives, In Proc. oI COGNITIVA'85, pages 593-597, Paris, France, 1985.
|8| Herault, J. e Jutten, C. 'Space or time adaptive signal processing bv neural
networks models, in: Intern. ConI. on Neural Networks Ior Computing, Snowbird
(Utah, USA), 1986, pp. 206211.
|9| Roll, J.-P. 'Contribution a la proprioception musculaire, a la perception et au
controle du mouvement che: lhomme, PhD thesis, Universite d`Aix-Marseille 1,
1981.
|10| Bar-Ness, Y., Carlin, J. e Steinberger, M. 'Bootstrapping adaptive cross-pol
121
canceller for satellite communications, in Proc. IEEE Int. ConI. Communications,
1982, pp. 4F.5.1-4F.5.5.
|11| Bar-Ness, Y., Carlin, J. e Steinberger, M. 'Bootstrapping adaptive interference
cancelers. some practical limitations, in: Proc. The Globecom. ConIerence, 1982,
pp. 12511255.
|12| Le Cun, Y. 'A learning scheme for asvmmetric threshold network, in:
Proceedings oI COGNIT- ICA`85, Paris, France, 1985, pp. 599604.
|13| Jutten, C. e Herault, J. 'Blind separation of sources, Part I. An adaptive
algorithm based on a neuromimetic architecture, Signal Process. 24 (1991) 110.
|14| Comon, P., Jutten, C. e Herault, J. 'Blind separation of sources, Part II.
Problem statement, Signal Process. 24 (1991) 1120.
|15| Sorouchyari, E. 'Blind separation of sources, Part III. Stabilitv analvsis, Signal
Process. 24 (1991) 2129.
|16| Comon, P. 'Analvse en Composantes Independantes et identification aveugle,
Traitement du Signal 7 (1990) 435450. Special issue.
|17| Burel, G. 'Blind separation of sources. A nonlinear neural algorithm, Neural
Netw. 5 (1992) 937947.
|18| Hyvrinen, A. e Pajunen, P. 'Nonlinear independent component analvsis.
Existence and uniqueness results, Neural Netw. 12 (1999) 429439.
|19| Taleb, A. e Jutten, C. 'Source separation in post nonlinear mixtures, IEEE
Trans. SP 47 (1999) 28072820.
|20| Jutten, C. 'Calcul neuromimetique et traitement du signal. analvse en
composantes independantes, Thse d`etat s sciences physiques, UJF-INP Grenoble,
1987.
|21| Comon, P. 'Independent Component Analvsis, Republished in Higher-Order
Statistics, J. L. Lacoume (Ed.), Elsevier, 1992, pp. 2938.
|22| Comon, P. 'Independent component analvsis, a new concept?, Signal Process.
36 (1994) 287314.
|23| Darmois, G. 'Analvse generale des liaisons stochastiques, Rev. Inst. Intern.
Stat. 21 (1953) 28.
|24| Kagan, A., Linnik, Y. e Rao, C. 'Characteri:ation Problems in Mathematics
122
Statistics, John Wiley Sons, 1973.
|25| Donoho, D. 'Nature vs. math. Interpreting independent component analvsis in
light of computational harmonic analvsis, in: Independent Component Analysis and
Blind Source Separation, ICA2000, Helsinski, June 2000, pp. 459470.
|26| Duvaut, P. 'Traitement du Signal, Special issue on nonlinear and non-Gaussian
techniques, December 1990.
|27| Comon, P. e Jutten, C. 'Handbook of Blind Source Separation, Independent
Component Analvsis and Applications, Elsevier, 2010.
|28| Hyvrinen, A., Karhunen, J. e Oja, E. 'Independent Component Analvsis,
Wiley Sons, Inc., New York, 2001.
|29| Cichocki, A. e Amari, S. 'Adaptive Blind Signal and Image Processing, Wiley
Sons, Ltd., Chichester, UK, 2002.
|30| Cherry, E. C. 'Some Experiments on the Recognition of Speech, with One and
with Two Ears, Journal of the Acoustical Societv of America, 24, pp. 975-979, 1953.
|31| Haykin, S. e Chen, . 'The Cocktail Partv Problem, Neural Computation, vol.
17, pp. 1875-1902, 2005.
|32| Ebata, M. 'Spatial unmasking and attention related to the cocktail partv
problem, Acoustical Science and Technology, Vol. 24, No. 5, Special issue on
Spatial hearing, pp.208- 219, 2003.
|33| Lee, T.-W., iehe, A., Orglmeister, R. e Sejnowski, T. 'Combining time-delaved
decorrelation and ICA. towards solving the cocktail partv problem, Acoustics,
Speech and Signal Processing, Proceedings oI the 1998 IEEE International
ConIerence on, Vol. 2, pp 1249-1252, Seattle, WA, USA, May 1998.
|34| Cohen, D. 'Magnetoencephalographv. Evidence of magnetic fields produced bv
alpha rhvthm currents, Science 161 (1972) 664666.
|35| Makeig, S., Bell, A.J., Jung, T.-P. e Sejnowski, T. J. 'Independent component
analvsis of electroencephalographic data, Advances in Neural InIormation
Processing Systems 8 (1996) 145151.
|36| Makino, S., Lee, T.-W. e Sawada, H. 'Blind Speech Separation, Springer,
Dordrecht, the Netherlands, 2007.
|37| Veen, A.V.D., Talwar, S. e Paulraj, A. 'A subspace approach to blind space-time
123
signal processing for wireless communication svstems, IEEE Trans. Signal Process.
45 (1997) 173190.
|38| Gorokhov, A.e Loubaton, P. 'Subspace-based techniques for blind separation of
mixtures with temporallv correlated sources, IEEE Trans. Circuit. Syst. 44 (1997)
813820.
|39| Moreira, M. e Fiesler, E. 'Neural networks with adaptive learning rate and
momentum terms, IDIAP technical report , 1995.
|40| Braga, A. P., Carvalho, A. P. L. F. e Ludermir, T. B. 'Redes Neurais Artificiais.
Teoria e Aplicaes, LTC Livros Tecnicos, 2000.
|41| Buchner, H., Aichner, R. e Kellermann, W. 'A generali:ation of a class of blind
source separation algorithms for convolutive mixtures, Proc. IEEE Int. Symposium
on Independent Component Analysis and Blind Signal Separation (ICA), Nara,
Japan, Apr. 2003, pp. 945-950.
|42| 'Aurora profect database, http://aurora.hsnr.de/aurora-5.html .
|43| Disponivel em: http://www.mathworks.com/products/matlab/
|44| Back, A.D. e Weigend, A. S. A first application of independent component
analvsis to extracting structure from stocks returns, International Journal oI Neural
Systems, 8(4): 473-484, 1997.
|45| ibulevsky, M. e Pearlmutter, B.A. 'Blind source separation bv sparse de-
composition in a signal dictionarv, Neural Computation, vol. 13, pp. 863-882, 2001.
|46| Araki, S., Makino, S., Sawada, H. e Mukay, R. 'Underdetermined Blind
Separation of Convolutive Mixtures of Speech Using Time-Frequencv Mask and
Mixing Matrix Estimation, in IEICE Transactions on Fundamentals od Electronics,
Communications and Computer Science, Vol. E88-A Issue 7, July 2005.
|47| Araki, S., Makino, S., Blin, A., Mukai, R. e Sawada, H. 'Blind Separation of
More Speech than Sensors with Less Distortion bv Combining Sparseness and ICA,
in Proc. Int. Workshop on Acoustic Echo and Noise Control (IWAENC), Kyoto,
Japan, Sep. 2003, pp. 271-274.
|48| Rodrigues, G. F., de Souza, A. C. S., de Araujo, L. C. e Yehia, H. C., 'Blind
Separation of Speech Convolutive Mixtures via Time-Frequencv Masking, in
Proceedings oI the international Workshop on Telecomunications IWT/07, pp 204-
124
208, 2007.
|49| Molgedey, L. e Schuster, H.G. 'Separation of a mixture of independent signals
using time delaved correlations, Physical Review Letters, vol. 72, pp. 3634-3636,
1994.
|50| Tong, L., Liu, R.-W., Soon, V.C. e Huang, Y.-F. 'Indeterminacv and
identifiabilitv of blind identification, IEEE Trans. on Circuits and Systems, vol. 38,
pp. 499-509, 1991.
|51| Nishikawa, T., Saruwatari, H., e Shikano, K. 'Comparison of time-domain ICA,
frequencv-domain ICA and multistage ICA for blind source separation, in Proc.
European Signal Processing ConIerence (EUSIPCO), Sep. 2002, vol. 2, pp. 15-18.
|52| Aichner, R., Araki, S., Makino, S., Nishikawa, T. e Saruwatari, H. 'Time-domain
blind source separation of non-stationarv convolved signals with utili:ation of
geometric beamforming, in Proc. Int. Workshop on Neural Networks Ior Signal
Processing (NNSP), Martigny, Switzerland, 2002, pp. 445-454.
|53| Buchner, H., Aichner, R. e Kellermann, W. 'A generali:ation of blind source
separation algorithms for convolutive mixtures based on second-order statistics,
IEEE Transactions on Speech and Audio Processing, Jan 2005.
|54| Buchner, H., Aichner, R., e Kellermann, W. 'Blind Source Separation for
Convolutive Mixtures Exploiting Nongaussianitv, Nonwhiteness, and
Nonstationaritv, Proc. Int. Workshop on Acoustic Echo and Noise Control
(IWAENC), Kyoto, Japan, September 2003, pp. 275-278.
|55| Cover, T.M. e Thomas, J.A. 'Elements of Information Theorv, Wiley Sons,
New York, 1991.
|56| Haykin, S. 'Neural Networks. A Comprehensive Foundation, Prentice Hall,
1998.
|57| Moulines, E., Amrane, O. A. e Grenier, Y. 'The generali:ed multidelav adaptive
filter. structure and convergence analvsis, IEEE Trans. Signal Processing, vol. 43,
pp. 14-28, Jan. 1995.
|58| Buchner, H., Benesty, J. e Kellermann, W. 'Multichannel Frequencv-Domain
Adaptive Algorithms with Application to Acoustic Echo Cancellation, in J.Benesty
and Y.Huang (eds.), Adaptive signal processing: Application to real-world problems,
125
Springer-Verlag, Berlin/Heidelberg, Jan. 2003.
|59| Ekstrom, M.P. 'A spectral characteri:ation of the ill-conditioning in numerical
deconvolution, IEEE Trans. Audio Electroacoust., AU-21(4):344 348, August
1973.
|60| Miyoshi, M. e Kaneda, Y. 'Inverse filtering of room acoustics, IEEE Trans.
Acoust., Speech, Signal Processing, 36(2):145152, February 1988.
|61| Milinazzo, F., ala, C. e Barrodale, I. 'On the rate of growth of condition
numbers for convolution matrices, IEEE Trans. Acoust., Speech, Signal Processing,
ASSP-35(4):471475, April 1987.
|62| Matsuoka, K., Ohya, M. e Kawamoto, M. 'A neural net for blind separation of
nonstationarv signals, Neural Networks, vol. 8, no. 3, pp. 411-419, 1995.
|63| Shannon, C.E. e Weaver, W. 'The mathematical theorv of communication,
University oI Illinois Press, Urbana, Illinois 1949.
|64| Markel, J.D. e Gray, A. H. 'Linear Prediction of Speech, Springer-Verlag,
Berlin, 1976.
|65| Oppenheim, A. 'Inequalities connected with definite hermitian forms, J.
London Math. Soc., vol. 5, pp. 114-119, 1930.
|66| Aichner, R., Buchner, H. e Kellermann, W. 'On the causalitv problem in time-
domain blind source separation and deconvolution algorithms, In Proc. IEEE Int.
ConI. Acoustics, Speech, Signal Processing (ICASSP), volume 5, pages 181184,
Philadelphia, PA, USA, March 2005.
|67| Aichner, R. 'Acoustic Blind Source Separation in Reverberant and Noisv
Environments, PhD Thesis, University Erlangen-Nuremberg, Germany, Oct. 2007.
|68| Aichner, R., Buchner, H., Yan, F. e Kellermann, W. 'A real-time blind source
separation scheme and its application to reverberant and noisv acoustic
environments, Signal Processing, 86(6):12601277, June 2006.
|69| Van Veen, B. e Buckley, K. 'Beamforming. A versatile approach to spatial
filtering, IEEE Trans. Acoust., Speech, Signal Processing, pages 424, April 1988.
|70| Amari, S. 'Natural gradient works efficientlv in learning, Neural Computation,
vol. 10, pp. 251-276, 1998.
|71| Cardoso, J. F. 'Blind signal separation. Statistical principles, Proc. IEEE, vol.
126
86, pp. 2009-2025, Oct. 1998.
|72| Schervish, M. J. 'Theorv of Statistics, Springer, 1995.
|73| Haykin, S. 'Adaptive Filter Theorv, 3rd ed., Prentice Hall., Englewood CliIIs,
NJ, 1996.
|74| Deller, J. R., Hansen, J. H. L., e Proakis, J.G. 'Discrete-Time Processing of
Speech Signals, IEEE Press, New York, 2000.
|75| Markel, J. D. e Gray, A. H. 'Linear Prediction of Speech, Springer, Berlin,
1976.
|76| Makhoul, J., e WolI, J. 'Linear Prediction and the Spectral Analvsis of Speech,
BBN Report No. 2304, August 1972.
|77| Cichocki, A. e Unbehauen, R. 'Neural Networks for Optimi:ation and Signal
Processing, John Wiley Sons, Chichester, 1994.
|78| Buchner, H., Benesty, J., e Kellermann, W. 'Generali:ed multichannel
frequencv-domain adaptive filtering. Efficient reali:ation and application to hands-
free speech communication, Signal Processing, 85:549570, 2005.
|79| Rumelhart, D. E., Hinton, G. E., e Williams, R. J. 'Learning internal
representations bv error propagation, in Parallel Distributed Processing:
Explorations in the Microstructures oI Cognition, volume I: Foundations, chapter 8,
pages 318-362. MIT Press, Cambridge, Massachusetts, 1986.
|80| Qian, N. 'On the momentum term in gradient descent learning algorithms,
Neural Networks Volume 12, pp. 145151, 1999.
|81| Battiti, R. 'Accelerated Backpropagation Learning. Two Optimi:ation
Methods, Complex Systems, 3:331-342, 1989.
|82| Kohonen, T. 'Self-Organi:ed Formation of Topologicallv Correct Feature
Maps, Biological Cybernetics, Volume 43, pp. 59-69, 1982.
|83| Kohonen, T. 'The Hvpermap Architecture, In T. Kohonen, K. Makisara, O.
Simula, and J. Kangas (Eds), ArtiIicial Neural Networks, pp. 1357-1360, 1991.
|84| Rindel, J. H. 'The use of computer modeling in room acoustics, Journal oI
Vobroengineering, vol. 3, no. 4, pp. 4172, 2000.
|85| Savioja, L. 'Modeling techniques for virtual acoustics, Ph.D. dissertation,
Helsinki University oI Technology, august 2000.
127
|86| Schobben, D., Torkkola, K., Smaragdis, P. 'Evaluation of Blind Signal
Separation Methods, in Proceedings Int. Workshop Independent Component
Analysis and Blind Signal Separation, J.F. Cardoso, Ch. Jutten, and Ph. Loubaton,
Eds., Aussois, France, pp. 261 266, January 1999.
|87| Barnwell III, T.P., Nayebi, K., e Richardson, C. H. 'Speech Coding. A Computer
Laboratorv Textbook, Digital Signal Processing Laboratory Series. Georgia Tech,
1996.
|88| Amari, S., Cichocki, A., e Yang, H. H. 'A new learning algorithm for blind
signal separation, in Advances in neural inIormation processing systems, 8,
Cambridge, MA, MIT Press, 1996, pp. 757-763.
|89| Herault, J. e Jutten, C. 'Space and time adaptive signal processing bv neural
network models, Neural Network Ior Computing, AIP ConIerence Proceedings 151,
pp. 207-211, 1986.
|90| Cardoso, J. F. 'Independent component analvsis of the cosmic microwave
background, In Proc. Int. Symp. Independent Component Analysis and Blind Signal
Separation (ICA), pages 11111116, Nara, Japan, April 2003.
|91| Bradwood, D. 'Cross-coupled cancellation svstems for improving cross-
polarisation discrimination, in Proc. IEEE Int. ConI. Antennas and Propagation,
Nov. 1978, vol. I, pp. 41-45.
|92| Weinstein, E., Feder, M., e Oppenheim, A. 'Multi-channel signal separation bv
decorrelation, IEEE Trans. on Speech and Audio Processing, vol 1, no. 4, pp. 405-
413, Oct. 1993.
|93| Gerven, S. V. e Compernolle, D. V. 'Signal separation bv svmmetric adaptive
decorrelation. stabilitv, convergence, and uniqueness, in IEEE Trans. Signal
Processing, vol. 43, no. 7, pp. 1602-1612, 1995.
|94| Gerven, S. V. e Compernolle, D. V. 'Signal separation in a svmmetric adaptive
noise canceler bv output decorrelation, in Porc. ICASSP 92, 1992, vol. IV, pp. 221-
224.
|95| Tong, L., Soon, V.C., Inouye, Y., Huang, Y., e Liu, R. 'Waveform-preserving
blind estimation of multiple sources, In Proc. IEEE ConIerence on Decision and
Control, pages 23882393 vol.3, Brighton, UK, 1991.
128
|96| Tong, L., Inouye, Y., e Liu, R. 'A finite-step global algorithm for the parameter
estimation of multichannel MA processes, IEEE Trans. Signal Proc., 40(10):2547
2558, 1992.
|97| Belouchrani, A., Abed-Meraim, K., Cardoso, J. F., e Moulines, E. 'Second-
order blind separation of correlated sources, In Proc. Int. ConIerence on Digital
Sig. Processing, pages 346351, Cyprus, 1993.
|98| Belouchrani, A., Abed-Meraim, K., Cardoso, J. F., e Moulines, E. 'A blind
source separation technique using second-order statistics, IEEE Trans. Signal
Processing, 45(2):434444, February 1997.
|99| Wu, H. C. e Principe, J. C. 'A unifving criterion for blind source separation and
decorrelation. simultaneous diagonali:ation of correlation matrices, In Proc. IEEE
Int. Workshop Neural Networks Ior Signal Processing (NNSP), pages 496505,
Amelie Island, Fl, USA, 1997.
|100| Krongold, B. S. e Jones, D. L. 'Blind source separation of nonstationarv
convolutivelv mixed signals, In Proc. IEEE Workshop on Statistical Signal and
Array Processing (SSAP), pages 5357, Pocono Manor, PA, USA, August 2000.
|101| Liu, R., Inouye, Y., e Luo, H. 'A svstem-theoretic foundation for blind signal
separation of MIMO- FIR convolutive mixtures - a review, in ICA`00, 2000, pp.
205210.
|102| Parra, L. e Spence, C. 'Convolutive blind source separation based on multiple
decorrelation, in Proc. IEEE Workshop on Neural Networks Ior Signal Processing
(NNSP'97), Cambridge, UK, 1998.
|103| Parra, L. e Spence, C. 'Convolutive blind source separation of non-stationarv
sources, IEEE Trans. Speech and Audio Processing, pp. 320-327, May 2000.
|104| Kawamoto, M., Matsuoka, K., e Ohnishi, N. 'A method of blind separation for
convolved non-stationarv signals, Neurocomputing, vol. 22, pp. 157-171, 1998.
|105| Buchner, H., Aichner, R., Stenglein, J., Teutsch, H., e Kellermann, W.
'Simultaneous locali:ation of multiple sound sources using blind adaptive MIMO
filtering, In Proc. IEEE Int. ConI. Acoustics, Speech, Signal Processing (ICASSP),
volume 3, pages 97100, Philadelphia, PA, USA, March 2005.
|106| Aichner, R., Buchner, H., Wehr, S., e Kellermann, W. 'Robustness of acoustic
129
multiple-source locali:ation in adverse environments, In Proc. OI 7th ITG-
Fachtagung Sprachkommunikation, Kiel, Germany, April 2006.
|107| Chan, D. B., Rayner, P. J. W., e Godsill, S. J. 'Multi-channel signal
separation, In Proc. ICASSP, pages 649652, May 1996.
|108| Weinstein, E., Feder, M., e Oppenheim, A. V. 'Multi-channel signal separation
bv decorrelation, IEEE Trans. on Speech and Audio Processing, 1(4):405413, Oct.
1993.
|109| Di Persia, L., Milone, D. H., Yanagida, M., RuIiner, H. L. 'Obfective qualitv
evaluation in blind source separation for speech recognition in a real room, Signal
Processing, Vol. 87, No 8, pp. 1951-1965, Aug. 2007.
|110| Mitianoudis, N., Davies, M. 'New fixed-point solutions for convolved
mixtures, in 3
rd
International ConIerence on Independent Component Analysis and
Blind Source Separation, San Diego, CaliIornia, Dec. 2001.
|111| Karvanen, J., Eriksson, J., Koivunen, V. 'Pearson svstem based method for
blind separation, ICA2000, Proceedings oI the Second International Workshop on
Independent Component Analysis and Blind Signal Separation, pp. 585590, 2000.
|112| Vincent, E., Gribonval, R., e Fevotte, C. 'Performance Measurement in Blind
Audio Source Separation, IEEE Transaction On Audio and Language Processing,
Vol. 14, No. 4, Jul. 2006.
|113| Fancourt, C. L. e Parra, L. 'The coherence function in blind source separation
of convolutive mixtures of non-stationarv signals, in Proc. Int. Workshop on Neural
Networks Ior Signal Processing (NNSP), 2001.
|114| Cardoso, J. F. 'Entropic contrasts for source separation. geometrv and
stabilitv, In Unsupervised adaptive Iiltering, Volume 1, pages 139-189. S. Haykin
editor, Wiley 2000.
|115| Aichner, R., Buchner, H., e Kellermann, W. 'The TRINICON framework for
adaptive MIMO signal processing with focus on the generic Svlvester constraint,
Proc. ITG ConIerence on Speech Communication, Aachen, Germany, Oct. 2008.
|116| Buchner, H. e Kellermann, W. 'TRINICON for Dereverberation of Speech and
Audio Signals, In P.A. Naylor and N.D. Gaubitch (eds.), Speech Dereverberation,
Springer-Verlag, London, pp. 311-385, Jul. 2010.
130
|117| Figueiredo, F. A. P. e Ynoguti, C. A. 'On the improvement of the learning rate
in Blind Source Separation using techniques from Artificial Neural Networks theorv.
Proceedings oI the International Workshop on Telecommunications IWT/09.
|118| Figueiredo, F. A. P. e Ynoguti, C. A. 'Blind Source Separation in Reverberant
Environment Using Genetic Algortims, paper submitted to the International
Workshop on Telecommunications IWT/11.
|119| Nam, H., Yim, T. G., Han, S., Oh, J. B. e Lee, S. 'Independent component
analvsis of ictal EEG in medial temporal lobe epilepsv, (SLOHSVLD 43:160164,
2002.
|120| James, C. J. e Wang, S., 'Blind source separation in single-channel EEG
analvsis. an application to BCI, In, Proceedings 28th Annual International
ConIerence IEEE Enginering in Medicine and Biology Society (EMBS), 2006.
|121| Papoulis, A. 'Probabilitv, Random Jariables, and Stochastic Processes, 3rd
ed. WCB/McGraw-Hill, 1991.
|122| Gallant, S. I. 'Neural network learning and expert svstems, The MIT Press,
1995.
|123| Rabiner, L. e Juang, B. H. 'Fundamentals of Speech Recognition, Prentice-
Hall, Inc. Upper Saddle River, NJ, USA, 1993.