Cap 7 - Mapas Auto-Organizados de Kohonen - SOM

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica
Redes Neurais Artificiais

Fernando Csar C. de Castro e Maria Cristina F. de Castro
Captulo 7
Mapas Auto-Organizados
de Kohonen - SOM
Neste captulo estudaremos um dos mais populares algoritmos na categoria de
aprendizado no-supervisionado, as RNAs conhecidas como Mapas Auto-Organizados de
Kohonen (Self-Organizing Map - SOM).
Os Mapas Auto-Organizados so redes competitivas que possuem a habilidade de
formar mapeamentos que preservam a topologia entre os espaos de entrada e de sada. As
redes SOM so utilizadas em muitos projetos industriais como ferramentas para resolver
problemas prticos de difcil soluo. Diversos campos da cincia adotaram os SOMs como
uma ferramenta analtica padro. Dentre eles encontram-se campos como: a estatstica, o
processamento de sinais, a teoria de controle, a anlise financeira, a fsica experimental, a
qumica e a medicina.
As RNAs SOM resolvem problemas no-lineares de alta dimensionalidade, tais
como: extrao de caractersticas e classificao de imagens e padres acsticos, controle
adaptativo de robs, equalizao, demodulao e transmisso de sinais. Alm disso, cabe
salientar que o SOM um dos modelos representativos
mais realsticos da funo
biolgica do crebro.
O texto apresentado neste captulo segue basicamente Haykin em [3] (sob a forma
de uma traduo livre, resumida) e tutoriais e artigos do Professor Teuvo Kohonen,
amplamente divulgados em [1] e [2].
As redes SOM so baseadas no aprendizado competitivo. Os neurnios de sada da
RNA competem entre si para serem ativados, com o resultado de que apenas um neurnio
de sada (ou um neurnio por grupo) est "ligado" a qualquer instante. Um neurnio de

sada que vence tal competio chamado neurnio vencedor (winner-takes-all neuron).
Uma maneira de induzir tal tipo de competio entre os neurnios de sada usar conexes
inibitrias laterais entre eles (ou seja, caminhos de realimentao negativa), idia
originalmente proposta por Rosenblatt em 1958.
Os neurnios em uma rede SOM so colocados nos ns de uma trelia (lattice) que
usualmente de uma ou duas dimenses. Mapas de dimenses maiores so tambm
possveis, porm mais raros.
Os neurnios se tornam seletivamente "sintonizados" a vrios estmulos (padres de
entrada) ou
classes de padres de entrada ao longo de um processo competitivo de
aprendizado. A localizao destes neurnios (que so os neurnios vencedores) se torna

ordenada entre si de tal forma que um sistema de coordenadas significativo criado na
trelia, para diferentes caractersticas de entrada.
Um SOM , portanto, caracterizado pela formao de um mapa topogrfico dos
padres de entrada, no qual as localizaes espaciais (ou coordenadas) dos neurnios na
trelia so indicativas de caractersticas estatsticas intrnsecas contidas nos padres de
entrada.
Como modelo neural, as redes SOM constituem uma ponte entre dois nveis de
adaptao: as regras de adaptao formuladas ao nvel de um nico neurnio e a formao
de melhores e mais acessveis padres de seletividade de caractersticas, ao nvel de
camadas de neurnios. Devido ao fato de serem inerentemente no-lineares, os SOMs
podem ser vistos como uma generalizao no-linear da heurstica para anlise de
componentes principais.
O desenvolvimento dos SOMs como modelo neural foi motivado por uma
caracterstica do crebro humano, que organizado em muitas regies, de tal forma que
entradas sensoriais distintas so representadas por mapas computacionais topologicamente
ordenados. Por exemplo, entradas sensoriais tcteis, visuais e acsticas so mapeadas em
diferentes reas do crtex cerebral, de uma forma topologicamente ordenada.

Assim, pode-se considerar que um mapa computacional constitui um bloco bsico

de construo na estrutura de processamento de informao do sistema nervoso. Um mapa
computacional definido como uma matriz de neurnios, os quais operam nos sinais que
transportam informao sensorial, em paralelo. Conseqentemente, os neurnios
transformam sinais de entrada em uma distribuio de probabilidade codificada na regio
que representa os valores computados de parmetros por regies de mxima atividade
relativa dentro do mapa. A informao assim derivada tal que pode ser acessada
prontamente utilizando esquemas relativamente simples.
O principal objetivo das RNAs SOM transformar um sinal padro de entrada de
dimenso arbitrria em um mapa discreto de uma ou duas dimenses, e desempenhar esta
transformao adaptativamente, em uma forma topologicamente ordenada. A Figura 7.1
mostra o diagrama esquemtico de uma trelia bidimensional de neurnios comumente
utilizada como mapa discreto.
Figura 7.1: Trelia bidimensional de neurnios.

Cada neurnio na trelia completamente conectado a todos os ns fonte na camada

de entrada. A rede da Figura (7.1) representa uma estrutura progressiva, com uma nica
camada computacional, consistindo de neurnios arranjados em linhas e colunas. Uma
trelia de uma dimenso um caso especial da configurao descrita na Figura 7.1: neste
caso especial a camada computacional consiste simplesmente de uma nica coluna ou linha
de neurnios.
Cada padro de entrada apresentado rede consiste de uma regio localizada de
atividade. A localizao e natureza de tal regio usualmente varia de uma realizao de
padro de entrada, para outra. Todos os neurnios na rede devem, portanto, ser expostos a
um nmero suficiente de diferentes realizaes dos padres de entrada, para garantir que o
processo de auto-organizao ocorra de forma apropriada.
O algoritmo responsvel pela formao do SOM em primeiro lugar inicializa os
pesos sinpticos da rede. Este procedimento pode ser feito atribuindo pequenos valores
tomados de um gerador de nmeros aleatrios; desta forma, nenhuma ordem prvia
imposta ao mapa de caractersticas. Desde que a rede tenha sido adequadamente
inicializada, h trs processos essenciais envolvidos na formao do SOM, conforme
descritos abaixo:
1.
Competio.
Para cada padro de entrada, os neurnios da rede computam os seus
respectivos valores de uma funo discriminante. Esta funo prov as
bases para a competio entre os neurnios. O particular neurnio com
o maior valor de funo discriminante declarado vencedor da
competio.
2.
Cooperao.
O neurnio vencedor determina a localizao espacial de uma
vizinhana topolgica de neurnios excitados, provendo, desta forma,
as bases para a cooperao entre tais neurnios vizinhos.

3.
Adaptao sinptica.
Este ltimo mecanismo permite aos neurnios excitados aumentar
seus valores individuais da funo discriminante em relao ao padro
de entrada, atravs de ajustes adequados aplicados a seus pesos
sinpticos. Os ajustes feitos so tais que a resposta do neurnio
vencedor subseqente aplicao de um padro similar de entrada
realada.
Os processos de competio e cooperao esto de acordo com dois dos quatro

princpios de auto-organizao que estudamos em captulos anteriores, assim como o
processo de auto-amplificao apresenta-se em uma forma modificada do aprendizado
Hebbiano no processo adaptativo. Ainda, a presena de redundncia nos dados de entrada
necessria para o aprendizado, desde que responsvel por prover o conhecimento.
Passemos agora a uma explanao detalhada de cada um dos processo acima
listados: Competio, Cooperao e Adaptao Sinptica.
7.1. O Processo Competitivo

Seja m a dimenso do espao de dados de entrada. Seja um padro de entrada
(vetor) selecionado aleatoriamente a partir do espao de entrada, denotado por
x = [ x1 x 2 ... x m ]T
(7.1)
O vetor de pesos sinpticos de cada neurnio na rede tem a mesma dimenso do

espao de entrada. Seja o vetor de pesos sinpticos do neurnio j denotado por
w j = [w j1 w j 2 ... w jm ]T , j = 1,2,! ,l
(7.2)
onde l o nmero total de neurnios na rede.

Para encontrar o vetor de entrada x que mais se aproxima do vetor de pesos
sinpticos w j , so comparados os produtos internos

(7.3)
wTj x para j = 1,2,! ,l

e selecionado o que apresenta maior valor.
Esta operao assume que o mesmo threshold seja aplicado a todos os neurnios.
(Lembre que, conforme vimos no Captulo 4, quando uma polarizao (ou bias) aplicada
a um neurnio, seu efeito representado por uma sinapse de peso b conectada a uma
entrada fixa e igual a (+1). De forma alternativa, a polarizao pode ser gerada por uma
sinapse de peso conectada a uma entrada de valor fixo e igual a (1), quando, ento,
recebe o nome de threshold.)
T
Ao selecionar o neurnio com o maior produto interno w j x , teremos, na realidade,

determinado a localizao onde a vizinhana topolgica de neurnios excitados dever
estar centrada.
O critrio para determinar qual vetor de entrada x mais se aproxima do vetor de
T
pesos sinpticos w j baseado na maximizao do produto interno w j x e mostrado na

Equao (7.3) matematicamente equivalente a minimizar a distncia Euclidiana entre os
vetores x e w j [3].
Se usarmos o ndice i (x ) para identificar o neurnio que mais se aproxima do vetor
de entrada x poderemos, ento, determin-lo aplicando a condio mostrada na equao
abaixo,
i(x ) = arg min x w j , para j = 1,2,! ,l
(7.4)
que resume a essncia do processo de competio entre os neurnios.

O particular neurnio i que satisfaz a condio expressa na Equao (7.4)
chamado de neurnio vencedor para o vetor de entrada x .
A Equao (7.4) leva a esta observao:

"Um espao de entrada contnuo de padres de ativao mapeado em

um espao de sada discreto de neurnios, por meio de um processo de
competio entre os neurnios na rede."
Dependendo da aplicao de interesse, a resposta da rede pode ser tanto o ndice do

neurnio vencedor (isto , sua posio na trelia), quanto o vetor de pesos sinpticos que
est mais prximo do vetor de entrada, no sentido da distncia Euclidiana.
7.2. O Processo Cooperativo

O neurnio vencedor localiza o centro de uma vizinhana topolgica de neurnios
cooperativos. A definio desta vizinhana topolgica baseada na evidncia
neurobiolgica de que h interao lateral entre um conjunto de neurnios biolgicos
excitados.
Em particular, um neurnio que est "ligado" tende a excitar mais os neurnios em
sua vizinhana imediata, do que a excitar aqueles neurnios que esto mais distantes.
Assim, podemos afirmar que a vizinhana topolgica ao redor do neurnio vencedor i decai
suavemente com a distncia lateral.
Para sermos especficos, seja h j , i a vizinhana topolgica centrada no neurnio
vencedor i e circundada por um conjunto de neurnios excitados cooperativos, dos quais
um neurnio tpico denotado por j.
Seja d i , j a distncia lateral entre o neurnio
vencedor i e o neurnio excitado j. Ento, podemos assumir que a vizinhana topolgica

h j , i uma funo unimodal da distncia lateral d i , j , tal que satisfaa a dois requerimentos
distintos:

1.
A vizinhana topolgica h j , i simtrica ao redor do ponto mximo

definido por d i , j = 0 ; em outras palavras, atinge seu valor mximo no
neurnio vencedor i, para o qual a distncia d i , j zero.
2.
A amplitude da vizinhana topolgica h j , i decresce monotonicamente

com o aumento da distncia lateral d i , j , decaindo a zero para
d i , j ; condio necessria para convergncia.
Uma escolha para h j , i que satisfaz a estes requerimentos a funo Gaussiana
h j , i( x)
d 2j ,i
= exp
2 2
(7.5)
a qual invariante translao (isto , independente da localizao do neurnio vencedor).

O parmetro , presente na Equao (7.5) expressa a "largura efetiva" da vizinhana
topolgica, conforme ilustrado na Figura 7.2 (Figura 9.3, pgina 449 H-NN) e mede o grau
com que os neurnios excitados, vizinhos do neurnio vencedor, participam no processo de
aprendizagem.
Figura 7.2: Funo de Vizinhana Gaussiana.

Para o caso de neurnios biolgicos, a vizinhana topolgica Gaussiana expressa

pela Equao (7.5) mais apropriada do que o seria uma vizinhana retangular. O uso da
vizinhana topolgica Gaussiana tambm faz com que o algoritmo SOM convirja mais
rapidamente do que no caso de utilizar-se uma vizinhana topolgica retangular.
Para que exista cooperao entre neurnios vizinhos, necessrio que a vizinhana
topolgica h j , i seja mais dependente da distncia lateral d i , j entre o neurnio vencedor i
e o neurnio excitado j no espao de sada, do que de alguma medida de distncia no
espao de entrada original. Isto exatamente o que demonstra a Equao (7.5).
No caso de uma trelia de uma dimenso, d i , j um inteiro igual a j i . No caso
de uma trelia bidimensional, a distncia d i , j dada por
d i2, j = r j r i
(7.6)
onde o vetor discreto r j define a posio do neurnio excitado j e r i define a posio

discreta do neurnio vencedor i, ambas medidas no espao discreto de sada.
Uma outra caracterstica nica do algoritmo SOM que o tamanho da vizinhana
topolgica encolhe com o tempo. Este requerimento satisfeito fazendo a largura da
funo de vizinhana topolgica h j , i decrescer com o tempo. Uma escolha popular para a
dependncia de no tempo discreto n o decaimento exponencial descrito por
n
(n ) = 0 exp ; n = 0,1,2,"
1
(7.7)
onde 0 o valor de na inicializao do algoritmo SOM, e 1 uma constante de

tempo. De forma correspondente, a vizinhana topolgica assume uma forma variante com
o tempo, conforme mostrada por
d 2j ,i
, n = 0 ,1,2 ,"
h j , i ( x ) (n ) = exp
2 2 (n )
(7.8)

onde (n ) definido pela Equao (7.7). Assim, medida que o tempo n (isto , o nmero
de iteraes) aumenta, a largura (n ) diminui a uma taxa exponencial, e a vizinhana
topolgica encolhe de forma correspondente. Doravante iremos nos referir a h j,i (x ) (n )
como a funo de vizinhana.
Outra forma de interpretar a variao da funo de vizinhana h j,i (x ) (n ) ao redor de
um neurnio vencedor i (x ) considerar que o propsito da largura h j,i (x ) (n )
essencialmente correlacionar as direes das atualizaes dos pesos de um grande nmero

de neurnios excitados na trelia. medida que a largura h j,i (x ) (n ) diminui, tambm
diminudo o nmero de neurnios cujas direes de atualizao so correlacionadas (este
fenmeno pode ser observado quando o treinamento de uma rede SOM visualizado
graficamente na tela do computador).
Para que a operao descrita no constitua desperdcio de recursos computacionais
(mover um grande nmero de graus de liberdade ao redor de um neurnio vencedor de
forma correlacionada) prefervel usar uma forma normalizada de treinamento para o
algoritmo SOM. Nesta forma de treinamento pode-se trabalhar com um nmero muito
menor de graus de liberdade normalizados. Esta funo facilmente desempenhada na
forma discreta, tendo uma funo de vizinhana h j,i (x ) (n ) de largura constante, mas
aumentando gradualmente o nmero total de neurnios. Os novos neurnios so inseridos
entre os antigos, e as propriedades de suavizao do algoritmo SOM garantem que os novos
neurnios sejam agregados adequadamente adaptao sinptica.
7.3. O Processo Adaptativo

O ltimo processo envolvido na formao auto-organizada de um mapa de
caractersticas (SOM) o processo adaptativo dos pesos sinpticos.
10

Para que a rede possa se auto-organizar, o vetor de pesos sinpticos
w j do
neurnio j dever variar com relao ao vetor de entrada x . No postulado de aprendizado

de Hebb, um peso sinptico aumentado quando h ocorrncia simultnea de atividades
pr e ps-sinpticas. O uso de tal regra adequado para o aprendizado associativo.
Para o tipo de aprendizado no-supervisionado aqui considerado, entretanto, a
hiptese de Hebb em sua forma bsica insatisfatria pela seguinte razo: mudanas em
conectividades ocorrem apenas em uma direo, o que acabaria por levar todos os pesos
sinpticos saturao.
Para superar esta dificuldade a hiptese de Hebb modificada incluindo um termo
( )
( )
de esquecimento, g y j w j , onde w j o vetor de pesos sinpticos do neurnio j e g y j

alguma funo escalar positiva da resposta y j . A nica condio imposta sobre a funo
( )
( )
g y j que o termo constante na expanso em srie de Taylor de g y j seja zero, para

que possamos escrever
( )
g y j = 0 para y j = 0
(7.9)
Dada uma tal funo, podemos ento expressar a mudana no vetor de pesos
sinpticos do neurnio j na trelia, conforme segue:
( )
w j = y j x g y j w j
(7.10)
onde o parmetro razo de aprendizado do algoritmo. O primeiro termo no lado direito

da Equao (7.10) o termo Hebbiano e o segundo termo o termo de esquecimento. Para
( )
satisfazer a condio dada pela Equao (7.9), escolhe-se uma funo linear para g y j ,
conforme
( )
g y j = y j
(7.11)
A Equao (7.10) pode, ainda, ser simplificada fazendo-se

y j = h j , i (x )
11
(7.12)

Substituindo as Equaes (7.11) e (7.12) na Equao (7.10), obteremos
w j = h j,i (x ) x w j
(7.13)
Finalmente, usando o formalismo de tempo-discreto, dado o vetor de pesos

sinpticos w j (n ) do neurnio j no tempo n, o vetor de pesos atualizado w j (n + 1) no tempo
n + 1 definido por
w j (n +1) = w j (n ) + (n ) h j,i (x ) (n ) x w j (n )
(7.14)
o qual aplicado a todos os neurnios na trelia que esto dentro da vizinhana topolgica
do neurnio vencedor i.
A equao (7.14) tem o efeito de mover o vetor de pesos sinpticos w i do neurnio
vencedor i na direo do vetor de entrada x . Sob repetidas apresentaes dos dados de
treino, os vetores de pesos sinpticos tendem a seguir a distribuio dos vetores de entrada,
devido atualizao da vizinhana. O algoritmo, portanto, conduz a uma ordenao
topolgica do mapa de caractersticas no espao de entrada, no sentido de que os neurnios
que so adjacentes na trelia tendero a ter vetores de pesos sinpticos similares.
A equao (7.14) a expresso desejada para computar os pesos sinpticos do mapa
de caractersticas. Em adio a esta equao, entretanto, necessrio considerar-se a
heurstica dada pela Equao (7.8) para selecionar a funo de vizinhana h j,i (x ) (n ) e uma
heurstica adicional para selecionar o parmetro razo de aprendizado (n ) .
O parmetro razo de aprendizado (n ) deve variar com o tempo, como indicado na
Equao (7.14). Em particular, a razo de aprendizado deve iniciar em um valor 0 , e,
ento, decrescer gradualmente com o aumento do tempo n. Esta condio pode ser satisfeita
escolhendo um decaimento exponencial para (n ) , conforme
n
(n ) = 0 exp
2
; n = 0,1,2 ,"
12
(7.15)

onde 2 uma outra constante de tempo do algoritmo SOM. Embora as frmulas de

decaimento exponencial descritas nas Equaes (7.7) e (7.15) para a largura da funo de
vizinhana e para o parmetro razo de aprendizado possam no ser timas, so adequadas
para a formao do mapa de caractersticas de uma forma auto-organizada.
7.3.1. Duas Fases do Processo Adaptativo:

Ordenar e Convergir
Partindo de um estado inicial de desordem completa, o algoritmo SOM
gradualmente conduz a uma representao organizada dos padres de ativao extrados do
espao de entrada, desde que os parmetros do algoritmo sejam selecionados de forma
apropriada.
Pode-se decompor em duas fases a adaptao dos pesos sinticos, na rede
(adaptao computada de acordo com a Equao (7.14)): uma fase relativa ordenao ou
auto-organizao, seguida por uma fase relativa convergncia, assim descritas:
1. Fase de ordenao ou auto-organizao.

durante esta primeira fase do processo adaptativo que a ordenao
topolgica dos vetores pesos sinpticos acontece. A fase de ordenao pode
durar 1000 ou mais iteraes do algoritmo SOM. As escolhas do parmetro
razo de aprendizado e da funo de vizinhana devem ser feitas de forma
cuidadosa:
!
O parmetro razo de aprendizado (n ) deve iniciar com um valor

prximo a 0.1,
decrescendo aps gradualmente, mas permanecendo
acima de 0.01. Estes valores so atingidos atravs das seguintes escolhas

para os parmetros da Equao (7.15):
0 = 0.1 e 2 = 1000 .
13

A funo de vizinhana h j,i (n ) deve incluir inicialmente quase todos os

neurnios na rede centrados no neurnio vencedor i e, ento, encolher
lentamente com o tempo.
Especificamente, durante a fase de ordenao (que pode ocupar 1000
iteraes ou mais), h j,i (n ) pode ser reduzida a um valor to pequeno
quanto a apenas dois neurnios vizinhos ao redor de um neurnio
vencedor, ou mesmo ao prprio neurnio vencedor. Assumindo o uso de
uma trelia de duas dimenses de neurnios para o mapa discreto, podese ento ajustar o tamanho inicial 0 da funo de vizinhana igual ao
"raio" da trelia. Correspondentemente, pode-se ajustar a constante de
tempo 1 na Equao (7.7) conforme segue:
1 =
1000
log 0
2. Fase de convergncia.
Esta segunda fase do processo adaptativo necessria para o "ajuste fino" do
mapa de caractersticas e, portanto, para prover uma quantificao estatstica
acurada do espao de entrada.
Como regra geral, o nmero de iteraes que constituem a fase de
convergncia deve ser pelo menos 500 vezes o nmero de neurnios
presentes na rede.
Assim, a fase de convergncia pode durar por milhares e, possivelmente, por
dezenas de milhares de iteraes:
14

Para uma boa preciso estatstica, o parmetro razo de aprendizado (n )

deve ser mantido em um valor pequeno durante a fase de convergncia, da
ordem de 0.01, no devendo cair a zero em nenhuma situao. Caso
contrrio, a rede poder ficar presa em um estado metaestvel. Um estado
metaestvel pertence a uma configurao do mapa de caractersticas com
um defeito topolgico. O decaimento exponencial presente na Equao
(7.15) evita possveis estados metaestveis.
A funo de vizinhana h j,i (x ) deve conter somente os vizinhos mais

prximos de um neurnio vencedor, podendo, eventualmente, reduzir o
nmero de neurnios vizinhos mais prximos a um, ou mesmo a zero.
7.4 Sumrio do Algoritmo SOM

Os parmetros essenciais do algoritmo so:
1. Um espao de entrada contnuo de padres de ativao que so gerados de acordo
com uma certa distribuio de probabilidade.
2. Uma topologia da rede na forma de uma trelia de neurnios, a qual define um
espao de sada discreto.
3. Uma funo de vizinhana h j,i (x ) (n ) variante no tempo que definida ao redor de
um neurnio vencedor i (x ) .
4. Um parmetro razo de aprendizado (n ) que inicie em um valor inicial 0 e, ento,
decresa gradualmente com o tempo n, mas nunca caia a zero.
15

Na fase de ordenao as Equaes (7.8) e (7.15) podem ser usadas para determinar,
respectivamente, a funo de vizinhana e o parmetro razo de aprendizado (isto ,
durante aproximadamente as primeiras 1000 iteraes).
Na fase de convergncia, para obter boa preciso estatstica, (n ) deve ser mantido
em um valor pequeno (0.01 ou menor) por um longo perodo de tempo, o qual equivale a
milhares de iteraes e, no comeo da fase de convergncia, a funo de vizinhana deve
conter apenas os vizinhos mais prximos do neurnio vencedor podendo, eventualmente,
encolher para um ou mesmo para zero neurnios vizinhos.
H trs passos bsicos envolvidos na aplicao do algoritmo, aps a inicializao:
amostragem, verificao de similaridade e atualizao. Estes trs passos so repetidos at
que a formao do mapa de caractersticas esteja completa. O algoritmo sumariado como
segue:
1. Inicializao:
Para a inicializao dos vetores de pesos sinpticos, w j (0), so escolhidos valores
aleatrios, com a restrio de que w j (0) seja diferente para j = 1,2, ! , l ; onde l o
nmero de neurnios na trelia. Pode ser conveniente manter pequena a magnitude

dos pesos sinpticos.
Outra forma de inicializar o algoritmo selecionar aleatoriamente os vetores de
pesos w j (0 )lj =1 a partir do conjunto de vetores de entrada {x i }iN=1 .
2. Amostragem:
Um vetor x extrado do espao de dados de entrada, com uma associada
probabilidade de ocorrncia. Este vetor representa o padro de ativao que
aplicado trelia. A dimenso do vetor x igual a m.
16

3. Verificao de Similaridade:
O neurnio vencedor i (x ) (best-matching neuron) no instante de tempo n
encontrado, utilizando-se o critrio da mnima distncia Euclidiana (conforme
Equao (7.4)):
i(x ) = arg min x(n ) w j , para j = 1,2,! ,l

j
4. Atualizao:
Os vetores de pesos sinpticos de todos os neurnios so ajustados atravs da
Equao (7.14):
w j (n +1) = w j (n ) + (n ) h j,i (x ) (n ) x(n ) w j (n )
onde (n ) o parmetro razo de aprendizado e h j,i (x ) (n ) a funo de vizinhana

centrada ao redor do neurnio vencedor i (x ) . Tanto (n ) quanto h j,i (x ) (n ) so
variados dinamicamente durante o aprendizado, para otimizao dos resultados.
5. Continuao:
Retorna-se ao passo 2 e continua-se o procedimento at que no sejam observadas
mudanas considerveis no mapa de caractersticas.
7.5 Propriedades do Mapa de Caractersticas

Aps a convergncia do algoritmo SOM, o mapa de caractersticas computado exibe
caractersticas estatsticas importantes do espao de entrada.
Seja um espao de dados de entrada contnuo, cuja topologia definida pela
relao mtrica dos vetores x .
Seja um espao de sada discreto, cuja topologia vem do arranjo de um conjunto
de neurnios sob a forma de ns computacionais de uma trelia.
Seja uma transformao no-linear chamada "mapa de caractersticas", a qual
mapeia o espao de entrada no espao de sada , ou seja, : .
17
(7.16)

A Equao (7.16) pode ser vista como uma abstrao da Equao (7.4), a qual
define a localizao de um neurnio vencedor i (x ) a partir de um vetor de entrada x .
Por exemplo, em um contexto neurobiolgico, o espao de entrada pode
representar o conjunto de coordenadas de receptores sensoriais fsicos distribudos
densamente pela superfcie do corpo. Correspondentemente, o espao de sada poder
representar o conjunto de neurnios localizados naquela camada do crtex cerebral qual
os receptores sensoriais fsicos esto confinados.
Dado um vetor de entrada x , o algoritmo SOM inicialmente identifica um neurnio
vencedor i (x ) , que seja o mais semelhante no espao de sada , de acordo com o mapa
de caractersticas . O vetor de pesos sinpticos w i do neurnio i (x ) pode, ento, ser
visto como um ponteiro para aquele neurnio no espao de entrada ; ou seja, os
elementos sinpticos do vetor w i podem ser vistos como as coordenadas da imagem do
neurnio i projetado no espao de entrada. Estas duas operaes encontram-se
representadas na Figura 7.3.
Figura 7.3: Ilustrao da relao entre o mapa de caractersticas e o vetor de pesos w i

do neurnio vencedor j.
18

O mapa de caractersticas tem algumas propriedades importantes:

1.
O mapa de caractersticas , representado pelo conjunto de vetores de pesos

sinpticos {w i } no espao de sada , prov uma boa aproximao do espao
de entrada .
2.
O mapa de caractersticas
computado pelo algoritmo SOM
topologicamente ordenado, no sentido de que a localizao espacial de um

neurnio na trelia corresponde a um particular domnio ou caracterstica dos
padres de entrada.
3.
O mapa de caractersticas reflete variaes na estatstica da distribuio de

entrada: regies no espao de entrada das quais os vetores amostra x so
extrados com uma alta probabilidade de ocorrncia so mapeados sobre
maiores domnios do espao de sada e, portanto, com melhor resoluo do
que regies em das quais os vetores amostra x so extrados com uma baixa
probabilidade de ocorrncia.
4.
Se os dados que compem um espao de entrada possuem uma distribuio

no-linear, o mapa auto-organizado capaz de selecionar um conjunto de
caractersticas adequado para aproximar a distribuio no-linear subjacente.
7.6 Referncias Bibliogrficas do Captulo 7

[1]
[2]
[3]
http://www.cis.hut.fi
http://www.shef.ac.uk
S. Haykin, Neural Networks, 2nd ed., Prentice Hall, Upper Saddle River, New Jersey,
1999.
19

Cap 7 - Mapas Auto-Organizados de Kohonen - SOM

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Cap 7 - Mapas Auto-Organizados de Kohonen - SOM

Enviado por

Direitos autorais:

Formatos disponíveis

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

mais realsticos da funo

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

classes de padres de entrada ao longo de um processo competitivo de

aprendizado. A localizao destes neurnios (que so os neurnios vencedores) se torna

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

Assim, pode-se considerar que um mapa computacional constitui um bloco bsico

Figura 7.1: Trelia bidimensional de neurnios.

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

Cada neurnio na trelia completamente conectado a todos os ns fonte na camada

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

Os processos de competio e cooperao esto de acordo com dois dos quatro

7.1. O Processo Competitivo

O vetor de pesos sinpticos de cada neurnio na rede tem a mesma dimenso do

onde l o nmero total de neurnios na rede.

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

wTj x para j = 1,2,! ,l

Ao selecionar o neurnio com o maior produto interno w j x , teremos, na realidade,

pesos sinpticos w j baseado na maximizao do produto interno w j x e mostrado na

i(x ) = arg min x w j , para j = 1,2,! ,l

que resume a essncia do processo de competio entre os neurnios.

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

"Um espao de entrada contnuo de padres de ativao mapeado em

Dependendo da aplicao de interesse, a resposta da rede pode ser tanto o ndice do

7.2. O Processo Cooperativo

Seja d i , j a distncia lateral entre o neurnio

vencedor i e o neurnio excitado j. Ento, podemos assumir que a vizinhana topolgica

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

A vizinhana topolgica h j , i simtrica ao redor do ponto mximo

A amplitude da vizinhana topolgica h j , i decresce monotonicamente

Uma escolha para h j , i que satisfaz a estes requerimentos a funo Gaussiana

a qual invariante translao (isto , independente da localizao do neurnio vencedor).

Figura 7.2: Funo de Vizinhana Gaussiana.

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

Para o caso de neurnios biolgicos, a vizinhana topolgica Gaussiana expressa

onde o vetor discreto r j define a posio do neurnio excitado j e r i define a posio

onde 0 o valor de na inicializao do algoritmo SOM, e 1 uma constante de

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

essencialmente correlacionar as direes das atualizaes dos pesos de um grande nmero

7.3. O Processo Adaptativo

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

Para que a rede possa se auto-organizar, o vetor de pesos sinpticos

neurnio j dever variar com relao ao vetor de entrada x . No postulado de aprendizado

de esquecimento, g y j w j , onde w j o vetor de pesos sinpticos do neurnio j e g y j

g y j que o termo constante na expanso em srie de Taylor de g y j seja zero, para

onde o parmetro razo de aprendizado do algoritmo. O primeiro termo no lado direito

A Equao (7.10) pode, ainda, ser simplificada fazendo-se

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

Substituindo as Equaes (7.11) e (7.12) na Equao (7.10), obteremos

Finalmente, usando o formalismo de tempo-discreto, dado o vetor de pesos

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais