REDES AUTO-ORGANIZVEIS SELF-ORGANIING MAP (SOM)

APRENDIZADO COMPETITIVO
Os algoritmos de aprendizado no-supervisionado so geralmente baseados em uma forma de competio entre os neurnios. O mtodo mais comum chamado aprendizado competitivo.

APRENDIZADO COMPETITIVO

aprendizado competitivo uma forma de aprendizado que divide o conjunto de padres de entrada em grupos inerentes aos dados. Em sua forma mais simples - Winner-Take-All

APRENDIZADO COMPETITIVO
Caractersticas Bsicas - Regra de Propagao yj = XWj - Funo de ativao: degrau (para o neurnio vencedor) - Topologia: uma nica camada de processadores - Algoritmo de aprendizado: no-supervisionado wij=(xi-wij) - Valores de entrada: binrio/continuo OBS.: Regras de Propagao tambm pode ser yj = ||x(n) wj || , j =1, 2,...,l

APRENDIZADO COMPETITIVO
Funcionamento - Os vetores X e Wj devem ser normalizados; - Somente o neurnio vencedor ativado (neurnio com maior valor y) sj = 1 se yj > yk, j k sj = 0 caso contrario - Somente os pesos do neurnio vencedor e seus vizinhos predefinidos so atualizados.

APRENDIZADO COMPETITIVO
- No existe conhecimento a respeito da classe a que o padro pertence; - Aprendizado depende das entradas e de suas densidades de probabilidade; - Precisa de um grande conjunto de dados redundncia para adquirir conhecimento das propriedades estatsticas dos padres; - Dependncia do histrico de apresentao dos padres

MAPA DE KOHONEN

MAPA DE KOHONEN
Topologia Y1 w11 wi1 ... wn1 w1j wij Yj ... wnj w1m wim wnm Ym

X1

...

Xi

...

Xn

MAPA DE KOHONEN

MAPA DE KOHONEN

Dada uma amostra X do espao de entrada representando um padro de ativao aplicado rede, trs processos estaro envolvidos na formao do mapa auto-organizvel: Competio Cooperao Adaptao Sinptica

MAPA DE KOHONEN

Competio: Para cada padro de entrada, os neurnios na rede computam seus respectivos valores de uma funo discriminante. Esta funo discriminante fornece a base para a competio entre os neurnios e aquele que melhor-equivale ao valor da funo discriminante declarado o neurnio vencedor.

MAPA DE KOHONEN

Cooperao: O neurnio vencedor determina a localizao espacial de uma vizinhana topolgica de neurnios excitados, fornecendo assim a base para a cooperao entre neurnios vizinhos.

MAPA DE KOHONEN

Adaptao Sinptica: Este ltimo mecanismo permite aos neurnios excitados incrementar seus valores individuais da funo discriminante em relao ao padro de entrada atravs de ajustes adequados aplicados seus pesos sinpticos.

MAPA DE KOHONEN
Adaptao Sinptica (cont.): Este ajuste feito de tal maneira que a resposta do neurnio vencedor uma subsequente aplicao de um padro similar desenvolvido, e pode ser alcanado atravs da frmula wj(n+1) = wj(n) + (n)hj,i(x)(n)(x(n) wj(n)) onde (n) um parmetro de taxa de aprendizado, e hj,i(x)(n) uma funo de vizinhana em torno de um neurnio vencedor.

MAPA DE KOHONEN

Assim,

aps

repetidas

apresentaes

de

dados

de

treinamento, os pesos sinpticos tendem a seguir a distribuio do vetor de entrada devido esta atualizao da vizinhana. O algoritmo portanto leva a uma ordenao topolgica do mapa de caracterstica em relao ao espao de entrada, no sentido que os neurnios adjacentes tero vetores de pesos similares.

MAPA DE KOHONEN

Funo de Vizinhana

R=2 R=1 R=0 Vizinhana de grade retangular

MAPA DE KOHONEN

Funo de Vizinhana

R=2 R=1 R=0 Vizinhana de grade Hexagonal

MAPA DE KOHONEN

Analise qualitativa 1:
wj(n+1) = wj(n) + (n)hj,i(x)(n)(x(n) wj(n)) Se xi(n) > wij(n), wij(n+1) = wj(n)+valor positivo Entao, valor do wij cresce. Se xi(n) < wij(n), wij(n+1) = wj(n)+valor negativo Entao, valor do wij diminue. Portanto, wij aproxima xi

MAPA DE KOHONEN
Analise qualitativa 2:
wj(n+1) = wj(n) + (n)hj,i(x)(n)(x(n) wj(n))

x(n) wj(n+1) wj(n) c(x(n) wj(n))

MAPA DE KOHONEN - ALGORITMO

Passo 0: Inicialize os pesos wij, inicialize os parmetros de vizinhana; inicialize os parmetros de taxa de aprendizagem Passo 1: Enquanto a condio de termina falsa, faa passos 2-8 Passo 2: Para cada vetor de entrada x, faa passos 3-5 Passo 3: Para cada j, calcula funo discriminante; Passo 4: Encontra a ndice J tal que D(J) a mnima; Passo 5: Para todos unidades j em uma vizinhana especifica do J, e para todos i: wij(new) = wij(old) + [xi-wij(old)] Passo 6: Atualiza a taxa de aprendizagem; Passo 7: Reduz regio de vizinhana no tempo especifico; Passo 8: Testa a condio de termina.

10

MAPA DE KOHONEN
Exemplo: Usa o SOM para clusteriza 4 vetores: (1, 1, 0, 0), (0, 0, 0, 1), (1, 0, 0, 0) e (0, 0, 1, 1) Suponhamos que o numero mximo de clusters podem ser formados so m = 2 e a taxa de aprendizagem (0) = 0.6 (t+1) = 0.5 (t)

MAPA DE KOHONEN
Passo 0: Raio inicial R = 0, taxa de aprendizagem inicial (0) = 0.6 Inicialize a matriz de pesos,

0.2 0.6 0.5 0.9

0.8 0.4 0.7 0.3

11

MAPA DE KOHONEN
Passo 1: Comea o treinamento Passo 2: Para o primeiro vetor (1, 1, 0, 0), faa Passos 3-5 Passo 3: D(1) = (0.2-1)2+ (0.6-1)2 +(0.5-0)2 +(0.9-0)2 = 1.86 D(2) = (0.8-1)2+ (0.4-1)2 +(0.7-0)2+ (0.3-0)2 = 0.98 Passo 4: O vetor de entrada mais aproximo o n 2. Ento, J = 2 Passo 5: Os pesos da unidade vencedor atualizados: wi2 (new) = wi2(old) + 0.6[xi-wi2(old)] Isso d a matriz2 pesos: 0. de 0.92

0.6 0.76 0.5 0.28 0.9 0.12

MAPA DE KOHONEN
Passo 2: Para o segundo vetor (0, 0, 0, 1), faa Passos 3-5 Passo 3: D(1) = (0.2-0)2+ (0.6-0)2 (0.5-0)2 (0.9-1)2 = 0.66 D(2) = (0.92-0)2+ (0.76-0)2 +(0.28-0)2+ (0.12-1)2 = 2.2768 Passo 4: O vetor de entrada mais aproximo a unidade 1. Ento, J = 1 Passo 5: Atualiza a primeira coluna da matriz de pesos:

0.08 0.24 0.20 0.96

0.92 0.76 0.28 0.12

12

MAPA DE KOHONEN
Passo 2: Para o terceiro vetor (1, 0, 0, 0), faa passos 3-5 Passo 3: D(1) = (0.08-1)2+ (0.24-0)2 +(0.20-0)2 +(0.96-0)2 = 1.8656 D(2) = (0.92-1)2+ (0.76-0)2 +(0.28-0)2+ (0.12-0)2 = 0.6768 Passo 4: O vetor de entrada mais aproximo a unidade 2. Ento, J = 2 Passo 5: Atualiza a segunda coluna da matriz de pesos:

0.08 0.24 0.20 0.96

0.968 0.304 0.112 0.048

MAPA DE KOHONEN
Passo 2: Para o quarto vetor (0, 0, 1, 1), faa Passos 3-5 Passo 3: D(1) = (0.08-0)2+ (0.24-0)2 +(0.20-1)2 +(0.96-1)2 = 0.7056 D(2) = (0.968-0)2+ (0.304-0)2 +(0.112-1)2+ (0.048-1)2 = 2.724 Passo 4: O vetor de entrada mais aproximo a unidade 1. Ento, J = 1 Passo 5: Atualiza a primeira coluna da matriz de pesos:

0.032 0.096 0.680 0.984

0.968 0.304 0.112 0.048

13

MAPA DE KOHONEN
Passo 6: Reduz a taxa de aprendizagem = 0.5*(0.6) = 0.3 Agora a equao para atualizar os pesos wij (new) = wij(old) + 0.3[xi-wij(old)] A matriz de pesos aps a segunda poca de treinamento

0.016 0.047 0.630 0.999

0.980 0.360 0.055 0.024

......

MAPA DE KOHONEN
O resultado de 100 iteraes (pocas) so (a taxa de aprendizagem diminui de 0.6 para 0.01): 0 .2 0 .8 0.032 0.968 Iterao 1 Iterao 0 0 .6 0 .4 0.096 0.304 0 .5 0 .7 0.680 0.112 0 .9 0 .3 0.984 0.048 Iterao 2

0.016 0.047 0.630 0.999

0.980 0.360 0.055 0.024

14

MAPA DE KOHONEN
Iterao 10 1.5e 7 4.6e 7 0.6300 1.0000

1.0000 0.3700 5.4e 7 2.3e 7

Iterao 50 1.9e 19 5.7e 15 0.5300 1.0000

1.0000 0.4700 6.6e 15 2.8e 15

Iterao 100: 6.7e 17 2.0e 16 0.5100 1.0000

1.0000 0.4900 2.3e 16 1.0e 16

MAPA DE KOHONEN
6.7e 17 Iterao 100: 2.0e 16 0.5100 1.0000 1.0000 0.4900 2.3e 16 1.0e 16
0 0 0.5 1.0 1.0 0.5 0 0

A primeira coluna representa a media de dois vetores que so colocados na cluster 1 e a segunda coluna representa a media de dois vetores que so colocados na cluster 2

15

MAPA DE KOHONEN APLICAO - 1

MAPA DE KOHONEN APLICAO - 1

16

MAPA DE KOHONEN APLICAO - 2

MAPA DE KOHONEN APLICAO - 2

17

MAPA DE KOHONEN APLICAO - 3

MAPA DE KOHONEN APLICAO - 3

18

MAPA DE KOHONEN APLICAO - 3

19