Você está na página 1de 23

CONTEDO

Introduo
Motivao, Objetivo, Definio, Caractersticas
Bsicas e Histrico
Conceitos Bsicos
Neurnio Artificial, Modos de Interconexo
Processamento Neural
Recall e Learning
Regras de Aprendizado
Perceptron, Back Propagation, Mapa de Kohonen
Algoritmos de Aprendizado
Perceptron
Delta Rule (Least Mean Square)
Multi-Layer Perceptron (Back Propagation)
Algoritmos de Aprendizado
Os algoritmos podem ser definidos
atravs das seguintes caractersticas:
+Regra de Propagao
+Funo de Ativao
+Topologia
+Regra de Aprendizado - Aw
Algoritmos de Aprendizado
Perceptron
Delta Rule (Least Mean Square)
Multi-Layer Perceptron (Back Propagation)
Perceptron
Na sua forma mais simples o modelo do
processador consiste de:
Padro
de
Entrada:
vetor X
x
1
x
2
x
i
s
j
net
j
w
j1
w
j2
w
ji
Bias = u
j
+1
Perceptron
Caractersticas Bsicas:
Regra de Propagao net
j
= E x
i
.w
ji
+ u
j
Funo de Ativao Degrau
Topologia Uma nica camada de
processadores.
Algoritmo de Aprendizado Supervisionado:
Aw
ji
= q.x
i
.t
j
(se t
j
s
j
)
Valores de Entrada/Sada Binrios {-1,1}
Perceptron
Aw
ji
= q s
i
.s
j
Hebbian Learning Rule
Aw
ji
= q s
i
.t
j
Regra de aprendizado do Perceptron
s
j
s
i
w
ji
PE
j
PE
i
atividade
pr-sinptica
atividade
ps-sinptica
t
j
Inspirao na Regra de Hebb:
Perceptron
Como t,s e{-1, +1}, as frmulas abaixo so equivalentes:
- Aw
ji
= q.t
j
.x
i
se t
j
= s
j
0 caso contrrio
-Aw
ji
=q.(t
j
. - s
j
).x
i
Se t
j
s
j
= t
j
s
j
= 2t
j
=
2 se t
j
= 1 e s
j
= -1
-2 se t
j
= -1 e s
j
= 1
Algoritmo de Aprendizado
Inicializao:
pesos iniciados com valores aleatrios e pequenos (,w,s0.1)
Treinamento:
+ Loop
1
at que o erro de cada processador de sada seja s tolerncia,
para todos os padres do conjunto de treinamento.
+ Loop
2
at terminar de apresentar todos os padres
O Aplica-se um padro de entrada X
i
com o respectivo vetor de sada Y
i
desejado.
O Calcula-se as sadas de cada processador (s
j
p
).
O Calcula-se o erro para cada processador (e
j
p
= t
j
p
- s
j
p
). Se erro s
tolerncia, para todos os processadores, volta ao passo O.
O Atualiza os pesos de cada processador (Aw
ji
p
= q.x
i
p
.e
j
p
).
O Volta ao passo O
+ Fim Loop
2
+ Fim Loop
1
Algoritmo de Aprendizado
IMPORTANTE:
no ocorre variao no peso se a sada
estiver correta;
caso contrrio, cada peso incrementado
de 2q quando a sada menor que o target
e decrementado de 2q quando a sada
maior que o target.
O Problema do OU-Exclusivo
Rosenblatt (1962) provou que:
Uma rede Perceptron capaz de
Aprender tudo que puder Representar.
Representao refere-se habilidade do
sistema neural de representar (simular) uma
funo especfica (Existe um conjunto de parmetros
pesos que representa a funo desejada)
Aprendizado refere-se existncia de um
procedimento sistemtico de aquisio de
conhecimento (ajuste dos pesos), de forma a
produzir a funo desejada
O Problema do OU-Exclusivo
Minsky & Papert provaram (Perceptrons 1969)
que existem srias restries sobre o que as
redes Perceptron so capazes de Representar.
Por exemplo, as redes Perceptron NO so
capazes de Representar a funo OU-Exclusivo
O Problema do OU-Exclusivo
PONTO X
1
X
2
Sada
A
0
0 0 0
A
1
0 1 1
A
2
1 0 1
A
3
1 1 0
F(net)
w
2
w
1
x
2
x
1
sada: s
De acordo com a definio do
neurnio: s = F( x
1
w
1
+ x
2
w
2
+ u )
+
net = x
1
w
1
+ x
2
w
2
+ u
Funo Degrau
Se net > 0 s = 1
Se net < 0 s = 0
+
A rede Perceptron divide o
plano X
1
x X
2
em duas
regies (atravs da reta net)
x
1
x
2
A
3
A
2
A
0
A
1
-u
- w
1
w
2
Regio
de s = 0
Regio
de s = 1
u
+1
O Problema do OU-Exclusivo
Concluso:
mudando-se os valores de w
1
, w
2
e u,
muda-se a inclinao e a posio da reta.
Entretanto, impossvel achar uma reta
que divida o plano de forma a separar os
pontos A
1
e A
2
de um lado e A
0
e A
3
de
outro.
Redes de 1 nica camada s representam
funes linearmente separveis!
Anlise Geomtrica
O Problema do OU-Exclusivo
x
1
x
2
A
3
A
2
A
0
A
1
x
1
x
2
A
3
A
2
A
0
A
1
x
1
x
2
A
3
A
2
A
0
A
1
Funo AND
Funo OU-Exclusivo
Funo OR
Minsky & Papert provaram que este
problema pode ser solucionado
adicionando-se uma outra camada
intermediria de processadores.
Multi-Layer Perceptrons
O Problema do OU-Exclusivo
Anlise Geomtrica
Perceptron 1 camada apenas Multi-Layer Perceptron
insero de camada escondida
Ivan Nunes da Silva, D. H. Spatti, R. A. Flauzino, Redes Neurais Artificiais para
Engenharia e Cincias Aplicadas: Curso Prtico, Artliber Editora, 2010.
O Problema do OU-Exclusivo
Exemplo:
x
1
x
2
A
3
A
2
A
0
A
1
s
1
Regio de
s
1
= 1
Regio de
s
2
= 0
s
2
s
1
w
j2
=+1
w
j1
= -2
u
j
= -0.5
w
12
w
21
w
22
w
11
+1
x
2
x
1
s
j
s
2
s
1
w
11
= w
12
= w
21
= w
22
= +1
-1.5
-0.5
+1
net
2
= x
1
.w
21
+ x
2
.w
22
+ u
2
= 0
x
1
+ x
2
0,5 = 0
x
2
= - x
1
+ 0,5
O Problema do OU-Exclusivo
Exemplo:
s
j
= 1 s
1
w
j1
+ s
2
w
j2
+ u
j
> 0
-2s
1
+ s
2
- 0.5 > 0
-2s
1
+ s
2
> 0.5
x
1
x
2
A
3
A
2
A
0
A
1
s
1
Regio de
s
1
= 1
Regio de
s
2
= 0
s
2
s
1
w
j2
=+1
w
j1
= -2
u
j
= -0.5
w
12
w
21
w
22
w
11
+1
x
2
x
1
s
j
s
2
s
1
w
11
= w
12
= w
21
= w
22
= +1
-1.5
-0.5
+1
s
1
inibitrio
s
2
excitatrio
Regio de
s
j
= 1
Observao:
Redes Neurais de mltiplas camadas
s oferecem vantagens sobre as de
uma nica camada se existir uma
funo de ativao no-linear entre
as camadas!
O Problema do OU-Exclusivo
Em termos vetoriais:
Camada Escondida NET
H
= X
I
. W
H
S
H
= k
1
NET
H
Camada de Sada NET
O
= S
H
.W
O
S
O
= k
2
NET
O
S
O
= k
2
[S
H
.W
O
]
S
O
= k
2
[(k
1
NET
H
).W
O
]
S
O
= k
2
[(k
1
(X
I
. W
H
)).W
O
]
S
O
= (k
2
k
1
) X
I
. (W
H
.W
O
)]
S
O
= K . X
I
. (W
H
.W
O
)
S
O
= K . X
I
. W
T
-
Equivalente a uma camada
O Problema do OU-Exclusivo
PE
3
PE
2
PE
1
PE
n
PE
1
PE
2
PE
m
Vetor S
O
s
1
s
2
.
.
.
s
n
Vetor S
H
Vetor de
Entrada
X
I
W
O
W
H
Funo Linear
O Problema do OU-Exclusivo
PE
1
PE
2
PE
m
Vetor S
O
s
1
s
2
.
.
.
s
n
Vetor de
Entrada
X
I
W
T
Funo Linear
Em termos vetoriais:
Duas camadas com funo linear S
O
= K . X
I
. W
T
Uma camada de Sada linear NET
O
= X
I
.W
T
S
O
= K . X
I
. W
T
-
Equivalente a uma camada

Você também pode gostar