Convergncia do Perceptron

Equao da reta

< =
=
+ + =
0 se 0 ) (
0 se 1 ) (
sendo ), (
0 2 2 1 1
u u f
u u f
w x w x w f y
Considerando a equao do Perceptron de duas
entradas (x
1
e x
2
):
Obtm-se a equao da reta que separa as classes 0 e 1,
igualando u = 0:
w
1
x
1
+ w
2
x
2
+ w
0
= 0 (b = w
0
)
Representao grfica da reta de
separao das classes
x
1
x
2
-b/w
2
-b/w
1
0
w
1
x
1
+ w
2
x
2
+ b = 0
x
2
= -(w
1
/w
2
)x
1
b/w
2
Supondo dois pontos A e B na reta de separao das classes,
que correspondem aos vetores de dados x
A
e x
B
.
x
1
x
2
A
B
x
A
x
B
x
A
= [x
1A
x
2A
]
x
B
= [x
1B
x
2B
]
Como:
w = [ w
1
w
2
]
u = w.x + b
Ento, na reta de separao:
0 = w.x
A
+ b (1)
0 = w.x
B
+ b (2)
Fazendo (2) (1):
w.(x
B
x
A
) = w.x
C
= 0
x
1
x
2
x
A
x
B
x
B
x
A
= x
C
Como w e x
C
no so nulos, a nica condio para
que o produto interno dos dois vetores seja nula
que os vetores so ortogonais:
w x
C
Assim, w determina a orientao da reta de
separao das classes, ou seja, a reta de
separao das classes perpendicular ao vetor de
pesos.
Representando o espao dos vetores peso w no mesmo
espao de entrada x:
x
1 ,
w
1
x
2
, w
2
x
B
x
A
= x
C
w
Considerando como a distncia perpendicular entre a reta
de separao das classes e a origem:
w
b
b w
b
w
w w
w
w
w w

=
=
=
=
=
+ =

.
(4) (3)
(4)
.
) cos(
(3) ) cos(
2 2
2
2
2
2
2
1
w
x
1 ,
w
1
x
2
, w
2
x
B
x
A
= x
C
w

w
1
w
2

-b/w
2

Regra delta
w
(t+1)
= w
(t)
+ .x
(t)
.e
(t)
e
(t)
= d
(t)
y
(t)
Para o Perceptron de limiar:
d = { 0 , 1}
y = { 0 , 1}
e = { -1 , 0 , 1}
w
0
w
1

f(u)
x
1
u
w
0
=b
y
(bias)
funo
de ativao
x
0
=+1
Considere o Perceptron com apenas uma entrada x
1
:
Ento a reta de separao das classes ser:
u = x1.w1 + b = 0 ou x1 = -b/w1
x
0
, w
0
x
1
, w
1
+1
- classe 1
- classe 0
x1 = -b/w1
w
(t)
reta de
separao
x
0
, w
0
x
1
, w
1
+1
- classe 1
- classe 0
x1 = -b/w1
w
(t)
x
Para a amostra x, a
classificao desejada
0, mas a reta
classifica como 1.
e
(t)
= d
(t)
y
(t)
e
(t)
= 0 1 = -1
x
0
, w
0
x
1
, w
1
+1
- classe 1
- classe 0
w
(t)
x
-.x
w
(t+1)
= w
(t)
+ .x.e
(t)
x
0
, w
0
x
1
, w
1
+1
- classe 1
- classe 0
w
(t)
x
(t)
-.x
(t)
w
(t+1)
w
(t+1)
= w
(t)
+ .x.e
(t)
x
0
, w
0
x
1
, w
1
+1
- classe 1
- classe 0
x
(t)
w
(t+1)
nova reta de
separao
novo vetor de
pesos