Inteligncia Computacional

Renato Dourado Maia

Faculdade de Cincia e Tecnologia de Montes Claros
Fundao Educacional Montes Claros
REDES NEURAIS ARTIFICIAIS ADALINE
08/04/! Inteligncia Computacional Renato Dou"a#o $aia !/%&
Adaline

A#aline = Adaptive Linear Neuron ou Adaptive Line-

ar Element.

Su"giu na literatura 'ua(e 'ue (imultaneamente

com o )e"cept"on ao final da dcada de 5.

Assim como o )e"cept"on! um modelo "aseado em

elemento( #ue e*ecutam ope"a+,e( so"re a (oma
pon#e"a#a de suas ent"a#a(.

$%era&es n-o.linea"e(! no caso do )e"cept"on! e pu"a.

mente linea"e(! no cado do A#aline.
08/04/! Inteligncia Computacional Renato Dou"a#o $aia %/%&
Adaline

A%esar das (emel/an+a(! os t"a0al/o( #ue descre'e(

ram o )e"cept"on e o Adaline surgiram em 1"ea( #i.
2e"ente( e com en2o'ue( #i2e"ente()

Fran* Rosen"latt! #ue era p(ic3logo! en2ocou a descrio

do )e"cept"on em a(pecto( cogniti4o( #o a"ma5enamen.
to #a in2o"ma+-o e da o"gani5a+-o ce"e0"al! en#uanto
+ernard ,idro- e Marcian .off enfocaram a descrio do
A#aline na con(t"u+-o #e 2ilt"o( linea"e(.
)e"cept"on 6 Sepa"a#o" Linea"
A#aline 6 Ap"o*ima#o" Linea" #e Fun+,e(
08/04/! Inteligncia Computacional Renato Dou"a#o $aia 4/%&
Adaline

$ algoritmo de t"einamento do A#aline utili/a a

in2o"ma+-o contida no g"a#iente #o e""o %ara o"ter
calcula" o a7u(te W a ser a%licado ao 4eto" #e pe.
(o(.

Esse algoritmo! con0ecido como Reg"a Delta! #eu o.

"igem! anos mais tarde! ao p"imei"o algo"itmo de
t"einamento de redes )e"cept"on de m8ltipla( ca.
ma#a(! o Backpropagation9
08/04/! Inteligncia Computacional Renato Dou"a#o $aia :/%&
A"'uitetu"a #o A#aline9
W=
[
w
0
w
1
w
2
w
m
]
T
X=
[
+1 x
1
x
2
x
m
]
T
}
Fun+-o #e
Ati4a+-o
;un+-o
Soma#o"a
Sa<#a

f (u)
y
u
+1
9
9
9
w
0
w
1
w
m
x
1
x
m
)e(o( #a(
Cone*,e(
y= f (u)=f
(

j=0
m
w
j
x
j
)
=u
=eto"e(
Aumenta#o(
{
u Sada Linear
y Sada de Ativao
u
f (u)
1
1
08/04/! Inteligncia Computacional Renato Dou"a#o $aia &/%&
An1lise Matem1tica do Adaline
y= f (u)=f
(

j=0
m
w
j
x
j
)
= f (WX)=u=w
0
+w
1
x
1
+w
2
x
2
++w
m
x
m
Com0ina+-o Linea" #a( Ent"a#a(
A#aline com Uma Ent"a#a
y=w
0
+ w
1
x
1
Reta>
08/04/! Inteligncia Computacional Renato Dou"a#o $aia ?/%&
Funo 2uadr1tica de Erro

$ o07eti4o do treinamento ser1 minimi5a" a 2un+-o

#e cu(to J(W))

3ara uma con#i+-o inicial #ual#uer W45! dese6a(se o"ter

a #i"e+-o do a7u(te a ser a%licado ao 4eto" #e pe(o(! de
forma #ue o 4alo" #e cu(to a ele a((ocia#o se ap"o*ime
do m<nimo da 2un+-o #e cu(to J 4W5.
J (W)=
1
2

i =1
N
(
d
i
y
i
)
2
=
1
2

i=1
N
(
d
i

(
WX
i
)
)
2
=
1
2

i=1
N
(
d
i

(
W
T
X
i
)
)
2
=
1
2

i=1
N
(
e
i
)
2
Como@
08/04/! Inteligncia Computacional Renato Dou"a#o $aia 8/%&
A Regra Delta
2ual o significado
do 4eto" g"a#iente
de uma funo7
08/04/! Inteligncia Computacional Renato Dou"a#o $aia A/%&
-4 -3 -2 -1 0 1 2 3 4
2
4
6
8
10
12
14
16
18
20
Fun o f(x ) = x
2
+ 3
x
f
(
x
)
f (x)=x
2
+ 3 f (x)=2 x
{
x=3 f ( x)=6
x=2 f (x)=4
x=1 f (x)=2
x= 0 f (x)= 0
x= 1 f ( x)= 2
x= 2 f (x)= 4
x= 3 f ( x)= 6

f ( x

)=0x

=(0,0)
)a"tin#o #o ponto x = 1B 'ual #e4e (e" o a7u(te a (e" 2eito
no 4alo" #e x pa"a 'ue (e o0ten/a um meno" 4alo" #e fCxD@
x(k+ 1)=x(k) f
(
x(k)
)
f
(
x(k+ 1)
)
< f
(
x(k)
)
f ( x)
x=1
f ( x)
x=1
08/04/! Inteligncia Computacional Renato Dou"a#o $aia 0/%&
-4 -3 -2 -1 0 1 2 3 4
2
4
6
8
10
12
14
16
18
20
F un o f(x ) = x
2
+ 3
x
f
(
x
)
Script em $atla0/Ecta4eF G"a#iente9m
08/04/! Inteligncia Computacional Renato Dou"a#o $aia /%&
A Regra Delta

$ 4eto" g"a#iente a%onta %ara a direo e sentido de

maior c"e(cimento da 2un+-o #e cu(to.

3ortanto! o a7u(te dos %esos de'e considerar a me(.

ma #i"e+-o e o (enti#o cont"1"io ao do 4eto" g"a#i.
ente 4mtodo da #e(ci#a mai( <ng"eme5 da funo
de custo J(W). Assim)
WJ (W(k))= J (W(k))
E ago"a@ Conta(> F.D
08/04/! Inteligncia Computacional Renato Dou"a#o $aia !/%&
W J (W)W= J (W)
J (W)=
1
2

i =1
N
(
d
i

(
W
T
X
i
))
2
J ( W)=
J (W)
W
=

i =1
N
(
d
i

(
W
T
X
i
))(
X
i
)
J (W)=
J (W)
W
=

i=1
N
(
d
i

(
W
T
X
i
)
)
(
X
i
)
=

i=1
N
e
i
(
X
i
)
=

i=1
N
(
e
i
X
i
)
J (W)=

i=1
N
(
e
i
X
i
)
W= J (W)=

i=1
N
(
e
i
X
i
)
08/04/! Inteligncia Computacional Renato Dou"a#o $aia %/%&
A Regra Delta

$ Algo"itmo #o $<nimo Hua#"a#o $I#io L$S

considera 4alo"e( in(tantJneo( %ara a funo de cus(
to)

8tili/a(se uma e(timati4a %ara o 4eto" g"a#iente9

A atuali/ao dos %esos reali/ada ap3( a ap"e(enta+-o

#e ca#a pa#"-o #e t"einamento.
W(k+1)=W(k )+ W
W= e(k)X(k)
{
Taxa de Aprendizado (Constante Positiva)
rro =Sada !esejada (d ) Sada "#tida ( y)
Padro de ntrada
08/04/! Inteligncia Computacional Renato Dou"a#o $aia 4/%&
W J (W)W= J (W)
J (W)=
1
2
e(k)
2
J (W)=
J (W)
W
=e(k)
e(k)
W
e(k)=d (k)W(k)
T
X(k)
e(k)
W
=X(k)
J (W)=
J (W)
W
=e(k)
e(k)
W
=e(k) X(k )
W= J (W)= e(k)X(k)

W(k+1)=W(k)+W=W(k )+ e(k )X(k)

{
Taxa de Aprendizado (Constante Positiva)
rro =Sada !esejada (d ) Sada "#tida ( y)
Padro de ntrada
08/04/! Inteligncia Computacional Renato Dou"a#o $aia :/%&
9u%erf:cies de Erro

$ con7unto dos (m+1) pe(o( a serem a6ustados em

uma rede neural %ode ser 'isto como um ponto em
um e(pa+o (m+1).#imen(ional ; o e(pa+o #e pe(o(.

Cada con6unto de pe(o( %ossui um 4alo" a((ocia#o

#e e""o %ara ca#a pa#"-o #e ent"a#a e tam"m %ara
o con7unto completo #e pa#",e( #e t"einamento.

$s 'alores de e""o %ara to#o( os con7unto( po((<4ei(

#e pe(o( definem uma (upe"2<cie no e(pa+o #e pe.
(o( ; a (upe"2<cie #e e""o.
08/04/! Inteligncia Computacional Renato Dou"a#o $aia &/%&
9u%erf:cies de Erro

A 'ue(t-o #ue resulta ento )

2ual o papel do algo"itmo #e t"einamento7

A forma como como no"malmente os algo"itmo( (u.

pe"4i(iona#o( o%eram %ela minimi5a+-o de uma
2un+-o #e cu(to "aseada no e""o entre as (a<#a( #a
"e#e e as (a<#a( #e(e7a#a(.

3ro"lema de otimi5a+-o! em geral n-o.linea" e i""e(t"ito.

A (upe"2<cie #e e""o %ossui! potencialmente! uma g"an#e

'uanti#a#e de m<nimo( locai(.

Di'ersos mIto#o( #e 0u(ca %odem ser utili/ados.

08/04/! Inteligncia Computacional Renato Dou"a#o $aia ?/%&
-5
0
5
-5
0
5
0
50
w
0
S uperfc i e Hi po ! i c " #e $ rro
w
1
$
r
r
o
%ur&"' #e (&e) #" S uperfc i e Hi po ! i c " #e $ rro
w
0
w
1
-5 -4 -3 -2 -1 0 1 2 3 4 5
-5
0
5
Script em $atla0/Ecta4eF G"a#iente)a"a0oloi#e9m
08/04/! Inteligncia Computacional Renato Dou"a#o $aia 8/%&
$Ito#o #a De(ci#a mai( Kng"eme )"o0lema(@
-5 -4 -3 -2 -1 0 1 2 3 4 5
-1
0
1
2
3
4
Fun o f(x ) = * (1)+ x
5
+ * (2)+ x
4
+ * (3)+x
3
+ * (4)+x
2
+ * (5)+x + * (6)
x
f
(
x
)
08/04/! Inteligncia Computacional Renato Dou"a#o $aia A/%&
-5 -4 -3 -2 -1 0 1 2 3 4 5
-1
0
1
2
3
4
Fun o f(x ) = * (1)+x
5
+ * (2)+ x
4
+ * (3)+x
3
+ * (4)+x
2
+ * (5)+x + * (6)
x
f
(
x
)
Script em $atla0/Ecta4eF G"a#iente$omentum9m
)e"igo(@
=a"ia+-o #e @
08/04/! Inteligncia Computacional Renato Dou"a#o $aia !0/%&
"Convergence of Minimization Methods" from the Wolfram
Demonstrations Project
http://demonstrations.wolfram.com/
ConvergencefMinimizationMethods
08/04/! Inteligncia Computacional Renato Dou"a#o $aia !/%&
Algoritmo [ W] = Ada$ine(%axpo&as ' ' X ' D' )
{X
mN
( D
N1
( 0( > 0( %axpo&as >0}
W)ni&ia$izaPesos(w
Limite
' m)
X)nserePo$ariza&ao(X)
po&a1
rropo&a0
repita
rropo&aAnteriorrropo&a
rropo&a0
para i de 1 at N faa
y
i
*Ada$ine (W ' X
i
)
e
i
d
i
y
i
WW+ e
i
X
i
rropo&arropo&a+e
i
2
fim para
rropo&a( rropo&a/ N )
po&apo&a+1
at (rropo&arropo&aAnterior) ou (po&a=%axpo&as)
fim algoritmo
08/04/! Inteligncia Computacional Renato Dou"a#o $aia !!/%&
Algoritmo [ y] =*Ada$ine(X' W)
{X
m1
( W
(m+1)1
}
X)nserePo$ariza&ao(X)
y=WX
fim algoritmo
Algoritmo [ W] = )ni&ia$izaPesos (w
Limite
' m)
{
w
$imite
> 0( m1
}
para i de 1 at (m+1) faa
w
i
U[w
Limite
' w
Limite
]
fim para
fim algoritmo
08/04/! Inteligncia Computacional Renato Dou"a#o $aia !%/%&
<o =a"orat>rio de Circuitos...

9u%on0a #ue 'oc #ueira sa"er o 4alo" #e um "e(i(.

to" e #ue! %ara tanto! montou o circuito a%resentado
a seguir e ta0ulou os 'alores de ten(-o no "e(i(to"
%ara diferentes 'alores da co""ente #e ent"a#a.
i (t )
+ ,
+
08/04/! Inteligncia Computacional Renato Dou"a#o $aia !4/%&
0 1 2 3 4 5 6 , 8 - 10
-10
0
10
20
30
40
50
60
i (. )
/
0
(
.
)
1 e#i 2e' - 3en' o x %orren e
Hual I o 4alo" #o "e(i(to"@
08/04/! Inteligncia Computacional Renato Dou"a#o $aia !:/%&
Script em $atla0/Ecta4eF A#alineReta9m
-2 -14 5 -1 -04 5 0 04 5 1 14 5 2
-10
-5
0
5
10
$ &o) u o #" 5 prox i 6 " o 78 i #"
x
f
(
x
)


5 6 o' r"'
0e " 78 i #"
08/04/! Inteligncia Computacional Renato Dou"a#o $aia !&/%&
Script em $atla0/Ecta4eF A#alineReta9m
0 5 10 15
,0
80
-0
100
110
120
130
140
150
9 poc "
$
r
r
o

:
u
"
#
r
;

i
c
o
$ rro :u"#r; i c o 5 c u6 u) "#o por 9 poc " #e 3rei n"6 en o
08/04/! Inteligncia Computacional Renato Dou"a#o $aia !?/%&
{
f
1
(t )=sen(t )
f
2
(t )=cos(t )
f
3
(t )=t
- (t )=a
0
+ a
1
f
1
(t )+ a
2
f
2
(t )+ a
3
f
3
(t )

(
a
0
= ( a
1
=0,565( a
2
=2,657 ( a
3
=0,674
)
Com"inao =inear de 9inais
08/04/! Inteligncia Computacional Renato Dou"a#o $aia !8/%&
!
-(t )=w
0
+ w
1
f
1
(t )+ w
2
f
2
(t )+ w
3
f
3
(t )
!
- (t )=3,133289+ 0,558704 f
1
(t )+ 2,654937 f
2
(t )+ 0,671218 f
3
(t )
0 2 4 6
-1
-04 5
0
04 5
1
S i n") 1< f
1
( )

f
1
(

)
0 2 4 6
-1
-04 5
0
04 5
1
S i n") 2< f
2
( )

f
2
(

)
0 2 4 6
0
2
4
6
S i n") 3< f
3
( )

f
2
(

)
0 2 4 6 8
-4
-2
0
2
4
%rc u) o' = =e' e> "#o ? %on nuo = 78 i #o

F
(

)
08/04/! Inteligncia Computacional Renato Dou"a#o $aia !A/%&
0 100 200 300 400 500 600 ,00
0
5
10
15
20
25
30
35
$ rro :u"#r; i c o 5 c u6 u) "#o por 9 poc "
9 poc "
$
r
r
o

:
u
"
#
r
;

i
c
o
08/04/! Inteligncia Computacional Renato Dou"a#o $aia %0/%&
0 1 2 3 4 5 6 ,
-4
-3
-2
-1
0
1
2
3
4
%rc u) o' = =e' e>"#o ? %on nuo = 78 i#o

F
(

)
- (t )=a
0
+ a
1
f
1
(t )+ a
2
f
2
(t )+ a
3
f
3
(t )

(
a
0
= ( a
1
=0,565( a
2
=2,657 ( a
3
=0,674
)
A 2un+-o F(t) ap"e(enta uma "ela+-o n-o.linea" com t9
Ent"etantoB utili5an#o.(e um mo#elo linea" no(
pa"Jmet"o(B 2oi po((<4el ap"o*im1.la9
I#enti2ica+-o #e Si(tema( DinJmico(>
08/04/! Inteligncia Computacional Renato Dou"a#o $aia %/%&
Adaline e Classificao
3ode(se utili/ar o
A#aline %ara
resol'er p"o0lema(
#e cla((i2ica+-o7
08/04/! Inteligncia Computacional Renato Dou"a#o $aia %!/%&
A"'uitetu"a #o A#aline pa"a Cla((i2ica+-o9
W=
[
w
0
w
1
w
2
w
m
]
T
X=
[
+1 x
1
x
2
x
m
]
T
}
Fun+-o #e
Ati4a+-o
;un+-o
Soma#o"a
Sa<#a

f (u)
y
u
+1
9
9
9
w
0
w
1
w
m
x
1
x
m
)e(o( #a(
Cone*,e(
=eto"e(
Aumenta#o(
{
u Sada Linear
y Sada de Ativao
u
f (u)
1
1
y= f (u)=f
(

j=0
m
w
j
x
j
)
=
{
1, u0
1, u< 0
08/04/! Inteligncia Computacional Renato Dou"a#o $aia %%/%&
"Delta and Perceptron !raining "#les for $e#ron !raining"
from the Wolfram Demonstrations Project
http://demonstrations.wolfram.com/
DeltaAndPerceptronTrainingRulesForNeuronTraining/
08/04/! Inteligncia Computacional Renato Dou"a#o $aia %4/%&
Adaline %ara Classificao ? 3erce%tron
08/04/! Inteligncia Computacional Renato Dou"a#o $aia %:/%&
Adaline %ara Classificao ? 3erce%tron
08/04/! Inteligncia Computacional Renato Dou"a#o $aia %&/%&
3or en#uanto! isso tudo! %essoal@