AULA06-exerccios

MLP
exerccio1

f1
f2
f
x1
x2
w
1
w2
w
3
w
4
w5
w
6
w
7
w
8
w
9
y
y1
y2
Definir os pesos iniciis e p!icr o !"ori#$o %o "r%ien#e
&'c(prop"#ion co$ #)!i*+,o e$ !o#e-
pr f)n+,o ./01 co$ en#r%s 'in2ris e f)n+3es
%e #i4+,o si"$oi%is5
)) ( (
)) ( (
) ( ) ( ) 1 (
t
t
t t t
w
w
w w

+
) (
) (
w
w
d

T
n
w w w
grad
1
]
1

) (
...
) ( ) (
) ( )) ( (
2 1
w w w
w w
A!"ori#$o %e pri$eir or%e$6 "r%ien#e
D%o o "r%ien#e % so$ %os 7)%r%os %os erros por6
%ire+,o %e $ior %ecresci$en#o 8 %% por
e o 9)s#e %o peso 8 %%o por6
Pro"r$ : "r%ien#e1
; /s se")in#es r7)i4os cons#i#)e$ o pro"r$ %o "r%ien#e 'in2rio6
: <nici!i* : %e4e ser exec)#%o pri$eiro pr inici!i*r os pesos e
pr$e#ros
: =on#in)100 : exec)# 100 8pocs
: =on#in)1000: exec)# 1000 8pocs
;
>)'pro"r$s
: Psso1 : c!c)! o psso %o c2!c)!o % si%
: Psso2 : c!c)! o psso % re#ro-prop"+,o %o erro
: ?rro$e% : c!c)! o erro $e%io 7)%r2#ico
: A#)!i*rpesos : #)!i* os pesos
: ?poc : c!c)! e 9)s# os pesos pr )$ 8poc
: P!o#" : p!o# o erro $e%io 7)%r2#ico pr #o%s s 8pocs
: P!o##o%os : p!o# s s%s %os ne)r@nios pr #o%s s 8pocs e
en#r%s
: >%s : $os#r s s%s #)is pr #o%s s en#r%s
exerccio2
Definir os pesos iniciis e p!icr o !"ori#$o %o "r%ien#e
co$ $o$en#o
pr f)n+,o ./01 co$ en#r%s 'in2ris e f)n+3es
%e #i4+,o si"$oi%is

f1
f2
f
x1
x2
w
1
w2
w
3
w
4
w5
w
6
w
7
w
8
w
9
y
y1
y2
Momentum
; As fAr$)!s %e #)!i*+,o s,o
o)
on%e o prB$e#ro %e $o$en#)$ 8 res#ri#o o in#er4!o &011-5
;
/ $o$en#)$ per$i#e C re%e re!i*r 9)s#es %e peso r*o4e!$en#e "rn%e
en7)n#o s corre+3es fore$ n $es$ %ire+,o pr 42rios p%r3es1 e
)$ pe7)en #x %e pren%i*%o pr 7)is7)er erros %e p%r,o %e
#rein$en#o5
; ?xe$p!o6 Usn%o os $es$os pesos iniciis e r7)i#e#)r pr os exe$p!os
%e p!ic+,o pr o pro'!e$ %o .or e 4!ores %ese9%os D1 e -11
%icionn%o $o$en#)$ &prB$e#ro E 059- co$ #x %e pren%i*%o co$o
n#es &0502- re%)* o nF$ero %e 8pocs %e 387 pr 385
)] 1 ( ) ( [ ) ( ) 1 ( + + t w t w y t w t w
ji ji i j ji ji

) ( ) 1 ( t w y t w
ji i j ji
+ +
Pro"r$ : $o$en#o1
; /s se")in#es r7)i4os cons#i#)e$ o pro"r$ %o "r%ien#e 'in2rio6
: <nici!i* : %e4e ser exec)#%o pri$eiro pr inici!i*r os pesos e
pr$e#ros
: =on#in)100 : exec)# 100 8pocs
: =on#in)1000: exec)# 1000 8pocs
;
>)'pro"r$s
: Psso1 : c!c)! o psso %o c2!c)!o % si%
: Psso2 : c!c)! o psso % re#ro-prop"+,o %o erro
: ?rro$e% : c!c)! o erro $e%io 7)%r2#ico
: A#)!i*rpesos : #)!i* os pesos
: ?poc : c!c)! e 9)s# os pesos pr )$ 8poc
: P!o#" : p!o# o erro $e%io 7)%r2#ico pr #o%s s 8pocs
: P!o##o%os : p!o# s s%s %os ne)r@nios pr #o%s s 8pocs e
en#r%s
: >%s : $os#r s s%s #)is pr #o%s s en#r%s
exerccio3
Definir os pesos iniciis e p!icr o !"ori#$o %o "r%ien#e
co$ %e!#-'r-%e!#
pr f)n+,o ./01 co$ en#r%s 'in2ris e f)n+3es
%e #i4+,o si"$oi%is5

f1
f2
f
x1
x2
w
1
w2
w
3
w
4
w5
w
6
w
7
w
8
w
9
y
y1
y2
De!#-'r-%e!#
; A re"r %e!#-'r-%e!# $)% os pesos confor$e6
;
=% peso $)% n)$ #x %e pren%i*%o in%i4i%)!5
ji
ji ji ji
w
t t w t w

+ + ) 1 ( ) ( ) 1 (
i j ji ji
y t t w ) 1 ( ) ( +
; >e9 w
ji
(t) )$ peso r'i#r2rio no #e$po t, e
ji
(t) respec#i4 #x
%e #rein$en#o1 e a soma dos quadrados dos erros pr o
p%r,o presen#%o nesse #e$po t5

De!#-'r-%e!# &con#5-
; >e1 pr re"r %e!# con4encion!1
; re"r %e!#-'r-%e!# )s )$ co$'in+,o % infor$+,o so're %eri4%
#)! e pss% pr for$r )$ no4o %e!#1 o) %e!#-'r1 pr c% )ni%%e6
on%e o 4!or %o prB$e#ro %e4e ser especific%o pe!o )s)2rio &0G G1-5
Assi$ no4 #x %e pren%i*%o 8 %% por
i j
ji
ji
y
w

) 1 ( ) ( ) 1 ( ) (
_ _
+ t t t
ji
ji
ji

'

<
> +
+
contrrio caso t
t t se t
t t se t
t
ji
ji ji ji
ji
ji
ji
ji
) (
0 ) ( ) 1 ( ) ( ) 1 (
0 ) ( ) 1 ( ) (
) 1 (

Pro"r$ : %e!#'r%e!#1
; /s se")in#es r7)i4os cons#i#)e$ o pro"r$ %o "r%ien#e 'in2rio6
: <nici!i* : %e4e ser exec)#%o pri$eiro pr inici!i*r os pesos e
pr$e#ros
: =on#in)100 : exec)# 100 8pocs
: =on#in)1000: exec)# 1000 8pocs
;
>)'pro"r$s
: Psso1 : c!c)! o psso %o c2!c)!o % si%
: Psso2 : c!c)! o psso % re#ro-prop"+,o %o erro
: ?rro$e% : c!c)! o erro $e%io 7)%r2#ico
: A#)!i*rpesos : #)!i* os pesos
: ?poc : c!c)! e 9)s# os pesos pr )$ 8poc
: P!o#" : p!o# o erro $e%io 7)%r2#ico pr #o%s s 8pocs
: P!o##o%os : p!o# s s%s %os ne)r@nios pr #o%s s 8pocs e
en#r%s
: >%s : $os#r s s%s #)is pr #o%s s en#r%s
exerccio4
Definir os pesos iniciis e p!icr o !"ori#$o %o "r%ien#e
con9)"%o
pr f)n+,o ./01 co$ en#r%s 'in2ris e f)n+3es
%e #i4+,o si"$oi%is5

f1
f2
f
x1
x2
w
1
w2
w
3
w
4
w5
w
6
w
7
w
8
w
9
y
y1
y2
0es)$o %o A!"ori#$o %e Hr%ien#e =on9)"%o
15 <nicir os 4!ores %e w(0)
25 Pr w(0) )sr o 'c(-prop"#ion pr co$p)#r o "r%ien#e g(0).
35 I*er s(0)=r(0)=-g(0)
45 Jo psso n1 )sr ')sc e$ !inK pr encon#rr &n- 7)e $ini$i* 5
55 Les#r se nor$ e)c!i%in %o resi%)! r&n- ci) n)$ 4!or 'ixo %o
especific%o1 o) se9 n)$ pe7)en fr+,o %o 4!or inici! r(0).
65 A#)!i*r o 4e#or peso6
75 Pr w&nD1- )sr 'c(-prop"#ion pr co$p)#r o 4e#or "r%ien#e g(n+1)
85 I*er r(n+1) E - g(n+1)
95 Usr o $8#o%o %e Po!(-0i'i8re pr c!c)!r
105 A#)!i*r %ire+,o con9)"%
115 I*er n E n D 1 e ir pr o psso 45

) ( ) ( ) ( ) 1 ( n n n n s w w + +

'

+ +
+ 0 ,
) ( ) (
)) ( ) 1 ( )( 1 (
max ) 1 (
n n
n n n
n
T
T
r r
r r r

) ( ) 1 ( ) 1 ( ) 1 ( n n n n s r s + + + +
Pro"r$ : "r%ien#econ9)"%o1
; /s se")in#es r7)i4os cons#i#)e$ o pro"r$ %o "r%ien#e 'in2rio6
: <nici!i* : %e4e ser exec)#%o pri$eiro pr inici!i*r os pesos e pr$e#ros
: =on#in): exec)# #8 $ini$i*r o M>?1 100 8pocs
; >)'pro"r$s
: Psso1 : c!c)! o psso %o c2!c)!o % si%
: Psso2 : c!c)! o psso % re#ro-prop"+,o %o erro
: po!(: c!c)! %ire+,o con9)"% s&n-1 pr#ir %e n E 2
: =!c)!!inK: f* ')sc e$ !inK pr o'#en+,o %e &n-
: LinK : c!c)! o 4!or %o erro $8%io 7)%r#ico n !inK
: ?rro$e% : c!c)! o erro $e%io 7)%r2#ico pr 8poc
: A#)!i*rpesos : #)!i* os pesos
: ?poc : c!c)! e 9)s# os pesos pr )$ 8poc
: P!o#"c : p!o# o erro $e%io 7)%r2#ico pr #o%s s 8pocs
: P!o##o%os : p!o# s s%s %os ne)r@nios pr #o%s s 8pocs e en#r%s
: >%s : $os#r s s%s #)is pr #o%s s en#r%s