Krose 1996 Neuro-Intro

An
introduction
to
Neural Networks
..
Ben Krose Patrick van der Smagt

"!# $
% $ &(' *) + ,- . / 0 1
& 23 4 5 6' 78 *6 %3 5 5 * &' 9 5$: 6 ; 9 " % 68 78
5 1 ' " $ $ < ;5 =*!# 3 6
% 3 $' 5
&( 2$ * 4 5 6 ' 7(0 $ ; ' " > $ 1
& =

" ' &(" $ ?
@ $A B !8 2 $ "C %
D '6 8E$ FHG150' "C I ' " 8J
&(
$C LK

; 1 M $
0 *J
$N1 &(6 5
A ' 6 OP Q7RS=T P UCV !#(W5 @ X9 7(K
TU Q PY9 6 %

ZNRN1
ZN1J
S#RK"C M"N1J
E3R
[
!1 ?\"Q P] ];^ O Q !1 ?\
OU ] Q U OP P
D X(?\"Q P] ];^ O P D X(?
\
OU ] Q U Q O
6 ?8_àb cde fg8h ijk1h lm 6 ?b nko pdqm `h qc
J
S1?rppst uu fffh e fg8h ijk1h lmu `cb ck `v ru lc iàuw JS8?rppst uu fffh a sh qm `h qcu xxy z{y {|u

!"#$%$& (' '
)+* ,.- /.0212 - 3 / , )4
576 1 , 02 98 5,.- :: ; 2 &(' 0 >= =?= = =?= = =?= =?= = =?= = =?= = =?= = )9 <]
!8 %' @= =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
G1 &( : $' A=?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
]
Q ' 0('
'6 =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =

R
:1 2 0( 6 % = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =

Q = %5 1 > 6( ' 6( :1 2B= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
^
Q !8 % 86 %=?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
U
Q E$ %*0( = = =?= = =?= = =?= =?= = =?= = =?= = =?= =
U
O R
$ 6 % C=?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
U
O R
D=?= = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
U
O = 6 % E=?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =

#GFIHJ"K L2'
4 $Q R
M - :1 / , 2
, :0O ;NG02 : 3 , 6 ' =?= = =?= = =?= =?= = =?= = =?= = =?= = 594Q
Q != 0 $6 %5 '6 " % 5 P=?= = =?= =?= = =?= = =?= = =?= =
Q N8X 506 " 8 *!# 0 $6 %5 '6 Q= = =?= = =?= =?= = =?= = =?= = =?= =
O
Q G1 % * R=?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
]
Q Q
" % 6(!= 0 = = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
]
Q Q
* 0 56 6 5 "S 6 TU= =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =

Q O R
:1 2
: 6 ; ' ?# * 6 5 '6 O=?= =?= = =?= = =?= = =?= =
^
Q ] N8X 6 ' 4 WJ 0 &(6 V= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
U
Q E$'6 4 6
0( 0 $ %!= = =?= = =?= = =?= =?= = =?= = =?= = =?= =

Q ^ G1 6 ' O= = =?= = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
QP
Q
WVOX Y.E$Z ?' 6 / M24 6 [
- 3 / , 4 : :1 2 = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = 4Q 4Q
O
"% 6 6 5 '6 \=?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
O %*&( 24 0 0 % =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
QQ
O QwY3 2 %: ;&( 24 0 0 % ]= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
Q]
O O ; X 506 B= = =?= = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
Q
O ] W
' =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
Q^
QU
Q
O
O K
> #&( 24 0 0 %
O ^w 6 % G=?= = =?= D=?= = = = =?=?= = = = =?=?= = = = =?=?B= = = = = =?=?=?= = = = = = =?=?=?= = = =?=?=?= = = = = = =?=?=?= = = = = = =?=?=?= = = = = = =?=?=?= = = === Q
OP
O U Z
: % *5'6 4 6
4 :
$ : 2
O U
" # 5'*&( 86 % 506
?
=
= @=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = == O
OQ
O
00(6 = = =?= = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
O U
" # 5'*&( 8 ' OO
O]
< ] 12
",.% - - 6 / Y.; 6 4 '6 * ; ' : 2 = = =?= = =?= =?= = =?= = =?= = =?= =
W O^

]
*V : 2= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
]
*N16 :1 2V= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
OU
] Q @ 24 0 0( % 3 ; '6 6 ' : 2C= = =?= =?= = =?= = =?= = =?= =
OU
]
*Z
0> 6 : 2 = = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
]P
] K 0 = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
]P
] Z
0> 6 : 2$ *5 5 = = =?= = =?= =?= = =?= = =?= = =?= =
]P
] Q R
' : ;% ; 0( ?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
]
] Q @ 6 O=?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
]
]O
w: Z GG1 5[ 0(,2 3 ; 3 , [ *6 - /%Q Y.=?; = = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
<] ^

G6 ' %= = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
' = =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
]^
A $ : 2O= = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =

Q !8 0( 6 50( :1 2 =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
O
Q I ' =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =

Q R
6 Z
&& ; '6 >= =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =

Q Q !8 0 6 50(
X @= =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
^
Q O E$ * % A=?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
U
O 0 " * =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =

O @ 2% '=?1 0 * " U= = =?= = =?= =?= = =?= = =?= = =?= =

O J8" ?1
* 506 > ; ' 6= : 2$5 6.=?= = =?= =?= = =?= = =?= = =?= =

O Q J8" ?1
" % 6(5 6= =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
^P
^
^ 3 ,
/ 8 ,.- =?: = = ,2=?3 = , [= =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = ^ <]

^
6 6 : 2= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
^ Q @ 00 (?8 *"CN84
GN *& ]=?= = =?= = =?= =?= = =?= = =?= = =?= =
^
^ Q * V=?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
^^
^ Q 0 = = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
^^
^ Q Q
4 0( 6 * = =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
Û
^ O J 5 6 %* ' 0 6 6 =?= = =?= = =?= =?= = =?= = =?= = =?= =
^
UP
I%$ GI#G H &
! "$#
%& ' )( / / - / ,- /:
U N14 0( %= =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
.U <
%
U G 5 T &( 1 ' 00 X = = =?= = =?= = =?= =

U J &( =? = = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
U^
U Q E & 6 " &( = =?= = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =

U Q E$ 6(&( $ % = = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
O
U Q C
& 6 = =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
O
]
]
3 ; 3 / I , ' = = =?= = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = ^
D 4 :
0(
8 :1 2U= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = ^
Q C 6 4 % %5 :1 2 % 50 = = =?= = =?= =?= = =?= = =?= = =?= = U
Q @ 24 0 0( % = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
Q S#
:1 2 = = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
Q Q !8 0 6 50( ' Q=?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
O
% $ % = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = P P
O K 0 ; # 6 6 =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = P P
O C ' ' # % ]= =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = P
O Q C *'6 ; '6 @=?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = P
] J 6 X 0( 8 : 2=?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = P Q
] K 0 ; A=?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = P Q
] I % " $ % * %5 = =?= = =?= =?= = =?= = =?= = =?= = P ]
] Q C 6 ; =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = P ]
G% "!"# I#G H &
'
)
P ,
95: ?G112 M / ; E3 0 9 =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = ) ) )

P H
' >=?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
P
006 & 6 ; ' 6( :1 2@=?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = Q
P C 6 A=?= = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = O
)) 0 3 M
- 0 6= 12' /9?Z = =?= 0 = =?9= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = ) )9 <]

G1 = = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = ]
6 % '" % 6!= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
QLW0 = =?= = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
OLS= %5 4 6 %= =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = ^
I 50(6 5 ; X 506 =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = ^
G E$ 6 =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = ^
S#N1!
S#R
' 0Q=?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
$

, ; )9594
* , 02 )4()

(=
= =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =

"&( " 50( 8 > 6= ' 6= : 2(
'
' 1 '

= ?
=
= ?
=
=
= ?
=
=
= ?
=
=
= ?
=
= =
^
Q wC % 6 *6 " : 2: ;* ' 0(' ; :1 0(' = = =?= =?= = =?= = 2==??= = = = =?=?= = == Q
=
Q M
5 0 # * 1 ' ; *:1 %
?
=
= ?
=
=
= ?
=
=
= ?
=
=
= ?
=
= = O
U= ==? = = = =?=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?=?= = = = = = =?=?=?= = = = = = =?=?=?= = = = = = =?=?=?= = = =?=?=?= = = = = = =?=?=?= = = = = = =?=?=?= = = = = = =?=?=?= = = ===
Q Q K ' ;&( * $
: % '0= ]
Q O
*!# 0 = ^
Q ]
* 6 ^
(=?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
Q M
5 0 8 0('
0(
Q ^ C 6 ' ; # "WJ 0 &6 QP

O
* ;:1 % 0 =?= = =?= = =?= == =?=?= = = = =?=?= = = = =?=?= = =?=?= = == = =?=??= = = = = = =?=?=?= = = = = = =?=?=?= = = ===
O *'6 4 6 : 2: #6 8' QO
Q^
S . T ( S . T ( S . T
O Q N8X 50(6 " # ' 00 X ;: 5 : :1 2(
O O
0( ' < * 00 X : $
Q=?= = =?= = =?S = .T = =?= (=?S = .= T =?= (S = .=?T = = =?= = =?= = =?= =?= = =?= = =?= = =?= =
'
QU
Q
O ]
0( ' = 00 X *: * %5 5
Q=?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= ]== =??= = = = =?=?= = = = =?=?= = ==
'
O C6 : *: '% *%
4 '
OP
O ^wN
# *6 % " "% 6 = = =?=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = == O
OO
O U N
# *6 % " "

O N
# *'"&(
8 ' * :1 2;0(
O P N
# *'"&(
8 ' "
= =?= =?= = =?= = =?= = =?= = ?
=
=
= ?
=
=
= ?
=
= = OO
O]
O]
=?=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = ==
]
*V :1 2 OU
]
*N16 : 2
] Q = % $N16 : 2 6= ; &
] O = %5 4 : :1 2 6= ; &
= = O=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = == O
O
]=?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =
] ]
* ' 4 " :1 2(
]P
]
=?= = =?= = =?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = ==
506 50( *6 % :1 2( ]U
N8X 50(6 " 6 ' % Q K : 6 ;
= ?
=
=
=?=?= = = = =?=?= = = = =?=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = ==
Q K
%5 ":
50( *6 % : 2(
O G1 50( *6 %5 6 ' %
?
=
=
= ?
=
=
= ?
=
= = ]
]

] ' ; 2
0'

:1 2 *& %5" ' 6 1: ; 4 6 4 : ; '4
6# : 2(

: 2 &(5' 00 X " '
7
* 0' 0(
]
'&( 0 = ?
= ?
=
=
=?= C== =??= = = = =?=?= = = = =?=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = ==
^ M ' ' " ' (

= ?
=
=
= ?
=
=
= ?
=
= =
]
U 0( 6 % 4 %; 0 % % ]
= =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= =

$ 00 %$ "$ : 4 5 6 0('5 0( $ 4 5 6A
: 2(
^
U

P E X $ ?= = =?= = =?= = =?= =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = == ^
$= = C==?= =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = == ^^ P
K &' 8 0('
506

*J8 '
= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = ^
Q
*J8"* ' 6= : 2(
O ; X 506 *J8 '(
"= = =?= = =?= = =?= = =?= = =?= =?= = G=?= = = = =?=?= = = = =?=?= = == ^^ ]U
^ J 5 6 %5 5
= = =?= =?= = =?= = =?= = =?= = =?= = =?= =?= = =?= = =?= = =?= = U P
^
' * 85 5 6 % 5*: 6 5
^ Q
4 0(6 *
U ; X 50(6
&( 0'6 U= =?$== = = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = == UU ]U
U I
6 %
&(
U Q
* ' 0( 6 ;6 % .=?= = =?= = =?= = $==??= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = == U P
U O A $ : 2$5 % %5 * ' 0('
# : 5
U ]
* ' 6(5 60 0( ;&A" :
$/ .
U
* ' 6( :1 2' ;&A* : $/ .
?
=
=
= ?
=
=
= ?
=
"= = =?= = =?= = =?= =?= = =?= = =?= = =?= = Q
= ?
=
=
= ?
=
=
= ?
=
=
= ?
=
= =
U ^w
*
0 ; " V Q 5 6 5"0
Q= = =?= = =?= = =?= = =?= =?== = =?=?= = = = =?=?= = = = =?=?= = == ]]
U U C 0 # * 7 ; "0( 6= ;:
6 &6 " %6 " =
U
* ' ' " # * :1 2;
* ' 5'
6 ; 6
=?=?= = = = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = == PP PP
I 0'
% "
* : 2(
= =?= = G==?= = = =?=?=?= = = = = = =?=?=?= = = = = = =?=?=?= = = = = = =?=?=?= = = =?=?=?= = = = = = =?=?=?= = = = = = =?=?=?= = = = = = =?=?=?= = = === PPP Q
Y3 %
8 *!G :1 2(
Q
"&( ' ' " # % (
O G1 % 0 * %
] :1;6 %5
; % (
D %&( 2 6 '
; % = = = =?= = =?= =?= = =?= = =?= = =?= = P O
== = = =?=?= = = = =?=?= = = = 9==?=??= = = = = = =?=?=?= = = = = = =?=?=?= = = =?=?=?= = = = = = =?=?=?= = = = = = =?=?=?= = = = = = =?=?=?= = = === OOQ
P
5G1 E3 * % =
P 80( 6=' " 8 6
P Q
"Y 03 '
= ?
=
= ?
=
=
= ?
=
=
= ?
=
=
= =?=?= = = = =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = == U^
G1 &( :1 0'
' 0(' '
= ?
=
= = ]
O= ?
=
= ?
=
=
= ?
=
=
=
W
0 6( 50(6 5 ; 1 X;5'6 06 (
"= S = T =?= = =?= =?= = =?= = =?= = =?= G= S .=?T = 2== =?=?= = =?=?= = = = =?=?= = = = =?=?= = = = =?=?= = == P
Q
"0( 4 0 "' &E (
O
" *6 =7 6 % (7 %6 " &
]
*S#R
' 0=

!

* ' 05 50 * 30 ; 5: % 5 > 61 ' 61 : 2
@ 2 P7" &( 9 4 4 4 3 X &( 2 ' :
% ' :=
Z
:1 71 3 5 5$'*&( *
:1 : 6 X &( 25 ;&( 90'&6 $:
&*'
&( 2% '$ 4 0 =#Y35 * :
* # "
7
5 7
' 01 50 *&(
* '% 1 '% '% 506 ' %
GS
1 ; 6 # 7= ' " %$ 6 9&(5 '3 3 5 X 6 6 " X"&( 2
' 9 Z
78A % =7#F !8 6 5 7 8J 7#E3 7#F<C '6 (71 P 1A =71 ]
E G6 6 6 (7( U T
F J
6 (7" U U"K
J!(*7 U U*E G6 6 6 F J'5 6 7" U "J'5 6 ;F
C 5" # 5 6= ; 1&( 2(7 0( 6 6 0 I I I ;I 7 5 6 6=
'" 3 6 % 5 '% ' % 5
5 &( % &( " $ 3
' 6 :1 2 006 1: * ' 6( :1 2; # " '
E$' * 6 0 * 0 1 =&( ":
"&5V ( 5K" *' #K

* ; 8 16 7' &(' ; ; 6= 0 "1
"&
:1 5 0 X 0 ^
:
8'* % & 5'5 0( # = M0( 0(;6 5C '" 8; 3
R
4 S= 3 *: (% ' D &' 23 35 7
' 0 7 0( 6 6 E3 6= 3 "A" " 3R 6 "E3 ' : ;0( ' ' 5; :
# '
% 4 '0( #Y9* :1*
/ )
6 0=

" ; ;
6 6 H * X :1 5 0( %
7 5" X 506
$ 6 $ 5* &( ' "0( # " X 1I ; * % ; (7
S T
*&( 6 ' 3 5 X* 5&( $% 6 & 6 6 % ="6 7( 0 " $ ' " : 2
&( 6 &( % 6 6 8'0= =8
* X; 6 6 '
$'0= 7 '% (
W
&( 0 ( =7R
*&( 5
!# 2; $ "C %
@ A" B

P

U @
S
> 5:
$ " ; ' 6 : 2 6 92 : 5 6 # 0 6 6 6
T
S T
&(' 50 % 8 5 % $
" ' # 50(6 > ; ' 1&;E G'6 6 ;
!1
3 OQ E G'6 6 $F !1 7= O Q

* ' :1 *0 $ 5 6 8& 6 % 6
IS
'
0 ' 6 50( ' 1 '6 ;0( 50' 6( 2
Y 5E$ 2* *!8 0( 80'&6 #&( 2 8/ /
,) E3 2*F !8 0( 7
: 3 3 :1 3 ; > 0( 0 95 6 7=5 * ' 6# :1 23 ' %:

T
9 56 5 ; > 6 =9W 6 9$ :H ' 9 5 715
&(6 ;= ' A =7C 0( $M &( %7V 5 =7 A*' 2 D '2'
IS .T

8 * ' 6 :1 2= 4 5 % *6 * 1 5
50( # 6 '6 =:1
3 5 6 % 5 " &(6 5 $ 8 & 24 0 0( % 7= 3 :
: ; 6 0(5 5 3 0 % 0(
" : 9 5 "
;'*&( "
7( ; 5' 1 ' %7 ;'*&( "
6 % 7# $
'*&
' 6
: ' 6= : 2 R
:
5 ' 5; ' 6
:1 2% '0=7:
0 6 % 70 7 50(' 7
& 6 % 0( 5

> 6# ' 68 : 2 3&(5 * ' 6 9 50' 685 6
: $0( '6 "0 0( " ' 9 " ; &( 6 $ $ 0* 56 =7( $% 6 7= * 6 ' *
DS T
%
7 5: * 0( #&( 5*0( 6 6 6 0 %#Z
: 7 5 &( 4
5 0 0( ;&(" &(' X % 4 ' 6 15 6 " % ' %'
: X " 5 ' 6= 00 $0 &(*&( " ' 3 006

X %5 6 8=; 5 ' 6= :
'

'=
S T
W
0 6 6 6 : & 6 % 6= * &( (1Z
: 7( *
6 6( 6 6 "2 :
5 6 :1 6 616 6 " &( '*& 6 % 6 7# * 5 6 ":1 ' % 5 '
> 6( ' 6(
; ' " ; 506 > ; # & 6 % 6 5 6
I 3 ' :% ; ' 3 3 > 61 ' 61 : 2
0( " :H:1
2 * 8 # 50' #Y3 * " ;: 0 6 % 6( 50(6
; : 2 7# 3:1: 6 6# *5 * 6 6 $ " $& 6 % 68 ' 6#5 6 *Y3
' 6( :1 2

$ 6 50' 6= 5"
% 6

;6 ' " *: 9 0 5 3: 3'"&( " 1 ' 5 6#0 0( "
' ==I 0 Q""'*&( 8 6 6 00 1
&( (7 8:1 6 6 # '
;
6 1: 206 " ; " 6 X 1G 0
O ' : * 04
" 50 9 5$ $6 5 ' 5 & 24 0 0( % 6 %
6 % 5G 0 "] '
' " :1 2 # $ :1 2 7( 5 " "
6 5 " : 2% 0 ; 8 5 =C 6 4 % %" :1 2 7: 5 ' " X 4
6 7 " ' ; 0
8
(7 0 "^ 5
6 %5 ' =
G 0 "U$ 9; '" 9 00(6
' 68 : 2* 3 > 6 &( " 9 %
0 %5 0( 6 1
">( 6 0
' 50(6 5 6( 0(
Q
O

S T

" > 6= ' 6= : 2
: ;:15 &(* ; ' 5 5 6 6( 1 "0 6 6 6
&(' 0 % !1K"! "
; ' :1 29 &( 33 9 6
&' 6 %5&(6 2
: $0( *0 %
I $ 0 ":*> '
50 %
' 3 ' ( " : 23 0( 6 % *S( % % ";&
" 3 0
: 6 6&("0 *6 (

"!# $%&!'(*)+',!'! ,
5 > 6 : 2 8 =0( 6 ( 50(6 10 %"' #: 5'
&5 %
% 6 1 ; "6 % *'"&(
#: %
H " * 0(
0( 6 6 6# &' 35 6 3&( %' =J
'5 6
S
E G6 6 6 (7( U E G6 6 6 FHJ
'5 6 7( U (J
'5 6
F E G6 6 6 (7( U ?
S T T
S
-
#0 %' ' 7 6 6 T
- * 1 / . 0"
$' 7: ; ' 6 "' 0' # *'
- # &( " : ( 5
:
' ; 8M*
% 6 6 6 *8' ' 3; $ ' 84 >( 5&5: % 1*2 0 :
- 3 0(0' 0 % '6 71: 5 ( 3 0(' 5 0 "9' 5 X 6
- 5 0' * 5 '0 8 7;6 0 7 : ' ;/ . 0 98 : 6 7 *6"'0= &(
ST S T S T
?S
- X 6= 0' 2 5&( 7 = 9 0
$' T
- 5 ; " ;% % *6 %5 '6 S T
- : 5 5: % 96 : 9 $ 5' 5 0( 710 %3 0'5 % 6 5 "
D %' * 6 6 ' 1 *& 7 5" #: ;: 6 6&(* ' ; * X
L#; '; ' =< >#?"@BA A C D'E7F'D'C G A

1N ' "0( " 6 6 3 50(6 &#?" ; 0' < % &(' * X 61 '
3' *
50' $' 0'" % 6=: $
0 0( % $ *'
0(
0 %7 2$ 1 5 ' 5
8 ": % 1
* L
6 ;0 6 6 6=
"S S
* " ' ;'
50('

5 5" 5
Y ' 6(

' '6 ; %' " 0( 8' ?#+ , H 8'
T
& 3 =X I : ; ' * ' 6# :1 2(7
"H H ' &
]

11 4
5 0

'11 2 0 \&9 0 2 *
1 2 0 . 2 6 0 . 0
3 .2
90

! "# ! $ %
%
! &# ' ! ( % )*
! + ! ) ),&#
! )- !
T T
; X-. 8: ; ; * '1 = " ' 6( : 2(7 (/+ 00/ ,' &; ; X
1 8: * 0' ' 0(' % 6 ;: ; * ' 6( :1 2(
$S
K' %5 0( (7' ;&(*'0= ) 2, /
,
:H ) . 23 ) 2, /
,
:H ) . 2(#Y 4
IS T
% 7 ' ;''0= 1 1% 7 '6 6= '' 6 6 *
>'X0= # 0* & & 6 * = ' 0=3 * '%*6 1 ' 6 :; $ " 5 8 7 ''' 0=' 6 6 4
6 9' ;: 6 6
&(9 &(6 $ $ 5 HI 5 96 35 6" 5
%
L'L #; ; !/>D'D'@"?:G C >D'A**3 @"G /4 @B@"DF'D'C G A
I 95 ":; '5 * ' "0 " 9 &' 3 $ ; 0('"
' ": 3: 9 * (
61 0' 3' + 43 * 506 $ : % '<
0( * ' 0(' # 3' 10(6 '
65 + )
7=) / 1 9 0 ?
ST
5 0 8 8 2 1*2 0 8 . 2 8 =\ 9 0 8 S T S T S T= S T

&(' " #0( 1*2 0 * # 5/ 9 + +
,5 " # % '1*2 0 #+ ,/+ 5 + +
,=
I ; 5
5 506 X '6 1 *& %5 0' *' (7 : 5 ;
& : X &( 3 0' 3Y3 6 6' *: $0 0 % '6 5) + - :
H ,+ ) S T
( #0 0( % 5 '6 7 ' *& D 6 @ 6 6 D 6 F @ 6 6 (7 U 7
12 :$ *0 0 % ; '6
* ) + -: ; =+ H ,+ ?
DS T
5 0 8 8 2 1 2 0 8 < = . 2 > 8 =\ 9 0 8 ST S T S T S T=
S T
W
=7 . 2 >
:1 % &( *'6 0(6 =#6 '% 5 "' 1 " 8 ' 6 ' (7

1 6 '
1% %* = 0' 7 8: 6 6 1 506 5 5 =6 2'0 &6 $S E 6 7 P T

L#; '; ?:G C ?A@BG C >DB@DDC>FG E'FG < FDF @"A

#
* ' 6 0 : ; 2

" 6= 0'*5 0 S 8 1T ; '
/. 0 S 8 T ;0 '

Y3 6 " 5
'6 1: "% = 1 ( # 6 0'(* * ' =Y9

: 6 '" 8 * 8 *' 4?
. 0 S 8#\ T 76 0 S . 0 S 8 T G 5 0 S 8 T T = S QT

^
W
=7 * '
%5 ' ; # " 6# 0(' # *' ?
S T S S TT
0. 8#\ 76 0 5 0 8 76 0 8 2 1*2 0 8 . 2 8 =\ 9 0 8 G ST ST STO S T
DS S T T
6 '% 5 5 ' #
8 * * % ' 8M
6 6 7 5

# 6 ; ' ;
' (?15 $6 %* 6 ' % ' 7 6
S T
4 6 # ' =7 1" 5 6 *6 % 6
>%'
' ; $ % 5 C4 0( 1 ' 6 2
D 8 8 5 6 *6 %
. 0 76 5 0 \
IS T ] S T

' =
I 3 5 006
; 0( &(6 % " ' (7 6 % ' 0(' 6 ' 5 %
G \*
i i i
sgn semi-linear sigmoid
# ! ! " ! " ( !
I 5 78 ; ' 0('* $' 9&($ ' 9
; 6 0'"

' "I 3 9 " * 6 6 $ $&3 ' 3 0(' 7&('
* ' 0( '
1 *0 & & 6 5 ' ;% % 6 ' ?
. 0 G
\
2S T S T
S T
: 50( ' ; 0 5 : ; 6 0(3 5 30 &( &( 6
' =8
0(" 1' : 6 6&(* ' 5 * X 6 0 ]
I 5 6 6 : 2#: &(1:1 # ' 0('# " ' * "&( 6 * 8
6 6
#!" !&)
I $ 50 '" $: ' $ 50 0(
1 & 0 %' " 3 3 > 6
' 6# :1 2(5
3 ' 3 50( 3 &( :1 9 ' " $
0 0( % 8

0 7 5 : 2 5 &( :1 =?
- / / :
0 ;
=

0* :5 0 2 78 : % ; X : " 5 '6 00(6 '*6 3
' 0( '
5'' 7*&( '* 6 9 &( 2 4
GS T
'
; *
*505 6 7
0 " 7 ' 6 X % ' 0(' 1' 1 ; 0'
- :1
/ 2H 7/ ,
5 : 2 6( 0 * 0( 8 $ 5 & : 2 2$ 5 5 0( *G 1 8I $ $ 5 ; 4 7 :
5 3 44
6 ' 8 *'
' % 6 X 0 ' * :1 2: 6 6 6 *
$ &6 ; 3: 3 53 % 5 ;I 3 5 00(6 7
%
6 ' *
;' 0'5 ' 5 $ % > 78 ' 5
6&( ' ' * ' 0('
# 5 : 2 !# 6 5' 7# P S T
U

G6 6 X 50(6 ; * 4 :

:1 2 3 != 0 6 7
: : 6 6
&(
' 5 5
X 0 1N8X 50(6 # ( ' 1 :1 21
&( *0 5&
S T GS T
=7 ^ ^ 7 A A =7 ^ ^ 7 "Z
0> 6 Z
0> 6 =7 U # : 6 6 &(1 '
0 ]
IS T
, ,
B! ' ,+*%+ ,+!"7+
S T
' 6 :1 2 * 3&( >%' ' 00(6 "3 " 0(' *0 '
( * ;; 6 X 30
3 " 1' 0' '"5 $
% 1 " X W "5:
9 $ " :1 % " X06 6 7(' %

2 :6 % 3 *:
* $ = ' 61 : 2 &3 %3 5 %30 5
6 % % 5 : %
% ; 5*6 %* '6
L '
#; ##; @ < @A'C C E A > F @
@ < D'C D'E

Y3 % * *6 % '
; :1
1
* ?
- 1H : 8/ ;+ ) / 0(0;'./ ,+ ,-3 ) %*)
'+ 0 + '1/*0. / , + ,-9 1
: " 0( '5 4 ' :0(' 1 230
&(&0 0 5 &%
X 6( 7
&; * : * :1 2 ) / . ; ) H 8/ + ) / 0
S T
S .T
- # ,) 6H ' 8 / + ) / 0*0(. / , + ,3-;: / $. ;
;- ,0(+ ) ' *I+
,3 5 : 0( ; %L' 0 '; 8 ' 1 8 " ' 0 0(5 * 3 $0( 4
0 % 7 " 1

" 6 6 6
'
# * 0'0( 0('6 (1 6 2 " * '0( ;6 %
1 1 % *: 5 0 *&( 6 >

5 5' 6 03 1 : 0 ; # * 0'
5'6
#L#; #; L >#C'C C D'E ED@BG G @"< D'A >+?">D'D'@"?:G C ?'C G
@ 36 %50( %
' &( 5 '6 $ ' 5
8 *: % 8 4
8&( : ' 7 %5 5"5 > 5 '6 ' 6 6 6 66 %" '6 8
5 6
6 &( 2 - ,+ +
,

/ / +
"H S O TIS Z
&&=78 O T 5
5& ; * 1 :1

1
0( 3&( 3 * 1 "/ 5
5 + ,36 %; '6 '% % 3&3Z
&&

' 3* =4*
*'6 ' 6 7 1 *' 8&(
% (#I "3"

0'8 47 " 50(6 8 =Z

&& ;6 %"0 &( 8 5 5 :1 % '1*2 0 :
1 2 0 B . 2 . 0 G S ^T
: #
0( # 0 0( 6 0 % . / ,+ ,- /8 5
'6 5' " " ' 68 $ ' &4&('" ( 5&( :1 3 ' 68 3

' %5 ": % ?

1'2 0 B . 2 S 0 . 0 T G S UT
*: : 0 8 0 5&" 1
1 # 6 6 5 9+ 0
D;
7

H . /"E$
- 0 / . "H S . / 7 $ : 6 6 &(X* ' T
; ; 5 &(5 X0 ' & 6 0 ; 56
:
I 5 X

0
5* 8 *'0= " '6 : 6 6&(* ' (
*!*! &,,+!' ,+

'% '8 " 1 ( 06 8 5"'0;: ;* '"&(
" 006 &6 $ 5> 6 $ ' 6# :1 2 ;W ' 50' 5 "0( 4 4 : &(6
' * ;; '&( 8 * 6 % ;: $
6
& 6 % 6 6 0( (7 6 6
1W"' 5 ' ;&( 6 :*

L#; ; 'P >G @BG C >D
:1 2 7 ; 5 '& 0 1 '0( 0 &(*6 '"S % 7 $ $
Y3*' " " 6 6 : %5 ; ' *'6 1R
"

6 6( "&(6 *5 % '6
6 6

T * S % 7= (7 : * ; $&( 6 :*7( ; T1:
* ;: 5&( 6 4 6 ?

3'4 = =
= *' '3747(= = =
I $ 0('
'
1 '
. ' 0(''
0('0(
2 3 6 5
# 0'10(
T S
5 0' 1 ' : $ 0('
0 3 6 50( 70 ;
: 2 =?8 * 0(' # *,(/

3& 6 50 % 0('0

5 ;' 0' # *,(/

3: $ 0('0 :

0' 5 : 2
2 3 ; 6 5
# * ' 0' # * :1 2;: 0'10( ;:

0'
5 : 2
* 6 ' # 5,/

3: 0'10( :
0(' * : 2
. 2 5 * : $2 6 '
8 6 5 3; 8 : 2$: 3 0('
0 $ $:
" 0('

* X; : %
23 ": % # : ; $ ' ' 3
1'2 0 ": %
# ; ' ' 35 ;' 4
6'23 * ' : ' ' 3
2 0 *6 %* 5 ;: ;:1 % 1'2 0
*& 1 *'
9 2$ *& 0' ;' ' 3
23 " 6 ; 8' ' 3 = 6*2
" ; " ' 0('
8 * : 2: $ 0('0 $
0('
" % ; # * :1 2(
L L #
#; ; &@"< C D'> F >E
I1 - M21 - ; - 3 - 3 / , /"Q1 ,23 -
C 5 ; "3 3 $ : 7=: "
' 0'
5 6 '" 8;' &("5 5 5* %
7 "' 0'

$ ' ; ' 6

6 '
P

X" 309'; 5 &(/ ';; - - 0 ; & /: 0 36
%3 '6 1 T* 6 6 : ; 0( ' S 7 ' 0(
8 = &(3 :1' 2

' = D ' 5 7# * X 6 0'* 5' ' 6 6 9 506 5 OS &(:
."T 5
% &6 7 6 '% *
6 8 :" 8 * % 8
0 0( *

:1 %
' : 6 '
16 ( 8
I / : .5 ; I ' 5 (

4 ' :
; : : 2 2(:7 ; *50' 01'0(
6 7 5 50' 6 7 ;
'
' 0'6 "

$ ; :1 2$:

$6 "
9
: 6 '% 3
' 6 6 ;' =
M2 ; ,.- - 3 / , ; : ,23 , [
Y 5' %" ' 6 :1 2* # * %' :* '
: 3 ' 5 0(
> " / / ) / , +
, .10( :1 *

* :1 2(7 * * *. / ,+ ,-3 6 %

* 0 6=0( : " ; ' 6# :1 2$
; &( 6 ; ' 6# : 2$
0 * 5 ' = @ ' ** ' 6 : 2; 8&(' 6 1 * 1 # ' 7
5
5 :1 2: 6 6( 6
9+ : /* 5 ; ' =7 $ "
+ : .

8:1 %
* 00 X ;
S T

5 3 '5
56 %; 6 % "M" $ 5 X 1 0 6=:1 %
* :1 2(7 *50 ' " 6 1>(;

#: %

!A
@ +

0 * &( % 6 56 * ' 6# :1 2 7= 6 ' % 5* 1 6 68 00
; ' 6 5 0(' % 36 %0 &(6
I 5 > 0( 1 0 : '
0 6=0( : 1 %6 56 * :1 2" $ "6 %; 6 % $: 6 6(%
5 X 50(6
' % ; : 2 I 3 ; 30( *:1: 6 68 ' 0 6
6 1 8 % 6 *6 " : 2
:1 6 6 15 6 5: 6 61&($ &( > 50( " 0 ?$ 1/ /
,=7
DS QS T
0 0( 3 &9J &6 J
&(6 7 ] * 3 ;6 ;] P 5 3 0 . + ,(/ 7=0 9 3
6 P
&;&;Y : Z
Y : FHZ
87= P T
& #!"& !!' ( #! *'! ,( %, #! ,
% 6 56 " 4 : 3 : 2
8 * "5 * ' 0('" ' .7 $ 1: $

6 ; 3 :: 30(' :1 % $ ;%; % 6 " +'
1 0 *' $7( 6 6# 2 1 ; 3 0'> %'I 5I5Q$G S ;:1 65 0 6 5 * ' 0( ' :1 X6 2 .
T = " 0' 806 '8 & 8 8
' 0('
' 1
" 0('1 = " ' ; 8 : % 'H
1
.
1 9
*\

% % D ! &# '& ! ! ! )-! &#6 !
8 5 : 2$
5 & 5 $ 8 *' 0' ' (7: $
5* ' 8
0' ?
.76 8 1
\ 9 G S Q T

* ' /6 &(*6 ;
:5 5;6
:1 2(7 "6 1I
S
:1
" 6 Z
" " % 8 ' =? .T
6 5 5 :P IS T Q S T

5' 0' 1 :1 2$ '" 5\*5 7= 0( %; 3 0' *
5 :1 2
: &(' 9 ; . ) ) + +
,9 2(?; ;: 0('*0( &( 6 % *
* 8 :1 6 1I 8 " 6# 0'
0( 7 *0( : 6 6&(5 % 6 "\* 7 #
Q
O

6( 0'1 1 % 7 506

: 6 6&( % 5 6 1
" 0 &( : :1
6
; 5 %
6 7% &; " ' =?
1 \ 1 \ 9 P S T
Q Q

" % 6 *6 " : 2 0
. + ,(/ 0+ ) + :+ , , H , +
,=
S T
% 5 61 0 9
6 * 6 ' 6 : 2 "% 9>%' Q
N ' Q Q &(":

1 1 1 9 G S T
Q O
;:1* " ": %
* 6 0( # *6 " ; "& 1 ( 7
: 56 5 5 % (R
5 " 6 ; 5:1 % $&(*06 3 5 0'
0 ?8 ": %
"
6 :
0( 0( '6 1 * 1 ' (

1
1

9
# ! - ! ! " ! ) !D" ! )! &D !
R
:
:5 :$ * 0 6=0( : 8 %6 *6 * : 2$: $6
6 9' 7=:1 5; $ ' ?5 : $:;. / ,3 ;:1 % 5 9& * 3
:1 2
Y95: 6 6# &(* :$6 %5 " 5 0(
: 2 ? 0( 0
6 % '6 5 6 S#E3C '6 @ 35 5 50 '
" '
5: % * 6 % 50(6 5 0 3 :1 2( D " 3: % " : 6 '
SS TT S S T T .S T S= T
50' & % ; " 6 6 ' 1
" 6
'0= 5*: (?
1 8=\ 1
8 =\ 1
8 G
9 8=\ 9 8 =\ 9 8
SS TT
Q ]
S T .S T
Q

6 %"0 &(6 :&(
*'6 ?8 : *:1 50(' 1 8 8 9 8 8 5
6 ; *6 %5 0( 6

& ' *)&!, , , #% , , '', !*
(S T 2S T
C'00( :* 55
86 % 506 %5 8 $ 0(' $5 ; ' 0('
D
6 > 5 2 # 1' ' 6 6 \*
1

0( 0 6 %" '6
8
50(6 " ;&(* $
6 6 : ?
"C
: ; : %

2 S T S 2S T
"C 6 $ 0'1 *
8 %5 506
T
Q
I .
0( 0 5% 1 8 0( 7 5 5 6 6 1
= 4
%5 ? 1

$

D ]
O"M
&( 2;
R

8 0 '
= 5 6 # " Z
&& '6
6 5 (
# 7 : *
:1 2 0( 6 7 : % "5 > = @ 5 %" : % 7
:1
*' 8 6 "5 " 6 98
#9" 5 1 11&( : *
' 0('
' 5 '* 0 ' #: 1 6 :
8 =? 1M"
0( 0 6 %
'6 "
$ &( 7 6 ;
5 > %5 ?
(S T
9 P # " :0( 0 ; 0( 6 Q ^ S T
#; L#; 'P D@ EDF @ >G '@ @"< ?"@
EG < >DBF @@< D'C D'E< FDF @
#
0( 0 $
6 : " 6 6 : %:1 % ?'1 G 1 G 9

*0( 0
6 %
'6 8' * *6 5 1 = ' * 1" '*&( # = 50(6 7 2 ;
2S T

]S = = T
>% '
Q Q1

> 1 50(6
*7 : * 6 ' P ]G ] 1 * % 1 6 ' \5
#0
.S T
* : 2( D H Q 8 &( 6 '6 1 :1 2 ' 0(' 1\5 7 5*:1 %
; ' =
5 " ; 50( @ 7=: 9 6 ' P ]G P ] * 9 % 5 6 '
(S !T S 9= = T
* : 2;' 0'
% 7 % 8Y ;0 %*0(
G : 6 '
S = 9= T
P ]G P ] ; : 2$' 0': 6 6=&( 7=: 6 * 5 % " 6 ' H\* * %;
"0( 0 6 %5 '6 7 *:1 % % ? 1 P ]7 1 P ]7 9 1
* :
= =
:1 %
5 :*?1 ]7"1 ]79 7 $ 50(6 5G 6 > 6
9= 2S T9=
I ;>% ' HQ Q5 * 1 ' ;&( * 1: % '0= *
:=
original discriminant function
2 after weight update
A
1
B
C
1 2

!D" ! ( " )- " ! A&D ! ) !
#; L#; L /! >D ?#@B< E@"D'?"@ G '@">< @
#
D 0( 0 6 %* '6
" X % * 7: ; " 6 6 : %?

!"!" !$# % &(')#* $ ) + , - ./ ! 0
.1 !2$3(465 798 :9 ;- -" !, !" ! % < , #* , ,* !"= % ) .1 , < !?> # $.1 @ .1 @
!" ;+ .1) &(' A1 !BC*!" !"< .1+ - ) !"@1 !" ,* 1 #9 % D
E 6"F?G; = !? 1, ! % B 1 1= ;&H'I 1!6 9-", @J$ , > + < ) )K
- ! A :1#9$ L JM &(' M3ON D(P < )&('J ? , < ! :) $= , <"Q &('R 7;Q :)# $R
I !" I ; ! !6 9-" I < :9#9 , ,+ ;% !S$ T U)VWS1 <" Q &H'*R 7;Q VWU
, ,9 ! -"< ;79X D)Y) #I C9!"Z K [W\H&]R & ' ^ M &M D?_1 !? I ! % - -" !B, !" ! %
` a"b c d e f c g h h i)j d f k9e b b le m j9j m n bj o p b;q m og e irJs t rJs*u v$c m p h l)f e)q g c j9n b;b w p g h j m)xq m o;grJsy9d f c d1i f b h l k9e m
zx 9f k | c ah gd k g k e f { } c k9g j j m f m *e a kb | o h o m im })gb j9f lb o b { *e f m j f m ep m j q"b o9~ cf b e m c y*b b ;b B
o g e m j d b o*rJs9c g e)n bq m p e lq m o9y*d f c d)j d b;w p g e j f j i y*f h h e m j*n b
b o } b h b i
z

< , :) ! !6 !W#9 % $ .1 I C9 IB % = !W ! -"< 979: #1L !6 # & 3 45 7*8 79:) !"IJ
#9 % ; .1 I C9 !J &63B& &D6 . 6 , , #) T
& R & ' 3 & R & ' ?465 798*R & ' R 7
3 & R & ' ?K
& ' R 7
"& ' R 7
V & R & ' ?U
M& M 3 M
& ?45 7*8 7;M
3 & 465 7*8 & R 77
& J7 > + < ;45 7*83$K
& R 7 A
3 &
.1 I C9 ! )#9 = T
&H5 8*R & ' V & R & ' U
M &H5 8 M &
< $
Z K [5 8 3 &(M '&HR 5&H 8 5 M 8
V & &' R
& U

6 ./ , , #) ! "$# %'& Z K [5 83! "$# %'&)* ( + 3,?:# , 1+ @I C9! !$Z K [-HN
. B !" , < !H J 1 J.)< 1+ B !H< - - , .) / 01 2$ 3 D . @ .].1 I C
! !6 ! ) !", @$, .) I!"< .1+ ) .1 D !B # I T) ).1 .1 , , @' 01 2.1 I C9 !
# % J 1- -" !( J , @- .) ! %W .1 - -" ! % D4 01 2?#9 , , + I?# !
Z K [J3N D # #* !"!" ! &]34"5 :
01 2 3 U 5 6 78 8
#; L#; ##J'@ >< C EC DD@AF@B< ?"@EG < >D

IS T
#

*!= 0 (70 0( ;&$J &6 J
&(6 7# ]
5 : 5 50(6 X; $
S T
% 6 ;6 :1 29: 9 6 9 ' I 5 506 " *

4 6 5 1 0('86 (: * 8 *"6 1 =7 2(7 0
(S T
' 9:7 5" % 6 ' 0'8' #
% 6
0( *
0( 0 = *6 5%
$? ; G < =?>@; G <' %;6 %; 50(6 : 0' 0( %
' 0' . =I " 1 % 6 >( =7 * 0 ' *&( * '
9 : 1 0'"6 &' 6 %0 ' *6 3 ' ' 0('
' 5
5 3 " * 5 0(; $&( 3 '$ $ ' " "&( :
QS

T
9 : 5K
0( %; 3 5 ' A 9 : 7(0( 0 3&(5% '0( 3 $ ( :+ . + / )
I E$ 29FL!# 0( 7 *3'*&( "
6 " &( 9 90 0( "
S T$S T
6 * ;&( &( =3
; ' 0('' * "0( 0 536 * 6 9 6 5
J &(6 ] J &6 7( ] 80 2 &(6
&('10( 0 6 %
$ 6 P 0( 0 3% 6
* ; 0
$ 6
'0 :
0(6 3&3 6 6 ' $ " 50('&(6 $ E3 23 3!8 0( 8/ /
,)
S T
E$ 23FL!# 0( 71 ;I 3 &( 23 3 6 3 0( 0 3 '% 6 3
0
5 5 * 1;:
0( 0 0

$D ^
φ1
Ψ
Ω
φn

!
& )&! , *',!
,+

S 9T
50( 1% 6 5 =
0( 0 5 %* 6 % : 80 &5Y :
Z
" 6 55 ' S=E9C "6 %0 ' 7# 6 $2 : " 60/ . H . /

" ' 6 ( 1: 0( 0 " %
'6 ( 1:
* 1 ' 0('#
S T
' 5 6 %" '6 #

0( 0 6 % '6
' 8
' 0'8 =
6 5 '

\* # 6 %8
" 6 4 '6 ' 1 " 1' 0'1: '1 ' 00( %*
' 0' 6 ' " "\5

56 % '6 *: 006 ; ; 0 56
6 5 7 = 6 ; 5 0 . + ,/ 7 6 4
S T
0( *&5Y : Z
Y : F Z
87 P 8I " 506 0 6 506 5 >%Q ]
* "
3 * 6 6 &(6 9 ' ": ' '0
S T
' ' & 0'* 6 % $ % 6 ' 6 6 9 6&6 2(78 $ '5 71 5 6
6 6 :1 & '
: ; ' 0(' "\*" 7 0( %*; "0(6 ; # * '
+1
−1 +1 level
w1 w0
w2
+1
output
w3 Σ
−1
−
error quantizer
summer Σ
input gains +
pattern −1 +1
switches reference
switch

#)%
6 '% $ 5 0 50 " 5 X 506 > $ $ 5: $ 5
6 5 ' 0(' 7
;&( 6
5 : ;0 6 6 6' 0'
6 ; 50(6 5 &6 &*'6 0(6
' 1 8 * &( *2 =
===
I
0' ' 8
5&+ 1 7 I PG G G 87 *
0'# 5 ' 0('1 % 6
1{ o k jk j m m lq m o j f b e b g o6 p o m e n p jy*d b e)g o j f { c f g h e b p o m e k*n b c g z b9h b k k9g e l h b k k m p h g o
j d f kg c o m e i z y*g kc d g e b lj m
j f b b g o6 h b z b e j
U

& /.#7 0( 6 7 "' 0' # 6(&(6 2
> ; &(
. 8 1
\ 9G S TQ
: 9 1 5
50' 0( 5 1 " ; 6 3;% 3 6 '. * ' 0':
= = =
" 1 6 ' 7 I G G G 17= " 006 3 " 0' *
50 &(6 L $ *

===
' * &
1 1 &( 7 I P6 G G G 8$7 % ' 6= " :
I 1 $ 1X "" 0( 0'0(4 '%; 0(
'8 0(0( &(6 7 5 % 5*6 %
*' *&( =7( 78 9 ; 6 ' $ 0 ; 0( 95
1
X 1*5 &: 5 1
&( ' =7' ' 6 6 5 6 7 5
' 6 : 6 6 &(6 *' D ' " 0 . + ,(/ 7QY O : ' 6 '6 * ' 5:1 % "

& #!"& ! , #! **! &, %, #! &,+ ! ! %
D * %6 56 * :1 23: 3 3 ' 0('*' : 3. + ,(/ ; 3 ' $ ' 0('*
50(6 5% &
. 8 2 1'2 2 \ 9 Q P 9= S T
C' 3 50(6 : 2 5 &6 9 0 ;36 5 6 0 &( : 6 ';

' 0'
'
" 6 '" 8 * 0'
' @ ; 6 %5 "' 0' 6 ' 7 6 >
S T
& ' ' 1Y : 1 6 7 &('
:
'8 6 1 6 0 ;'
:1 23 * H , +
,
9+ : +
,$ 2(5I 9 % 3 5 6# 0'" 0 :1 2
S T
0
0( 0(6 "
: 6 6&( 6
6 ;5'6 06 ' 0'
' ;&(* > (
C'00( 5:1;: * 3 3 ; :1 29 ' 9 5$ 0( 0(6 "> *:1 6 61 *0( &(6
; 1 % 506 % 1 0'
6 ' 3 -/
' 0'
6 '
S T D 5 9% 0('* 506 7# ; ' 0('*
; :1 2 ( " ; % 5 6 '
S T
& . 7: + . 5 ' 6= ' 0('

0( =
* 6 4 '6 * : '
41
4 ' ;& ;; 5 ( ' *:1 %

' =71 & $ 5$6 ;5 ' 7 5 $ '5 '
8
7 " 6=
>( ; &(
8 8 . G

Q S T S T
: " 5 X % 5
1 0('0(
0
"
0
=8
*S#E3C;0 ' "> " 6 ' 8 6 6( ": % "
' ;&
5 6 6 ;- 0+ / , D0/ ) / , 1
* 5 1 2 * % * ":1 % 0 0( 6 5
% * 8 5 * 8 * " 5 ' '
0 : 0(

:1 % ?
1 '2 1'2 Q S T

: 3

#0 0( 6 8
* *

1*2 . 1'. 2 Q Q = S T
@ ' * 8 *6
' Q P 7 S 2S T T
1'. 2 2 Q O S 9T

D;

D

. S . T S Q ]T
'
1'2 2
. 8 " (
&( : % ' 0(' ' 6 ' 0('1 10
:
S Q T
=

" 6 * '6 "5 > 8: %
00 0 6 5 %
' 6' 0' 1 = 0(6
&( ' '
& 0('
' 0('' 1
* 0(
'0$5:1 6 1 : 006

&
% )+$ *
I 5
0 '8 8: " ' 5 :56 %* 6 % 8 % 6 6 :1 2 7 &('
:1* 5 ' 56 1; / / ) / , +
, # 5 : 2

# &(6 *Q ?N8X 6 ' 4
' &6
W *E3 2 !8 0( ;5 ' % %9 '6 : %6 $6 ;0( 04
0 "; 506 * X 6 ' 4 ' =
# &6 5Q 5 :
5 6 0(
& : $ 0(' ;' 0'
' 1 1 ' =
I * 50(6 :1 2: : 0' 1 ; ' 0' 7 0( >% ' Q 7 " 0'
1 ' 6( ?
571 \ 1 \ 9 9= S T
Q ^
2S T
% Q 7 "' 0' # "0( 0 $ : / 5
% 5 ; ' 6(
*: 5;
0( I >% ' *Q ;5% 5 6# 0 $ 8 5 0(' $ % =
D " + 97( 5 ' 0('" 1 50( 0 3
' 6# 5 3 5 1 %;6
:
>( ;&(?
1 \ 1 9 S T
Q U
; ' 6( ; " #
6
(−1,1)
(1,1)

?
?
(−1,−1) (1,−1)
AND OR XOR
! ! ! "D !
QP

IS ?T S S T T S T
= 8 ' 5
6 ' #&(1 '=7 2
6 8 #>%' Q 8
0('# 0
= '0( 7 ; :1; 6 6 G 1 G &(" 0( ;&; 5 %
6 " * :1; 0( 6
G
G
* & ' ' 2$ ?Z
:
0 &(6 &(" 5
E3 2$ $!# 0(
0 5
&( 2;
& 0' 7
&( 9 '*& %336 5
0 *: 3 6 6
0' 8
"0 8 % * X =
D 0( > "WJ<0 &(6 :9% 5 6 6 :< $& ' % /+ 0
0/ ,H ,+ ) 7
&5 X %* :1 2 5/: H . + ; . 2/ 8/ /
,(7 0 &6 &( 6 = D %Q ^
5 1
'
0('80( 1 : "&( ; " 4 5 6 0( " >
&$ :3 0(' 06 ' ; %6 3' ;
5 '*0( " ; :H 6 9 0 3&
(1,1,1)
1
1
−0.5 −2 −0.5
1
1
(-1,-1,-1)
a.

% ! " ! %
b.
! " $ & ! ! ( ) ) ( !

! ! ) ! ) % " !
&D ! 1 2 ! ! ! ! -% )! D! % ) 9 ! % ! !
% ! % * % ) 6! " ! "D$
! ! " ! ) ! )- % % ! % " % )D ! ! )

&B %
S T
;6 * 6 0(6 :1$% '0( 7= " (5
" 506 * X 506 ; 5
%" 5' 8 8 6 # 0 &(6 # 1 6 '&6 &* 4 :
=7 0( 0 4
6 2 * : 2 Z
: 7& 1% 6 8 "&( ' ":* 6 ; '
'
6 ?8:15;6 % 56 %5 '6 ; " " 0 6(: %

& % ! )' *)&!, , ! ,
I 30 '; :19 : ;& % X ' 7 W"JL0 &6
9&( 6 =% D 5 &( 9 ' 7# 0" ; :1 5% 5
5 5 ' 0 5 & 6 ;* 3 0( 5 X
2S T
D
"% ; = . 7:
" # 6 60( &6 0'8
5 :1
6 ? 2S T
; <
; <
C * 0'' 7 " 6='*&( #0( &6 " 0('1 = D
2S T = S TQ
* 5' 1 &( 5 : 5 . : ( 5 6 5 ( 0( >
0 0
* 0' ?#:1 * :1 % * 1 : ' 6( * 0( > 0
; *& * 9 :* ' 6( $ ' ;
. : % 8 1
: \ S T Q P
Q
1 ' 6= 3" : 6
C 6 6 7 ": %
; * ' 0(' ' &( $ '

" ' 0(' 15 $ * 8 0 * '
1 ?
.
% : 8 . : \ = Q S T

"0( 0 9: 6 68% /. ; 6 ?; 50( * 00 %3

0 &(6 8 "6 % '"&( 1 =0 ' 7 : ; 8 ' 6 5 '"&( 1 (0( 1 \57
: 9 " X 6 6 =*W
' : ; 5 2$
7# 3:: 6 6# 6 : " 2
S T
68'*&( * 2 ' 7=: * X 6 6 =
5 6 % 50
"%
E$ 2$F !# 0( 71 7#&' 50( " " 506 X$ '"&( "
' ;' ; 5 6 X0( 6= 9
& , % ,
I 3 0 5:;0 %6 ;6 5 :
:1 2* 6 > 9 25 9
' $ 00 X 2

* 0 6(0( : 1 % 6 56 :
3 : 2
: ' :16 % 6 % 1
> %5 " 0 6(:1 %
:1 *0 (1

50(6 :1 20 3 $ % %
$ %
" 6 9 0 610( : ? 6 96 6 > 9&( ' 9 71
' 9 00 X (7(6 96 ' 9&( 5 0 (;
% 78 : 78

&( ' * 8 56 ; 8 5 7 * % 6 % : 6 6 % 5 ; * 0 6
6 ' =#
1 1 * 5
6 ' ; 5'6 06 6
: 2 7
:1": 6 6( * ; 5 X 0
Q

@
8:1" * ; 0 ' 0 75 %6 4 6

:1 2; ?# 6
# 2 &(* 506 1 6 =#I ; 0 :1*: 6 6 ' 4 :
IS
:1 2: 6
#0 %'
T
E$ 2 $!8 0( E$ 2F !# 0( 7# :1 3 9 ; " :6 4 :
:1 2 $ 5 7&('" $
0 ; 6 ' ; 50 &6 1 :
; '
*:1 %
0' ' 8$ :
' :
0 ;&
S ?S
J
'5 6 7(Z 9 $Y 6 6 U J
'5 6 7=Z (7=F Y 6 6 7# U 7# 3 6
6 ' 00( ; *&( ;0('&(6 6 Y3 &( 7= ^ O (!# 2 7= U ] =G'(7( U ]
T T

6# 5&( 6 '
*
5' 8 5 6 "
9& &( 24 0 0 % %9 * $' * " ' 0(';6 D 5
5 * 6 6 9 5 ;
- +
, . / ,+ ,- H . / @ 24 0 0( % 6 3&(
6 :13 2* ;% 6 3 1 ; 6 '6 5 * 4 6 * 3 ' 35'6 4
+
% ! ' 7 ,+!"7+
4 : : 2
56 ' ' 1N1 6 1 #' 1: "
0'
<'
<6 * 6 $&( 6 : 3 $ ' 0' ' 3;6 * 6
&( ;'
; ; : 3$6 ;

0(' 3 >
6 : /+ 0
0/ ,;' 8
" 0'' *5 6 4 ' ' 50 %* 2 0(6
$ ;'
; 3
3' " *; ' 6
1 : % 9 0' 06 '"
.S 9T
& 7 1% ; O

' 0'1 = ' 1 1 &' 5 " X
6
3: ' 7' 6 56 6
8 ' 7 #: "' 0'
" $ ;6
S

:H 'H ' *>%' "O T
6 '% 3& 24 0 0( % 3&( 00(6 $ $ :1 2": 9 9'"&( "
6 7 ' *
S T S

:1 2: ;& ;' Q
1&( : Z
2(7C "&( 7F Y 7
U D ' 7" U G1&( 2 7* U 5Z =7A 6 7F A" : 6 2 7* P 6 T
6 $'
'
00 X 5 ' : >( 6 3 '
GT
& 90 =780 $ ' 5 3 ' 5 $4 6
H ,+ / ) .
9+ : +
, //
/ : ;I 95 5 006 " 4 :
: 29: 9$ % 6 S
6
8 '
' ;: % 5 ; ' ;
*'
+ ', !#%
C
:1 : ' %*' 8: 6 1 5 ' 7 : *% 6
6
'6 ; : 9:
50 0 ;Q3 ;6 * ' * 9 $ 5 4 6
` q;c m p o k b y*d b eJh f e b g o)g c j f g j f m eBq p e c j f m e k1g o b1p k b l g z p h j f h g i b oe b j y*m o }f ke m j z m o b m yb o q p hj d g eBg
k f e h b h g i b o9e b j y*m o }
QQ
QO

;
1 .

3: 3:
:

% ! % D ! &# '& ! % " !
' 8
* $
( &6 ' ; # " 6# 0' 7% &
IS T
. 0 76 5 0 G S O T
:
50 8 1 20. \ 90

2 2 = S O T
=*%
% 6 = " 6 * '6 10 0 ' 0 7:"*'

1'2 0 1' 2 0 = S O Q T

5 '
>( $ * 6 '

0 $
"' 0'
' ?
8 S . T G
$
=

S O OT

: 1 " ' 0('
' .": 0 6 50( ==Y9" '

*) H :-:;/ 0;) BH / 0/
8Y9 :

8

1 2 0 5 0 1 5 20 0 = S O ] T
@ ' S O T:1* *
5 ; "
1 5 20 0 7. 2 = S O T
Y :15 >(
0 G
5 0 S O ^ T
:1;: 6 68% '0= ; '6 ;: " ' 6 5 9 6 $ '6 5 &( 9 0 '
0 7% '? 6 %9 9% ; ; $ ' 3 ":19 2 $ $: % %
= 1 2 0 . 2
0

" 2$ >% ' "'
: 05 '6 ;&(" $' 4 ; 5 : 2(
* %
O US T
'6 7: $:1 :H 7(
506 * ' 50(' $ 1 ":
;&(* 50(6 5 ;&;0 0( % % % 6 1&( 2: '% * : 2(

$ Q]
= 50(' 0":1* 00(6 ; '6 5:
10 6( * "0 ' # :1
7 "
%5 % * ;
* ' ; # "' 0' # *' ;
%5 % 5 ; " ' 0(' 5 ' ; % ; * 0(' 8
' 7:15
0
.0
5 0 . 0 5 0 = O S T
S T
S( ' 50' * * @ ; ' O 1:* "
.5 00 76 5 0 G ST O P S T
: * 506 3 ; ' % ' 6 * 4 ' 7# 6 ' *
S T
0' 5 0* ; "'
= 50' * *>
" 8 ' O 7(:1
:
D 7= '5* "' + 4$ $ ' 0('"' + 4 . 1 :1 2("I $ 7= 6 6 :

* >
. . G S T O S T
S T S T
: * $ 5 '6 5:1 & 9: 9 6 $ '6 C'& ' % 5
]S . T 6 S 5 T
' O P
; ' O 7:1*%
S O T
' 0('' . C 6 78 &49 5 ' 0('' *&'53 9' 4 1(71:1
6 92 : &' 3' * 9 ' 0'5 $ :1 2(Z
:1 7
S = = = = = =T
5 *5 ' 3&(5:
3 "; ' $ * 0'
< $ ' 0'"6
5 G 5 G G 5 2 G ;:*' " ; '6 :

. : 8 = 5 .5 : 8 = 5 . : 2 8 = 1 0 . 2 8 = 5 1': 8 = 1': = S O QT

S T
C'&( ' %*
; ' O 1 6
: 76 S 5 : T 8 = 1 : =

S O O9T
N ' ?S O T
S O O9T% *5 ' "0 ' " 50' %5
6 6='

; : 2(7=: 9 9' 3 5 0(' 5 :1 % % * % ' QS O U T

0 ' ' * % 6 9 6 '6 5 4 : : 29 4 6
'
; #L ; 'P DDC'@B< A G @DDC'C D'E 3D@? E'< > ED@E @BG C >D

$ ' ; $0 '; &(3 6 6 7
&(';: ;
$ ' 6 6 $5
3I 5:
1' %5&( 24 0 0 % $ %
; '

3 :1 7 ' 7 I 7
$: 6 &( 24 0 0 % 0 ; ' 6
6 3Y 00( * 9 &( ' 5 " 6 6 : %$Y 36 %$0
6 50( =7= ; 9 6 ' * ;0 0 % 9 $ ; ' 0('5' 7# 9 ; ' 61 :1 2
' 0' 50 : 5 ' 0(' 6 ' 7:5' ' 6 6 $'0$: $ $ " $
* ' 0('' S( 6 6( 0 '6
' 0'' .1Y95 5 ;& %

Q

;

5 50(6 5 $ ;
*% 35 =?:1 * % 5
; ' 68 : 29 9 ' 9;: 9 7# X" 5 '=7( *: 6 6=&( $ *
0 '6 0 ("Y952 : L 6 '6 * 7= $ " ' 3 7(:1; 5
0
%5:1 % %5
]S T =
1 : . . :

* 09 @ '5 * 6 ; * " '% =?*: 3:6 9 006 3 " '6 7= : % "
S T
O ]
0'" 9 9' * % =78 9:9 5 ; '6 68 0 610( :1
1 5 4 : 9 : 29 0 $&$ ;' 6# 00 X $ *I $ "
0* :1 % " < 0' 3 3' 7(:; % 3:
* 3 00(6 $ ; 6 ; '6 5I 3
' 6 * 7#: :1 9 7# ":1 ; 5$ 6 6 5: % ;?" 6 '&' * ; * *;
3 3' '0' * ';
. " $" 6 6#6 9& 3 3 '
7: % &; =1K ( 6 ;0(' 7 ;' 1
T 6 ' 0('' #. ' 6 * 6 " ( 1 ' 0('1' 8: % 5: *'6 0(6
&
:1 % " 9&( :1 9 ;' 5I 9 "&(6 ? : 1 : Y9 6 6 7#
S
X 6 (?8:" %
* ' ; 8 * ' "6 &(" 00(6 ; * 6 7
& " "& 24 0 0( % $0 '
+ , !($+ ")+) '! ,

00(6 3 % 6 9 6 ; '6 5 '* 6 " :$0 ?*K"' % > "0(
; 0(' 0 9 30 0 % 9 :
3 '% 3 ; : 23 50' ' 0('
6 ' . " $' 0'"'
' 0' 50 $: 3 6 ' 7 '6 %;
9 % 6 5 ' 0('5' $
; 0 6 5$& 2:
0( * '%

" :1 2;' %":
% 6 10 5 ' " :1 2; ; 00 0
:1 % % 6 '6 =
] 3 [ .- 0 12; - 8 ,- ; G3 - ; 3 [8/ 3 0]9 - 3 - 3 / , 1 , - 3 / ,

&(* ' ; " ' ?

'6 " < ;0 '
-
:1 % % "6 7 5 ' 4 " ' %5 3 &53 0(9'
5 ' " *0 '0( 0( '
8 6# *' *03 ' %5
% 6= 6 % (?
= 1'2 0 . 2
0 S T
O
- I # *'

;' 0'
' 7 " % 6= 1% &
]S T S T =
. 6 5 S T
O ^
# 2 5 5 ; ' = 6 %5 $ ' >( 0 ?
GS T =
. 76 5 \
S T
O U
I ; " 5 * ' 6(
ST
6 5 5 \
S T
S T \

S S TT = S T
\
\

. . S T
O
$ Q^
BS T S T =
' ;
" % 6 ;' 0'
' ;&(":
$ ?
. . . O P S T
-

% 6
* ' 1 ' 6 1 = % 6 8 =
' : $ 6 *: %
8 D 5 % 5
' (?
=
ST
: 76 5 : 8 1A: 7. : . : 8 1':
=
O S T = S T
09 ,20(3 , [ - 6 D , 0 8 /18# =,. - '1288 %
#"6 #%* 0 ' (' # >' 1 6 0 # 1% * 2 (:18
%

$ "; 80 0(6 % $ 5 6 0( $
& 6 ;:6 ' %6 #%3 D9 " 0 6 6 =6#0W"' 0( :

: ;; 6 6 6 %

*6 % #7# 3 2 % ; 3:1 % * 0( " 0( *:1 % % &9 %$
:
:;/ , H : ?
S T S T
1'2 0 8#\ 0 . 2 \ 1*2 0 8 G
: 8 X 1 "0 '*&(

: "
=
S TO
0 '1:1 % %

* 6 * 8 5 5 ' L :3 >%' *O
Y 355 ' L ' (7
1 2
6 %* 5&( * 5'H &( ;: 56 : 6 %* 7: 1
% 6 %5 5 5'
&( ' " # * 6 6 #Y %5
5 5 ' 7 * *'H: 6 6&("
b a
c

) ! &D ! " % %A% ! D" % -% ! !
! % % !
)( D& ! (% -% * ! )* ! B! B ) ) )
9 ,23 , [UM QM2 - - , 6 '% =7 6 6 7
$&( 24 0 0 % 6 % 0(
%

" 6=
6 # ": %
* ' $ " '6 6(
86 %
0 " "&( 30 (7#5 3 9 " ;6 %; '6 " 00(6 $ $ 90
0( 6 7 7 0 006 =7 6 '6 =7 3:1 % 9 0
= = = "T
G G G "
* X
50 6=
'6 % 5G
]S
9&( 2 (7
:1 7: $ ; : 0( $ '% D ; X 50(6 71:
' % 5 55 ' * * * % $ 5 : 23 &( 5* ' *> :
0 8
10 &(6 ;&(" 55&' %50( *' ; %5 =
+
, )
S
4 :
: 2 (& $' 00 X $3 ' X 50(6 C'00( :1
"5 X 506 * 60 1 *> 6( 2 1 #: :1": 52 : T
QU

;
OS T
' 0'1 1% &5 4 5 6 =#Y9:
5 6 0

U P9 X 506 ; G <9 ; 0 >% ' $O Q 0 6 L 4 :
: 2:

S T
5
0'
1 < % 3& :1 4 5 6# $
1 1
0 0
−1 −1
1 1
1 1
0 0 0 0
−1 −1 −1 −1
1 1
0 0
−1 −1
1 1
1 1
0 0 0 0
−1 −1 −1 −1

% "D" ! ( ! -& ! --" ) " &D ) ! &D ' (A % " ! - %
% ( % AA6 ! A ! & ! ! - ! &D ' A ! ! % " !
" ! &
! )-! -% % A ! ! !
# ! !
S T
0 % 5 $: $ :1$ 0(' 7= P; $'
: 3 % 5 $ $ ' $ 3 $ ' 0('
' 8: *6 1 ' (1G 25 1 ' 6 = : ' O P 1 '6 5&(
0
36 ; * %5 ' (
3 : 2 : % ; 3 6

5 6 6 6 '
5 : 2$ ; ]7 P P P6 % : ; *& 24 0 0( %
% '6 7 &( 5 *
0 '8 (8
6 05&( :1 8 0
S T S IS T T
&" : 2 # :5 *>% ' O Q 0 % 7 : 6 1
' *: *% 5
6 %
506 " % 9 $>% ' 5O Q &( 6
00 X $ * " 0 3 3>%' 5O Q
&( % Y33 ; 5 % 5 % 5 ; % : 9: 9
6 % 50(6 : 3% =
9 :1 2 &(6 &( $ $ 0( 6
X 0(6 =
+
!+' #! *'! ,( %, #! ,
6 '% % 5 ; ' ' " $' $
' 7 ' &(
' 9 ": 6 6 ;I 9 5 * *6 " 3$ 5'6 : 9 "2 :9 < 68 '
00 X ;
?S T
D
X 50(6 7 D ' 6

12 :;
;0( ' ;&(":

5 >( " ' 8 * * D ' ?
S .T8 9 S 5 \ .T = S O QT

;
Q
Y3 :
"

' ; 8
"1\ 8 5 \ S .T (S 9 TG S O O9T
S T 2S 9T
: \
9 "
$&( 3 " 4 : 3 : 2$:
3 % 6 $ 0('' 5 9 %6 ' 0(';' 5 5 ' 5: S .T
(S 9T
' =6 5
" " 0(: "&( # * ' 0('' 7 *
0( $: $ :1 % < ' 0('*' ( 50( 5 9 0( :
&( " 9' * 3 0(: 3 :1 % *&( :1 9
0' $ 6

& &( :1 D ' ; 00 & 24 0 0( % 00
" ; 3 D ' 5 00 3 :1 % =&( : 9 ; 0('* 3 ; 3'
2T
* 5
5>X 3 % *'*&(
: $ 6 6 6 $ (7: "
GS
& 24 0 0 % $ 00 $ *:1 % 2 6 '* $ * 0 6 6 6 %' %;
6 %5 '
=3 6 6 ' 5 ' ;
9 ' ":; ; 9$ 4 : 9 :1 2
: " 1 ' 0('8' 7 '8 *' 7 "
0('=: " *0 # :" '
S .T (S .T T (S .T SIS
6 % 0( 6 1
$
: ' 36 1 1 :0( 23 : $D % %'
O O8
% 5
3 5
' 3 ' 6 &( 8>:%' 55 O ]
GS T T
D ">%'

6

0( $ ;' *
*' 2 :6 % " # "0 &(6
0 &6
+1
-4 -2 2 4 6 8
-0.5
S .T .S .T 2S .T

# ) D" ! # ! )& ! ! ! " !
#) ! )" D ! A
+ ' *, ' $ :)&)+ *! &,

K
0 00( ' 8 (
& 24 0 0( % ;6 %" 6 % 7 5 0(
: 2
" 6 % H 8%' *&(' 6 6 5' '6 #E$ 1 '&6 5
8 6 %
%*0 8
&("* '6 85 4 0 5' 6 %* * 55 '8 6
; 6 % 1& & 24 0 0( % 6 %* * 5 0 5 ; 0
6 % 7= : 6 6(&(5 ' 3 X" =*W' %
%; 6 ' % 6 6
:1 ' ?1 : 20 6
6 6=
- / YM2 : 2; 3 ; " :1 2; 7 ":1 % ;&(" ' ; 6 % " 6 '

6= 0'8 #5 ' 1 ' 0('
' ; ; ; % 0(

S
T
% 8 6 ' 7 &( '
= " % 5 ; ' 5 "' 1: 6 6 "
6 * ; 6 "

6
' O P
O 7 *:1 % ?S T S T
OP

;
+1
-4 2 4 6
-1
S .T (S .T 2S .T

D ) " ! D ! )& !
)- ! ! "
!
#) ! )" D ! A
S T
' 5 1: "0 0( 6 . 0 . 0 8: 6 6&( 6 " 7 ; " %*0
5* ;5 ' 6= 6 6
/. :$8 3 ,23 8
5 ' 5 50(6 X3 :1 29 '6 6#
6 6 3 6 6 @ '
# *% 7 5 : 2 % 00( $ 6 6= *'H: *
5'
0( * *'L & ;!8 & & 6 5 9 6 09 3 9 0#7=&'" 3 3
&" 6 :*8 '% % ;0( & 6 8 *'*&( 8 ;' 86 '%
: 6 6: 2&( ' = % 5 6 * = 0( 7 5% 00(
1 6 6 7
00(
* 5*'00( 6 # *'*&( # ;' 1: (7:
X (7 % '6 ; * &( %5 00( 6 6=
+

*, # !
$E 3 * ; 3 50 5 "
3 X $ & & 24 0 0( %
6 % L &( 3 &( 5I * 6 3 *; '6 6= 6 ' =?" 5 5 ' "
0 ; 3&( ' 5 6 7= * 50(6 $ ; :
3H : 5 * ' 9 3
=
E$ &($ $5 & ' 50 5 ; 5 9 06 $ ;0 0( ;
5 : 60+ / +
,$) / 5 (7 % 7 '% 5% =1R

6 %99 & %* ' 30(6 : $ 5% ;
US T
0 0( '6
: 5 $ 6 % 506 "I $ 1 6 6 : %
%

0=75
9 ' ;: * 6 6 '% "
' * 8 * 6 % 1
#2 8 8 0( 6
" 6 %
( 6 7 7 " 1 "4 %#
'8" 5
' 7 ' * ; ( *
: ; % = & %
\S T ?S
"" 5' 0 *
' 8
= 8 ( # % 8 7
: ; 6 ; 1 * ; # * 0(
!8 7 D 6 7= '2 6 2 7F
T
6 %7= U
C'00( " ' ; &(* ;
00 X &
# 6
ST ST =\ 8 \ 8 2 :2 :2\

\
$
O
:
0( 7
ST 2 :2 = S O ]T

5 0( * > X(7 "/ ) ) + ,; 9
1
"%
3

G O ^ S T
' % * '6
% * 8 "%

9S 2 T S T =
O U S T

R
: '00( $:
; 6 % # ;*0( : " "% 3
0 0( '6 1 7 7

P G O
* : 8 '% 8I 5 1 5 2 '
5 %5 6 % 1 0( 6
S T

; 6 % #:" ' "
"%
$ ;0( 0( '6 1 7 7

P O Q P S T
: :1;:1'6 3 5 ; 3 9$ 3: * 50( *
DS T S T
G1 "&( % O O Q P 7:1*%
P S T 9S 2T =
S O Q T
Y 2S O Q T
6
: 1
* ; &(
, H - /

R
:*7= % * 550( 7( *> " 5
2 3 ' 6#

S T 7 '6 % : 0( D I P7 6 '6 " 5

\ G

S O Q T
: 8 ; 2
P ; 5 ' "% 0( 0( '6 7 7

: 0 6 64 P9= S O Q QT

R
X 7 6 '6 \
: $ ; ; S T
I 9&(; :9 * " ' ' ; 6 61*' ' 6 6 '% S % 78 S C
F @ '6 =7= U PT T
*0
&( &( 2 :$
8. / // ; "/ / / )55 =7&('

$ $ *: :1 2 5 ; 6 * $ 5S Z
;F<C 6 7
]
!# 6 2(7

^ (!= : 6 6 7= ^ ^ T
6 '% 6 5 $ ; ' : % 5 7
'5 " ":; ; * % ' 7# ": 6 68 *; '6 " '4

78 5 3&( 6 6 : 6 5 DS >%' O T !# :1 6 6
'

"S 2 1T :g j o f H

f k9 c% g h h b > l 6 &( ; f q *6 % * 8 0(
5 50 5 5 5&( ' 4 '
'6 % ;
#

z ! "
%$ '&Jx ( |) * +
, a*d f k)f k)e m j)g$j o f f g h o m n h b | k b bJ| -6o b k k)b j1g h . / 0 + /m yb b o h f e b z f e f z f k g j f m e z b j d m l kb f k j)y*f j d
k p b o h f e b g o9c m e b o b e c b| k b b;q m m z j e m j b1)
2 b j d m lf kk g f lj m;c m e b o b9h f e b g o h if q34 5 6 34 y9f j d 687 . :9)b j d m l ky9d f c d c m e b o b*y9f j d)g9d f d b o m yb o
f b 34z 5 ` ! 6 | 34 > y9f j d<;=& .g o b;c g h h b l> ? `@ A !# B C @
O

;
gradient
ui
u i+1

% & ) & ! ( ! - ) ! *
)
! ! - 6 % % -! 6% " !
a very slow approximation
! % ! 6 6% ! ! ) ! ! - ! )-! - &

-) ! ( ! ! )(" B! ( ) ! - )(! ) ! # % ! * %
! % ) ! ! % ! # ) ! !
! % ! B& ! #
C 51 50 5 = "&( 24 0 0 % 5 1&( "0 "& " 5 * 0( = 04
*6 %5 "0( 5
$:1 %
"S T
3 @ 5% 3 9C5 '6 @ 5% 9F C5 '6 7= U : " 4
: : 2: ' ' ; 5 6
0 ' 3 > 3 0 6:1 %
X
' 5
# ": % :
S T S T.S S T S T S T T S T
8=\ 8#\
8#\ 8 8=\ 8#\ G S 9T
O Q O

DS T S T
;: 9 " "&' $ &(6 (\ (\
X: 3 0(
$
0'1 @ $' %
GS T
12 :6 % * &( '
* 0' % 6 7 5 % * ' 5
C 6 &("" ;' 6 5( C 6 "F 6 5 7 P 1 6 5 : " % 1 # ; 0( 1 0
* $:1 % " 5 : 2(I " 6 % 56 % 5 0 3 "
6 %*0( =?
S T SS TT 2 0 8

* * 5* %
2 0 8#\ 2 0 8

* 00( * %
S TO Q ]

: $ 0( ": 3 6 ' * 6 % 6 $ &( ; 3&( 6 :H' 7= 0( 6

" 5 ; " 56 %5 5 * 8 6 6
+ '
+&(* % ! ' : * ,#!"&

D L 5 X 506 :3 $>%' 5O Q " 6 " 00 X 3 1 :1 23 "
0 8
" '6 % 00 X ; ' ;&(?

*6 % 6 % '"&(
1 1

: % "

" % (

;

;

OQ

'"&( 8 (6 %" 50(6 #
# 8 :% 5 %" 50(6 = 0
* ' 6( ' =
Q
5'"&( 1 '

X0 *0( : 8 5 :1 2( D
5 $ ( ' 6 9 :H'"&( *
3' " (7= *: 6 6 ' ' %
'
5 * ;' 1: 6 6&(* (
I "0 ' :1* ' *6 %* '6 ' & 24 0 0( % $ ; "
% & 6 %9 6 % 7 $0 &(6 "> %3 3 5' I
:
0( '6 6 5 8 = "'*&( 1 #6 %* 506 1 (
'*&
8 ;'
Y3> " $ >5 3 ' 5 *5 ' *6 6# ' 6# : 23 %; 6 %
; $ ". / ,+ ,- 506 5: $ 6 &6 %3
:1 2(1
* % *
0(
6 % 50(6 * >
*. / ,+ ,-;/
/*
?

8 G

:
( 5&( : $ $ ' 0(' 6 '5 3 ' 68 : 23 ' 0('

* 6 % 506 ?
8 = S . T =

"
:
5 ' &6 *' %5 " %50
I 1 & '8 1 " ' 6 = " : 2;: 6 6 ( 1 H
6 1
5 %; 506 "
5 ( 5&( :1 3 $ ' 0(' 6 '5 $ ' 6# :1 2
' 0' '6 5&(" % " 0('1 5% "*5 6
5 '

8 % 6 &( (:1" **6 % " 1 # 50(6 ?= / ) 8 #Y9" : >

/ ) 1
5
* % 5
# " ?
8

=
I 3 6 6 : %$ '& :: 6 68 : 55 ' * 0( 3 6 % 5
'"&(
1 '

; #; 'P#J'@ @@"?:G > &G '@ D#F 3*@B< > F @
@< D'C D'E7A @ EDF @BA
50(6 0 &6
' X 50(6 ?1* ' =. S .T1 &(* 00 X : 5 4
"
: ' 6 :1 2(8 ' 6 : 2; : ; ; 0(' 7 ]* 5' #: % 5
' $ 6
' 0'
' C '00( ":15 * 6 6 6('"&(
86 %
?S T S .T
506 % 7O
; 5 :1 2
;: ; 5 50(6 1= %
00( ;: ;
* * * ; 5 ;
% 6
' 3 " :3 3>%' O ^ *
T 2S
;6 8
"6 %5 506 " 00 X = * : 2; " :; " 5
>% ' #Y3" 5
1 6 6 :1 2 ' 0('1% 10( 6 5 '% 5
6 %; 50(6 1&(' 6 % ? 5 8 : 23 6 % "
5 00 X
& 3 P$6 %$ 50(6 " * :9 3>%' O ^ @ 8

"6 % * $
"
8 #] 6 X 0( 5% # 5:0 6 7 & ' * ' 8: * 1 6 6 6 %" 1 7 : 8 ;6 %" 1
* X0( 5 :
0( P 5
5 % 6 %; " " '
;6 %$ * ; % 9 3>% ' 5O U;R
; * ;6 %; * ": 3
%56 %
7 ;
: %56 %5
1 6 :
OO
;

A B
1 1
0.8 0.8
0.6 0.6
y
y
0.4 0.4
0.2 0.2
0 0
0 0.5 1 0 0.5 1
x x

! "! (% 6 ! -! % ! -) ) % ! ) )
" ! ! % % ) ! ) % )! ! - ! ! &D ' &
! ) &(% 6 ) ) - ! )
D 6% - % 6% - %
IS T
6 %" 6 6 #6 %* 1*% ' "
"% ; :1 20( #Y
%3'"&( 5 "6 %9 50(6 * :9 % $ 3 $ 5 6 '

6 '; 0( " 9 / / ) / , +
, .0( : 5
:1 2(?5% 0 61:1 % 71 :
% 5 # 00 X =#
= 1 0( # 5 '"&( 8 = 5' # 5
' ==I
6 % 8
8 %
" 8 #
6 %
0 '

'5%6 &( 6= *'
error
rate
test set
learning set
number of learning samples

! " ! -% - ! ! ! D ! )!
! ! D ! " ! " ! "% - %

; #; L#J'@ @@"?:G > &G '@ D#F 3*@B< > 1'C CDC'@BDF'D'C G A
"
="
5 % 6 S T ' =7(6 % 50(6 3 :1 23 00 X 3 " :

" 5" '
"0 ' '& ' =7&' : "'"&( # ;'
$>% ' O @ 6 6
/ + ,+ ,-$
; :1 29> " X 6 9: 3 6 %3 50(6 7=&('
>%' $O < ] ' ; >%' $O @ P '
$ ( ; &(6
& ' 5 1 6 % '"&( "
3' 5 ' $: 3 " ' 6 6 $ 0 $&$

?S T
:1 23 *5 : 6 3 5 % 6= 5!# '6 6 $ 5 6 % 506 :
5 5' 8 ( : 5 6 6 6 4 : 6 5 " 7 : 25: 6 6 >8

# *6 %5 506
; 1 2 % 5 $ 00 X (
O]
A B
1 1
0.8 0.8
0.6 0.6
y
y
0.4 0.4
0.2 0.2
0 0
0 0.5 1 0 0.5 1
x x

!- "! "- )) ! (*! ! &D ' " 6) ) %
(! *) ) " ! ! % *) ! *! % % 6 ) ! *)
& % * (!
! ( ! - ! &D ' 6% - % - )D 6 )) ( ! 6 ) ) - !

= X 506
:= 16 %
'"&( 8 ( *' #6 # *" 6 6 8 5 %
"&'" * 6 $6 $ 6 6# "$ 5 * 5 % 3'
: 6 6# 6 :
6 5 ' 8

Z
:1 7( %; ' : 6 6>
6 5 '
8 7&('
36 $ $ *
( " 6 6 $ 8/ + ,-/ 7=/

% 6 %" 5 8 8 1 8" ' * (
6 %"

% *>% ' O P
error
rate
test set
learning set
number of hidden units

6 ( % ! ( )*! 6 -! ! ! ( -6" ! * "!
" )) ( !
+

)) *! &,+
@ 24 0 0( % *&( 006 3 3$: 9
00(6 $C : 21

GS $T S T
J &( % U ^ C : 2F J &( %7 U 80 ' " 0( '6 ' 8: RN1 6 2(7
5
0 N1%6 X ; % 6 6 6 % &6 0( (
S T?S T
4 :
9 : 23: $ 6 " $' &( 3 &( $&3M 3
C : 2 U U M
$FHC : 2 7= U U
6 > " % 6
006 855'6 4 6
4 :
:1 2;: *&( 24 0 0 % %
6 % L $6 3 9'2 :$ ' $&( :1 9 0' 3 ' 0('" % 6
L 50 4
O

;
9 X 506 I * * 0( 3 * ; :1 29 " &6 $% 6 6 78 * 0'
S T
6 ' *: $ 0 6 %30( 5: 6 68 '6 ; ' 0('5 6 '
X 506 $ * $:1 2 "V V (7
U U 7: ' 3 : 4 6 ; 4 : :1 2 :
"S T
& 24 0 0 % 6 %9 0( 3 $2 : ; &
&( 6 6 0 "U

\

6 %" 6 % # ' * * 10 ' 0 8: 00(6 " " 4 : 5 : 2 ?
6 6( :
:1 2 ;: 6
*0
@ ': " 00( : :1 ' 5 6
D " 7: *; $'
: 6 # ":1 % =7 ' ; 0'
' 7
6 6
'
: $ 9 ;6 '% =7= :2 :H < 50 ' 0 7= ; 00 X 6
0 &; 6 6 =* ( *' 5" 0:1 &26 1 * 1 7 :1: 2$ & 506 X 7 :1 2 7
9 50( ' 9:1 ; * " 6 6 : %?": 5$::
* 36

; ' * :1 2
H
6 6 7#: 9 ; %$ ' * :1 2(78 5 "0( &(6 5
S T
:1 ':1 06 6# 0( ; % 3 %" ' 6 7( * 6 ' X " ' 5*7 8 :1' 236: & 36 0(; * &( # = =7= 7= (
6 ' $ : 2 0( 6 '0= ' 6 9 &6 0( 5
T S
: 3 ;:1 % 5 0 =7#&'" 6 $ ' 5 : 2*: 6 %$ '6
' 3 " 90 0 % : 9 3 6 '
3 * 3: % " 6
7: 6 " X 6# 0' 6 ' $ 30 0 % (I 3 ' 3 : 2 7( 5 '
T S
& * :1 2$ &( * 6 % 3
X ; 0(' ; 5 :1 2 5 6 '
8: $ 50'
I 0 '
X * 4 :
$ :1 2$ ' *0 '
:10 251: X 6 61 &($1&( ' " * 0(" # *X 4 ' 5 =
' ' 6( $ :1 2 8[ 85 " " '&
# * :1 2: 6 6&(* ' (
C'& ' 6 53 0( 6 ' :1 2: 6 61&($ ' (? $Z
0> 6 :1 2
$] 7: ;&(*' ;
" 0 ; #& 0( '&( ' 6 :1* '
'0( @ 6 $ 7 : ' %5 $ ' 6 50(' =

',
! :% , '%',!,#!"&

;&( 24 0 0 % 6 %3 '6 7 ' 0 O7 &( 6 ' %
0
' " : 2 @ *:*: 6 6
% 6 7( : 7(:1*: 6 6(>
2S T 2T
&(* : 2
: * 5* 8 5 ' 6 '
* & 2 X ;
# 0'' 1. : ,,/

7
: ' 0' 6 '
" ;& 2$ ;'

0 H , ,(0(/
6
00(6 9 ' 3 : 2 * ; 6 6 : %3C'00( : ; ' S
:1 25 *' 1% " 6 ; 0( %; X 6( 0(' 7 : 1" 5
S T S T S T = = =
8 7 8 7 8 7 =Y
4 :
: 25

:1"0( &6 00 ?
2= = =
0(' 7 7 7 : ' * 6 6 ' 1 5 0'
"
'
5": : 8 * 0(' "
0'1 * :1 2(
.= = =
" 0(' 87 7 7 @ 86 0' % 8 7:1" 6 5 0('1 8> 7 =7 ST
O^
OU

#R ' 6 6 7 50' " # = 8 6 2" 8 % 4

$ % $ 71 ' 71 3 0(' 5 6 9 $ 4 : : 2
*'6 06 3: 8716 %$ $ 6 % :1 2(78: 5 6 :L '6 * 9 (9

V * "N16 " :1 2=0 1
6 '
(0 &(6 =K"'1 8 ' 7
: :
0(' 9 "&( 0('" 5 8 =7( :1 23 " '00( $ $6 $
' # "0 '1 5* 0(
6
' 'P#
; ; J'@ >< CD@ DD'@:G /4 ><
W
6 " ' 5 ' 68 :1 23:
* ;V 9 :1 2 V (7 U 7 U &
5 X 50(6
:1 2; :; >% ' ] 8I ; "V ; : 2(7 " 6 ' 1 =
QS .T
! !
1 .
! ! !

)6 ! &D ' ! ! ! ! % " ) '! ! - !% A! ( !
"# ! ( % % )-!

' 0'' 1 ;& 2 5 " 0'16
'% ;5 = X 5 0('' 6 6 ") /
H ,+ ) #
" *
*' 1 " " ' 0('
' * : 2(1

& : $ * ' 0('" 3 ' >X $:1 %
\* (6 % 2 0(6 * 6 $
6 %* '6 &( : 9 0(
'" *59' 6 4 6 3
'0( " 0" :1 6 68 "; &( *' $ ; 3 ' 0(;' * '
5:
2('" 6 6=

' L# ; ; J'@ F @ D D'@:G /4 ><

5N16 $ :1 2:
" ' &$N16 $ 9 P N16 =7= P I : 23; S T

, / 9+H ,+ )* 5 ' (7: $ 5 X ; 0''
: $ 6 ' 5 $& 2
< $ 9' 3
'* : 2 " 6 " 3 V : 2(71 X 05
ST 8 " ;' 1 = ' 0'' 1 &( 2 8 X * 0'1' 1
6 4
ST

* ' ' " #
: 2$
:$ ;>%' *]

% 5 '
$ ; X*' : $>X $:1 % 8 6 '\*
S( %
* 6 6 : ?

X"' *
;P "8

;

O
! !%
) ) -%
!% ! !%

A% 6 ! &D ' ! ! ! &# ' ! - ) ) 6 ! ! ! % " ) '
! ! !% ! ! "# ! ( % % )-!

0 6 50( (7 * :
6 '6 "0( 5 ;
Q
"& 24 0 0( % 36 %5 '6 "
006
O8 8=\ %
8
X5' " 5 0 8 '* 6 : 5 ; ; 9 6 ' ; 9' * 5 0
(8M2:
":5 &( 71 V N16 : 2 &(' 9 3 3 :1 29
0 ' %" 5" ' 8
" " =
' 1 8 1 " : 2; 1 &(6

5 "&( 0 '# 8
0('# 6 ' #8 * X 50(6 7 :1 5 5N16 * :1 2
6 6 %" 5 & 15 %" ; K*
= & 1 # " 6 6 :0 4 0( > " 8=
6( * & 7 H*'
&(5 006 =7 " * & " ' ( $ 0( 0

X 6(
=* 26 10 &6 7 :"' " ;N16 ; : ; 0(' 3 7 ' 0' 57
$' 5
3' " 3 X5' *I $ 6 7#> ;'
5 * ;6

" '6 1 # %5 * : >% ' "] Q1
* 5" ;&(*": ;
O
P PP PP QPP OPP ]PP

O

A% ! &D '*! ! %# ! B 6 % ) % *) ! -! *) )
! ! ! ) )6% ! % )-! ! D ! )6% !
]P

4 :
:1 25: 6 %
: : 0' =Y9
#: " :1 25: 5> 0(' 7
'" : ' $ ; 6 %: :
7
7
7# 7= $ 3 X
0 $ 5 & ;J '6 " ; :9 $>% ' ] O;
; 00( % & 9
O
PP PP PP QPP OP P ]PP

O

(" ) " &# ) ! &D '! ( ! %
! % )*% ) ! ! ) )
! ! ! ) )6% ! % )-! ! D ! )6% !
3 '6 ; 9 ' 6 6 &( : 3 4 :
:1 2(7
: 9 5
506 X *N16 : 2(
'
; ; # 6@? 'E < > ED@ E B@ G C >DC D FDF F < @"?"F'< < @BDG D'@:G /4 >< #A
S T S T
E 506 X3 5 $ &( *0( &6 D * 7( 0( 6 ; 1 3
!1 !1 7# U^ $6 5 6 5 7= U^ $ " &( 24 0 0 % 3
5
5 0( 6 " #55 "% 6(%
6 %55 ;: ;&("' %
GS T
:1 2 1Z
:1 7 6 5: 5 : 2 *>X0( 76 %55
&(*' (?1& 24 0 0( % $ '% 5 != 6 *' 7= U 78 P

6 %;5 (7

' " : * X 8&( *
0( ' ' 7 5&(
' 5 " "*'6 4 6
0 0 ; 6 6 :
6 '

) ,#!"
W3 * 3 6 ; ' ' 6 :1 2; 0( 6 ' 3: BH
; ) )
+

S T S GS T T
0( 6 5 &( 5& =7 ^ ^ A A" (7( ^ ^ $ ^ ^
I 8 =0( 6 = ' #: #&( : 5 ;' #I8 &37 I 3
>% '
] ]
]S
6 6
*:1 % =
T S
I U 7*Z
0> 6 Z
0> 6 =7* U ;& % % 3 6" 6 $ %
:1 2; 0 ; 50(6 3 6 6 5&( I % 0( 5 6 7
T
M' '(7F C 50(6 2 7= U I
*
:1 2(7: :1*: 6 6= &(5
0 7 % 6 6 ;
=/ . 0;,/

8
L 'P ; #; @BA ?"< C E G C >D
IS T

Z
0> 6 9 : 2
" 9 ' >% ' ] ]
: 9'0=
; 6 ' ' 6 0( 6 " ' 6 6
' ;
& 0('5 9 ' 0('5 ' 3
9 6 ' * ;& 3W % 6 6 7#Z
0> 6
9 6 ' " 9P7=&('*' % 6 ' 5\*; 50 * 5; % 5 '
& 6 :*#Y9*: 6 6 5 " *6 (

]

6 6 ! ! ! &D ' % %# - ! ! ) ! !(
! ! % ) ! ! &# ' ! ! ! ! % ! ! )! ! ! " ! ! &# ' ! "
! & ! ! % "#!
]S T

* * # * 1% ;&; * ; 6 ' . 0 1
"
0'*5 0 8=\
8 ' 4 6 & 8#\*
5:1 % $ '
S T
S T ST
5 0 8#\ 2 8 0 . 2 8 1*2 0 \ 9 0 = ] S T
S T S T
50(6
6 ' >%' 1 00(6 5 *
0'1 5 & ; " :
6 '. 8#\
5& 8#\ ?
S T ST \5 5 0 8#\ 0SS TT
. 0 8#\ . 0 8 5 0 8#:\ 7 0
] S T
S T (S S T T
:7 . 0 8(\ % 5 0 8(\ D
50(6 5:1* 0 P7&(' 1 1 '

6
H ' 43 $ ;Z
0> 6 9 : 29 6 6 9) 5 . /; * 5 8* 7= 9 ;: 3 ' 4
S T S T S T 2S
]
] 7
. 0 8 % 5 0 8 S TT= ] Q S T
6 6 $ &(6 5 7: 5 :1 2$ $ 17( 6 6= ' &6 0
6 6 $ &6 * 7: 6 50( (7 6 6( '
5 &6
Y
X " 1 2 0 71 0 2 1 7 &( '1 ( " &( &(
: % ; '
8 8 . 2 . 0 1 2 0 8 9 0 . 0
2 0 0 = ] O S T

< !"9!6 #9 L1#9 J ! !6 ! 3
!J#* J !6 < ! ) < - I I
< ! % < , 1> D A) + , , .) - !" D
E 6"F 9 :;!" ) ; ) !6 % @$ -" I !B D;> D A 1+ < !6I I . + , #: !" ) 2
+ < !6I I) . + , # !"I ? !"I B $ ! ! D 6 !6I , @ : .1 !" !" , , @BI ! %
# ! ! % ) < :;+ <

J 3 2 8 2 5 7 8

) , #9 @ )!" % = # !2 ! % 1 I ! %$ 1 D> D A !"I> D A D
` q j b e j d b k be b j y*m o } k;g o b l b k c o f n b l)p k f e j d b;k i n m h kp k b l)n im { b h l q m o;g c j f g j f m em q6p e f j q m o
j d bc m e e b c j f m e1yb f d j9n b j yb b e)p e f j k g e l! g e l#" z q m o9j d b;b j b o e g h f e p j*m q"p e f j %$bl b c f l b lj m k j f c }j m j d b
z m o b b e b o g h k i z n m h k & ' g e l!(
]

; % ; 3\* ;5 6# 59 P$5 6# 9 " 5 3 ; *
T DS
:1 2( D 7: ; 50( &6 7 " 1 &(6 7 7: 5 P*5 6

6 :
' $ X 50(6 7 *0( $P P

P P 6 :
&6 7&'*

5
DS

&( C 6 6 7 &( $*0( $ $
5 " 5 5* % ; 5\5 *5 6
J 5 % ; 9 &( 6 7#1*2 0 1 0 2 '6 * 9$

%' ; 6 * ; &(6 *
T
; L#; LF > E *@
F C D'@"G 4/>< @A*@A A >?"C @BG C ?#@ @ ><

L0 006 * 9Z
0> 6 :1 2 ; 5 5 I 7

:1 % 8 = 8&( : ' 1 *&(
'1 1 1 1 ( "
&( "0( ; %* : 0( ; * 0 % ; 0(: 8Y $ *; ; &("* : $2 ; '* : :1 ; 2$* 5 &
6
5 0( 6 *
0 =78 ": 6 68 * ; * 5 %$ $&9 %$ 3$ &(6 ; ;: 9 5
5* ; ' 0 (
S

*Z
&& '6 ;&(*' Q ; 0( ? T
8 0 3 4
1*2 0 2

P : 7
S T
]
7 2 0
' 6 7 1'2 0 8 (7 :
*&* 7 * 1 % 6 ?S
9= T
Z
&&9 '6 7=: % "6 9 I 5 00( 7# :1 7# * : 29% 5 ' 9
' 26 7 &( '
P ] 5 5 &(" &( " 6 6( &( 5*

* " :1;0 &6
: %5 ; 0 ?

* 0 &( 5*' &(6
T S
0' '; &(6 9 $ 00( 7" &(6 9 : 0( :
0
T

> # :50 &(6 ;&(" 6 & 6 % 0 0( & @ ' */ . @ ' 7 S
NG : [/ 3 - 8
) 0

0

1'2 0

G %7 D 7(M" 7F Y 6 6 7= U ?

0 P
. 0

S ] ^ T

1'2 0 1*2 0 . 2 . 0 S 2\ 0 T 3 4

!
" # # $ %!&'

!
* 6 % 1 6 6 S ; >; T

I 00( 1 7 0 7 1 6 % H' ' 6 6 % 1

X 7 :1 7:

* 0 &(6 $ &( &(* 6 6 ;&$ 006 %* 5Z
&&$ '6 *+ , / / ) /*

5 0(' '
&6 5 7(&'
: $;6 : 6 % IS Z
0> 6 =7 D (7F !# 6 5 7= U Q T

'1 *0
": 26 H , $ ;: 6 6&( 55' &6 * % =
L
; #; # @BF'< >D'A64 C G E< @AC'@
C< @"A E>D'A @

$ :1 2 &( ] &(% 6 & 6 6 : % ' ';
6 ' 8Z
7 * 6 ' 1 0(6 & % 5 (1&( 7

;&("0 &(* &6 ": 5 :1 % X ' Z
0> 6 =7( U O S T

]Q
/9M : 0 , - / Y(;I /G/M - 3 8 3 ; - 3 / , M2 / 2: 8;
'
@S T
%9 006 9 Z
0> 6 : 2 : 9% 0( 5 3 '
6 ' $R!84 506 $ 6 6 % 6 0 &(6 M" F V (7" ^ I
0 &(6 750( 1 6= *5' &(* '&( : 7( ' *&( % 41
S
4 0(
" 5 5
T
Z
0> 6 3 3# 2 Z
0> 6 3F # 2(78 U ] H' 5 : 23: ' "N1 $ :
* X; 0
7: 6 '; 0 "0( ; ; * ' 8Y
5 :1 2$
6 =7 $ : 6 ' $ '6 $ *5 $ 6 ;5 5 ' (7
S T
%
0( > 1 " '0 %" 0( > 0( " * 1 ' #
' = '0= 5' %
'6 ] ": $ % 5 9 9: ' 3&( :1 P$
; 9 6 ' . 2 <
'0( 3 06 * ; " '
3 % 9 ' 9 & % 0 &(6 9&(; '0 * 6 6 : =3 ' ;
6 ' =7 " 6 6 : %5 % 5'
&(* = ?
8 8 2 08 B2 . 2 . 0

\ 8 2 8 8 . 2 . B2

\ 8 8 2 . 2

S ] U T
S T
:
*7;7( H
"> $ $ ' ] U
8
6 ; = * X 5' # * * ' : 6 '(7 0( 6 1
"6
# 6 ; # * " X 6 9 * '
S
=; * " 8 " ' 7 ; X 5

2 #. 2 . 2 \ . 2

8 8 8 T ] S T

; " % 7: 1 * "&( :1 H

D 7 * '& 0 * > 5'6 8

": %
5
6 6 : ?
SS TT
1 2 0
2 0 2 0
Z

Z
K
Z
S T

Z

Z
K
Z Z ! "
] P

$S T ! !

0 2 \ 0 2
"
: 2 0 * 3 4 P5 : D 6 6 7 3 '
; X 6(&(
0(' 8
D3 ; 12; ; 3 / ,
6 '% 00(6 ; %9 3 6
0( 5 " :*71 $ 00(6 &( 6
6 (
Y "Z
0> 6 $ 3# 2$ 5 7= $ $ ' 7( 5 :1 2 % " $
S T
6 $ 6 ' $ ; ' P 6
: 6 5] P 1 5 6 ' 5 0 6 7 " 0( :
6 " ' % %$ '6 D 5 X 50(6 7 Y 6 9FL!# :6 7
U U ">3 5 9 6 ] L
'; 6 $ '6 " & (7( : : 36 $ $ 3 0 6= * 4 0 68 6 ' (*

0 &6 5 $6 2 "% 6 & 6
=C 71 4 0 &6 71 $
0 &6 ' 7 #: &(" $ :1 : 6 6= $ <0( 7
"'"&( # ' 91K" 6 0' 7 $4 5 6 0( '&(" :
6 ' ' 3 % 5
5 % 6 '
' 6 $:
]O

0 '&( 7 ' ;
6 6&'1 = > 6 >%' ' 8
50(
& : % 5 '
36
6 ' : $ *0( : " 0 6=& '
%6 &( 6 6

!',,( ,+'

@ 6 9 7= > " &( $&3 26 7#Z (7= 9C : 2# U ] 26 7
T
Z =7#F<C : 2 71 U ] * *$ ' 61 : 29 9&( 9 5 9 X 9 3Z
0> 6
S
:1 2* 9 6 '; ' 78 9: 93 9 '0= ; '6

:1 %
" 6 6 5 8
0( ; # * : 2 1&( ; 0( 10 06
,,(/ . + ,-#8
8 10 #: &5* 6 8 5 6 5 7 6 :6 *
5 %0( '6 7 6=6 *: 6 6&(5 % 6 ; (7: '
$ 50' 7
' 3 * ; * 3$ ; 96 :H % ;I 3 @ 6 5 *
2 3& % % '0= 5 ' ] " 3$ '0= 7#
: ' &( 5
*: 50 &( &( 6 =7
QS T
2S T
. 0 \* \

S T ]
QS T

: 0 5 50( &6 9: ; 50( ' 3 *

' ; 1 1 *&( ' : ' %5* %5
' (
I ;: 9$0 61 &( %3 @ 6 &(' =7( : 2 : 6 6
' 6 6 ; 6( ' 6 & ') ; " 6 "0 & & 6 # :1%6 &( 6=
: 6 6 6 6 : @ 6 $ &('

S T ]

: $ *0 & & 6 ; #&( %; ; : %6 &( 6# 7( $ * % 8 "
R
*
6( ' 6 & ' 5'
6 6 % 5 7&('
"0 &( &( 6 8> %*
:1 2 ;%6 &( 6= *
1$6 :L 50( ' ; 3 % & ; ' 5 ;: 6 :L % 7&'
5 ' 9 ' 6 & ' &(36 % 1 % 50( ' $&
' &(6 *&(' ' 6 & '
$ % $:
$ ;&(
4
" *
% ; 50( ' * % ' 6 6 ; ' * 11 % 50( ' 7 5 : 2: 6 6( % * 6 6
% ; ( 1 : 6 6 0 6 5 00 ' 6 & '(I ; %5 7 1: 6 60( H* ;
* 6 6# ' ' " 8 * 0 * #%6 &( 6= 7 : 6 6>5% $ *'H

3 : 6 6 6# > 6 8$#
50(&( ' 5
8 6 : :( 7 8 3: 6 6 &( % * "4 60(* *5 '< 6 6 * 8 % 5 9 5 %
50( '
*5'6 4 6 50( 0 7# @ 6 " $ 4 50 5
&(6
9;0( &(6 50 9 " $' 5Z
7# : 7# ' 5&( 4 6 ' 3 9
'0= 6 6 $ ' 6
* 50(6 8 @ 6 $ &' ;6
3$ 50(6 6 %0 ' : 9 ' " ;: % * 9 * 9' ; ; 9' * 9
S T
0 6(: 26 6 7( U ]

6 % :1 2

6 6 :
D 71 3 0('; ' 0(' ; 6 50( (
$ :1 2 5 6 ' 6

00 " 68 ' 6 & 'L 50( '
PI * 9 '" 5>X 3 5; * ' 4

6 & 'L $ 95 ' 3 5 5' %;: $&( 3 ;' "
5 ' ; . 3.:0 7
* X50( 0( $ 0 & ;& 6 6 6 70 ' 4 %' 03' 5 0* 6 56 9 7 ; " ' *3; 4$
2
5'6 ' 6 ; " 6= ' 6 & 'H: $ 0' 3 ' 0(' * 6 50( (
A B ]]

C 6 6 7 . 2 . 0
5 ' : "' 0''
5 6 50( ;&(' &;
:1 2(
ST S T
I 5 1 5
0 6: % 1 5 : 2(7 1 ' 5' 1&(
(
R
:"7 0 & & 6 8 &(6 ' * ; : * 1 ' %
6 &(5 ' =96 78 *0/ ) + / 0 0 & & 6 " 5 ; &(6 ;' 5
3 * 3& 6 50( % ; &(6 ' * 6 %$ : 29 '($R
:*78
": %
* :1 2 6 7&( ;0 &( &( 6 1 " ' 6( 7 ;
$ :1 235' "&(5P5W : 7 5 "5' * ;0( 5 6 '5 ' %
5 0( ;&( :1 $ 5 : 2 6=5* * 5 D ( 7
5 % A"'6 6 & 2 $
' =?
S T S S T T
8

6 % G S T
] Q
R
:"7 ;
; ' %5%
7:15*' % " *:1 % %5
= 1 2 0 1 2 0
S 9T
] O
I

'6 1 ; :
=
1 2 0 . 2 . 0 . 2 . 0 S T
] ]
=

7 :1 %
'0= ;&
1'2 0 . 2 . 0 . 2 . 0 S T
]
]

\

I 3 0 ' 0 = ":; ' 9'"&( *
:1 2": 3: 9 $0(
00( % ? > &0 %; : 2 X 50(6 G

:

1
00( %$Z
: 710 &(6 " X *: ' 9 %3 7 %$ 0('5
S T GS T
' 0'50 5 $ 6 &6 71&'5: ;6 *0 9& 9 5 0'
0 3I 9 5 ; 6 * 3&(; ' : 3 '
% 50(6
S T
C 5" X 50(6 1 ' ;0 &(6 ?
- 6 '8 5 >%5?" 0 '* 3 6 ' 3 &(1; 5% '0( 09'1 6 '1

# ' 90' 8 ( " 0 %3' 6 5 %
6 ' 6 &( 6( # 5 0('0 "' 0' S T
-
$ 0''5 " 3( ?" 0 5 &( 6 L=4 5' " : 961 '7 ' * 0' 0;' ; 9$&( 0 = 4
3 1 ; 0'" 0
< " $>($ 0 61 $ 0'
0
- 5 5 6 63 $ ' ( ?"5 ; 0( '6 * 3
$ $% '0(
9 3 $ ' &( 0 *5 :9 6 9 * 6 :10 5 46
00 %7 ' 5 1 ( 5 " 0'1 * 80 ;
' 0'1
- 5 '
X 5 =?" 6 ; ' "
$ X &( * &( ' " < ; 0('" % 6

I 3 0 *:; ' "'"&( *
' 4 50(' 61 00 " * 2
0 &(6 = %9 ; $: ' $0 $ * X 6

3' '0(
:1 % " 0 % 6 % 5' ' 6 6 ;&( $ 3 5* 8%6 &( 6 50( $&( :1 $
'
S T

5 * 0( 8 = 6 4 % %" :1 2 7 006 &6 1 *: 0 &(6
W 5 *& 5 5
: 8/ + + /. / ,+ ,- "0 0( 3& J
'5 6 * ( 0
J
'5 6 F( 0( 7
U ] 6 : 2 &(': 5 % ;0 0(
S T
5 0( 6 % 4 % 03 &3A" (*W
* 6 4 % %; :1 2" J8"7
0 0( &3G 0( " 3M &( % G 0( *F M &( %7# U ^ 8M
&( %7# ^ 7
S
D '2' % D '2' 7( ^ ]7# U U
T

& )=#! ! ' *#, ,

; '; ' !6F F'A G @"< C D'E
G1 50( $6 %9 96 %30 ' ; 5 * 0('50( 6 '
1 * " 0(' 8 50( "6 %5 : 2; 10 56 5: 0'
]^
]U
;

* '8 50(6 5 # /H ,) H 8/ + ) / 0*6 %0 ' #Y3
: 6 6 : # ' 6
5 6 8 6 6 ' %* 6 % 1 6 8 50( 1'
( " : 2
1 ' =7
' $
.
1
I

% ! ! (% ! &# ' ( "! " D ! ! .6 ! )6! 6% %
! *I
; X 50(6 " 8 50( *6 % :1 2 : ;>%' * 16 6' 0'
' .5
% 6
' 3 0 '$'6 6# 8 0=' '" :I
: 2 $ :1
1%+ , ,(/ 1
# :Y 6 6&( " 3 3 0='8I
0(;
6 0 ; =7( : 6 $ 2( 7
S T
6 6 9 6 ' *: 6 61 ; 5;: D 5 9
;: 5 9
0( %56 %5 '6 7 :;5 1 X
D 3 ,2 , "G 5; ": &( - 3 / %, 7:102*/ - M2'5/("0212 -
&( ; 0'1

;:1 % " 6

*' 86 % (8N1 5' 0'8' D. 6 '6 1 1 5 6 '. %" " 80 '
8 0('
;: %
?
. 8 1
= S T
I X
0 7 ' 0(' ' 4;
6 : X *'
A. 4;? . . 0 = S T
" * ' 3 &. 0 . 0 P
" "
: 8/ + + /; 0( " 1
:1 2(7 5: 1 * ' 0'6
1
1+ ,,/ ; / ; . .=6 8

: 4 2 4 6 6(6

#' ' 6 6 5 506 5 5 5 :

& 506 * 6 %" ' 0'8 ' *: 5 % 1
6 ' #
= ' 6 &(0( 5 "&5 ' 6 : 2*2 :5 8E3 "RN1 S= 0 0 =7
T U I E$"RN1"7 6 6( ' .5 ; 5 ' . : & 6 21 ;
OS
6 =: X $6 2(?
1 \5 # . :. Q S T
I &(5 :

:1 2 % ' : " 6 ; 5 ' : $ %
6= 3 ' 7: 5 6 6# * ' % D
: =7:": 6 6( 506 ; '5*5: 4;
6 : '&( % ;: 6 %
' =
W " ": 4; &( $ 6 =7 ": %
*'0= % ?
S T
0 8 =\ 8 0 8
0 8=\ 0 8 =\ 8 0 8
SS TT SS SS TT SS TT TT O S T
: 5 ' 1 6 6(:1 %
* 6 =8R
"
6 ; ":1 %
#: 4; *'0= =
S 9T

*:1 % "'0= *% $ ' O ( 6 *: % :
* 0(' 1N1 ; 5" 0(' 0 (7 : %
6
0'

]
weight vector
pattern vector

% D "
% ! " & ! % ) ! & % % % D! ! #
! &D ! ! ! ! )-! &# ) ! ! "# ! "#! ! ) ! ! % !
6 5 5 8 '&( ' 6 " 5 : 8
0(' 8G1 ' 6 7 :1 % # 1
:
* 5: 0(' * 00( ? 6 ' * 9 $ 0(' $
"0 '
' 6 ; ;>% ' *

D ! (! & # ! ! -% * ! &# '
- % ) !
a. b.
! ! ( 6! ) ! ( D !& ! () !% ! ( !
) - !! - - !
)-! ) ! ) !
% ! !
! % )* ) )(! -+ & ,& % )
# &#
! ) ! ) !
) ! ) ! " ) - &D
! ! ! )&#
! ! ! % ) )(
D ! % %
% !
!8 3 ,2, 'G 6 ; 1: : - 31/ , '$512 : 3 02 1, &( 0 3 ;; - 0(, '

S T
:1 % 1 : " 6 =# %"

' *% * ' =% 1 &( 6 % 606 ' &(6 6 ' ==I 5>%'
Q
* 5 : : 6 % :1'6 9 6
' 6 3 5:1 ; 3&(;' (3R ' 6 6
;:1'6 6 2 ; 9 5 ; 6 % < ' 6 9 0'* $=$ * =7=
: %* ' / 4; 6 ;: ; 1:1 % 0 .
) / ) 1 5 * 0'10 7' %*
P
;

N1' 6 ; *5 ' ?

4;? 0 A .= S ] T
GS T IS T GS T $S T S T
I # ( 6 2 * # ' ] ( ' = = = 6 6 # 6 ==

S 9T
N1' 6 5 H # *5
% 6 ( ' 1 8I

+ ,- : %
: " 0(' 10( 5 5& ' O 7 : %
'0=
S T S T S S T S TT=
*'
&( % ; 506 5
) /+ 8 :
* 0' ?
S T
0 8#\ 0 8 (\ 8 0 8

% 6 *:1 %
# *:
5'0= (
0(
1 3 5 ' 6 ' % '
5 6 (N1 0( 6 6
1 ; 0' 5 :9 $6 % 5 % 4 5 6# 0'* 0 78 * * *&(
5 % 9 6 6 3: % 5 5: 6 61 5&( * ;:
;: 6 6 '
&(*5 3 &(*' =8
7 ' ; 6 :1 %
* 0('50( ; <3 : 3 0' ; 5
S T
'% 00 5 ;
0 &(6 50( *6 %5 6 6 . / 2
S 8=\ T S 8 T=\ S S 8 T S 8 T T 4
. / ,+ ,-#8

50(6 5 ;& X0 %5 ": % '0= "% $ ; ' :
S ^ T
:
. / 25. / ,+ ,- / 8 5 : 1 6 85 #2 : / BH/ , 25) / ,) + + /

: 8/ + + /5. / ,+ ,-OS 6 7#A" 5' 7#G =7=F E$ 6 (71 P T I 3 " 6 % 7

3 ' 5'*&( # 5

6 : 1
*5 " 3 : 7 56

5 "&( 5 " 50( =5G1 6 7# '

6 $ 6# : 3
#&( % 6 :
( /9; - 1 , - 3 / ,
1N 6 " ":
6 5 =7( * 50( ; : 230( 6 ' %;0 3 0'
I 78 0'"0 5 9 9 6 ' * ' 9 6
&( : 0'
0 # 5 6 ' 8 5' "&( % % # 5 6 &( :1 5 0' = * ( 6 '
C 6 5 ' & $ ' 9 0(' 7" ' &(
5 5 55 '
' 6 * ="% 6 ' %* 8 ) BH /
/
+ / +
,(7 %
&
8 0 US T
: 4 $: %9 ' : 0(' 50 (
$:1 % 3 0
. H ) / / , / ) I 5 * 5 '6 " 3 :H 50( 6 %$ 2* $>(
*'

' "
&; 6 6 : %5 * % *%
8 " 4 ' =?

. 1 9 < !6 !1 ;- !17
3 X 8 5 8
5 7 8

# J #9 !"! ! %< ! :9 .) ! .) I$+ @1 #9 % < - I < , !J D> D A D
E 6"F ) !? D> D A :;#) , < , ) 1 ; )#9 % ! % !J 1 < !6 !6D
6#
=

3 5 7N S 8

# ? 1 ! ! 9-" - !" , @ D;Y) #*:9# = 1I .) !6 ;- ,I = = 1 T

3 S < ! #9 $ #9 ! 5 7N N 8

< $
35 83 5 8 5 7N 8
# $ ) D9> D A1#9 !JI #9!) ) !") , .1 ! ; 9& D
. : D9> D A1 .) !" .) I+ @1 - I1#9 % < - I < ! %$ D> D A D
6 5 5 680 " 5 % 6 ' 5 *' $6 % ; 6 3 4
6 6 ' % 6 % 2 :$ ) BH /*/
. H ) / + ,-(:;/ /
0) 7 % 74 4 5 7 D W"
J M
[57
I CW"K
8#*7(GS= "C
N1J"
(8M2:
I 5>%' O7U 6 ' # ( ;" "0( 8 0( =8 50( 6 %* : 2;' %
N1' 6 ; 9 6 : *:
6 3: 6 61:1 % 5 LP

= 9=
:1 2$:
" $: HP 9 P P P; $ 0(
5:1 % * *] P P
* :(
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
−0.5 0 0.5 1

! ! -% 6" # % ! 6) ! ) ! - *
( ! "
! &D ! ! " ! 6 ! ! (
'L ; ; =@B?:G ><
#FD@D#G C A @BG C >D

8 50( #' 8 50( 6 % : 2# = '* /
BH , + ) +
,(#

GS .T
' * 5 0('= 0( "'*&( = = '&( 0 = " 0 (
0'# &* 6 &( 6 ( '&( 0
8 6 6 8 7 X4* (
: %" ' 8

1: 6 ' %" = 8:1 1 **' *> % 6 ' # ( 6 # 7
&'5 5 ' %5 5 5 0(' 0(
' 0( 5 ;& 50(
6 %* :1 2; 1 2; " 0('10 & & 6 5 ' $ ?# " # '
9 '* '& 0( * 5 % 5 3 ": ; 0' * 5 56 2 6 3 3 00( 7#:
;5 ' 3 & 9 $ ; : 0(' 53 X 50(6 5
2 %3 0('5 9 5 2 9>%' ] ' 9 '% 50(

;

x2
x1

- $
% ! -! ' "! ( !) ! * ( ! ! ! -)
&
: input pattern : weight vector
" ! &D ! ! % % ! D& ! ! !D "A!
$ % -" & ! ! &# 6 )(! () ! ! - ! A! (
! "D! ( ! ( ) ) ) ! (! &# % ! ( - 6% &# ! D &D &
- ! ) $ ) ! ! !D ! $ % % A
6 %$ '6 5 35 (,/ ; - + ,(/ 0 $ 5 0'5 0( :
5
0'
" ' ; *0
I *:
7 50( $6 % &(' 00(6 *: $ 9 5 9&( 54

0 $ ' 3 6 *' $ " % *Z
:1 7 50( 56 %; 6 ;&(5'
*& : ) H 8/ + ) / 0 6 %35 71 &( 00(6 9 9 ' 00 X

0 &(6 6 > $0 &6
Y35: 6 6= &(" :; X 506 ? ' 0 0 %
5 6 %5 '
( /91 ,.- M2 /M2[ - 3 / ,
I *6 % "'*&( 1 # 006 7 : 21 0( ' *& 5:
5 0( " :1 2 9 5 30( ' 00 X =9 X 506 " '
vector feed-
quantisation forward
1
I .

1
: 1 :

! &D ' !
! ! % & ! % " ) " &# )B %
! &# ' ! &D ' 6 - )-! - ! " ! " !
! !
) ! )( -) !D

Q
:1 2 % $ ;>%' *

: 2 $ 00= X *5 '
3? >
&5 %*: 5 ; ' -."" ' 5 6 ' 1 G 1 G G 1 = : 1 5 : 0 4
ST
*
* ' ; 6 ' 1 1 0(' 0 &6.

: 8 00 X %
===
' 3 ( 6 506 5 * 6 24 '0 &6 ? 0(' 5 % 9 3$ &6 ; 4
: A . 4? 0 7= $ 5 ' $ 6 ' 1 0 G 1 0 G G 1 = 0 $
&6
" 2 00 X 9 9 :1 6 6 4 2 :9 X 50(6 ; ' 3 : 2 " S T T ===
S

:H K
, /0(
%3- +
, 3 :100( 6 2 Z
= 71 4 R 6 (7# U U 3 0( $ ' &(
6 %; ; ' 3 00 X =7= 5 36 3 ) ' 9 3 ; 04
0 X "6 8 *'6 ' 6 #= " X 506 1 16 7 1 :1 2"0 " ">%' 1
;&(* '0( 6 ; * 6 6 : %5: (?

0
* :1 2;: ;&( 0' ; ' ; 6 '
ST

0( H ,) H 8/ + ) / 0 ' 0# D 1 5: % 8 7 6 '6

": % * 5 $ ; 0'"0 9>3: 4$
0= ; : % & 1 :
S T
: ; '

Q
0( *) H 8/ + ) / 0$ 00 X 0#?
S T S T 2S S T T = 1 0 8#\ 71 0 8 =\ 1 0 8 S T
Q

1 1 506 5 4 '6 : . : . : 1 : 71 0 1: = 4 8 : %* ' ; 5
S T
;' 0'
% ;&

I =:* >*5 ' G 4 *? .S 9T
.S 9T 4 1:
G 4 P : S 9T
O
.S T =
&(* :

6 %50 ' %

1A: . G 1 S T
]
I 7 &6 9 % 95 ' 6 '3 3 6 6" 0(' ; '&( 0
0 &9 5 &(6 ; 95:1 $ &( 78 )' 5; 2*
0'0 &( &( 6 3 3 ' (7=: 9 '6 " 9&( 00 X 3 '
*
: * 0('

5 6 2 6 ; 00(
R
6 6 ' 8 0 ' 6 &5 "&( 5 $ ' ; 00 X4
5 6 N
% 79 506 *& * " 5 $*' &(
00 X 9& *'6 6 5&( 24 0 0 % :1 2
' 5
00 0 6 Z
: 7= 8:15 X0(
'" 0' ;&( ; '&( 0 *
% $ 5 6( 0'
0 5:
X0( 8'1 ' ; *&(
''8 '5 '#0( 7 *&
DS T
' ; 00 X ; ' 5 0 &( &(6 5 W '
6 " &( 5 0( X 56 6%;#* ' : ; 23' 1 5 ; %6 *06 4 " :
&( 3 : # 2(
0 5 6 '% 6 6
&* 0( 6 $&$; 5 6 %0 ' 0 *^ *
' 36 DS T "S T
$S $S S 9T
&" 0(6 & ' ' 5 7( ' $ A $ :1 2 5 3
8 5 V (7C % 7F M (7 O I 5 7 '85 5 6 '
TT 00 X 5 GJ8"7 E3JC @ (7 D =7W"6 =7 F C 7 U O D (7
S GS
8
& 5 5 # 5 7 X 5: *
0( &( 6 " *
00 X 6
' 5 ' 36 % 7# & 9;&( " *6 6 6 35 > 4 % ' 4
.T T
1J J
=7(M
: (7F 6 7( 6 ; % ; (
O
;

9 ,23 , [ ? - /G12 ,.- 3 ; - 3 / ,

I 8 # 5'0(6 8 & 8 5 ' 6 :1 256 ' 7 * 6 8/ ,+ ,-J(/
&H , + ) +
,
S S (T 5 = 0 = *' '0( 6 ' %#M " = 5 = 6
0(
6 ' % ' 3 2 9' ; 6 *6 % '6 7= 9 9) H 8/ + ) / 0. 2

50( 0+ ) + :+ , , , . 2) + )1 8 ' '0( 6 ' %#

:1 28 50

; > ;&(' * 0'
0( 7% $;6 % 5
8 X 506 ?S

% T $ '6 =7 % 7&(* 6

6 &( 6

H 56 % ;'"&( "
6 % 6 3 *S 5 * * 00( % 3 56 '

; * 6 6&( " 6 6 : %5&( 6 % ?

: ; ' 0'
' 6.7 6
6 &( 6 S " ; 8 5"
2 T .
6 % 50(6 8 0(' % : 6
6 &( 6B.
Q' %9 35 ' &( :1 :1 % ; 0('5 7 ; 6
: 4
(7&('
6 * &( 4 ?
0 ` 0 A. 4 G 4

O
56 &( 6 * . 0 ` B7 . 0 50 :

*:1 % "'0= " '6 "% 3 '
' ) / . / + / . 29&( 50 =
S T
S
* X 506
( 6 1 0; 8% &5 S " 6 % &;A A =7 ^ ^ 7' % T

" 6 6 : % % (?
- . 0 ` 7. 0
- 0 0 ` $
S T 2S S T T
- 0 8#\ 0 \ 0 8
S T S T S S TT
- 0 ` 8#\ 0 ` 8 0 ` 8
I 7 0 : ; 6 &( 6( 5

0) " 0'1 7: 6 0 ` : ; "
6 &( 6(
5
2

1 : S 6 % ( # 8 5 % % 6 6 ' 1 # 506 5 1
0 7= % 78 :H 3 > 6 *6 &( 6 . 7# : X 4 &( (: " $&( (7
: 5 01 "'*&( 1 = ' 0(' ' I8 ; : 6 6 '
:1 % '0=
'6
&
,',(,#!"
S T

5A" 3 : 2 A =78 U 78 U O $&( 3 " 3 X $ ; 50(
6 %; :1 2(7# 6 '% $ 6 % 6 6 3 56 7= A 9 : 29 "

8 00(6
I ; 5A $ : 2(7 * ' 0(''

0/ / 03 5" (7 $ 5 :1 4
5 6 % 5 7 6 '% 8 1 00(6 4 0( #

%7 :
& *' 7 1: ;' 0'
'
5 % &( '
R
:*7: $6 %0 *0 ; 5 : 2(7( *:1 %
; * ' 0('"'
" '
0 $ '
*
0 ; * 0'
0 '= 0 $ ; * ' 0(' 7
?S
7= ; ' "

"5 " 56 %;0( : 9 ; * $ 9 5 $
0'= 0( : = "&" 5 ' ' * "> % 1: %
' T
` q"c m p o k b g o f g e j k*d g b9n b b e)l b k f e b ly*d f c d1g p j m z g j f c g h h i b e b o g j bj d bk j o p c j p o bm q"j d be b j y*m o }1| 91g o j f e b j
c d p h j b e . / / . t o f j } b . / / .

]
*' #&( 00( * *' 0'8' =: *
6 " 8 " * 7 7 5 1 % &( ' %
'
' 78
0' * ' 6 3 &(' 9 = 9 ; *' *&(;0 (7#
5 6 *'
&(5 "6

5 00 %7: 0 ; 8

0'# 0 7 8 * "&(

.
- 2 / ) / + ,-##Z
: 7
0(' #
* *" '&( 0
= 7#; A" 3 :1 2 3&(' 3 6 : * 5 6 D " X 506 ?" 9; :1 4
5 6 6 ; ;5 % ; 5 6 0(' 0( ;&(" 00( * : 4 5 6
A : 2(7:
X 50(6 "&(*' ;
' 6 ; 8 *
' 6 6 7# 6 %0( 5 ; 50(6 " '="91 5=8 783 506 8 *
% 0 ; 5 " : 2(1 %* " 5" 5'6 1 7 : %
ST
' ' 4" 8 =#R
X 7 :1 % # #: %' )
8/ . . )8+ )#,(/ + - /A5
"H )1
0
S T S T .S 9T.S S T S T T
' %5 *6 %5 '6
8=\ 8 =\ .G 4 8 8 A. 2= S T
.S 9 T
Z
7 .G 4 ; ; % ' " 3% 4 &( : ' -.9 47
'
SS 99TT S 9T S .S T T
4
G 4 D 1 X 506 7 85M" ' 5 ' &(' =7 ' 5 5 S T
.G 4 X0 . 4
5>%' ^ *K'5 6 6 6 %; 5 7= 0('" % 6
1
0.75 2
h(i,k) 0.5
0.25 1
0
-2 0
-1
0 -1
1
2 -2

- -) ! " ! ! &" #! &D ) %
)* !% '
.S T .S T
: 3 ;: 6 6&(3 00( % &( ' % '
' 3 0( 6 %
6 30 9 0'* % 6 ": 6 68&(;0 9 00 %78 ' 0(
>% ' " U

! % 6 D &D ! ! " ! &# '& ! ! &D !
Iteration 0 Iteration 200 Iteration 600 Iteration 1900
1 )5 ! U` ; U!&& ! ! !&# !

- ! * 1 ` % !)( ) -1 % % ! ` %
"
D)- ) % " ! & !D $%
&D !$
! % &# !
&#!
! !
I = * 5 6 5
6 1 7 * ' * : 2 6 $
* 0'
0 7 '
0( $ ;>%' *

;

( "#! &D ) %

! ) %# ( ! &# '

0(6 % 4 % ' 6 ; # : 2
' 0( ;& 6 % 6&

1& 5 # % 5 5 506 8 1 0( # (
* 5 8 0
3 * : 4 5 6 0( D X 506 7 $ ' 6 7
9 9 6
0( % 0 00 % 1 = ' 6( 0 " ' " # ' 6 X(
" %
00( %5 " $&( ' $ X &( 5 7

0( 00( %# ( ' 5 * ' X(8

' ( 0( % 0 0 7
: 5; 50( * 0( *
$ 35 6 9 6 3 0( 686 "
' 6 6 9=$ ' 7# " 53 5 " & ' 6 9 * 9 50( " 30 %
I
5*
' 0 7 7 6 00(6 *&(
8 5A $ 0( 6 % 4 %; 0
A" $ 6 8 ' '6 6 ' 5 :1 2
S 9T
0 5 4 % A =7(E3 2 7=F C 2 78 U O *6 7 5 :1 23
&(
' * 55 % 82 # = 7 ' 1 ' 5 5 ' 6 7 6 2 %
S T
* ; 5 M" 6 (78A 5 2(7#F<M &( % (71 [8 5 5 006 9 *
&( 7 ' $
: $U
=$ X06 3 ;06 ' &( 6
$ 6 * ' ' ; 9& 6 % 61 :1 2 78A 9 2
" 6 68 &( &( :1 9 ' '6 3&(5 & 3 ; "&( 4
:1 3 ; ' *I $; 5 (7( % " < E$ X
T
>% ' " P
S
excitation
lateral distance

( ! ! %
! ! -) ! & * - " ! - "D) !
! ! ! ( 6 A ! ! " !

& 7# , ' ) & )&,+*,! ,+!"7+

; ##; 'P D#G < > C'F'?:G C >D
S T

1 : 2=0 * 10 '= *&(1 * 6 #
: 0$ 0(' ;5'"&( #& ' 0' 6 5 ' 8
: %

?S
' ; ; ' *: ; '6 &( ; 10 0(" 6(5 8
* 0'0
: ; 50( % ' ;:
T

3 6 4 % %9 &( ; 3 0('; 0( 3 '
: 9 5 ; 6 ' * ; ' 0(' ' 5 $ ' 6 50( &(6 ; 9 ; %
# 0(
6 $ ;* : ' 0('
' 8; X 506 * :

^

) ! ! "D !D %
"S T
;>% ' 5 "
* : 5 6= 50(6 G
*0(6 3 $ *>% '
I $&(* 6
$ 5 6 =7( ' $ " 8:52 : : 3 2 ; &6 50
; 5 0( '; "6 8I #:1" " * X
GS T
O5:% G 1 X
06 ">%' 8Z
" 60 ;
' &( ' " "0( 5' 6 1 0 0( ; # $ 1
$S T S T

% 5 ( 5 50( 1 1 X 5 ;*6 : 5 (#

& ' 6 5 > 5& 50( %* 0 ` G 8 ` G 1 5 >%' 8
1
(7 " " # 5 50(6
6 % * 6 %5 X
6 6( 6 % X

L 6 6 6 $ * % * $2 :$ L %
0 %$: ; % * 3&( 9 5 5 9 936 :1 5 9 9 4
IS T
' % ;&$
:1 6 6= 0( &(6 5 $ Q

* X $ &(
6 %5 '6 ": Z
&&( $6 %5 '6 7&('
:
6 8
6 % 5' #I " '&( ' :
: 6 6
*6 ' :
; 6 3Z
&&( 96 %; '6 * * ' 9; 7( X % 5 9 $ 6
;5'6 4 5 6 ' 0('
L BF
; ##; >< @AF C A @
C @3D'3 C @ D< FDF @
ST
ST
55 6 3
1 6 ' : $ 0'
: % "
5 ' 0('
. 8 1 # ' % ;&; *' ' 6( 0 ' 8 :1 % ; * 0'1 ?
S= T S T S T
. 8 8 8 S T ^
= 5 " 80 '= 7 6 65 6 = 1&( "*
2 Z
&&( *6 %#Z
:1 7
5& Z
&& '6 ": '6 $ 2 *: % % :H' & 6 ; 1 *: 6 3
)
; 0('0(
3&(5 5;&9 6 % : % * * $>X 96 % (7
S T S S S T T S S T T S S T T T
0 6 6 7: 6 1 " 6 6 : %6 %5 '6
8=\ 8 =\ B. 8 8
8 =\ B. 8 8 S T U
ST
:
0( ;: ' 5 $ $6 % =7 6 6
6 %
0 5 1G1 50( #6 %
'6 1: "
6 *6 % '6 1 50(
6 %

5 6 * '6 :
6 =7 " * Z
&& '6 "
U
;

R
: 0(
: 50(' 1 6 % =7 * = 7 ;&(" 00 X4
5 &# 6
X0( ' P?
S S T S T S TT
8 =\ ". 8 8 \ 9 \
IS T = S T
QS T
Y $: '& ' 5 X0 $ " 56 % 3 $ ' U 7# " 6
5 6 6 $
S T ]S S T S T S T T
8#\ 8 =\ ". 8 8
( 9 \=
IS T = P S T
C 9 7. S 8 T 7 %5 * %
$ 6
S 8=\ T S 8 T=\B . S 8 T.S S 8 T . S 8 T S 8 T T
S T
2S T
: $ 6 6 $ W ;6 % '6 W 7# U "

6 % '6 * '5 > 5:1 %
ST ST ST ST ST
;' ' 68Z
&& 3 7= > "0 ' " "+ )* ;Z
&&9 '6 +. 8 8 7=&('* 6
:1 %
" 6 ;&; 5 0 '
. 8 . 8 8 1Y
X 6 $
6 %* '6 ": ; ": %

; ##; # =< C D'?"C ED@AF?"> E>D'@"D#G @6#G < @?:G ><
J 5 "&(
0 &( &( 6
3G1 4 5 6( % 6 8 1: ST
S S T T
- 5 8
S S S T .T S S T (T T
- 6 X 8 8
I ; " 6 6 : %5:* '5" * % 6(5 &( 7(
OS T
D < ' ":; ; * ; X0( 9
:1 % * 5 W $6 % '6
' 6
S S T S TT S T S T S T S T S T S T
8#\ 8 8 (\ 8 8 8 8
:
' ' ' 0(
S T S T S T S T S T =
8 8 8 8 8 8 S T Q
/ 8 )

= = = =

S 8 T

!

/( / )

!

!

$
S8 T 8 S8 T
=

= S O9T

!
b z b z n b o f e j d g j1. | . ! .!" #$ |

; ##; >< @ @"C E@BD ?#@B?:G >< A
I * 0 '8 5 8:
1 :5 1" % 6
' =: % % 8 " %
6 X5: X *' % 6 ' 7 7
: % 1 ( " ' 8 ; *
5 = % 8 %
= 0('80( 8Z

:
26 ' 5 = :
> * %5 %
# 6 $ X;% ; *> '; %
G1 9 % 6 : &(9 50( 9& * %
* 5
6 $ X 7
8 =

S T ]
I 8:1 : '& 50( " $ 5
7 3 : $ 5 % 6#
*5
% 7 5 % 6

:15 5 ' * : :5 % 3 50( ; " % "&( 7 P7
S T
50(6 5&( ' *:1 '
'& $ 8Y3 6 6 0/ +
,

I : * ' * ( '% =" = % 6 7 * (:1 % =: 6 6 6 1 " 1
%5 % ": ; %
% 6 ' C * 5 5 $ 50(
$ ; 3 > " % 7# :1 % ": 6 6 % ; $ 5 %; %
: ; X * 'H % 6 ' 8I ; "0 ' ;:" " % 6 '
% ' 7
% ;
>( ; 56 :1*: 6 6>(
1Y3 '*
% $ >
6 6 %
&( 6 % %5 * % 6
Y3 :
5 ( $ ' 6= : 2
#:* *
.
8 = S T
^

C 5
* ( ' 6

= S T
U
. =

'& ; H * 0'1 ;&(* 0
*2 8*&( 24 0
S T

X 0( =G1 5 0( " ;J8 &( ; ; 5 X (
&

)+! 'B&,+, !+'

"6
' '0( 6 % : 2:1* '
( 1 "0 ' :1 2
;
# ' 1: :1 21 5 X 0 7 " * 1 86 5 5 : 5&('1 6 *& 2
H ' 0' ; 0''
' G
; ; 6@? #E< >F'DDC CD@AE G C #? @ < @"A >DD@ D'?"@ G '@"><
S T

I 3 ^ 7#M
&( % M &( %7= ^
' ;5 6( X06 %5& 6 % 6(0( 5

"5 6= ' 6(0 0( ?
*,
: . + ) +
, = 6= : 2 @ 6 % 6( "' ' 6 6 5 ; 0
96 % % 9 * 5 D 5 X 506 7# ' 9 05 6
6 % "
6 %

, ) ;/ ,
/ , / :;/ , 5 0('0( H
3 :
; 5 '& 6 9 ( 0'
0 5 96 ; 5 ' 6 K %' %9 %30( ;
% 2 5 6 68 ; ; 9 : 6 =
;5 '
5
^P
;

Q) /
; / : :;/ :
2 # )
-/$ 4 0 ( @ $ 0'
S T S
0 &(3 =7
5' ;&(3 9 4 5 5
36 % 4
5 5 S
E 5 506 5 * ' 65 78 6 > 78: *
C
E ' ; ' "% ' 6 % ; *S
E
.T
S T

; "
:196 7 ; 7#: 9 $ 5 ;
S
E >% ' 1
0'80( 8 5 7: 6 > 2 06 "
815 5&( 7
0'8 8 1 6 6 > ( D 1 2 80(6
category representation field

F2
STM activity pattern
LTM LTM
STM activity pattern
F1
feature representation field
input
D A ! !
&55 1 = X %* ' 7 % %*
; 5 ' 0 > 6 =#

X 0( 7( %; $ ;S
E 7( 6 0('0 3 $ %
3 % 0 9> 6 (3
6 > 50( 3 ; X0(

:1 2(7 : 1 5 "S
EL:1 % 1 8I ( " 1* (7 X0(
* % (7 : " 6 > (
LJ"#' I#
; ;
J'@ A C EDF C *@C D'@"F'< @A&
F D'@:G /4 >< > 'C @
F
S T T
GS T S T?S

J8"
50(6 > 55 6 8 ( :156 8 (&( 5 ' : 5 6 '

;P 7 6 6
5 50( 6
* % $6 5>%' 5 Q N1 $ ' $
$ 6 6= ' 5 ' ' 4 6 ' $ :
$6 %; L5 5 S
E S T
S T
78 3 ; ;& 4 6 ' $&( 2: S
E $
55'6 " %
5* 7 5 5'6
N1 5 ' 5 " 50 56 8 #
0' ?# 50( #
0'=0( =7
50( *
&( 230( =7# 9% 5 ; ' 3 ' 0(' *3;
3 6 9
6 * # 5 0(' 5 % (?8 : 4 '6
S T

9 ' 3 % 6 $ 50' 9 9 ;0 ' ; * $ %
'' 4 6 ' : % " $ 50( 9 " * *
*: %; '
$ & 1 6 6( " ' 56 6= & =
M *6 % 6 8 6 6 " 6 5
; 5 0('0
M 95 ' 6
% 7( X 0": $ * & 2$0( $ " ( 3 "
;
D 6 6 78 ; % 6
5 9 $ $ ' $ 0('5
' 0' 5*
&5 * $ 5* % 6 *6 6
IM - 3 / ,

" :1 2 & 6 50 %* * 0' @ ' * " ' 0(' 75"
"&( ; "' 0' 5*
0'

^
3
F2
+ + M neurons
G2 +
+
I
F1
−
+ + N neurons
G1 reset
−
+
+
input
D A- %
! &# '

50( 9 " " 7# 9 ; ' $&( 5 * ;
" % 68 9
& 23 5 &( 2: 9S
E97=: 3 0 ' *& $0( $M ; " &( =7
;6 ; * '
: 5 &(
I # * '&( 6( &( :1 " :10( 7 " % 6(: 6 6 &( 8
' "0
0( (
S T
I $ 1 6 6 : %3G 0( * 9M &( % * 0 $ <' % 6
' 7:*' " * 506 &S= 00 S= 00 =7( U ^ ?

I 6 =?
S T
1'2 P
ST
1
2 P \
: ;'*&( "
' " 5 7 ;'*&( "
' " 7#P I# 7
P 3 H16 7 * " % 6 " 6 7P

00(6 * : 0('0
Q 50(' " * 6 ' 8 * '
?
ST
. 2 8 = 1 2 8 S T
Q P
S
O 6
": % ' 4 P 4 ]T
]
% 6 " ?1
ST
0 8
AG

S T
Q
:
10 ' 7 % * 5 0$^7 6
% 5 0$1R
0
6 6
1 5 0 '
7: ;: 6 6&(*6 % * 5

' 4 &(6 ' M ; 0$Q
^ "C
" 6 6 7P ?
S T ST ST
1 0 8=\ 71 0 8 G
1 0 8#\ \ 1 = 0 1 8 0 8
S T ST
^
;

U
4 &6 * 6 6( '
% ; 0
D %' * O; :
X 506 &( ' # * :1 2(
backward LTM from:
input output output output output
pattern 1 2 3 4
not not not

active active active
not not
active active
not
active
not
active

( % - "! 6 D "! ! D ! &# '-" % ! ! ! !
! ! ! D! % " ! &D % ) ! % %
! ! ! ! )( ! !
! &D ! " " ! $A !" ! ! ! D &
J"#' I#
; ; # J'@ >< C EC DD@AF >#C'@F S
I ;6
: 2(7(G 0(
$M &( % G 0(
FHM &( %7( U ^ 7# U ^ & 10
6 .T
' 61 : 2 5 6 " 9 0( ;0 *
50(6 ; Y9;: 6 6#6 '
>
5 6 7J#"

:1 2 0( 53 6 6 :
4 4 6 6 ' %3 6 % Z % =7
^ ]

6 % > " 9 :H 0'0 9 3 3 X % 6 *I % 6 3&(
S T
'(7 7

&( :1 5 : 0 6 6 X % 6 # X 1 5
6 =7
5 : 6
% * : 0 (

$ 6 00 5 ; $ :1 2 &6 $ 0 :< %90 4
7: 6 *0 '
5 5
'0 (1I $5 ' 6= :1 2 7( '
"&( 24
0 0( % : 2(78 6 6#0( *5' *&( '% 5 ' 6 6 # %$ :H0
% '0 *:1 %
" 6 6(0 ' 6 ;6 ;0( @ % % * ' ' " #
:1 2;
": % 7J#"" 5
0 &6
/9 89: 3 ; - 3 / ,
Y3": 6 6
; 6 6( " : 4
N1 6 6 4 5"
0'5 0* 0( ;: $6 6. 0
I ; ' " 6 ; ; "5 6 7:1* 5 0 6 " 6 " 0'
0 5 0

C :15 *5 6( ;: % * # " 0( & . 0 8 0'
6 6#4
- # 0( # 6 6= &( * 6
% 5 6 6 * ' 0( '" = 5
6 6 . 0 "0 5 6 6 7 7
' ' %

^Q

X 0( "
* 0('

6 6= 3\5 0
-
-
$ & 0( " 6 .:0 5 0
-

. 0

Z
7
1
* ( 6 '
5 ' * :
. 0
. 0 \ . 0 5 0 . 0 8 5 G
8 S T 0 Q S T
9S T
: 3P . 0 P &( ' ; & ( *
9 0(' 9 * X 9 X
0'

1
' 6 & '7 : . 0 8 P7 ;: 5 0 :* *
S T =
. 0
\ 5 0 Q Q S T
@ ' * 8 * >( ; 0 5 0
:1"%
.0 0
\= Q O S 9T
. 0 0 0( 6 0 7 (7

7
' 6 & '

\ (G Q ] S T
" 6# = . . 0
X ;?1

,
: . + ) / 0(
/ ,.- 9; - , , 8 ,-
I ;
; 2
&( $ (
' ; 6 '
GS
" T 7

006 =?= &( :1 ; * ' 6 6 ' ;56 * 50(6 > ==Y9

3 : S Q T " ' 5 I $ ; * 7(: 0

6 68 5 ' 68 IS ' L0 T" 5 ;
3&( 5&9 % 3 X

. 8 0 . 0 \S . 0 T 5 0 S . 0 \ ?T 8 0 5 =
&( 0'10 0( 6 5 0(' 1 * 6 6 : 5 5?

S Q T
1
' 6 & '7 : ;:* ]S T : 9 *'"&(
8 ' 7:15

. 0 \ 0 =

S Q ^ T
R
:"7: $ 0(' ;: ; 6 6 +5 0 ' 6= 1% =7 6 6 . 0 ?8 (

1 %5 #I =:" S T S \ ?T 17 5 = " 0'

6 6&( 00( 8

D3 ; 12; ; 3 / ,

5 0 J#" '
&3 >( % 5 6= ' S
E I

6 6 : %9G 0( M &( % 5 0 =7#:1: 6 68 5 3 50(6 > 95 6

0 &S= 00 S S# 00( (7( U ^ T

Ô
;

"
!

I 5 0 ' 0 *'"&( 1 # '0( 5 %55 &( ; &( :
;:1 % 5 ' 5 * 6 '6 ' %3$ * 6 %3 50(6 7# X % 0('*
;' 0'
6 '
Z
: 7= " 6 : " ' $; 6 % X 50(6 6 &(6 W
6 * 6 6 ' ": ; 1 :: 6 6 " ' 6 : 2; 10( 4
%#J
5 6 %5 6 1 : '&0 &6 #

> 8 5
% 65 1 6 " * '6 1 # :1 2' 0' ; 0( 8
/ :
. / 0+
) ) + - ,
:;/ ,
5 . / : 6 &6 %9 1 : 2 : 0 ; '
0 % ' ' 5
; 90 &(6 < " $>9$6 %0 ' :
0 :1 % " ' 68 : 29 ' 3 5 00 % &6 $: 3
3
; :190 &6 * ' 9 9 X*0( % 0 7# 0( 6 D % ' ^ :5
5 4 6 % :1 2 %:
# !

">
0 &6 : ' : $
&6 * 6 ' 5 0( I
&
: 25 # * 1" 8 5 ' &(6 ' 7 0( &( 2
% :
9 3 " " ' (5W"$ 5 * =7= :H H / , &( "
&; 6 '
; & H H / 0( 9
;0( 9
S IS T BS T T T
*&(55 ' $& '*'6 * ' ' " E 5 "6 %;5
S
' @ 7
C' @ 7C' =7F< (7 U Q ' 50( 6

K 6 % C' (7= U U

S T

S 9T
C'00( 5 5
# 5 L 5* 0 4; *5 ' & 0 G 0 G 4 7(
' # 0 6= : 2; ' 0(' 0 1
" 5 5 '
6 6 $
S 9T
" 5 $ % 6" * 5
% 6( >%' ^
K
>(* *0( 55 ' 0 G 0 G 4 8 5 L '

% 6 5
6 %
66
D %' 5^ ?1J
5
6 % 5
^]
^

D

'*'6 " # ' ' 1

" 2; # 1 0 "0( *5 ' ?
S 9T S T
0 G 0 G 4 8 0
0 G G I
S^ T
: PG 8 ' "S ' ' 6 6 P ] T

" 6 ;&( :1 :; ' *0 6 ;&(* (?
S 0 G 0 G 49T S 0 G 0 G 49=T \ S 0 G 0 G 4*\ T = S^ T
I ; : 29 6 3 =7( 6 3&( :1 9 :3 ' ; : 23' 0'
S 0 G 0 G 49T S 0 G 0 G 49=T \ S 0 G 0 G 4*\ T = S^ Q T
'6 &( ?
I 8 : 23 6 $ =7

S 49T &( : $ : '

0 ' ; ; 0
:1 2(?
S 49T S 0 G 0 G 49=T \ S 0 G 0 G 4"\ T S 0 G 0 G 49T =
S ^ OT
6 % '6 * 5:1 % 8 :1 2 S 49T 7(&( $$ % S 49T

S 49T S 49T S 0 G S 490 T G 49T

&* (?

S^ ] T
: 1 *6 %5
&,! ' ,+!"7
I * 0( &(6 3 *0 % 5 3 6 ' *0( 7 6 6
:1 2 *&(
0 ' * 8 1 0 6 6 *&( :1 8 6
1 '=8
* 00
* % ' =?

I =">(
1 # 7 6 6 1 ' 6 6 *&(
X ' (1
:
*0( 5
6 (?
S 9T
0 0 G 0 G 4 S T
^
S T

*JS(4 5 : ; 6 6 6 6 4 6 % Y 2 FHK =7=

5 00 X
0 % %5: ;: 6 6&(* ' ; * X
=
S 9T

I
0( 5 ' 0 G 0 G 4 5 5 ' 6 90 (78 % 5:
0( 6 6 0 ;&( 6 '6 =7 ' %5
:1 2
&(6 "I 1 5 ' &( =7 :1 % " 6 6
' ; * ; 8 * % *% ?
S 9T S S 9T 9T S 9S 9T T
4 4
0G 0G4 4
4 S T
^^
S S T

T
: ;&( %
16 % #Y3 &( Y9 &( 7 = # ' " 51 8%
& 6 % * 6 9C % 9Y C % $F Y 7 5 00(6 3

%
& 5 0 *5 ' ' %0

D;

^^
Q 8 00 5 * 0# 6 6 1 = "'
( &( :1 5 0 5
' 0( 5 ' = X0 * " ' 5^ Q1C'00( 8 # 10(
5 ' = "&( =#G1 6 # 8 '6 # 5 %
7 = '
0( " 8&( 1 :
1 X0( =7 6 6
8 *&( :
1W"5
* =7 5 0( 5 7 $ 68 3
;&( 0( 6 $

9 ; X06 $ 9 *0( &6 3 ' % 6 % 0( $
&( > 6 8 6 6 #S( % " =: 5 = 6 " 6 4 4 #6 %

' ;&;0( 6 %
;: ;&(

6 $ %5 ; '
M
6 6 7 * 6 % 6 # 5
#0( &6

'0= ; 0 & & 6
9 & "
; 6 ' 9 &( 2($E$ 5
; 6 %
S T
*& ;6 24 '0$ &6 " 0 8 * 00 %5
;
@ ; 6 7= U Q
N1 &6 "
;6 ;: 6= $ &( : ;
S T
8 (8I 1 5&( 6 "0( &6 5'
"0 5 00( %" H 1
$0 & & 6 M"'6 6 0 6 6 M"'6 6 0 6 6 7( P
0 *:1 %
1 % 6 56
: 2(8I ; 5 X * 00 @ ; 6 &( (
B! ))+ !+

:
& $ ,+*! &,

]S T
@ 7*C' @ $ 6 75 U Q 9 5'6 5 $6 %
;96 % % : ; ; ; " X 506 0 &

OS T
&( & @ 5 X0(6 1 " 0( " # 6 * 0(' 4 ' 0(' 00 % ;' 1
6 ' ; & 2 5 5 % 6 9 ' *
6 % 6 :1 2
T
' 0' # 5 8I 1&( ; :
' 5 6 %* 6 %
$S
S
*0(6 5 %; 3 4 6 7( 5 6# 00 X $ 0 % %5 $
0 6 6 7 $ * 6 6 6 ' 0 % % Y3 &( 7= P

&( &(' 6 %;&6 2* 3 @ 9 : 2 ) )
+ + / / / 1. / :;/ , "CN
T IS T
?S
: ;' * 5
6 &( :1 0(' ' 0('
T IS T
0 + /) + + 1. / :;/ , GN : 96 $% ; *0 $ ' ' :

0' 5 D % ' ^
" X 6= 5 % 6 $&(*% $&$; 0( 6
S T
X 50(6 6 6 5 #*5 &( 6 &( # 1&(" 5 H D
X 506 7 6# 00(6 7: * * 1; L '6 $ 0

# 6= 0( 7 5 % ;&(?
P :
* 7 Û S T
#; ##; 'P A A >#?"C @BG C ?#@ A @@< ?"
ST
I $ 5 6 5 5"CN% & ' 0('
6 '+. 8 ; PG <
' $ 3 0(' *
5 68 0(' 1 "CN 7( 6
; ' 0 9
5 0 7 " :1 &%6 $: ' H = * 0(' 7 : " X 0 ; "& 0(' *
5 6= &' (?

S T ST =
5 8 28 = 1
2 2 8 =\ 2 S T^

" ' =6H
5 6 ' ;
ST ST
. 8 7. 8 P 5 8
: P7 S T S ^ PT
Û

D

reinforcement reinforcement
detector
1 1
ACE
1
internal
reinforcement
1 1

.
decoder 1
ASE system
state vector

! ! "#( " !% - & ! ! % !
ST ST S T
D ;'0= %3 3:1 % 7
Z
&& 0($ *6 %9 '6 $ ;' = Z
:1 7
3'0= 3
:1 % *: " 5 8 % 6 8 = * 6 % &( 6 2 # >( 5 * 10 '
. 8 2 8 1 8 0' ' 0(' ?
S T S T S T S T 1
2 8=\ 71
2 8 =\ 8 2 8 S T
^
:
56 %5
" 6 % & 6 2" % &
S T S T OS T S T S T 2 8#\ 2 8 =\ . 8 2 8 S T
^
:
; 9 ; ; 6 % &( 6 ;
6 % &( 6 3 *$ 5 5 5 2; * % 9
% 6 1 5 0('
5' ' 3; ; "' 0'
'
6 " 5* 5
S T DS T % 8 # " X0 ^ # #
% 16 % 6 ">(=06 : *
S T
X 6= 5
% 6 #I 8 7' ' 6 6 ''
+ , / , .= 5
S T % 6 8 1% ;& *
GN
7
' =
QS T
S T =
@ $ 9 @ 3F (71 U ] 0 % ; *
) + ,- . /
& $ ' 0('5' * 9$ *
. + ,(/ . 23+ ,A0/ 8/ ,A0/ ,
0 =I 61 0 0(6 7(
0'" ; * =4 5 6 " 3I 9 3 & 36
0(
#0 7 $ ' (7: 1 " % " 8 #
GS 9T GS T
0' &6 + 5 9$'*&( "
6
; 3 5 0(' * 0 9
'*& *
' * '&( 0 &( X # 6 6 3& @ $
; 0('" 9
6 ;&(5 5 '&( 0 * " 5 5

5 5 0('
* 5&( ; 6 '
S T
7: ;6 ;* 6 5
' 6( 7 %5: '& 0( * ' 6 ; (8I
&( $ : A" B F K" 78
" 4 0 ' $ 1 0('" 0 7
6 4 % % ' (7=&( 395 " &( 3 3 0 7# '6 " 9;&(
0
L #; ##; CD@AE G C #? @ ?"< C G C ?
S T

0
G1 N16 5
GN
7 6 ' 5 :1 2 = =&( 6 6
5 # &( *
S T
^ 1 % 6 1 50( 6 ( ( : ' 0
9S T S T 2S T 2S T =
; 5 ;&
'
%5 *GN
?
8 8 =\ 8 8

S T
^ Q

D; ^
2S 8 T
506 5 ;
: % "1 2 *GN ' ;
2S 8 T71

0 S ^ O9T
8 3 /4$ " 58 7= $& 0 5
5 ' 3 "6 $&3 ' %
&1 2
% 6 4 '6 :
% 6 *% ;& 8 ? S T
S T S T S T = 1 2 8 8 1 2 8 S T ^ ]
S T
9 *6 %50 5 *1 2 8 1 1 ' 2 ?
S T S T OS .T S T =
1 2 8
1 2 8 =\
2 8 S T ^

#
6 :
4 0 (>(6 = #55 '7 '% : " # % " " ' 3
: 6 " &3; 5
X0( 6 6 ; * 3; X0 =
S T S T
I 8 0( 7 5 # 5
'6 $ %
6 ' 6 ' 7:
$ % 8 * *3 9
8 &( 9 5 + , / , . S T
/ + ,
/ :;/ , % 6
# #; ##; # J'@ ?@ < G E > F @ A A G @
* X 50(6 = ' 5" # 4 0( 6
& 6 %"
>%' ^ Q 1Z
7" !S T
66 66 5*0'0 6 * 6 6 = %; = ' $:
>X 5 %0( '6 6 :3 7#5:' 0 % 9
%
" 5* 6 1
*5 6= ' * &6 ?

"0( #
" 2(7
99 5 % 6 " # "0(6 ": ; " 6 7

6 7
99 5 % 6 " 6 ; # "0(6
D ' 5 783 5 0 5 5 0( 3 0( 6 6 % 7 7 5
9&( : 2 % ;&( :1 ;0(6 9 78
61 % ' 71 ; '; 3%
$ $ 0( $ *0 9
& # * 6 6 : % ' ; 6 ?
= =
=#? "P UG O 7
9?8PG * G G * 7
=
Q =#? "P ]G 7
O 9? "] PG

= 6 =1Q
1
1Q
Q % 0( % " 6 6 *& (
6

; 5 ' 0('5 * 4 5 68 3 % 5 5 % 61 *0
: 3 ; ; 5% * '*
; &6 5 % ?*: O7 O7 9 L
9 1
* 0 ; 6 * "0 &6 &('"^ ]6 % 0( = =
UP

D

D ! % !

x

* , *',! , , % )+! &,!

& ; 0 6 6 "% 61 5 3 * $ 0 ;0 >
0 "5 ' W '" 5>(; ' ' " 6= : >("
B S S T T

0 6 610( 6 9 *K
!8 % % K! #
;5 9 "&( 9 9 ;0 06

" 0 6 71 *'6 & @ 6 6 @ 6 6 =7 ]^ ?
' #
0

0(6 8 ( 0
6
8C 6

%

'
#"&
2 :
@ 6 86 * 5
' 6 6 5 66 : 0 6 % %
% #

$

#
#

!
'53 $ 0( 95 ' S 0 G 0 G 49T = 0 S G G I T: &( %

55 7( ;&(* (1
5 5' = $&(* &;
@ 6 6 ; ' 8K!#(
" '
* 5 DS Y *F V =7( T ?

S 0 G 0 G 49T S 0 G 0 G 4*\ =T \ S 0 G 0 G 49T G S^ ^ T
= =
= S T S T =
S ^ UT
= =

5 % 3 "> % 5 0 6 68 " " 6 % ' S ^ ^ T S ^ U
T
: 0 3&(5 ="
3&( 5 3& 2:
7= % * = *
* ' 4

5 5 $&(' R*78 35 61: * '5 9 3&( X 0

; * 5
*5 6(
0 " * 6 &( :1 $ ' 5
'6 %* 7 6= ' &( #I ;0 75 6 '
*0( 55 ' '6 &(5 > $ 3 ' 1 ' ' "
X0 &
' 3^

;&(* ; 6
6 6(R 506 " 8I ;
; 6(: 6 % "
> ;R*7
J 5 6 %50
6 ' ;
*0 &6 3 &( *: ' 5' *
"5 6 = " 5 5 8JS$ 1 6 6 ' 0 4
T S
% % ' @ 7#C' (7=FHY 2 78 P 7 C' =7 @ 7#FHY 6 (7# 7 Y3 4 TS S TS
T
& 7
5 6 3 6 J
S=4 '; 9K! 4 6 % Y 2 FLK =7
S 9T S

5& ; 4 6 % $ ;= ; ' =7 7( * 3 7=:
' 'H # ' ' 0 G 0 G 4 * 5 4 6 % 5

.T
HY 2 D 7 5 : ' $ ?
S 9T S
0 G 0 G 4 0 G 0 G 4*\ \ 0 G 0 G 4
= T S 9T
^ S T

0 6 6 '6 &( X0 5 8 & % 1 5 0 6 6
0
0 % ' $^

# 5' 1'0= ; 5" 0 4
\ " %5 ' ^ ]8

D
O

U
50( 6( S 49T&( :1 ' ; X0( ;0( *
% $' =?
S 49T S 0 G 0 G 4"\ $T \ S 0 G 0 G 49T S 0 G 0 G 49T

0 6 @ 6 6 5 ' S Y9 2 1F K =7( T ?$S #T 8 506 5 5 1"6 24 '0
Y9 2

:;
" ' % ' 5*0 4 0( > * '
&(6 S T
6 %;0 5 5' % ; S QT 6 68 ' &(5

)
6 6=
U

D

UQ
> @

3 50( " ;

006 $ ' 68 : 2* * $ > 6 3 &( ' 6 6 7(
:1 2# % * " # 0'6 7 : * = 5 # 50( =
' 6
&( 7# 3% 0 & 78& 9 3 006 * 6 '5 %3
0 4 0(6 %* 1 ' 5 ' &(
6
I 9 &( 7# ; * 2 6 * 2 %35 5 5 0( " 5 $

" ' 7 6 =70 &6 1 &(* %' G1 %7= U ? S T
6 5/ "9 0 Y 3 , : 8 - 3 ; ' *A* 8Y ;# (
" *5 ' ": " 0( " =87 5 6 * :7 '6 = % ( 7

$ 6 6= %
"
8 *0( ; &6
$& 0 &(6 5 '
5 6 0'6 5 # 1

0+ ,/ : + ) 8
8 # % 5 60 &6
56 6 07'% %*$ " 0(
; ;% 6 7 * ; :
# ; "2 4 ( 0 " &S 6 1T # 5*0' * 0( '"6 0( 8C 0( > 4

$
; # " 6( 5" 6 " *& " 5D S *>%' *U T
4
3 tool frame
1
base frame

% D ! % !
* , ; Y 3 , 8 - 3 ;
10 &(6 0( $ 6 6 : ?8% *0(

4 1 0'6 7 6 '6
6 60( &(6 8 1 %6 #: '6 5&(
'

5 8% 0( =8
1 1" ' 5 60 &(6 H 5 0 6'
8 0'6

5 *2 0 &6 L " 50(6 * * : @ ' *2
' 8 6 7 1 6 ' 1 1 6 : 1 1 0( &(6 6 5 #6 7
' # X " 8 6 ' (7 1*'6 0(6 " 6 ' 7
C 6 %5 0 &6
6 ' 5 5
&( 6#
U]
U

5 , 9(8 #I3 ; K 1 5 ;6 ; 9 *>* 6 * 0( ' 6' 1 H 7%6 ' %9
/ ) 4 '
6 ' 7

> 6 6 6 * ; 0#7 50(6 X

# '" '
*'
&(* 006 ;&
'
I $

6 *% 5 6=0 0( 2
5' (7&(' 6
0 6=0 0(
1 5 &( * 2 9 ' # 2 * 5 5: %
?S T GS T

; &( 7#: " ; ' 3 % ; 5 9
3

' 1 : X 0 &6 1 "2 0 &6

&( H 1 5 5 #I 8 0(# 5 6 % 6 0( 8 6 * ; 8
S %10 '0( 7 0( =7 6 .T

I &( *% &5 9 & 5 9 ; % &'" ;2 * 3
*
&( ' ;: % 5
; & " $&( 9 $ ;:1 % *
; 5:
&(

5 7 2 % " 6 *:1 % % * $ 6 6 T S
- / [ , - 3 / , =5 ;; 0'6 < 5 5 $ 5 (7 6 6

*' 1&("5 ; *5 5 ; ' # 5 8N8X 6 : 50( '

5 ; ' "0 &(6 H /

2-/ ,/ +
,(
T S
I *> " 8 0 :*: 6 6= ' *0 &(6
$: *0( %
; 4 3 ( 78 0 %$ ; 2 * *& 9:
C 9U ' " :1 23 6 6 %; ; ; &( *
D 6 6 7 U Q; &( ' 6( :1 2 5 &( 6 &( 6
&
, : = #! ) ! &, ,

> 6% 6 * &( 1 0('6 6 # 5
0( % ( 5 1 4

1 *&(
&6
7 % 7 0( 2'0; 5 & #Y 5 ' &( 1 1 ' ' =7
2 6 6 50(6 7 6 %5 " 6 6 : % 0 ?
% " 6 $ &( ; &( ;10 6 6 7(: 3
0( ; 6 :
5 3 5 7 5 : 9'*&( 5 >X 5 ;
1: &( " : 2 7 H " % " 5" 0( 5 =
& ;
5 7 ;0( 50 4 "
IS $S

: 50
5 6 &( '00(6 "&*
' ' 7 6 '6 8 % 6
T
* % 7 * "2 1

5 6 6 50(6 0 &(6
T
S
Q5 * * 6 6 " *% 00( T

" 5 ;0(
Q5 ' ; U
M
00( 6( * 6(
6 6 7&':": 6 6(
';
* , /: 8 ,.- / , 12 : , - / Y(;
C9
$0 6 6 506 ; 9 6 :
% 3 ' 7#: 3 6 ' 68 : 2

9 ; 006 & 6 1 &( 5Y
?S 6 5 8 ' 5 6 &( 1 7 ' 5 6 # (
8 04
'6 5
: '2 :0( 5 : * &(" * )
& ' ( * 6 6#: 3 ' 5 6 " * %;0( ' 3 3 ; *' T S
T S T
& 6 & =6 7# ": ' ( * :1 4 4 9: 95 61
$
5 ' 5 6 & 0( 5 ; = D 6 6 78 $ 6 05
5 506 X 0 6#5 6 6 :
%$ 3' 5 5 X &(6 7=6 DS
T
% 8 &(
7&( ; ; 5 5 $
;
U^

#; '; ' 6! @ @"< @#< > 3>G ?">>< C'C DD@BG C >D C A F'D'?:G C >D @AEDE'< >6'C @BG C >D
"

" : '1 $ *: 2 & ;&;5>X 5 7 * &(
% ": 5 ' 6=0( $ 1 5 0'

1
* ' 6( *' * % " : 6 6(
" " ' 6(0( ; #
4 (

* ' 6 6 6 S
T
6 6
%
0(
" &( ?

* % "0(

S G T= S U T

6 6 S
T ? S G T =
Y3 50 " * ' 6 6 % : ; " 0 6 % &5> '0(

2 16 % ; 2 * % 5 ' 0(' 6 " '%

S U T

* " :1;0 &6
: ; %
? ST S T
S T

% %96 %3 50(6 ": : 9 U 9
* * 5 6 7
' '6 006
8 8 '2 :5 ' ==I =7 = 6 4 '0(
1' '0( *6 %" # ' =8C 5 X 506 # * 6 #0 &6 % 5&( 6 :
T ST S
' 6 $ % : 6 0 0( % %$ 5
"0(6 "< ; 6 &( 6 6 &(7=6 ;6 ' 6#%$ :15 0( 296 ';Y 9 ; 5'0 6 ' 6 6
0 " 5: 6 0' 0( *: $ &( " "
" 6 $;
# 0( 6 (7 &('
8 "0 &6 " 0(' 0 " 1 #5 % ; 5 6 7
* 50(6
* 6 ; &' =
Y33: 6 6 ' 9 ' 5 6 6 ( 00 ; ' 6" : 2 &( 4
0( %8I $ 8 5 00 7( 6 ' ;: 6 6(&(" ' &( *6 %
506 "% $ " ' ; 0 =
NGM2M2 / B) ?6 0(Z / 9 0 , - / Y(;

Y ' %3$ 4 : 6 6 %$ $ 0'6 783 6 4 '0( 96 %
*' &(*' (
T
W* ' &( ; 0( &!1 6 7C ;[1 5' !1 6 7(C 7F
[1 5' 7 U U $Z
7# : 2(7#: 9 3 $ :1 4 5 680( %
S
" &( 76 &; X0( 5 (1
*5
*0 0( =?
,A0+ / 8. / ,+ ,-
I 9 "6 %7#3G 3 % *0( 3:1 6 * % =7# % 7
&3; :1 5 "6 2 % * 3 & 5

% "0( *
9 :1 2(7=:
% % 6 3
9 0'6 5 ; 0( 7 5
; :H0(
4 ( 5 3: 6
%
0('8 * " :1 2(7 '6 %5 1
" : 2; 8 ; '
S *>%' *U T
Z
:1 7 8 # #%'
" 6 6
D X 50(6 7 * :1 2 $ 6 " 6 ' $ 0
6 6
; % 6 7
* 00 % T S

/ ,(/ .=. / ,+ ,-

$5 *&( 6 6 9 *' 6 2 '0( 6 %7#&(' ; 06 5 0'
*' "&(50 3&$ ;'
' :1 2 6 3

' 1 5 3 0(
$ 0(6 0( &( 6
1 5 :1 2(5G1
* 0( *50 &(6
UU

x Neural θ x’
Plant
Network
ε1
Neural
θ’ Network

) !% - ! B" D ! - %
! ! &# '- )6 ! &D() !
% #$A ! ! " &D )- ! ! " " ) * '!
Q 8/ + . + ) / 0. / ,+ ,-
A 0 3 5 ;% 61
; %
:1 2 " 3 5 ;
*' 0'
8 506 ? Y3 3 6 ; $ 5 :1 2& &( 20 0 % %
9T "S
'% *06 50 * : *& 20 0( % $ 8 * " $G 04
O "

5 $ '
2 :6 % * 8 5V & $ X 8 *0(6
HV &(
GS T
X$
5'6 5 6= ' "$ X$ 10( 68 7= 7=
*'6 5 6 # * D X 50(6 7 =:* 7 7
SS == == == TT
. G G G G
. G G G G

S === T
=.
= G G G

. 8\ \O= = = \ G
. 8\ \O= = = \

G

= .
= 1\ = \Q= = = \ =

= S U Q T
(S T

N U Q

6 :

S T S U OT
: 8 "V &( ; X5 1C 7 "V &( ; X &(' 6 '6

% 5 ; " ' ;: 0( 5 %
R
:*7 ; *:15
2
92 S T U ]
: S T I 9 6 5 * ;06 "' 0'" 5 0('
;6 %; '6 ; 006

% 1 0(6 ; 6 ;'5 >( &(6
6 5 " ' 6 : 2(1

;
U
x Neural θ x’
Plant
Network

D ! )" % )*%
61 "0 0( % & 2 '% 9 ;0(6 5& 6 '6 %$ 2
2S T
O O ?
2 6 S 5 2 T 8 9 S 2 T G

G
: 4 I" " 5 5' 0' 50(6 *Y 3 06 * " 9'2 :$ ' (7
&(" 00 X ;&

ST S
9 2 \ "1 9 2 1
:2 T ST U S T
:
:25 "' 3 % ; 6 9 2 $ ;
00 X
&(5 ' ;& 6 % 6 % %* " 0'8 5 06 ;5 ' %" %
' 0('
T S
5 : " 6 00 3 2 3 A" B 7=A 7(F M (7# P C % "F A B 7

% 9 :1 4 6 $ 4 :
: 2 : & 24 0 0( % = Z
:1 7
T S
$ 6 '6 %$ $' 0'" 5 0' 5: 3 '6 3 2 3
' ; 8* 'X 0 ' 8%5 ' 0(
'
8 ' =7 5&( 24 0 0 % ; 1 006 5 * 8 : 0('8

>%' 5' 8 ="5 '6 1 0('6 8: 5 8 *% 0 & 8K"'
T S
; 5 " " 5 ' 9 $ 1 5 &( 7( 5 23 $5
' $ " 5 & * " 5 1 % 3 " 550 $ 3;6
S
6 7(&( 6 % 6 6 0( L
0 0( C % 7=A B 7(F M
=7# :
' 6 :
4 > 6 ; 1' ' "5 '6 5 = " 7 ' ; " 5
# " & $
&("2 :$ 5 " *
W* 0$ :
* % # " 6 6 : %5 0( ?
GT
5 ' * 5 L ' 0( $ * % "0( 3 5 ; (7

' 5 " 7( % *: $ ' " 1 5 &( 7= * 0(' " ; ' 6
: 2(1
* : 2 %

06 5

Q * 0'6

O % 5 ' $ 3 $ ' 0( $ % ;0( 5
=7
] 6 '6 " 55 "&; 5 0'6 ; ' 6= =7 7:
" $ X; # * 5 ; % ": ; 0(
"> 5 ; %

P

"S

$ *6 %50( G 1 * : 2( T
S

5 ; : 6 &( ' 6 5 " 7 9&(
T
0 $ % ; 9 ; $ 0'6 C % F A" B 7" 5C % 7"M
=7
F
A B 7= Q
@ $' %; 4 :
3 :1 2(7( 6 &(6 56 % 50(6 00 X $&$; % 6 7
* $ ' %; ; ' 1 %5 ' 5 $ 3 $O7=
4 :
3 : 2$: 56 " % 5 $' 0( &(6 * 1 0 %;0 6 6 $
' = @ ' :L $ 0 61: % >( ; 5 9 & 5 0 6
0
N8X0( 5 9 : 7 6 '% 9 &6 $ 0 &(
& $ $ 0( ; 8 5 7( $ ' 5 0 8 * ' %

6 %$ 50(6 * " * &(6 5 X 5 6 9 '6 V 9 6 7 O 3
;
%6 &( 6 # * 00 X & ;: * 4 :
:1 2;:
GS T
%5 $' ? $: % " $ 5 :1 23 ;- .
5 .8 "$ *>( 6# 00 X
1 & =
@ ' 6 %6 6 0 8 = 1 & '=: *' ?= "0( #
: 25 = 0( &(6
6 6= '&( 0 " 8 " 6# 0'
0 1
' ' $ & $6 6 6 A" 0$I "C 6 6
T
FHC 50(6 8

1 0( 6 6 ; & : A" :1 2(
S
NGM2M2 / 5 / M /: /[ Q / , ; 23 , [ 89M2;
J
7E3 7
C '6 BS J
7E$ 7
F C '6 (7" U T &( 3' $ *

A 4 6 2 : 23 " &( 6 5Y3: 6 6# 6 3 &(5 2 0( 7= *
*5 %; % :
=
S # " 4 ( " 6 ' .#T : % &$ &
Q K4 0

5 L &( ;&$J
*/ . 15 &( 0('6
: 5 %

H 1 &( ;&5 :5>X 5 : 5' 0'1 S G .T 1 = &

; * IS ">% ' *U OT

( ! &# '- -! ! ! " ! &D-
N1 ; ' # :;5 5 1I ; "% 5 7 * &( $6 ; # " &
S T
" ' 4 50( 1 1 0('1 5 " : 2(11: 5 *A ; :1 2(7 " '
45#:
;
% '
7 : 5 6 ' * %
6 5 " Q$4
5: 7 &(66 ' *7 1 : 0(%
5 5 0 * :

'& % = Q K :1 2 0
(
&( 7 7 ' 66 80+ ) / / / / ) / , +
,

# *: 2 0(
Y 3 ' $ $V & $ X
5 =
K"' %
% "5 0 $ 5 &( ": 3 2 " "5 7= '6 % $ 6
4 = * " ; $ :1 2 %$ 0( 78 9 685

5: 3 0( 1 5&( :1 3 ' 3 $ 5 & * $ 0( 0
6 6= 06 5 3G $ 0( 5
6 3 % 6 % 5' % V &(

0 ?
0 \
0 0 S T U ^
: ; *> 4
# 6
X0 1
>( 6 6 1 = 4 (

S T

>(*5 5 *
S( %;0 * " 6 6 : ?": 9 9 50 $ G
&( 3 '(7( 6 4
6 :
% 0
*
. .(,(/ H
,)3?
S T
2 2 \ 2S 8 T 2 0 S 8 T 2 G
S G T 2 !S G T 2 \ S 8 T 2 0 S 8 T S G T 2 S G T 2 =

I 2 0 S 8 T 2 0 S 8 T 2 0 7 ; 6 0( 0 6 % Z
7 : 3A

6 %" '6 7*

' ; 1' ; ' 2 0 S 8 T8 2 0 S 8 8T "M" ' 1 0( %

* "&( : $ ' 3; 4;: X 5' *3 4 S 2S T T
50 ; DS G T 1 & 6 6 :

0 \ 0 S T G S U U T

0 \ 0 S 0 \ T S T S U T
0 \S 0 T =

I ; 2S U UT 7 "> 6( $G 0( * 6 ; ; ; 0 "

*'6 06 $& 0
" 5 " 9 0 ' ; ; 50 9
S I *0( SU T 7 7 87 T % * 6 = 4 '1

>5 5 7 0 S 0 T 7 7 6 % 6 ' %">(5 5 1
'

(S U T ;&( % ; 4 ; '6
= Y :
4 Z
$ 0(
V &( *

I 1 00( # 1 17 P P P* =

00 8&( ' 7 * 1
Q P7 P P P6 % 0(
; :1 $ 0
& &$!
+,
Y 6 " 4 ( "0( %5 ; T &( 3 50( 0 &6 6 7
" &( 6 #: 6 6( 5 *: '
6( 8 6 *&

% (7 ' 6(: ; 4 0 6 6 80( &6
6 : ' *5 6
1 &( # 6 &6 7 " 8 &( # = # ' 0 &6 8
: 4 4 8
( ' 5
6 ; 5 ' 4 ; &(
"' ; ; @ ' * 006 8 ' 6
:1 2
; > 6 % * ' 5
S
W* 1 5> " ' 6# : 2": 3 ' 9 3 % 6# ; &( "
: 0 $&9A" :
7 D ' '2 :7# 9C' ' 2 A* : 7 D ' '2 :7#*F C' '2 7# U^

&(5; ' 6# : 23: % *5 L $ 9
T
%6 8

6 ' " ;%
* # ' 6

$ :1 &(2 5 X 5 6 50(6 I 7
$ 3 4 :
:1 2(7&'5&
'6 6 % 5& ' 7 : 2 $&(* $ ;6 %;6 " '

>( % * 0 6# 5 6= 2(
I 7 *&(
' 5 ' $
' * 1 # 00 X #6 "&( * & = ' #
# 00
6
0 $ O ]

' ", U98 :3 ;D 8'1/(02:

:
; 1
" 0' 6 *' S 8 1T 7 : ; 1 % * " ;;&; 0 ' 6
* ' $& >% 44

7# 9 ; 4 *5 6 >%' ;U ]
*&( :1 8 "
$ * ' 6=5 6
S T S T S 8 T"
inverse dynamics
model
θd (t) T i (t) +
T (t) θ (t)
manipulator
Tf (t) +
K
%

) %
)* # &D !

+ -

9 ' 65 6 7: ; : >% ' 3U 7 ; * 30( 0 7
% # " 0('6 #
" 9 G 9 G 9 1 1 Q
6
'&( 8
" '6 % % 6 ":1 % $ $ '5 =7 ' ;
]S T

0 8 8 1 0 0 G
ST
4 G G Q G T
U P S S T
:
9 8 G9 8 G9 8 G
9 8 G9 8 G9 8 G SS SS TT SS TT SS TT TT
= =
; &6 5U
x (t)
1,1
f1
Σ Ti1 (t)
x 13,1 (t)
f13
x 1,2 (t)
g1 Σ Ti2 (t)
x 1,3 (t)
x 13,2 (t)
Σ Ti3 (t)
g13
x 13,3 (t)
θd1 (t)
θd2 (t) T1 (t)
θd3 (t) T2 (t)
T3 (t)

- %
! &# '- )* &# !
# ! A ! !
! 6 " ) " ! ! 6 % # ! ( ( ! )

! ! - ! ( ! " ! $

! ! ! &#* ! ! )

Q
. ( ` ` ,
|( ( ( |( ` ( ( ,
(
* ( ` k f e ( ( ,
( ` c m k ( ( c m k ( ,
) ( ` k f e | ( ( , ( , c m k ( ,
( ` c m k | ( ( , ( ` k f e( c m k (
+ ( ` k f e( k f e6| ( ( , ( ` k f e6| ( ( , c m k | ( ( ,
( ` ( k f e( c m k ( ( k f e( c m k | ( (
( ` ( k f e6| ( ( , c m k | ( ( , ( `` c m k ( k f e"| ( ( ,,

0
/ ( ` ( k f e( c m k | ( ( , ( k f e( ,
.x ( ` ( c m k ( k f e6| ( ( , ( k f e(
.. ( ` ( , k f e6| ( ( , c m k | ( ( , ( , ( , k f e, ( ,
.* ( ` ( , k f e( c m k | ( ( , (
. ( ` (,
# &(6 *U ?R
6
' ; *A* : 5 6
ST

" & 2 '
8 1 ;>% ' *U ]
S T S S T S T S TT S
0 8 0 9 0 8 9 0 8 = \ 0 8
S T S T
90 8 G 4 G GQ G

0 P '6 9 0 8 9 0 & *0(

T =
?S = 9= = 9T S = = 9= 9T

& 2% :1 50(' ] ^ G ^ O PG O G Q^ G U O

R
X 7 *:1 %
0' %5 * 6 5 '6
S T S T =
1 0 0 0 0 0 G 4 G G Q
8 S T U
95 ;0( * : 9>%' U ^ 3
P3 ' " 6 % ; &( 2
' " ; 6 $ ' 9 * ; * ' '6 6 36 3 =; 6 4
.S T
'% 5 " 006 50 ; (7 %": " 0(
0 ; 0 8 7 :

? ? *? ? Q
6 ; ' '6
θ1
π
−π
10 20 30 t/s

) ) ! ! ! " ! ! )6 % A! ! !

*' '6 1 ' 6= 6 %

5 & "
6= &( ' 7
T GS
: ;6 % $* ; % ' ' ; 506 5 6 6 7 * : ' ( D
X 506 78 61% '0( A" 9FLA" :
7 Z
6 (71C 2 71C % 71F<C '6 (7
O
0( 3:1 2$: 30( ' 5' '6 4 2 6 6= &( * 7(: $ '&&( " ' 4
06 % K*G95 8
8 50(6 X* = * 5 6 50( ' 0(
( 1 H 2 "'
= 4 0 6 % 1 50( &6 7 : ' 6 :1 2 ' =
O

& &$ $=*!

I ; "0 '

5* 00(6 1 1 ' 6= : 2
&(
:1 * ' =#I
S
* 9:1; '" 5 &( 6 5 &( @ 6 6 7# 68
&( 5 3 6
]S .T
35 & 6 ; &( * 6 ?5 6 6 6 > 506 530 =78 ;0(
5 G : 6 : 6" ' % 9
T
2
1 < $>( 6 6 $ * 6 6 " 2 5 1 ; 00 % L 4
0 1 1 5 5 ' % 6 8Z
:1 7 50 0 &6 8: ;5 & 6
&(
';5 : 0 4 06 %9 % : $ * $ :
X 506 : 6 6&("% (
#; #; 'P >#C'@F3D@A @C DD@?'C E @BG C >D

" #
GS T
V % V % =7 U ^ ( &( (
' 6 00 " =0( 4 0(6 %=J
&( =0 4 06 %
' &(" * : % 1

> 7 6 6 ;.
. (. ,,+ ,-; 6 8; 4
$ 6 &6 * ' :
0( 8 * &(
0(6 %
50( 7( 5
&6 * 6: 5 % 1 5
5 8 ' 6 7 & 6 (6 6 " #% 6 6
* ' ; 6 ' 3 3 6 5
% ' &( " $: * $ 3
( . , ,+ , -*7= $5: 5 3 1 6 4 0'; % %616 &( '6' 0 5 6 %6 &(%" 680( 26
: 6 8$ 0% 60( ; ' 1 0( 5% &(
0% 6 6 09- =.
075 . ' /6 ;
:1 2 8E3 %"2 :6 %
6 6 0( 6 "%6 &( 60( X4
1 1&( 5 ' 6 8 0( &(6 =7 0 0(6 % *& 5&( ; % ?
56 6# $ 6 $' ;% 5&( %'
: 5% 6 & 6( 5 "
(
V % * % # :1" ' # *: * ' 6 : 25 006 # *' ' '
% %5 5 D 7 ' 6( :1 2&("' ; ' : ;

% 1 ; 6 ; 00 X "% 6 & 6 ; '
& &(6 %6 &(
0 0( 1C 6 7
5 ' 6( :1 2;
'% ; &("' '6( ;0 ; 6 X ;0(6 %7
: * &(
' 0 *5 $ '
D ; $> 0 &(6 71 3 99'"&( ; *0( &(6 $ 0( "
5 ;
&( ":
"0( 9 3 % *0( " 3 9 U P *
:1 H 0( ( @ 7 1 ; * 0;:
8=*&(" &(6
0 " 0(" 3 ' 68 : 2(7= 09: " $ $Q 3Q % $ 6 5 7
: '6 &(;0 3 $Q 9Q 5 ' 6 : 2(
0(*
1: Z
0> 6 ; 0(" 8 :1 2(8I ; " 0( 6(0 7 " &(
:
S
'=7 * 8 5'2 :" =I 8 2 #
*: "
7 : *0 #
0( 6
0 * 1 0 >%' U U 1
= 0 5 6 50( *
: 2(7 :
: 6 6 %
&( #> %0 (#Y * # *% 6 & 6 0 4 06 5&(' (
T

1 '6 =: 5 0 5 * 10( 0( 1
# * ' % %#Y 5 :1 2* (Q
Q
' 7 6('*&( 1 =:1 %
P O ' (7: 5
$E$& # %
8 6 $ 5& 0( : % 5 "' =56 ; ; 0( $ 1 6 68 "6 :*?"V % 95 "
6 68 5; 5 ; :1 3 6
'* 9I @ E 8" 7=: 5' &( 9

&(
6 ;'
$ *'6 3 6 %;0( %L "0( 306 % * "0 % $&(
00 ($
;6 % '*&( * 6 %$ 6 P P P * " * 3 6 :H 5 68 5 7
: 3 5$ ' '6 &(&( & 3' *30( 6
> 6 00
IS T
"

$
]
A B C D E

! ! ! "! * ! ) ) ! ! %D " ! &
% % " B
%
L &
"#; ##; @BD'A >< 3D@A @C ?">DG < > F
; 6 8 * " 1& 6
&( 7 &(
0 '8 7
;5 &( 6 * &( 3&( 6 6 3 6 $' % * 5C' 3 3 00(6 3
&(
6 0( 5 G % 4 E$ 6 6 5&5=' 2 5!# 5 6 '(8
% 6 ( 1 : 2 # *
S T
6 6 %5": %" (8
:1 25 1 :15 0(
= 0' 8 "
1W"* Q 'P Q *>%' *U 10( X 6( % " 5 5' ; " # #
6 7=: 90 X 6 0( 3 0('*' "
; : 2(
0('* "
U Q 0 X 6= % " 6 % ">( 8
* $6 6 1 8' ; " % ">(
* 0
* " ; 0( %5 &

sharp left straight ahead sharp right

45 output
units
29 hidden
units
66
8x32 range finder

input retina
30x32 video input retina

D ! ! "#! ! &D '" ! ! % ) %

: 2*: = "&"0 % # 50(6 (: " # 0' =
: 8 " * %
2 ' $ ( ; : % % 6 6 % % L 7 P P I % ;: 30 =7

O P
5 = 5: 6 8 : % #:1
' 5' %
&( 24 0 0 % 50 06 =
'
=== DS T
66 % "50 5 '% :15 :123
(57( 5 %* 6 5 3G '% " E$6 9 6 6 5 *0' &(7''*]
2* '
(:
;6 % % 8
" 0( 6 5 : " % ; * 4 ' 6 6 %
' %*; 5 5* 6
6 '% ; * '6 : ' 6= 00 &("0( &(6 " 6 '
5
& 60 &6 7
6 6
'# % #I 5 5'6 # "'8 :56 &( 7
:1" '; " : 2
: X 50(6 : "0 ;&$ ' ; 0( 5
6 : &(6 ; 3>( 00 X 9
$ ' 9&( ' 3
* * $
' 5 0(
' 1
5 5 " : 2 0('8 5% %5 % 6
6 $ ;6 % 30 '6 *& 24 0 0( % : 25 * 0( * 9 ; ' ;
506 7= =7= 5 6 68 '0( %$5 7# 0( 3 &(' $ %
506

@

& B,!+% #! &,
I ; 0 :5 6 6 ' * 55 00(6 1 ' 6= : 2: 6=: ' 6= 4
*0 %=I 5
' 66 ' :>(* '% 6 * :1* 0( # (0 &6 ?=
5 6 6 %
=&( 6 % 6 ;
*' # > 6( ' 6 :1 2
" ==Y9": 6 6
'1 *6

30 % 6" 5 9 ; & &( '; 9 5 ;&
0 %"
1* '6 0(6 1 :1 4 5 6 # ( * 6 ' % 7 :
"0 8 1 5
* 1
&(" 1 (
' ?
S T
- % =?# 6 > ; # * 0'
;" 8'"&(
#0( &6 6
- % 5 * &( '= 5 7 : * # 50( = 8 ' 5 '#
- 50 ; # * % * % 5 (
S T
W
$ 9 5 ;&( : 6 : 6 6 5 6 " =7# 5 6 61
% 6 6( (880( 6=6 :
4 6 6( 0( 6 '" % ">6 %7 6 ; ' 5
6 '6 1$ % 6 6 %5 &( ' 7 ;:1 6 6
6 '6
% 6 6 5'6 * % $ 6 :
9 $5'6 "&( : % 6 62 :6 %
6
G1 50(' * 6 *$6 %$ 3
(71 9 6 % " 5 %
0 %* 50( % &( 6 0( (8

00( 1 *&(
: 50' 6
0 %8 6 0 ; 0( 6 6 6 ?#6 6 6 '6 ; % &( '
' 1G 6 '6 " 5 6 6 6 ; 5 1 $ % * * & ' 6 ;
6 5 06 ' *6 ' ;6 0( 6 6 6 8N;8&(X* 5 50(0(6 6 5 " >( 6
5 ; 4 % 5 :
$
: ; 2( 6 ; =8 " #

9> 3 &( $ 4 : :1 2$ 3 = C Q :3 : &( 24
0 0( % &(3' $ % 50 = I 9 59 =7 ; : ;
!G1 ' $ 6 6 $ ' " % 50 = D 6 6 7 O$ 3 ]; &("
% ; % 0 6 * % =7( 6 X 3 : 2 6 '6 %; 0

& ' 7! )' ,#!"&

6 ; 4 : $ : 2 *0( 0 $ ; * 6 ":1 * 6 6 ; % ;
&&( ' 60 6 > =I *0 0(6 1**'6 4 6 8 4 : : 2 8 &(6 *6 *
S
6 8 0(6 6( 0( 0 &6 (*7 E30( '
205 : * 1 6 7*&'0 &(6 5 5' 6 *5&(' 6
*' 8

^
U

T
R
; '6 6= $ 0(' 1
'$ 0( $ 6: 6 ' 0( $5 $ 0 '3* 0( 6 6 &( * % $ $ 0 & 6 $
6 % ; 6
: 6 $ 1 % ; 9 59 ; $0 &6 6 % ;
> 6( 0( : 7 % $C5 '6 7 % D
=7
S
5 8 ' '6 ' 6 5 006 "&(
6 4 % %
' =: * 4 :
' 7 '
X 506 " * % D '2' 7( U U 7( &( ; $ O

" % ;0( 1 * 00( %5 0('
5 ' 0'
5&6 $ ' '
T
3: 5 % $ % 6 506 X ' X =
6 : 6 * X
6 6 ' 1 ' ; "6
"0 '6 1 ; 5 " % 6 1 * X
5
% 6 &( 6( '
6 3 3 5 $0 &6 6 ? 3 5 6 30
6 ;1 0(0( '1 0( 8 = ; ": 6 ; 8 6 ; * 1 Z
6 :16 : 75 0( = 1C 4 6( :
5;0
:1 2
& &( 9 9 5$ *0 &(6 78 " $5 X 5& Y : Y :*7
T
Y 7F @ X 7# U U
6 $ ' ' " 8 6
S
&
+ : , ,,+!"7+ )'B &,
I $ % 50 5: ; ' * 5'"&( 8&(
' 5 "
5 % "Y3 3 ' 50( ' $ 1 5 % 6= ":1 3 0* 6 6
# 5 %

* 5 " 6 6 ;6 6 %; 56 ;6 %
I ; :": 6 6
6 %5 8 %
: ' 6( :1 2

& ;&( 50 3 " 5 =4 5 68 7 0( *
* % 7 5 4 5 6(
S T

= S T

" * % 1 7#; 5 3 7(: 3 2 ;; 4
' ; & 5*
8 *

* ' $ % 6( ' 6

$= S T

"
# 50 ' % * % &("% $
= Q S T

$ 4 &( : $ 5 6 3 5$ 5
5 6 9 $ ; 7
79&( 50 6 5
% * 3 ; % ;
& 0 &(6 L 50 9 "> %

'
$ " 50( *
0( &6 *: 3 0 &6 5 "
5 >
0 &(6 * 0( 1; * 00(6

' '# 1 8 6 6 ' * 1 5 " ' 5 8 * 6 8 '% *
& * 50 " #
1 * 50( 1 ( 8 5 0( = * % 5
*0( * 5 ' $ 3 D " X 506 7= 5 3% 36 68 $% 6 6
6 : ' 5 0( 8 ( % "
50( 7 ": '6
'
: 3 % 0 =5W
7=6 2 % $ ' 50( 7= ;*' 96 " 50( "
S S T T
$ &(
4 ( 5C 7 :* ($ :15 *' * : 5'* &( ; 1 6 5 : 7(': 5 0(' 6 6 #: %;
9 &( 9: 90 (7#: 6 : %3 ; : % 9 ' 50(
I :$: 6 6 % % $ ] ] 90 X 6 I ; ; 9& '
< : 6 % ; 6 $&3 ; :1 2(;
' "$ '% ; 5' *
'
@ ' * 5 6# 0 ; 0( # 5 % 5
'00( ; &(* 7:
#;

& 2; * % * $ P O&(6 2 8 *UU7: 6 % " '% 6(6 6( 6
0 6 6 '% *&( % =8

&6 2 5&( 0( 6 7
* (7#: ; ' 9
: 6 % 9&( ;& 9 9
'U U5&(6 2
' ; ##; 6@? 'E < > ED@ E B@ G C >D

50 " &( 3&( 0 9 * 4 6 5 ' 68 :1 2(5
0('
:1 2
5 5U 3U0( " $ ' 0' " 5 5U $U;0 " 0 3 $
0'' 8
0(" 1 : 2$ 6 6 ' 4

5 %: % 5 5 =78 % 7# : % "&( : 9 ;>
3 $6 $&(5 3 % X
$&( :1 3 5 3 $

' $ X

I '*&( "
3' " * 6 6 * 9 ;'*&( *
0' ' 0' "' 7# 54
0 1 & (7
: 1:* " %5 ; ' " * '% 6 6
GS T
ST S

6(1 5 : 6 ; 2 5 8 &( ;'6 % = ' 1&G1 6 6 G1 6 6 7E3' 7
T
F ( 0 7 U^ 1Z

' 8 0'8 5 ' 0('16 1 ( O " O5' # 5: 5 0 5
: 6 5 ; " 5
$6 7(: $ O$' 7:
6 > : 3
,/

;&5 # (* 6 '6 #I # 506 X : 2 # " 6 8 * 0('
L% ; ##; C D'@@ < D'@"G /4 >< A

I = (2 : ( = 8 0 6 (4 5 6 4 5 6
71 0 6 ; 5 6 : 5 % 0( &6 7# ' 6 *
S = T
; % $ 8 5* >
78 % 9 8 % 6 0( 3 % X % 6 '9 "C7# ;
G
G G

X %

===
I 9 9 Q ;6 " ' $: 3 6 $Z
&& 36 %; '6 5:
* &(6 5 $6
5 % " 1 6 3 X$ 1 0'
0( *
5 > 1 5 0 6
% $ &( 7 ' X 6 ; *!G :1 2:1* 5 &( (
C ;:* 3'03: 3; #O $ O :1 2(7:
5 $'"&( 1 $'
: '06 9 3 ; 61 C % 6 ' 5 ; %3 6 ' 7
: 3 5 ' 0('
1 $' 7 3' " 5 3 3 50( 5 "
GS
' =
T
C % C % 71 U "' 3 " 506 5 3 5 % 50 =5
5 * % ;
: ;>%' * 8I
] ' ] 5: U5& 0( X 6

%* * % ' 5 7 '1% %5O P O6 %*0 # *U U7
": % # * :1 2 % 5 5>% ' *

; ##; # =< C D'?"C ED@AF ?"> E >D'@"D#G A6@ A @
B@ G F'< @"A
I 0 " % ; 5 ; 786 2 786 7# " 7#
0 2
1 ' 1 5 % "
* X 3 1 ' 3 2 5 % 5' %
2;* % 6 6(5' 8I ( " % " 6 1 1& ; ' 8 ; 50(

" ' * 6
8 7 ;
D H ; % 50 5 :
0( 1 1:1'6 &( 1
' 1: 6 6
& 5 50( &(6 7 ' *&( ' ; $ >( 9 ' *:
5 5 '5 ' 6 9
5 %
C $ 2 6 8 8 " : &( 50 $5 6 ; X '

% $I 9 * * '; 5 * 6 3&(; 3>%8 3I 5 % 5 *&( 6
6 7&('
*
*:1 % % ?
PP

! " A! ! &D ' ) ) )- ! *U U-% ' D& " )! !
! &# '
ordering
of the neurons:
neuron neuron neuron

0 1 2
neuron neuron neuron

3 4 5
neuron neuron
(unused)
6 7

! ( "! ! &# ' ($ % &D ! 6 "! ! &D '*! ) *! 6! !
- *U<U( ! % & A & !
-% % " " ! % !
! ! % " ! &#
! D ' ) ! (% &D ! %
! % % &D !
- ' P?8 *5 ;% 6 6
- ' 3* $ ' ?8 ">
% 8 * %
D= = =
- ' Q ' ]?1 ;
# * %

' X &; *0 0 6 50(
:1 2$ " *% 8 * %
& , !,(,(, &, !&,

[8 8 8 0( (' '0( "6 %" = '5 *
- ,+
,(7 ' *& D '2'
"S T
6 " 1 ^ ] D '2' 7 ^ ] 8
( :1 2(7 : 0 " 006 = 0( " % =7
S T
: 1 50 ;
*6 % 5 0( 6 7 (7 6
'6 %
*,(/

-,+
, D '2' 7( U U 7: ;:1*: 6 6 '
'P
; ; @BA ?"< C E G C >D > G '@ ?"@F F A
DS T DS
G1 68 $ % 3 5 0(5 ' 3' ="Y Z
&&9 0( ' + 47= 7
: *' 9 ;0( 0 5 6 7# 5 %$:1 % 1'2 0 " 9 6 9
T

P
S S T (S T = = = TS T
%; % 6 . 2
% $ 3 68 0(' % (7 5 0( 5 ' & D '2'
&( 6 ' 6 ' = #:1 % 1 2 0 =6 5 1 #0(
0('#. 2 X *'
===
6 '& .:0 X . 0 ` G .:0 G G .:0 7: 4 G 4 G G 4 5 6 6 % &(' *4R

S T
* "6 %$ 5 50( 9' '0( (7= 9 ; 5; 0(
' 9 7
6 " % 7&( $' 50( 56 %; : 2 $
:1 6 6=

' '0( :1 2
D '2' " % ' #&( : / 9 +
2 0(' 8 ;+ ,
/+ 5 +
2$ 0' #

' 0'1 =
X 6 6 1% &
S 9T 4 76 \ 1 76 \ 1 G
\
1

S T
O
: 1 ( 8 X * 0'( 4 6 6 = 1 & 0('( 4 6 6 #
1
GS .T 6 P # :P 7 S T
'
]
S 9T S 9 T
Y * &( 0'

6 6 7 7A1 7 4 &(* 00 X & 4 1(7
IS
9T
: $ % : 5 5'6 " 686 6 6 5 : 3 6

Y ;&( ; * X $ & ; 0(' * ;0 0( (7 7
G 1 S T
S T
7 2S T
(7 ; O &(" 5
S T S T I 1\ \9 6 %
(S .T S T ^
7 ' %5 '
;>% '

; ; L #& G < F'?:G F'< @ > &G '@ ?">ED'C G < >D

&( ' ' " # %
0 ;>% ' " Q
U l-1 Ul
ul ( n)
al (v,n )
ul-1 (n+v )
cl-1 (v) ul (n’ )

b (n)
l
vl-1 (n )
D ! ! "#! !

% ; **'6 4 6 ; ' ' 8
4 ;6 1 = X ; '
ST ST ]S T
1 ; & ' 7: G 8 " : 4 5 66 = 6 6
` b o b;m p o9e m j g j f m e g h"k i k j b z q g f h k %$$b;g l d b o b;j m p } p k d f z g
k*k i z n m h k
P

S ST T
6 6 = 1 0' # *5 >( &(6 G # H ' \ #
ST

< '
7=: " 3 &(6 ; =
;
4
S T S S (T
.T S (T SS (TT
8 # * ' ( D ' 5 7 $ & 6 6
1 0(' 1 *>X ; X

% &(' % 6 6
\ 7# $ 6 $' 0' ' 6# $
:1 % 0 '
?

8

9\ ST S (T S .T = U S T
S 2T
:
* ">X (

?S
I &(* : "% : % 8 5 0 75 > 8 : % T
' * 7 X ' $ 6 6 6 % 0( 78 X 0(
% :
; 5 & ; 0 7 ; "
M - 3 [ 3 / ,
D
6 6= ; 36 &( &( &(6 5 ;*'
&(" &6 (1
6 9 5; * $>% ' O3 *' =?* ' 3 96 " 3$ 6 6# %

U0 U0" U1 U1" U2

! ( !
I # % 1 ' " 6 6(6 75 ;6 % *'"&(
16
" *: 6 * 0'
6 W" * " (7( % * % $ $6 "6
'6 " 9 3*' 9 6 09 " ' 0'* ' * ; 5 6 &(6 ; *
'1 6 6 6 6 #
8 % &(0 & %"
=
5 5
: $ ' 50( 7&('
$ 6 ;5 ' $ * ' 0('6 : 6 6( 55 0'
*'6 ' 8

: ; *&( '
8& 6 % 6(&
L 6 ' 5 &(' ; 50 &( &( 6 6 6 9 ' :
6 % * *6
'5 '

; ; # & C 7FDF @BG C >D < @BA FDF G A
I ; 6 6 ' ": 2 %5 # * : 2(7 *'6 1&( ; ';: * ' 4 6
:1 2: $ $ 5 ' 6 1
" :1 2; 1 ;: '
6 %*0( 7
6 6 % *6 ; 6 78"3> :1 6 6 78 9% :1 9 % 616 D %' ]$ :"

P6 %; 7 56 %; 6 $ $ $ 6 '
8 '
2S T
56 O*
5&( 25 * 0'8 ' 6 7 X 5' ' 0('1 ' 6 8 5& 2(7
; ' 5 0('0 $ % $ *>%' *

PQ
a. b.
#&#6% 6 ! ! !
!
% ! ! ( - * & &6 6 ! ! 6 )*
% 6 ( ) A &D 6% -! ( ! &# ' ( - ! ! 6% %A " * 6
& % % % D
! ! ! D$ !# ! ! ! !
% ) -) % * ! ) % # "#! - ! &# ' ! )* ! !
! )
% ) ! ( ! &# ! " D ! !
& +*! &,! +)= ,#!"&

5 $& Z
0> 6 $ :1 2(7( 6 X $0 3 :1 2
0 $0( :1 '615 6 %3 5 '6 * 0 90 &6 9E$ 9
0 &(6 3&( 3 " 0 0 &(6 7( 3 50( 6
* 9 54
06 5 ; 5Z
0> 6 4 6 2 :1 2(1 : X 506 1
' "6 '
: 6 6&(
5
'P
; ; @
E G < > A G @"< @B>
@ $ & %$$ ;: 9 :1 5 * 9 ; 0 9 $'* ; %
&3> % ;0 " 0( X 6 * 9 ; % * *&( 6 %$ $ 5;0( *
3

66 ' ' 6 " (*
(>( 0 ' =# ' 6 * 6 * = >( % %" # " 0( " 7 8 8' % 50 5 &06 ' 1W 6
GS T
& ;5 066 X 3 6 9: 9 % ;E2 $%3 3E$ 71' 5U "; 0 :1 3 6 " 5 '0( 6 5%0 ;&60

" % 5:1 * > (?
S T
- G1 56=0( 2& 6 % (?# :1 5 0 6
6 5 $ : 6 7 &( 6 &( (: &( 6
&( 7 " 5
0( 4
- " '6 5 ?=;6 5 " # %6 :

=
% 5 ; 0 "8 6 5 = 16 = % 0(
X 6
- G1 % ' (?9
3 0 " 9 ; ; 5 6 6 5 ; : 3
PO

a. b.
c. d.
) * ' ! ! % !
!
" % ! ! - & % ( % )(! -! ( ! &# ' & "D$

) # !
! ! ! % "#! ( 6% 6 " ) '! -! - ! &B
"$
) * % % % %! 6 !! 6 ! ! ( *% !! )
! % ! - ! ! % " )* ' & - " $ ) " ! % ! ! %
! ! ! ! &D '( &! 6 ! D !
S
E$ 0( # 6 % 6 $ 4 0( = 56 68 6 % < &( 3 &(
S TT
S S 9 T T $S T S T
E$ 7 U 1 &(6
6 '6 " 0 0; : " 0 &( ' =

6 % < 552 ' 68 : 2(7 %; ' G . 7=: '
G . " 0 * 0( " 50 X 6 G . * 9 6 % 0(": 90 X 6
5\
G . ; " %
% 1
*'0= '

S G . 9T 8

S T 6 8
S G . T(\ S G . T = S T
G.
Z
7 ; &( 7 9 6 ' (7 S G . 9T5 $6 6 X

% &(' (7 IS G . 9T# =

6 6 & " % &(' (7 : 5 5 # 6 6 : ?

S G . T ; S G 5G 8 T S T 5 7.'<G S PT

'
IS G . T ; S G 5 G 8 T 78 S G 5 T S G .T 14<=

S T

P]
S T S T
: 2 36 : 6 % 3 3> ? G .
G . \ G . 78: ; *
6 9 % 5 % ; 4 S T
0 6 8
1 : 2 " 0 6 60( &6 =0( X 6 #
5 " =0( &(6
# ' 5&5 ' 00(6 5 ( "'0= ' ' 6 ( :1 2
&6

3 6 % % &(';
3 0 *90( X 6 G .
S 9 T
06 & *> %; ' $ 3 ; G 5 G 5 .<
I 3 1 5

?S T
'6 5&( X 6 ; " ' ;> %7 &(' = " 6 % '6 ; 50' " X
0( 7
* ' 7 5 ;&( "5 " ;5 ' 1> %
L ; ; @ E@ < @BA G >< B@ G C >DB@ DDC C @ E@ A @BE @"D#G B@ G C >D

5 9
% 9 % * "& $
% 6#0 ' 50 % 6 6 3 6 3
5 %
% 5 *&( ' "> %#* 6 =
1 006 # *0 '
S T
&(* '$ J 6 3FHA* 2(78 U $ 6 % : $ &( $
8 % ' :1 6 6(&("0 6 6 6 % ; &3M
$ $M M
S
9T
FLM
(7 U O
* 00 "& 3 5 6 6 %7= 9: 9 % ; 50(6
; &("% &5 H0 %

6(0 0( 1
% * % =#
1 0 = # #% # % 506 # # : 4 5 6
6 %'9 5E$ 2 0 7 6 6 E3 2 > 6 = I % %5 ;
(
% " 5#&(
' #6 1 0('01 &( 6 % 1C 5:' 6 ' 6 * 6 '6 5 ((
1 0% 06 0(
"&(' 0 0( = = &(10( 5 =7 '6 % * # 6 # " '
1 > 0 6
=
% 8

H*' 8>(5 X *' "0(
0 &( &( 6
1 % 1 %5 (1M
* 5M
* : " # 80 &(6
&8 8
1
% " ' (7 : (7 ' =7 "&(1 6 " 00 X 6
&5 0 ' ' ; *'6 ; 6 %#
" %*0( 8
*'6
6 % &( 50(6 5 ' %33 : 2 : 6 6 71 : 9 :1 2

5%6 &( 6= 6 ' ' %5 *6 6( 0(
&; ; # C F C ?">D < @:G C DD@
GS T
E 9 3 4 :1 2 E$ =78 U " 6 0( 3 3 6 %' S8C I
0 0 %
0$5 6 6
* 1
* %
6 ; 06 ; # 5 50(
'
> ; % " 610 %78&('; 9& 0(6 %9 9 6 :
&(
$ ' ' * ' 5&( 6 % 61' 9
$6 % ; 50
0 3 0'
;' 0'" % 6# 506 &3 6 % ' ' 7: 6 5 6 6 0(
S T
5* % % 50( 6= $ 5 506 ;&$ 6 %'*0 $
* : 2 * 9
P

P^
P
I 50(6 5 ; 1 ' 6= : 2 &(* ; 5 % ?
- :
5 5'6
S
- : 1 *'6 T
- :
* 50(6 5 (

5 $&( :1 3 5 5 " :1 % * 6 4 ' *Y95: 6 6#' 5 5 <) + :-;
I S
HE$. S(+
I ,WR*7 J &(5 :
1 G1 50( 2 % " 8:C * '6 $ 7 'R
' 3 6 Y 7 R
$ 7 8I 5 0( 6 5 % 7= !8 [*"M
4
T
' 6( :1 2 % 6 4 0(' 0( "5'6 4 0

' $
5 G1 E3 7
*Y9 0=7 0(' 7 7: 6 6&(* ; ; / /: H . +
,( 0
/"+ : (. / :;/ , +
,: 6 6&(
; ' 4 0( *6 2 : * 0( > 6 6 ; % ; ; ' ' 6( :1 2
GS 2S
=$ 6 ' 90 X"
' 61 :1 2 5'6 * 9 5'6 * 4
' (7:1": 6 6(' " * 0 # &(6 * K
J!(*7# U U T T
.
z g e ie b j y*m o } k1g o bl b { e b ln ij d b1j i b1m q;b w p g j f m e?l b k c o f n f e j d b f om b o g j f m e m o
b g z h b o m k k n b o
k9aW| c q k b c j f m e + ) 9f kl b k c o f n b ln i j d bl f b o b e j f g h"b w p g j f m e
B| 8 |/ . *
!

f ey9d f c d f kg9l b c g i;j b o z f kg eb j b o e g h f e p j f kg*e m o z g h f k g j f m ej b o z g e l
f k*g9e b f d n m p o6k d p j m j b o z q m o6c m z b j f j f m e"9h j d m p d l f b o b e j f g h b w p g j f m e kg o b* b o i m y*b o q p h j d b i;o b w p f o b
g)d f dl b o b bm q b f n f h f j if e$j d b k m q j y*g o b1g e ld g o l y9g o bg e l$g o bj d p kl f c p h j;j m1f z h b z b e j;m e$k b c f g h
p m o d m m e k b b e z
kg j c m d f e m bh m k f c g h j d b og j ik | b k k;b b1m q9k b b c w j p f m g e j f m + e *k g;o gb elJb m j l f f f b k og b j e f m c eBbbb ww pp gg jj ff mm ee kk)g g kk)p p k k b b llf f e$eJj n d g b)c } l b k oc m o f g j f m g ej f m m e q
e b j y*m o } k z z
*

!
" # $ % j d bl b k f e$m q z m k j; b e b o g h p o m k b c m z p j b o k;f e c h p l b k;o g e l m z g c c b k k z b z m o i
| 891*k p c d)j d g j9b g c d b m o i m k f j f m e)c g e1n bg c c b k k b ly9f j d1p e f q m o z k b b l * p c d1l b k f e kg h y*g i k o b k b e j
gj o g l b m 1 n b j y*b b e)k f b;z m q z z b m o i)g e lk b b lm qg c c b k k 9ad b;j m m h m i)m q6e b p o g h e b j ym o } k9c g e)n b g j c d b l
f eg d g o l y*g o b l b k f e1y*f j d1q g k jz h m c g h"f e j b o c m e e b c j f m e kf e k j b g l)m q6 h m n g hg c c b k k 89)m k j9e b j ym o } kg o b z z m o b;m o
h b k kh m c g h"f e)j d b f o9f e j b o c m e e b c j f m e k g e l)g h m n g h6 89 f k9p e e b c b k k g o i
&' ! ( (
%)( ! * +,"g h j d m p d z m k jg o j f { c f g h"e b p o g h"e b j y*m o } k9p k bgk i e c d o m e m p k*p l g j b f b j d b;m p j p j
m q6j d b;e b j ym o }1l b b e l k9m e1j d b o b f m p kk j g j b;m qj d be b j y*m o } g k i e c d o m e m p k9p l g j b f e1y*d f c d1c m z m e b e j k
m on h m c } km qc m z m e b e j kc g en b)p l g j b lm e bn im e b c g en b)f z h b z b e j b l z p c d z m o bb c f b e j h i 9h k m
c m e j f e p m p k9p l g j bf kg m k k f n f h f j i)b e c m p e j b o b lf e)k m z b;f z h b z b e j g j f m e k
) -
!, '
( +. ( (
"+, / z m k j;g o j f { c f g h6e b p o g h6e b j ym o } kd g b gj o g e k z f k k f m e z m l bn g k b l1m ej d b
e b p o m e g h"g c j f g j f m e) g h p b k z p h j f h f b l n i k i e g j f cyb f d j k ej d b k b z m l b h k j d b o m g g j f m e)j f z b9q o m z m e b
e b p o m e j mg e m j d b o6f ke b h b c j b l e j d b9m j d b od g e l n f m h m f c g h e b p o m e k6m p j p jgk b o f b km q p h k b kf ey*d f c d j d b
q o b w p b e c i1l b j b o z f e b kj d be b p o m e1m p j p j k p c d1j d g j o m g g j f m ej f z b k;g o b g eb k k b e j f g h g o jm qj d b z m l b h
p o o b e j h i m l b h kg o f k by9d f c d z g } b p k b m q9j b z m o g hk i e g j f cj o g e k z f k k f m e?| 9)p o o g i :. / 0 / t9a"m z h f e k m e
$$g h } b o . / / z x
# &6 * ?1 0( &6 X"(

3 6 6 : % 0 $ &($% 6 4 0' 0( 9 : 3: &(9' 3 ' 6
:1 2 00(6 7 ' 4 0( " :
a*d b j b o 0>? B C J| k b b "b *| 91g h h g c d":. / ;q m o g m m lf e j o m l p c j f m e f e$c m p j b o;l b k f e b g e ko p e e f e
m e b c m z p j zb o;j m)b b c p j b f e k j o p c j f m e k;k b c f { c j m1 g e m j d b oc m z p j b o j;f k;m q j b e$p k zb l j m o m f l b j z d b p k b o;y9f j dg
z g c d f e by9d f c d)f k9k b b z f e h ic m z g j f n h by9f j d1b g o h f b o z m l b h k
P
+

>
O

GS T
!# 6 6 6 50' 6 #FLM 6 &#78 U 3&( 3 $ 6 % ;W 54
0 * 0( 5 - ,H . + 2 0 6 6 6 @ 6 3 0( 2 %7( % '6 3 %

) / ; - + , 0( 6 6 6 78 0 6 6 '0 9 0 71 (,/ ; - + , 0 6 6 6 71'0
' 1 6 6 8 #0
@ > 4 % 4 % 0( 6 6 6 H
' "
*'6 8 ' 6( :1 2 1

5 "5 6 7= : $ 5 *5 50 $&(' $ 9 ' =7 0(
:
IS T
&(6 = 0( 7 : = 0( =: " 0( #Y3: 6 6 ' (5 6 &(
0 1 # ' ?8 X 5 6 1> 4 % G1 E$ * 4 % $C 6
S
7# = ;Y 0 50(' $ 5 506 ' 9 '6 9 6 3 6 ' 0('
: " 0( 0('6
:

'" % ; 0( 0 M '0=7= U ^
T
@ =7# U =N 2 6 6 7(Z (7(F Z ' 2 78 P I 7= 0 ** 8 &(6 5 5
5
00(6 &(6
]S TS TT
@ % '6 7 50(' &( % & 0( (
$5
: 6 ' % & D 6 D 6 =7* ^ 3 &(6 P HI % ' :1
C S S
T
0 * 0 6 6 6 50(' ?C I E$K C % 6 ;I ' =78E3'6 06 ;K" 5 EI E$K E3'6 06
I ' =7E$'6 0(6 "K"
" 5
0( 8'"&(
#0 : X '
* 5* ' 1&' 7: *6 "
5 0( *0 %

!S T
0 D 4 % 50' $' ' 6 6 CI E3K*7#: 6 % 50' 5 9&(
EI E3K 6 0( ": ; &(6 * 7 *"
R'*&( 8K" ;C
%6 5'6 06
R'*&(

S

% 6
I ' *'6 0(6

$
T S

R
C I

C

'
K

T
CI E3K
7(
C S T S
E$I CK
0 0( 6
T
E$I E3K
*'6 0(6 "
# &6 P ? D 6 6 > (
# &(6 ; P :" 50 $ 1 6# 0( 1 : * * ' 6# :1 23 *'6 =

; 0( 3 785 ' 9 *0( 5 (78 * 50( *5 ' ;: 9 " 4
9' 3 50 ; ' 68 :1 29 5' 6 I 5 5 ' " ;'*&( "
5'6 06 4 4
0( " &(;0( 5 90( (9Z
: 71 50 5 ; P P ?
5 5 6 : 6 '; ; 5 9 3 $ 3 : 9 0( 5
&0( 5 =71 6 % ; ' * ' & 5$ 6 % 5 ' 5
' 5 (0' *3 %5 ' ( 6 71 $ 0( 5 ' $ 0( 5 $ 6 %

9$ 9
$ a a ; $ ;a* a - ; a -
| e j c e j k | e j k | ; a
9)f c o m 9)f e f - a .+ .xx * x
*m z p j b o k pe * *x *x *x . *
* .xx .xx xx x
i z n m hfc k * * x x x .xx x
*-6oj mj gc cb dk k b m l o k '. 0
* xx
. x x x . x x x x
) .x )
* . ++
a oge k p jbo .+ * x x x x x x ) x
p k m o f b e j b l 91g o
} .+ . x x x xx +
9 .
. + .+ x x x x . * x x x x xx )xx
9
- 9 %9
*1| + )
$$g o | . x
$$g o | * x
*
*
+ ) x x x
*x
. x x x * x x x
. x x x xx +
+
* x x x
p j j b o i1| + ) * + x x x x 0 x x x xx .+
1-6 o g i19<- +) * x x x x x x x ) x x x . *
19<-6;a 6 ;
# &6 P ?Z : * ' 6= : 2$ *'6 =
ad bg p j d m o kg o b;yb h h6g y*g o bj d g j9j d b z b e j f m e b lc m z p j b o9g o c d f j b c j p o b kg o bg o c d g f c ( ( ( c p o o b e j9c m z p j b o
g o c d f j b c j p o b kg o b;k b b o g h"m o l b o km q g e f j p j b;q g k j b o m o*f e k j g e c b c p o o b e j9l g i) p e1 g o c g c d f e b k| b g e
h j o g g 8j * x x 9) *n b e c d z g o })g j9g h z z m k j x x x x xl d o i k j m e b k b o9k b c m e l y*d b o b g k9j d bg o c d g f z c p e n b e c d z g o } k
g j9g n m p j 0 x x -6o f c b k9m q6n m j d z g c d f e b k;| j d b e) k e m y9g o bg o m f z g j b h ij d b;k g z b m { p o b b b o j d b h b k k
j d bj g n h b; f b kg e1f e k f d j9m q"j d b b o q m o z g e c b;m ql f b o b e j9j i b k*m qg o c d f j b c j p o b k
& + ,,+ #! &,
,
'#; '; 'P < ? 'C G @B?:G F'< @
IS T
W
= 5 1' %">( 4 % ;CI E3K0( 6 6 6 1 1K 6Z 6 6 G1 E$ 4
S T
E$ Z 6 6 G1 7 0( U ] ( G1 = 80(
" ( %7( U 6(^ 57 %6 7 56 6 GE$ T 6 7 0( ;
E$ I 8 O A 6 ] 7 ] Q &(' 6 4
&

0 2 % 4
7 ;'0$ 5 '' 1 A 0 (
"' 5 4 &(
S T
:
*,(/ 9 H ) 8 ;'0 5 '
4 50' ">%' P
*6 % "'"&( = X4
5 6 * 50(6 80 8 2

0 . . / . 50' 7 *&(&( # %
S T

55 5
N1 0 0 30 71 6
' 78 $ ' 9I
935 5 0 : *OAL& " 5 5 90( 50 N1 0
4 & 5S= H: 3 ; 0(' " 3 :1$' 0' 7# 9$ " 1 % ;
61'
1 %* ' #& 1&5
4 50(' : &(
K"N
T
"C *&( 6
S= 0$ 1 ; 5 750 ;&(* 6 %5 ; * %
S
'
S .T

' 506 5 # 5' 6 % ?= ' 1 5 5 1
% &(' # " : 4 5 6% ;% ( 8 1 % &(' 5' 6 7
0"0 9 ; @ 6 4 '&( 7# 7 0 I 3$ 9 3 6 3
I 3
5* % 41
' 5 * 0
* ; ; 6
55 %
C 5
"O7 P ' & O7 ] ^ & 6:
@ 6 %5 *5 5 ; 150 7 GE $ 6 ; 506 5 ' 60

$GET ( " $GE$T 9 5 5 OAL& * 9
OA &( 55 5 90(
0 7 50 I W
B Q
Nexus
Front end 0
(DEC VAX
or Symbolics)
sequencer sequencer
Bus interface
0 1
Front end 1
(DEC VAX
Connection Machine Connection Machine or Symbolics)
16,384 Processors 16,384 Processors Bus interface
Front end 2
sequencer sequencer (DEC VAX
2 3 or Symbolics)
Bus interface
Front end 3
Connection Machine Connection Machine
(DEC VAX
16,384 Processors 16,384 Processors or Symbolics)
Bus interface
Connection Machine I/O System
Data Data Data Graphics
Network
- D ! ! B !

Vault Vault Vault display
'#; '; L EDEDF C ?@A3'C F C G 7G >D'@"F'< @AF&D'@"G 4/>< A
E$ ?S @ 6 6 6 F J
&( %7 U^ C % 7 PT N8 5 '% 5 G1 E$

3 9&( 9 :< ; % 50(6 5 ' 6 :1 2; G1

0( 6 % 5: 5 #
0( 6 % * (5 8 > 6 ' 6 : 28 5:1 6 6 7 / . + / . 2
6 :L5 % 0 %9 2 5 $ ' '6 3% 6 4 0(' 0( ' 6
'% 0('"'5 *' 3 6 IS Z' 5 6 78 P T D ' 5 7= 0( 3
:1 2; 5'6 #I
00( 8 *G1 ;E3 " ' 1 5 *
SE$ " &*6
P T: 6 ;;'&( ; 50 ' ;6( 7 :1% 72$5 * '6 0( ' = &( =8
7 5G1

W 0( &(6 506 5 $% \S @ 6 6 6 F J

&( %7; U^ T Z
75&( 24
0 0( % $ : 2$ 50(6 5 ;& 6 6 % "0
0( ' "0(
' % %
:1 %
0( %": % 8

0 1
'1 % 0 1
' 8 1 5 6 * 6 6 : 5&*
0 8 8 ' % %":1 % 1 50 5&5

1 %*:1 % 1

4 :
0 80( 5 5&> 6 50( %5 0('1' 1 X
X ' %5
2; ) ,; 0( &;5 %* " 6 ' 1 5 " X450
T
' % %: % "0 5
5: % " 35'6 06 6 : $ 3 6 '
S
0( ) / ,
0 0( $ ;: ; " '6 %5 6 '
*
"0
6 6
%5: %
=. H ) ; ) ,; 3 ' * 6 ' 5 X6 1'
; 5 4
:1 2(1
&( 2; 0$ 8 X ' 6 6 @ 4 :
; ; &( 2; 0( ;&(
6 0( 0( 6 '
56
1
6 D X 506 7 4 :
0#7
5 : 0( 6 50( ; * 0('
6
: 6 * X
6 50(' %
7
=
0 8 #' 1 0 7 1: % '6 * 6
&(1 0 "&" 10
O

& +"! *&

S T
C 6 A"'% F<S= =7
^ 5 2 $ $ % $ *6 %9 ' 6 % :1
5
9 % ' 50' 4 &(' ; 00( I W
4 &(' 0(

5) 2)
. + 6 % $ 80('50( %&(6 '% 3; * %
'% 6
H 0 61' ; " 0 9 9>%' $ P $Z
7# :13&
< *'6 0(6
9 3 57= '6 %$ 9 3' 0' \
;N1 61 3 ; %9 " '

6 5 7 ; # %5 55 5 ; $ 5" " 6 5
=
C+A*B
a 32 a 22 a 12 b 22
c+a*b b 21 b 23
a a 31 a 21 b 12 b 13
b a11 b11
systolic
c11
cell
b a
c 21 c 12
c 31 c 22 c 13
c c 41 c 32 c 23 c14
c 42 c 33 c 24
c 43 c 34
- D %

"D ! %
?S T\S

Y 0 50(' 7 6 0( G % "E 6 6 ; 7 1&( ;'
5'6 %
> 6= ' 6= :1 2 !=5 6 '=7(M"' 7=' 2 7(F A*'%7= U U * &(6 P 1I T
DS T
1* H: ;
5 0 % &(6 4 5 6 6 1:5 5 7

: "&( 4 6 7 : '% ;0 >%' 3 P Q =9 50(6 5 5
X$0 ' \ 7( *; < " $>%' P &('" 9 $ 55 5 $
"0
Warp Interface & Host
cell cell cell Y

1 2 n
- D ! B ! !

address

J 6 7= 3 ' 4 0(
5&( 3 % 3 &(' 6
6 '% 3 $ ' 7( ' 3
% 6 ; 6 % '
6 7 0 6 50' 7 6 50(6 5 (7 5& 4 0 7
% 50(6 5 %3 ' 4 50' 71 6 % 6 6 % ' 6 7
$6 % ; 0 6 50(6 5 78 50 5 &(6 ' 3Y3: 6 68
* $ ' 50(6 5

', %
(

'('; '; ' !/>D'D'@"?:G C ?'C G ?">D'A G < @C DG A
/ ,2, - 3 23 - G3 - 23 , 23 M

0 &(6 : $ ' 4 0 6 :
" " % 6 5 % ' 7(
' 4 9 6 % 7106 *: 6 30( &( 6 $ 4 9
"0(
50 &(6
Y $ $ " % &( ' $&(5 50(6 5 $: '
0 &(6 7
9 3 ; % &(' '6 4 " ': 6
0 &(6
W * " =7 '6 6 &( : $; ) / 1 0'
' 0 ''
S T
&5 6 3 3: $ 0('" $' 0'" ' ' 9 " :1 % " 1 0
>%' ;R
" ;'*&( "
' " 3 09% :*6 6 $: 3
0#7:
; * 6 6 ' 7 * 0( * '
N outputs
M inputs
! ! &D ! ) ! !
( / ,2, - 3 23 - - , 23 M2;

'
=$&' 6 36 % ; 56 RR 7# ' 4 0* 3&( % 3Y 9 6
: ' * ; $&( 9 % 7# * 0( 9&(06 9 9 '& ' " :5
4 :
0( 5 :1 2 71 5 530 &(6 @ ' 71: 6 % $'"&(
]

;

' " 3 0 $&( 9 $ ' " 3 0( 7( ; ;$'*&( "
0 &(6 ?
- % % 0$0 2 %
: 5 6 % *'"&(
1 0('
' 0'
6
- 04 '8 5 0( 6 > 0( ?
* 0 = 7 :$ 6 6 $6 3 ; 0( 3:1 % 6
0 : $ ; 6 68 '03* &( 1
- : %
0( &6 6 ' *: '6 *&(
' % 0 6 #I 5 7 5 X 66 % 8 '
:1'6
6 % 1; " # ' 7: :1'6 ; 0( = 6 %
' %5 &( 6
1 0 66 % 15'6 8 6 % 5 1 # ' #6 5' 6 0(5
" 4 5 6( % '
'(' ' L ; ; DD@AF >EF'@ ? A:;'C C EC G @AF
K'
* 6 *&( :1 ; > 6 5& 6 % 6 ' 6 : 2 7 6 %' :

*% * 50(6 5 %5 > 6( ' 6( :1 2 7 '6 % 0( 50(6 5
: 5 0( % 1 0( =8W"5
=7 % 6 00 8 1% X &( 6
=7
&(* % 6 (7( &( 6 ; % '
6 7 % 6 0 $&(* % ;: '
; 9
92 :6 % ;
' 9' %3GK GE 7#: "
% " 6 %' 05 ' *% 6
2 :6 % $ " 0( 5 5: 6 6

X 0(
% * 6 % '* 506 5 * " % 6( ' 6= : 2 1
6 6 0 66 :50 ; ' 6
: 2 &6 3 710( D 5 " 6 6 7
:1 % 1 ;* ' 6 : 2 &( &" %6 6 % ' 6 5 % 7" #:
S S T T
6( % 6 6 5 " 1C 6 7 ; 506
'6 1 A" 6 : &("'
" '# " ( 0('# % 6 ## 8 X 50(6 7 @ 6 5 5] Q
;&(" 6 ; 50(6 5 ;&$ 50(6 %* 5 ' 6= "0 6 % '*
S T
'(' ' H ; ; # *E G C ?"A
5 $ &( 7 0 '6 ;&(" :1 6 6=' 6 6
'
W %' :* 00 1W"
= " : % 8 5
0(6 # 1 8
S T
DS T
% 7=; 0 6#6 % 5'6 3' 56 >X $ 6 %
" =
D % ' $ :* 50(6 5 3 0 6 X95'6 06 (;Y " 6
* 8 * 0 6# $ ;&: 6 % $ 8 56 % ' =7 5 3 0
T :1 % 71 9 '6 6 ' *: ' D 7!1 6 78!8 71F<!8 2(7
U]
DS
9 00 ' " 6 '5; 6 % 0 6 7# ( % 3&( : 9 :1
" 5 ' *; 68 5 5H0( &(6 5'
' $ 6 '5 6 %
T
6 6 4 0 6
: 2 : '6 &( ' $ $ ; % 506
&('4 E$ F
!1 6 7 U ^ L'"&( * % '6 &($ $ 6 %
3 0('50
BS
6 3: $ 9 7= '6 %$ 3 ' 0('"0( ": 9;& % " %: $
` ej d bm j d b o*d g e l j d bm m k f j b;c g en bq m p e ly*d b ec m e k f l b o f e j d b8 m q"j d bb h b b e j b k b c f g h h iy9d b e)d f d
g c c p o g c i$f k e b b l b l m yb b o m e c b1g o j f { c f g h9e b p o g h*e b j ym o } k d g bm p j o m y*eJo p h b k h f z } b)n g c } o m g g j f m e *d f d
g c c p o g c i z f d j*e m j9n be b b l b l
a*d b f o c d m h g y*kk j g j bj d g j9q m oj ymo b k f k j m o k g e l | . *f e1k b o f b k j d bj m j g h"o b k f k j g e c b c g e1n bc g h c p h g j b l
p k f e ! ` "g e l$| * 9f e g o g h h b h "j d bj m j g h"o b `k f k j g e c b c g en bq m p e l)p k f e <. ! . ` #. | b i e z g e"
b f , $$d j bm he"%h ( ( ( e g m e jl b k g . c / j 0h i p bj m)l f o g c j f m e "j d bj m j g h6e p n b o9m qf e l b b e l b e jc m e e b c j f m e kj d g jc g e1n bk j m o b l)f e
g ef l b g h z b l f p z f k >, f b j d b; m h p z bm q6j d bd m h m o g z l z f f l b ln ij d b;c p n b;m q"j d by9g b h b e j d"* m f e1q g c j<,
e b p o m e k*c g e1n b;c m e e b c j b ly9f j d >, ;e b p o m e k

$ D $ ^
receptor for laser for

column 6 row 1
laser for
row 5
weight
mask

! % % ! ! " ! ( % ! % !
% * 6 (

5 % * 3 ; 6 *: ;: 6 6 '
5 %
: % 1& % #&( 1
8 5 &(
0( 66 0
'('; '; %@@< D'C D'E ?'A:;*D'>D F @@< D'C D'E
I 1 8% 6 6 % 1
= ' 6 : 2 8 1 & 6 5 5. / ,=#Y
:1 2;: ;>X =70 4 50' =7: %
6 ' '6 * 5
' 6 00(6 7
4 6 " 0
%;% 6( 5 ' 6=
Y ; 0(
;6 %7: $ %' &( :1 * 6 6 : %6 6 ?
(0 3 [ - ;
?9 3 % * 3 :1 2 3:1 % N8X 506 ; $
\S S
T T
5 6 0(1 1G E$ $
% '03 ' &( 6 : 5J
W"E J
4 W6
E 5 50(' %
M2 Z M2 /[ 9880 3 [ .- ; BS
? 5:1 % " : 2 $&(5 6 $ 7:
+S
0 6 6 ( E$ 0 6 506 5 5 6 6
% 1!1 J
W"E !8 4

% &(6 *J
WE T T
QM2S /[ 988 2S : 3 [ - ; T S T T
? 5:1 % 3&(5 *5 5 $ &3 3 X 68
N1!1J
W"E N8 &6 *!1J
W"E 1 N1N1!1J
W"E N16 6 6 ;N8 &( 6 *!1J
WE
'
O /S , Z ; 3 - \902S M - 3 , [ 3 [ .- ; T T
? 6 % 5 3 0( :1 2
JE J
E$ 5

B ) '*,!*! &,( ) '
'('; L#; ' !6@ < ?#@"< @
@AC A A C F C ?">D < @"G C DD@
BS T

0 &G E % '0 $G 6 E (7" U 3 6 0 9&
& 6 % 6= ' 6= :1 2
E 3 50
&(' 6 6 %'5 ' 6 0
: $& 6 % 4
S GTS T
6# ' 6 6 $ 0( &(6 7 6 ' % X 5 6 36 : 0( : '50 (7 '6 6 6 %'
: 7 0( '' 5 &(6 * 70(
Q
W" X 50(6 " 1 ' $ 0$
+ . +
,
/ + , E$ 3F E3 : 6 (7= U U
U

;

- 3 , : ; - 12 - 12

4 61 ' ' 9&( &( 9 * 6 6 : 3S# % " ' 9 3 6 6
% 6 *& 0 4 0 5: 3$0 90( : '% + 0 ) 2, () / ); 9

5 +
. / . . )
*& 0(6 6 6
$ ; / + , .(- ,- . +
, 6 6 : * * ' 0('
6 6
8 5
/
+
, . / . . ) 7: $ 5 6 $ * $ 0(
;
0 4 0 7 ' ; 6 *&( 6 :
0( 4 0 " 0
* X
6 %5 "&( 0( 6 6 6

* &(* &( ; 8 " 0( " 6 5 ?

"0 4 0 ' 0(' *6 % # * ; # *6 %

6 6 6 # * : 25: % 1
0 4 0 1
0 * 5
Q
" ' 0(' # "& 0(6 6 6( 0 0( 6 5 * "&( :1 "0 4 0
' 0(' ; * 6 6 6( ' 0('
M / - /9Z M - /

30 4 0 ' ;' 0' $ 6 % : 0 0( 6 96 % *
; 8 * %6 % 1
* " :; 50( ' ?
6( 1 % ' 8 ;&(* 6 5 5 % 6=6 6( %

6 % 9 ( &( : : 0( 50 0( 61 9 "
6 6 '
IS T

0 4 0 5&(
50(6 5 ' %"0( 4 7 : D N1 ; 5
$ * 5>%' ; Q *
56 : 0( 4 ' * &('5 P

P 0
Vout
3.6
3.4
3.2
3.0
2.8
V out
2.6
2.4
2.2
2 3 4 5 6 7 8

6 6 ! ! ) )
(A ! !- ) &(" ! 6 !
Intensity
!
! ! ! % ! )-! ! ! " ! ! !
0 (7 0( %*: 5 6

2 "f b h l b c ja"o g e k f k j m o
l b j g f h b l)l b k c o f j f m e)m q"j d bb h b c j o m e f c k9f e m h b lf k9m p j*m q h g c b;d b o b 6m y*b b o y*by9f h h o m f l b;{ p o b k*y9d b o b
?
p k b q p h * b b | 9)b g l . / 0 / *q m og e)f e l b j d)k j p l i

$ D $
/9 3 / ,.- : ; 3 ; - 3 : .
N1 $0( 4 0 * 3
X$ % &('
%; X % 68

" 6 % $5 5 : 23
; 0 6 6 ;: % $ % 5 8 *0 4 0
0' 7 ' ;
:
$ 0(' 56
(' ">% ' O IS .S T T
ganglion
output
− +
−
+
photo-
receptor

- ! % )
% ) A % )
(a) (b)
X"3 M /: 9G :

1 ' 0('# 1& 0(6 6 6 =0 0( 6 1&( :1 * 0 4 0 8 ' 0('
" 6 % * # 5 6( *6
5 ' 5
:$ ;>% ' O & 1I
* : 6 5 ? 9: 4 % 9 50(6 > ;: 3 3 :1 2 :
S .T
0 4 0 * ' 0(' 7= 9 9 506 > " %; 6 % ( 5&( : 3 0 4
0
' 0'
; 5 : 20( 6
* 8M2: 8 ,- - 3 / ,
0$: &(' 6 %OU';OU50 X 6 1
"' 0'
# 0 X 6 &(* $ 0( 4
6 &0 %" 0;: " 6( 6( 1 = 0( X 6 8
" 6
6 '&($ ' 5 9 : 5 ? * ' 0(0' &( ;1 ; % 6 " 6
0( X 6= &(I 3> 55 ' 7 3 8 % 6 5; 1I :L
$5 7&( 6# $ 6#
% 6 2 $ 0 5 6= $
"0 % * 06 $* 6 06
$ / 8 ,
T
C 6 X0( 5 1 : 1 " 6 5 "0( 8 6 6 5 1& 6 % 6 E ;F
E$ : 6 (78 U U C 6
:$&( :1 9 * 55 0(

GS
5 %6 ' 0': ( 86 %
* 0(' 0( "
%
'(' L L%$ D%$
; #; A @"F'< >?"'C E
S T IS
6 6 ;
00 $ *S#R
' 0$ 6 0(
*S# &(
$ N16 '
!1 6 0 S#N1! 8 D
(7K"' (7E$ '' 7F C 7 PK' F C 7 U
Y 85 8 ' 4 0# 50(6 5 #Z
0> 6 * :1 2 ] = 7 * 5 7A S T T
P

;

S TS
:1 2 5 '1 1 # =
: 2#
.
.6 %
'6 7 % 6
' 4 0 &( >%' ; 0( * 6 %5 '6 * :1 2; 0(6 %
T
NG 23 - - 12

;S#R
' 0#78 0( 9>% ' $ ]7 " *'6 0(6 4 4 3 / . 9 +
,90( 7
6 %50 1
*S=R
' P
*0( 6 6 6 1
":1 % *1 2" *U*&( 6 %;
" 6 X 0 1 3 5&(
; *6 %*0(
learning
control
mul
parallel
loadable LPj mul tree

and of
adders
readable mul
synaptic alu
memory mul
accumulator
neural state registers
learning non-
processor aj linear
function
δj and
control
Fct. Fct. Fct. Fct.
learning register
learning functions
- D # - # % !

% " D ) &
B12: - 3 M2: .Z , 0(Z 9020

"5'6 06 4 4 ; ;
0(
X;5'6 06
. 0 S 8=\ T 76 8 2 1 2 0 . 2 S 8 T O= S T

5 0(' . 0 *2 0* ,/ H .#) / / -+ ) / ) D " 3 ' 6# 5
:13 % 3
9&(' 9 9 506 5 5 '* '5'0= $I 9
5 *5 7= 5 0(' 9
' : * $ % *' 6# 6 68 5 2 : =
*: 6 " % "
:
$ * % "' 6 '6 1I $ '
5 7
S T
: 7 : 5
6 :
" % '
5 X 6 '6 =

9 5 6"6 % 6"' S= ; X 6" 0('; 6 6 :L $ '*'6
X 6(0( 6=0 '

&(5' ' "6 % 7 ' ' =7 " % 4 0
:1 2
S T

" ' 6 . 0 1 ; 5 * % 1&( 7 : 1 1 % 1
X &(
&' * 8 1:1 % #: * 2 08 *JE9 I " # "
6 * 7 5'6 06
1 2%0 . 2 &(
5 R K 6 % ; 1
" 0* & 6 0# .2 7' 0(
6 5 % $ % $
& $%
;&
0( / / 6 6
6( 50
'06 / 0) 6 1&

$ D $
T "S

50' 3 '" "6 6 : $ ;'*&( "
' 3 '
; 5'6 6(

5 ' 5 7 1 8 X & 6 7 2 01 (4 0=8
'6 #
: %
S T
' 6 '6 ;% 4 03 6 6 7&
&;& 7 " '6
5'
&(":
;& 2
' 6( " %
D 6 6 7 6 '5 =6 8 8 6 ' * " 50( 6 * 5 5 * 6 ' 7 ' 5 ' %
*'6 0(6 ; 8 5:1 %
: $ 6=&(
55 5 $&(* 6 ("
56 "

2 *0( ; *6 %55 &( &( 6 :*
9 ,23 , [
IS T

%50
0$ * ; 5 *6 %55 8
"6 %55 4

% ; ; 506 5 *Z
&& 6 %* '6 Z
&&#7= O
1 20 1 20 \ 0.2 S T
: 0 9 6 : 6 0( * ' 0('; ' 4= 506 9 ' 7
2S T

50(6 >
.S T
1 20 1 20 \ . 0 G.2 0 Q S T
.S T 9S T S T
: . 0 G . 2 6 ' 7P7
\5 #I 5 7 Q # 5 8 5
'1 2 0 : 0 7 #2 0(1 2 0 ' % (8
'( "&(1 5'6 "& X ' %
Q S T
6( 5 * 5*
#: %

": % 0 6 " ' 0(' ' 4 5 6 6=5 > ; ;0( 6 6 6 8 6 %5 0
S T
0 " 6 6 : 5N8 3. / ,+ ,-
/ ) )
>%' ] "S##! 256 5: % + 1 2 0
$ 0 5 5 71 0 $. / ,+ ,- / - + ) / 71 ' 6 . 2 R
X 78
S T
6 6#5 : % " 0( 6 6 6#' % Q " $:
* 0 $: % & 2$ ;
0 5 5 7 6 ;0( 6 6 6

;

?
!
S T

&'4 E$ 7=[5=* 7#F !1 6 7=K5 U ^ $W0 68 ' 6 50(' + / , + :;/ + ,=7 7
U U 4 ] G ; 0==
.S T GS T
26 7=K*=Z* 7=Z (7#M5(N
7=F C : 2 7("(V U ] 5H6 % 6 % L @ 6

- ,+ + / + / , / 7 7# O^ T G ; 0#] O
OS T
6 7C1G 71A *' 71*8A5 7G (71!# 71F<E$ 6 (71K5 P G150( 6 %
6 %
' ("/ H $. "/

) 7 7 ^ ^ 4 P G 0= P
S T
6 7#M*8C 7=FLM 6 &#7=* U + - /. 2 . . / .
: H + ,- 5
@ G' %
!1'&(6 %5G150 ;I G 0==
GS T
6 5 7(S1 @ U ^ 5H6 % '6 * * '
0( 0 : $ &( 23 3 54
& 6# 5 ;I
/ / 0+ ,-)
// #+ ) , / , +
, .
, / / , /
, "/ H .
IS T
"/

) 6 700= P T U I N1N1N
G ;;0#] P
OS T 2S T GS T
5 7(K5(V 7#M"' '(7(Z* 7=F C 50(6 2 7(Z* U C 0( 4 %6 5 6
' 6# : 2
D/ 2) + .
/ + /
*7 7# P P^ T P U G 0=] P
T DS T S
(71V1* ^ ^ R
' 65 6 5: % $ 50(6 3I K*1S= @ % 3F C8V
C *' 6 N1 7 ) +
/ ) ) / )+ ,
/ 0+ ,- 8/ / +
, ,
0
: / // ,) +
,
0/ . ) 0#
^ 4 P Z 6 6 6 7RV?N8 6 & ' G 00#( U7 ] P
S T
(7 V * 7 FJ 6 =7 N
U U "/ H

: 'H + ,-
"H ,A0 +
,)

/ ) / / G *& % 7
E$*?
*EI !8 G 0=
"S T
@ 7(*=M* 7(F =7!# U ] !8 4 % % 6 % '
,) +
,)
, 2) / :)
, ,
0 2 5/ ,/ + ) 7 7Q P TQ ^ ] G ;;0#^ U
S T
@ 7*M5 7(C' =7J*C 7F (7GY U Q R
' 6 2 " 0 " 6 5
6 '6 *6 %;0 &(6 ,) +
,)
, 2) / :) # , ,A0 2 5/ ,/ + ) 7
7U Q O 4 U O G 00#^ ]7 ^ ^
S T S T
@ 78*8M* 71C' =7#J*8C 7#F Y9 2 71G P 3C ' 61 30 &(6 " ' 6
: 2 (I ;K*=' 2 N1= 7 0 , / )1+ , "/ H . ,
: +
,
/ ) ) + ,- (K" RR"W*
G ;;0#U P
$S T
@ 6 6 (7J* ]^ 2, :+
- :-:+ ,- 8!8 !8 G 0=U P
QS T
@ 6 6 6 (71M5 7FLJ
&( %7G8J" U ^ R
:1 2 6 %$ $G1 E$ 9I
QS
Q Q
T Q / / 0 + ,K- ")
RR" /(W*/ ( G/ , / , / 0= , = + Q
, .
+ , )
, / / , /
, + + . , / . . + -/ , / 00=
T
S T
@ =7V* @ 7V U ,) H /
/ ) / / ,A0 =. + +
,)#
/ / 0+ ,-)
// /
,
0

, / / , /
, //
/ :;/ + , ,) 'H / #) / )
:H 9K' 78R"G?#I W*C9!8
G ;;0#(
Q
O

S T
@ 5% =7J* $ (7F C5 '6 7* U "C 6 86 % % *0 %' %; 4 0
?S T
DS 9T
2 :6 % # 0 60( (I ;"A* 7 D G*M
=7F S8W*Z
&( % N1 7
0=O
/ / 0+ ,- )
//
, / / , / 0#Q P ] 4 Q O N16 "C *!1'&6 G ;
(S T
@ (7 S1 7 D (7 V Z* 7W"6 =7 J" * 7 F C 7G V U O 8. ) ) + +
, ,
0
/ - / ) ) +
,
/ / ) 8Y9 : $ @ 2 G16 G ; 0# Q
SS T T

@ ' 7#*#K5 71G %7#* 7 D 7 @ 71M" 7#N
78F Y 6 6 78K*#V U $S( %$
5 5 90 0( * 3 '6 6 : 2 I V8C#K 2 N1= 7
, / / , /
S T

/ / 0+ ,- ) "/ H . "/

)

: H + ,- 00# ] T^ P 8K RR"W5 G 0=]
(S T
G 0( 7M* * 7 F M &( %7 C( U^ ( 6 *0 6 6 6 ' 1 6 4 % %
' 6#0( 3 % 9
: 'H / B8+ ) +
, /+ ) ,A0 : -/
/ ) ) + ,-7
7] O T ] G ;00#] ^7 ^
$S .T .S T
G 0( 7(M5* 7(F M
&( %7(C( U ^ &
J# ?
C 6 4 % 1 &(6 % $ % 4
6 % 0'0 (. + / 0 + ) 7 Q 7O 4 O Q P G
0=(^
T S T
G1 0( (7"E9 U^
,,/ +
,6 /+ ,/
0/ . # )(/ /,+ . H :-: 2 = (J 0#
R
ZU^ T O
2 %5E3 G1 0( ( G 0==
QS
S OT S

G1 6 61 M5 Y 71E$' 78!# 78F( 0 78K* U ^ : -/

: / ) ) +
, 5 2 5 ;
- +
,
T
0/ :
,) +
,

/ 9 / ,) +
, .
- :-:+ ,- = ==J
0==R
=
JHU ^ P ; "CGK57(I '
1G1 % 5C G ; 0#
$S T
G1 %7VV U ,
0 H +
,

5
+ ) 4 Y3 6 !1'&6 %G1 50( G ;
0=U ]
(S T
G'(7 [5 S1 U ] ( 0 '
00 % 0( '# '5" ' 6 5 '
/ / 0+ ,-)

- ,+ + 7 7] T P O G ;;0#Q Q
S T
G1 &( 2 7M5 U 8
00 X & '0( 0( 8 85 % 5 6 ' = /(/ : + )
2S 9T

,
. $ + -, . ) ,A0) 2) / :) 7
O 7(Q P Q TQ O G ;;0#Q Q
K
J
!(*!S U UT
"/ H . "/

H 02 D GN1<I 6!8 G

K 7 E E .S T #H , + / ;
/ , 0/ + ,-:;/ (/ / 0;

0 "/
1/ / , 0'&6 "
00#7 P

7 7 D '6 "G150' "C 5 = G 00#Q 7 O P
K' (7=E9 7=F C 7(V(*GS U T *S= %; S8C I ?( % 6#0' 0( 5 % 6# ' 0#
I
/ / 0+ ,-)
// #/+ 0 , / , +
, .
+ ,
, / / , /
, "/ H . "/

) =K" RR"W*

G ;;0#(
N 2 6 6 7J" 7Z =7(M* 7FHZ ' 2 7(M5 S P T . . / .
/ ) ) + ,-+ , "/ H . 2) / :) ,
0

: 'H / ) 8N16 C 5!1'&(6 @ G 0==

N16 (7 V S1 S P T D %" ' ' 5 5

- ,+ + / + / , / 7 7( ^ T G 550= O U

D 7R*Z* 7!1 6 7 K5 7!8 7* 7F !8 2(7N
S U ]T 8W
0 6 50(6 5 * ( Z
0> 6

5 6 (. + / 0 + ) 7
7= O T O^ ] G 0==
D 6 (7V* 7F @ 6 6 =7K*Z*$S U T G1
5 6 ;
0 0(
- ,+ + /

+ / , / 7 7 P ] T ] O G ;;0#(

]
S T OS T BS T
D (7J*8!# 7S= % =7J" @ 7
F C 7E9 U Q #// (/ 2,: ,8/ H / )
, D/ 2) + )
J % E3 78E$ 6 9!# 2 G 78S( =71C 78E$ 6 ? 4 Y3 6 !1'&(6 %
G1 50( G ;0==
?S T
D 6 =7E9(V ^ *C 5 50(' % ,) +
,)

,
: 'H / ) 7$ 7 OU 4 P G 0==
D (7VZ* S T =E3'6 0
% 0(6 ,, . )
+ ) + ) 7 7( 4 O

G ;;0# Q
D 2 7 @ !S T S( $ ;% : 6 4 % % ' 9 0(: 0 &(6 0( 6 6
' ' 5I 9"=A" (7#A5#E B 2 78W5#C 5'6 7=F V=A* % GS N1 T 7
/ / 0+ ,- )

/(/
, / , +
, .
, / / , /
, + + . "/ H . "/

)S 00=#O P Q T O P U T R
4

D '2' 7#A5S ^ ]T G1 % =?5 6 4 % %3*'6 6 9 ' 61 : 2( +
.
- + .
Z
6 6 N16 C *!1'&6 G ;;0# O
2 5/ ,/ + ) 7 7= T Q G ;;00=] ^7 P P

D '2' 7AIS U UT 5R

% =?H 6# ' 6# :1 2 0 &6 5 1 ' 6=0

% = "/ H . "/

) 7 7= T Q P G ;;00=] ^7 U7 P P
D ' 71A 4 I BS U T W" 3 00 X $ 6 ' ' 00( %*& ' 6
$
: 2 "/ H . "/

) 7A2S QT 7# Q T G ;;0#Q Q

M 7
E 1J* 7
F V (7K5C(]S ^ T
: 'H / ) ,A0 , 5 + . + 2 R
:L[8 2(?3Y Z*
$

D ( G 0=] Q
M
=7=C 7F M
(7(K5?S U O9T *C 6 X =7=M &&
&(' 7 @
3 % ,) +
,)
, / , , . 2) + ) ,A0* /+ ,/ , / . . + -/ , / 7

7(^ T^ O G ;0== P ]
M 6 (7G 7A 5 2(71A5 71F M &( % (71V# =S T 0 ' ; 6 4 %
Z
&( % GS N1 T 7
/ / 0+ ,-)
/(/ /
,A0 , / , +
, .
, / / , /
, H
,
:
"H )
4 ' 0(6 % 6 6 0 I "A" 7 D
G*
M (7F S8
W5
2) / :)IS 00=O ^ T O Q T N16 "C *!1'&(6 G 0=

M
(7J*!# 7F C : 2 7"V S U U T # 6 # = ' 8 *6 ; : 2

6 ;
% "/ H . "/

) 7 .S T 7=^ ] 4 U G ;;0#O]
M
&( %7(C(?S ^ T * 0 *0( 6 > $ $' 6( %;I
FHI I +
.
- + .
$
2 5/ ,/ + ) 7 7= T Q O78 U^ T P G ;;00=]^ 7

M
'0=7W*8 *OS U ^ T . . / .
- :-:+ ,-
,) H / ) / 0 /+ ,(/ )
/ / 0+ ,-)
/(/ / : #) /
"H (/ /,+ .#9/ / + ,- ;M &6 7 D ?"I W*C$!8 G $

0==
M'6 6 0 6 6 7 QS P T 5 6 %3 6 % < 6 %$ 6 4 6 '
' "/ H . "/

) 7 7^ 4 G 0=(^ ^

Z % =7V* S ^ ] T 8. H ) / + ,- . -
+ /
:) (R
:[8 2(?1V 5Y 6 F C G 50=^
$
Z (7N

V 7 A" 6 7 V K5 7F A" : 6 2 7 V E 2S PT =S= ' 6 :1 28: M" '

'
' 6( 00 X "/ H .
: 'H +
,=72S T 7 P T ] G ;

Z
&&=7K*(W5 S O T #/(/ - ,+ +
,

/ / +
:H 1R
: [8 2(?1Y 6 G ;;00=( U7
0=Q Q

GS T
Z
4 R 6 =7=J" U U G1 ' 0 0( % 3 :1 2 "/ H . "/

) 7 78 Q 4 Q G
0= Q
S T
Z
7 V 7 A % =7 * 7 F!# 6 5 7 J" M5 ,
0H +
,
/(/ #/(/
2
"/ H .
: H +
,
;Y3 6 G ;;0#
Z
6 =7=" 7#C 2 7=A5 7#C % 7=!#( 3 7=F C '6 (7=A O 5R
' 68 : 2 6
1*0( ' &(
,) +
,)
, 2) / :) A , ,
0 2 5/ ,/ + ) 7 7
GS T (S T
U T Q U G ;0= Q
S T
Z
7E9J" 7F C 6 7N
] #E 8 '% % 8 6 %*6 1
&H ,A0 0)
"/ ) 7 7OP 4 O Q G ;;0#O
Z 6 6 7 Y K*$S U ]T #/(/
,,/ +
,* /+ ,/ 1
*EI !8 G 0==
Z
0> 6 (7(V(V"S U T "R
' 68 : 2" 0( 6#
: 5 % 6 6 50('4

6 & 6

/ / 0+ ,-)
// +
, . 0/ :2
+ / , / ) 7 7 ] ] O T ] ] U G
00#( U7 ] P
"S 9T
Z
0> 6 (7(V(V U O *R
'
: % $ 0( 5 6 6 50' 6=0 0(
6 2 : 4 9 '
/ / 0+ ,- )
//) +
, . 0/ :2
+ / , / ) 7 7
Q P U U T Q P G ;;0#]
S T
Z
0> 6 (7VV 7 D (7K5I 7FH!8 6 5 7J*(M* U Q '6 %
; & 6 %* ( "
6 6 55 5 H / 7 7= ] T ] G ;0=]
S T
Z
0> 6 (7V
V 7"F # 2(7"K*Y U ] ' 6 50' 0
0 &6 +
.
-+ . 2 5/ ,(/ + ) 7 7= O T ] G 0=] Q
Z
2(7 A 7C *&( 7 E 7 FY 7 Z*(S U T E3'6 6 # :
5 : 28 ' 6
00 X "/ H . "/

) 7A2S ]T 7(Q ] TQ G ;;0#Q Q
Z'5 6 7J"*$S P T 8/ )
, .
:-:/H ,+ +
, G 0== Q
$

V (7* 7(C % 7!#!# ; 7F M (7 D G* S OT 8R
:1 21 &( 6

I 9* D =E3' QS N1= T 7 "/ H . "/

(. + +
,) 5A"6 ' : * !1'&6 IS I
0 T G ; 00= Q7 P
$
V =7 E9 I (S U T # *0 6 6 6 * # ' 6
I
/ / 0+ ,-)
// 1+ -/ / ,,H .
, / / , /
/(/
-,+ + / + / , /
+ / 2S 00= ] Q T

] O T 1Z 6 6 6 7RV?N8 6 &( ' G 0=O U

V =7
E 1I !S U &.T / + . 0/ . . / . "+ ) + 5BH / 0
/ ) ) + ,-
/]S = (
J 0#=R
#U P O9T 3C K % 78S#V 6 6 78G*?=I ' 5 G1 % C 7# 3

G 6 G 0=O U

V % =7(G=G?S U ^ T "R
' 6# : 2$ 0 $ 1 % 0( $ ' 5 '
&(
8+ ) , / , +
, .
, / / , /
, "/ H . "/

)GS 6 I 700=
] P^ T] ] T 1I N1N1N
G 0= O
0 0(6 %#I $
V =7M5 S U UT 8R
' 6 4 0 % 6 #" 0(6 % 6 =+
.
- + . 2 5/ ;
,/ + ) 7 7 U Q T P G 0=O

A" 7E 7F A" :

7E S T . . / . ; + / /+ . "/ H . "/

(
0/ .

, ' 6(
.!#
- 0 H ) $ H J.
; / . 3/ S=. &(2 ) / : S = =GJ
0= R
0=
QJ
T
TP O ]T
8
J ' ;

^
(S T
A" :
7 E 7 D ' '2 :7 A5 7 F C' '2 7 J* U^ 6 ' 6 4 :1 2*5 6 6
56 % ( 6 ' 5 5 +
.
-+ .$ 2 5/ ,(/ + ) 7 7 T U ] G 5*0#
S T
A (7=" ^ ^ ) )
+ + /9/ :
2 2) / :-; #/(/
/ + .
/C0 % 4 6 %
S T
G ;;00=( U7 ] P7 O
A (7" U "C 6 4 % 8 0( 6 % 6 6 ' 5 0( +
.
- + .
2 5/ ,/ + ) 7 7] T G 0= O

2S T
A (7 " U O $ / . ; - ,+ +
, ,
0 ) )
+ + /D9/ :
2 @ 6 (?8C 0 % 4 6 % G
0= O
S T
A (7" ] / . ; - ,+ + ,-- () C0 % G ;;0#
QS T
A (71" 71E3 2 7E9 71F C 2 71" U O !1 0 0 % '68 0 4

0( 6 % 6 ' 5 0( % (9I
/ / 0+ ,- )
/(/ /
, / , +
, .
, / / , /
, / ,
/
- ,+ +
, 1K RR"W5 G ;;0#
DS T
A B 7 @ =V=* 7#F K 7=VY =E9( ( 5S= %; 6 6 ?
5
6 %0( % "5 & 6 * &( " 0'6 =I
/ / 0+ ,- )

S
, / , +
, . 2:
) + H :
, + + . , / . . + -/ , /3+ ,
"/ . ; 8+ :;/
,
. 0= ] 4 Q P P
K
6 ?8I D
G7S# X &(' % G 0=(^ U
T
OS QT S T
A B 7 @ 8V8* 7A 71E 8V= 71F<M (7 D 1G8* P S( %3 % 5 ;
$&( 9 ' 6 6 6 * 5; &( * 5I 9W5=A" 2 N1( 7 , / , +
, .
S T

) /

, , / . . + -/ , #

,
. 00=( T P Q I N1N1N
G ;0=U
S(S T T
S T
A"'%7 Z* " 7 F S( (7G N
^ =C 6 S8C I I ) /# + 9
/ / 0+ ,- )
$ !8 6 3 =? . -
+ /: )
?
/ ) )
2) 71G#E$ F S1
G1 :
7 7 4 Y9 6 7( U P7 ^ 4 G 0== O

GS T
S= 00( (7(J"=!# U ^ 3 ' $ 50(' %: 3 ' 68 ,) +
,)
2S T

,
:H ) + ) $ 8/ / / ,
0 + -, .
/ ) ) + ,-7 O 7O T G 00#^ 7 ^ Q
2S T
S= 00( (7 J" !# U J : ( ' 6 : 2# 8 0( * % ="/ H .
: H +
,(7
7= T Q U G ;;0#] U
$S T
E$ 6 6 =7N
(M5 ^ ] N1*'6 '
: H / 7 7 O TQ G ; 0#( P
$S T
E$ 7K* U 8+ ) +
, 1C D ?8Y Z* D = G ;00#( P Q7 P O
GS T IDS S T T
E$ 7=" 7=F C '6 =7=A5 5 ' 6 4 % : 296
0( 6 % "I 3"(A" 4
=7(A(E B 2 7#W*=C *'6 7(F V(A" % N1 7
/ / 0+ ,-)
// , / , +
, .

, / / , /
, + + $. "/ H . "/

) 00=(Q ^ T O P "R
4 Z
6 6 N16 *C
!1'&(6 G 0= O
S T
E G6 6 6 (7VS8 7F J'5 6 7K*N
U . . / . "+ ) + B5 H / 0
/ ) ) + ,- #9 =.
+
,)+ ,
/(/$+
) H H /

-,+ +
, 8
*E$I !8 G ;;00=7 ]
S T
E G'6 6 (7#Y 1C 78FL!1 78Y O Q 9 6 % 6 6 '6 '"
5 5 '
&H . . / + ,
// : + . +
A/ 2) + ) 7 7= ] T Q Q G ;0== Q
$S T
E =7(G U , .
(- ,
)0 "/ H . 2) / :) 1J %7E$*? 4 Y9 6 G ;
00#( P ]7 ^7 U
.S T S T
E =78G=* 78F E$ :
6 =7#E9#* U U 6 95 6# 6 3 ' 6=0 % "/ H .
"/

) 7 7 T ^ G ;;00== ^ 7
U

S T
E 6 7 @ (Y P
,,(/ +
,+ )

5

+
, 1. ,,+ ,- ;C 9K % 71G*?= !8
G ;;0#(
GS T
E$ 2 7=E9 7=F !# 0( 7#C( 8/ /
,) , ,
0H +
,

: H +
, ./
:;/ 2

*E$I !8 G ;;00== Q7 7 Q 7 Q Q
S T
E$' 7#* D U ;!1'6 5 S#CI" ' 68 :1 2 B$+
7 78 O T^ O
G ;;0#( P
.S T
W 7
N
\S U T < 50(6 > ' 5 6 30 0( 6 50( 6
:H , .
: // : + .D5 +
.
- 2(7 7 ^ T ^ Q G ; 0# U

!# 2 7K* @ S U ] T #/ ,+ ,- ;

-+ "S = =J 0# R

JT O^ T #G *& % 7E$*?E$ '

I ' = 6 % 7G1 5 ;G1 50(' 61J
9N * E$ % 4
5 "C G 0=Q Q
!= 6 5' 7 @ *(S U T S= %
0( 8 * ' 8 ' 6 :1 2 "/ H .

: 'H +
,=7 .S T 7 Q T G 0=] P
!= 6 5' 7 @ =*GS P T 2, :+ "/ H / , "/ H . "/

)DS = ==J 0#(R
=GE3
TG
CT

P T T 1!1 &(' % (7!(H ] Q?

C 6 8G150' C 7G % "E$ 6 6

G ;;00=( ^ 7 ] P
!1 7 D DS U^ T M
6 $ 1&( 24 0 0 % 3 ' " ' 68 : 2 D/ 2) + .
/ + /
8/ / ) 7 .S ] T 7 T Q G ;;0#] P

!=6 2(7N
S ^ T
: H +
, .
9/ /
0)+ , + :+ +
, =R
: [8 2(?1 !8 G

0=O
!=* 6 '(7#K*#* 71M' 7#M5=S1 7#=' 2 7#K5#C( 7#F A"'%7=Z*#"S U U T ;R
' 68 :1 2
/
,
0
, / , +
, .
, / / , /
, "/ H . "/

) S 6 =I I 7=0=8 O Q 4 ] P T $K RR"W5 G 3
*'6 5 8Y 0; 0( (?#Z
::% ^" 6 6 #0( 1 (I

0== O
!= : 6 6 7(E9(VK5 S ^ ^ T J 0 '
'% *% 5 ( // : + .

- :-:+ ,-7 7 O 4 ] O G ;0=O
!8 7 Y Z* 7 D 6 7 @ !# 7= '2 6 2 7C( * 7F 6 %7Y " S U T H :;/ + . / + 8/ )

#//
+ / , +
: H + ,- G "& % ?3G *& % $ !8 G

00#O P7 O
!1 6 78K* 71C 7#* 78F [1 *' 71*#* S U U T 3 5'6 6 5 ' 61 : 2 6 6

,
. 2) / :) - + ,/ 7 (S T 7# ^ T G ;0=U ^

J
7 Z* V 7 E3 7 " E 7F C '6 =7 A5 V(S U T == 0(6 % 4 %* 0(# 16 %

' 4 5 4 = "/ H . "/

) 7
7= ] T U G ;;0# P

J
7=Z*#V 7#E$ 7#"=E 78FLC '6 (7#A5=VS P T "/ H
, . / "/ / ; 4 Y9 6
$

!1'&(6 %5G150 G ;;0#
J =7 @ N
7M
: (7 V E9 7 F 6 7 V V(S T (!8 6: 5 0 % %

+
.
- + . 2 5/ ,/ + ) 7 7O 4 O U G 0= Q

J &(6 7 D OS ] T + , + =. / )
"/ H
02, :+ ) 3R
: [8 2(?$C0 @ 2 G 9

00# Q7

DS T
J 6 (7=* 7#F A" 2(7=*#G U "+ - + . 1+ H /
/ ) ) + ,- *R
:H[8 2(?* !8
G ;;0#( P ]
?S T
J
'5 6 7K*(N
7(Z =7(M5N
7(F Y 6 6 7J*V U S( % 0
&;&( 24
0 0 % %5 H / 7 7(] Q Q T] Q G ;;0#Q Q
S T
J
'5 6 7K*N
7F E G6 6 6 =7VS8 U . . / . "+ ) + 5BH / 0
/ ) ) + ,- #9 =.
+
,)+ ,
/(/$+
) H H /

-,+ +
,8
*E$I !8 G ;;00=7 ]
DS T
J
'5 6 7(K5=N
7#F ( 0( 7(K5 U ] D ' ; $& 50( 6 %
- ,+ + /
+ / , / 7 7(^ ] T G ;0=] ^

S T
C % 7"K5 U W
0 6(' '0( 6 %5 5 %6 4 6 6 : ' 6
: 2("/ H $. "/

) 7A7O] T O^ Q G ;0=
S OS T T
C : 2 71"8V 71F<J &( %7G8J* U . . . / . "/

/ 8/ ,)

/ 0 .
"H 0 = = J
0= R
VZ N1NG
CT U P (
V 5Z
02 # 5N16 6
N1% %5 3G1 50(' "C *K
0( 5 G ; 0#O]
DS T S IS T T
C 6 7 D =E 7#F 6 5 7=S1 @ P C 0( %'09& 20 0( % =5I 9J"#N 2 6 6 N1= 7
0 , / 0 "/ H .
: H / ) 00== ] T P R
4 Z
6 6 = G ;;0#O
GS T
C % 7(* P : =. / :;/ , +
,)
+ + . "/ H . "/

)
, /(/
,,/ +
, /+ ,/
S 0== Q
T
= (=J
0==R
=JS= P T G *& % 7=E3*?(
2 %;E3 *G1 0( = G $
DS $S ST T
C % 7!# ; 7M
=7 D 7F A B 7 @ Q

5
,
0; #2/

0+ , +
, #) + ,- "/ H .
"/

) = ==J 0#(R
#G
CT Q T P 5K
0( 5 "
G150' 5C 7( $
T
$0 &(6 " k `v rg jc1h vgb#h a rg ayb pk pc1h cq i G ;;0# P
"S T
C % 7=!# $ 7(A B 7 @ (V(* 7=F M (7 D =G(* * % 5 4 4 * ;%'
&( 0('6 I
/ / 0+ ,- )
/(/
, / , +
, .
, / / , /
,
, / . . + -/ ,

5
) ,A) IS T 0 2) / :) 00#( ^ ^ T U I N1N1N
G ; 0#U
S T ?S T
C % 7!#!# 7F A B 7 @ V* 8 6 4 5"6 %5 ' 6 &( 6 6 =I
"A" (7AE B 2 7(W5(C 5'6 7F VA* % N1 7
/ / 0+ ,-)
/(/ , / ;
IS T
, +
, .
, / / , /
, + + . "/ H . "/

) 00#Q ] T Q ] 1R
4 Z
6 6 N16
C *!1'&(6 G 00#U 7 P
?SS T T
C % 7"K* 7"F Y 7"K5 L
00(6 6 %?9 0 6 6 $ ' ' %HI

K*C % F K5 Y N1 7 ,
0 5

, / . . + -/ ,
,
. "/ H . H 2 ,A0 0 + /
$S T

/(/ ) $R
$J 6 (7R
: [8 2( I ;0 G 0=(^

DS T
C 7=V 7#F @ '6 =7(J* U P ,
0 H +
,
H :;/ + . , . 2) + ) 5R
: [8 2TZ
6 &( % T
@ 6 (?1C0 % 4 6 % G 0=O
QS T
C' (71J"1C U U S( %$ 30 *&9 5 * 50( 6 ( /+ ,/
#/ ,+ ,-7 7 4 O O G ;0=(^ ]
2S T
C' (7 J*C 7 @ 7* 7 F Y 6 =7 J" =J
5 16 %" 8 8 0
0 6
6
,
. 2) / :) 7 7= 4 G ;0=U P
S T

=7V @ 7K"' (7(E9 7E3 '' 7R* 7(F C 7V* P

*S#R
' 0#?1 % 6
S#CI#: 54 06 %*5 I
/ / 0+ ,- )
/(/ , / , +
, .
, / / , /
,
IS T
"/ H $. "/

) 6 I 700#] Q T] K" RR"W* G ; 0#(
QP

IS T "S
= 6 (7(E9#C 7=V 7(FHY 6 2 7=K5(V P 5KRR*?=H % 6# ' 6# : 23 '
I
/ / 0+ ,- )
// , / , +
, .
, / / , /
,"/ H ."/

) 6 I I 7 00=] U T ] T
K RR"W5 G ;;0#( P
S T
Y9 2 7GVGZ* 7F K =7!# 4 6 % /+ ,/ #/ ,+ ,-7 7 ^ 4 G
00#^ 7 U P7 U
"S T S T
Y3 &( 7(!# "
00 X 5 0 % % 6 4 5 68 $ ' 6=54

S 9T
6 6 %I K*1C % F K5=Y N1 7 ,A0A5

, / . . + -/ ,
,
. "/ H . #H 2
,A0 0 + /
/(/ ) $R
$J 6 (7R
: [8 2( G ;;00=(^ 7 U P
Y3 &( 7!#V ^ O
/ 2
,
0
"/ - / ) ) +
, "/

. )
/ 0+ +
, ,
0 , . 2) + )1+ , /(/
/ / ;
+
$. + / , / ) 1 0('&(6 ; 6= (7Z G 0=Q Q
S T "S T
Y3 &( 7!# Y P # 5 ' % 8 = 5 6 %" 5 (I Y "E I I I 7
J"(C((C' (7FH!#(VY3 &( N1 7"/ H . "/

)

,
. E$I !8 @ (
G ;;0#^ ^
?]SS T T
Y 7K* 7F V =7E9 W0 6 6 ?33 ' ; 6 6 % 6 I
K*C % F K5 Y N1 7 ,
0 5

, / . . + -/ ,
,
. "/ H . H 2 ,A0 0 + /

/(/ ) $R
$J 6 (7R
: [8 2( G ;;0#U P

S T S T
Y :*7 @ 7"F Z
#7"E
N
P 0 9 : % ' HI

, / , +
,
/
0 00# T P O K RR"W5 G ;00# Q7 ^
Y :*7 @ 7 Y 7J"M5 7F @ X 7J" * S U UT =S# ; ' 6 8 10 5 % =

0= U
,) +
,)
,
:H ) + ) $ 8/ / / ,A0) + -, .
/ ) ) + ,-7 .S ^ T 7= P 4 ^ G
S T
Y 6 =71M* 71F<!# :6 7M51C U U W & 6 9
6 6 %3 6 0 &6
6 % 1Z
0 6 ; 2( +
.
-+ . 2 5/ ,(/ + ) 7 7 Q T^ P G ;;0#] Q

7

506 5 *G1 "E3 7
4 4 5 6 ' %7 Q
6 %5&;0( =7Q ^
6 %5 7Q^

GN
7^ ^ 6 6= 7O P
' (7= ^7= 5 5 '7Q^
6 %7 ^ : 20( 6 7Q
Z
7 Q 6 6 (7Q^
6 7( ^ ' %7Q ]
6 7Q Q =7
4 6 7( ^ & 7(
%(7 Q & 4 0 7( ]
%5 =7( ^7Q 7Q & 0(6 6 6
" 7Q 7= U
6 =7] 6 ; 7(
6 7 Q @ 6 $ &' (7] O
6 7( U7 Q7 ^ @ 6 $ 7] O7=
(7 ^
0 6 5 7(^ ^
6 %'* 50(6 5 (7= ] T ^ G % *E$ 6 6 $ 7( O
6 %7] O GJ#"7 Q
J#"7]^ 7( 7= P 4 0( 6 6=7( 5^ 0(6 5 (7= ]
"CN
7^ ^ GS= "C
N1J"7
' (7(^ ^
&( 7^ ^ 6 ' 4 % % 7 ] ^ 0 6 6 6 7(
56 %7( U %
55 5 7] 6 6 7 U
& 6 1 ;0( 7]
0(' ' &6 5 7] 6 7 U
5 6 5 7(^ ^ %50( = 7*] ^6 7= P P %7]^
5 % 7] ] 4 ' =7 P
'
'0= 7( 7(] P
' 4 7(] P ' 7 P
(7 ''%% 5*% 7 O7P O

5 6 7( Q
& 24 0 0 % (7Q Q7(Q 7O ]7= P 7= G1 $E$ 7= P 7= T Q
; % 6 % 7O P ' 7=
' % *;% 7Q O 7O P R N8Y 5C;'% ( 7( = 7(
; 7= Q X' 7(
%
7Q O7(Q ^7O P
Q
Q

7( ] D N1"7= U

0 6 7= > 4 % ;0( 6 6 6 7
% 0( 7O D WJ
M[57
:
2 7U ]
0( 5 6 % 7( P O
' 6 0 $ 0 % X((77 U
M ' (7

' 0 0 % $ : 2(7 Q % 6 $ 6 * '6 7Q Q7Q ]
% 6#6 %7U ^
% 7 U7(Q O7Q ^7O P
K
J
!( ' 6( :1 2$ ' 7 % '6 ; #0( 6 6 6 7
7(^ U
(7 6 %5 ' =7( ^
6 5 '6 7( U7 ^ T

% 6 (7Q Q7(Q ] Z
7 Q
% 6( 50(6 5 (7= ] Z
&&$ '6 7( U7 ]7] 7^ 7=
5 6 5 ' =7]^ 6 =7 ^
; (7= Q Z
=7O
6 7 O % 6 6( (7^
*5 ' 7 P 6 % 0( " 6 7=
0 % %7^ ^ Z
0> 6 :1 2(7] P7 O7#
*5 5 7]
' 6( :1 2 7= ^ & 6 8 0 7]
&( 7U 7 0(' ' &(6 * 7(]
% 7]
% 0( * ' 7]
N1N8!1J
W"E97= ^ 0 (7] Q
% (7 ^ &6 *6 0( 7]

6 % & 6 7^ U &6 * ' =7]
N16 : 2(7OU T] P &6 "0( $ =7]
*'6 (7= P 7= &6 * 5 (7]
% 7= &6 * % 5 6 % 7]
Z
0> 6 : 2(7] '0= 7] O
6 6 % 6 ;0 &(6 7] Q 5 7]
N1!8J
W"E97= ^ '4 6 %7]
7( 6 6 6
&( 24 0 0 % (7Q O 7= U
6 5 0( % 7 O Q*6 %7 P 6 ; 7(
0( 0 (7 U % 50 (7 U
' 7Q O

7OQ & 24 0 0( % =7

!G*7
5 ' 7OQ 6 4 % % :1 2 7 U
X =7= 506 5 =7( P
X 6= 0(' 7 P 6 % ' 7= ] T ^
7
6 7= ] 7= ]
" % (7
% 6 7( ]
' " X (7(] ^7 3G1 E$ 7= Q
4 :
:1 2(7* ^ 7 P7Q Q7"Q ]7O 7 0 6 7= ]
O] 6 ; 7(

QQ

6 %7U ^ 6 %7 U
% %7= ] 6 : 6 6( (7^
&( (7 S 7 O
& 6 1 ;0( 7]
5 *6 6( =7 ^ E$ 2 > 6 (7( P ]
"2 7U ]

I % 0( ;5 6 7] P E$J"C7 Q

I CW"K
8#*7 5 7 U
EI E$K57=
EI "7=
V & X(7U U7 P 5 &( 6 &( 7 O
V :1 2(7OU 5 5 '7Q^
*'6 4 6
0( 0 =7] O
A" 36 : 7=

AI CC7 P % (7 U7= P P

A : 2(7( O7= R

7= P
Q 4 5 6 7 P RN1 6 2(7O ]

&( 6 7 P : 20 6
A"'6 6 &( 2; =7] ] & 24 0 0( % =7Q
R
' 6 Y9 7= P
6 26 %7 P
' 4 50' 7= ]

6 %7( U7 P7= ^ X' 7(
7= U 4 0( 5 6 % 7= P O
% 6 7U^ 6 (7^
(7=
7U^
S#R
' 7(
6 4 '0( (7 U7(U ^ 55 7 Q

0( 6 (7U U = 7 P
'0( (7( U
' '0( (7 U7U^ W 6 %* '6 7 U
0 6= 506 5 =7( ]
6 %* 7O Q 0 (7] Q
6 %* 7# U 6 6 ;& 24 0 0( % =7Q^
&( 24 0 0 % (7Q^ ' 0('
; 8' 7(
6 %* ' (7 O
S=N1!#7(
6
' =7( ^ 0

6 % 7O %7

6
1 ' =7 O %7
6
:1 2 7 U 0 6 6 6= &' 0 %7( Q7= ]
(7 0 6 6 6
6 6 ; 6 5 7 4 % (7#
S=R
' 7( > 4 % (7=
' (7= !G*7
S# *7( P % 50 (7
6 %7( !1K!#7= Q7# ]
JE97= P != 0 (7 Q
6 6( 0( 0 =7( Q7# U7 Q 7 7 7Q
&( 24 0 0 % (7OP 7 % U * 7 O
6 24 '0 &(6 7( 7( Q
6 6 %7 U 6 %5 '6 7 O
QO

6 =7 ] 6 6 6 7=
(7 ^ 506 5 =7(
0 4 0 0 4 0 7= U
7( U C I E$K57=
6 7( U *'6 6 %7] O
0 " > 7O *'6 =7( P
!8 0 6 50( 7 X * 7# P
!1J
WE97= ^ 0( 6 6 %7U U
0 0(" 7( 0' ' &6 * 7]
!8["M"E$S=I W"R*7= P &6 *6 0( 7]
&6 * ' (7]
J
E97= P 7= ^ &6 "0( =7]
'
:1 2 7= ^7O^ &6 * 7]
N16 : 2(7OU T] P &6 * % 5 6 % 7]
V :1 2(7OU 0( 7(
% 7O
5 6 %7^ ]
6 X =7( ^ '0= 7( ^ 7(] O
0 (7 P '5 ' 7 U7Q O
0 ; 6 %7 P '0( 6 %7( U
7= '
'0= 7(
7 U 6 7( O
&( 0( 6 6 6 7= U 6 7= 7= O
6 6 6 7( U
0( 4 0 7= U
6% % 6 (7= U %7 U

' ' 7= U 50( ' 7] O

0( 7( U 6 % 7=
6% % 6 (7= U 7O Q
&( 7U ]
2 %E$ G1 0( (7=
7U 7 6 (7(
: ;2 7U ] 0( 6 % 7= ^
"2 7U ] 0( 6 % 4 %; 0#7]^ 7 ]7# P
;% (7U %7( U
J * G1 C 5'6 7( P % (7U
J
WE97= ^ 7= U
0(' 7( P 7=
6 4 % (7( U7(] ^ 6 6 %; 6 ;0 &(6 7] Q
6 4 % %5 :1 2 7]^ % 7] Q
% 50 (7 U 0( 7( U
(7 U
6 4 '0( ;6 %7( U7U ^ ' %*&( 24 0 0 % (7(Q ]

4 6
' =7( ^ ' 6( 00 X ; 7Q Q
% ; ' =7 Q ' '0( ;6 %7( U7]^ 7U^
% 4 0((' 7( '0= " 8' 7( ]
%5' 7( ' 7( 7(] P
%5 ' (7( ^ 7(Q 7Q 7(] O
" 7Q ' 7=
6 7( P ]7= ^
&( 0( 6 6 6 7=

Q]
' (7]^ 7

(7 ^
% 6 6 7^
5 *6 6 7^
6 : 6 6 7^
Y9 0#7= P 7= 7= O
Y :
4 Z
$ '6 7( U
: 4 2 4 6 6 7] U
W"J
0 &6 7

Krose 1996 Neuro-Intro

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Krose 1996 Neuro-Intro

Enviado por

Direitos autorais:

Formatos disponíveis

An

    

L#; ';  ?:G C ?A@BG C >DB@DDC>FG E'FG < FDF @"A

* '    6 0 :  ;  2 

G6      6 X 50(6 ; * 4    :

  0'8    47  "  50(6  8      =Z

             '   %5  ":  %   ?

 '  0'6   " 

    6( 0'1 1 %     7    506

#; L#; ##J'@ >< C EC DD@AF@B< ?"@EG < >D

     

     !  " $  & !   ! (  ) ) (  ! 

8:1 "   * ;  0   '  0  75   % 6 4 6   

   . :   8 =    5    .5 :  8 =    5    . : 2 8 = 1 0 . 2  8 =    5   1':   8 =  1': = S O QT

"S 2 1T :g j o f H 

   !    % !  6 6%         !    !    )  !    !  -  ! )-!  - &

number of learning samples

P PP PP QPP OPP ]PP

PP PP PP QPP O P P ]PP

 * 6 %         1   6 6     S   ; >;  T

N1' 6    ;     *5   '  ?

 3 '       5 '*&(  #  5 

      5 "&(  5 "   50(      =5G1     6  7# '  

9 ,23 , [ ? - / G12 ,.- 3 ;  - 3 / ,

      %  T   $       '6 =7 % 7&( *     6   

1   )5  ! U`  ;   U!&& !  !  !&# !  

       ( "#! &D )     %

category representation field

not not not

  # !

'*'6     " # '  '     1

 S 49T   S 49T   S  0 G S 490 T G 49T

    D   !  %    ! 

3 50(     "  ; 

 > 6 6  6    * ;   0#7  50(6 X 

5    ; '       "0  &(6 H  / 

6    %" '6 7 *    

I 1 00(   #  1   17 P P P*       =

'  ", U 98 :3   ;D  8'1/(02:

      %

! !  -  !  (     !  "    ! $     

&  &$   $=*!

#; #; 'P >#C'@F3D@A @C DD@?'C E @BG C >D

sharp left straight ahead sharp right

8x32 range finder

30x32 video input retina

L% ; ##; C D'@@ < D'@"G /4 >< A

neuron neuron neuron

neuron neuron neuron

cl-1 (v) ul (n’ )

     D      !  !  "#!      ! 

  % &( '   (7   IS  G .  9T# =

 S  G .  T  ; S G 5G 8 T  S      T 5 7.'<G S  PT

IS  G .  T  ; S G 5 G 8 T  78 S G 5 T  S  G .T 14<=

# &6 * ?1 0(    &6   X    "(

16,384 Processors 16,384 Processors Bus interface

   -   D    !           ! B      !  

W 0(    &(6  506 5         $%     \S @ 6 6 6  F J

&   +"!  *&

   -  D    %

Warp Interface & Host

cell cell cell Y

   -  D     ! B    !  ! 

L#; '; ?:G C ?A@BG C >DB@DDC>FG E'FG < FDF @"A

* ' 6 0 : ; 2

G6 6 X 50(6 ; * 4 :

0'8 47 " 50(6 8 =Z

' %5 ": % ?

' 0'6 "

6( 0'1 1 % 7 506

#; L#; ##J'@ >< C EC DD@AF@B< ?"@EG < >D

! " $ & ! ! ( ) ) ( !

8:1" * ; 0 ' 0 75 %6 4 6

. : 8 = 5 .5 : 8 = 5 . : 2 8 = 1 0 . 2 8 = 5 1': 8 = 1': = S O QT

"S 2 1T :g j o f H

! % ! 6 6% ! ! ) ! ! - ! )-! - &

PP PP PP QPP OP P ]PP

* 6 % 1 6 6 S ; >; T

N1' 6 ; *5 ' ?

3 ' 5'*&( # 5

5 "&( 5 " 50( =5G1 6 7# '

9 ,23 , [ ? - /G12 ,.- 3 ; - 3 / ,

% T $ '6 =7 % 7&(* 6

1 )5 ! U` ; U!&& ! ! !&# !

( "#! &D ) %

# !

'*'6 " # ' ' 1

S 49T S 49T S 0 G S 490 T G 49T

D ! % !

3 50( " ;

> 6 6 6 * ; 0#7 50(6 X

5 ; ' "0 &(6 H /

6 %" '6 7*

I 1 00( # 1 17 P P P* =

' ", U98 :3 ;D 8'1/(02:

%

! ! - ! ( ! " ! $

& &$ $=*!

#; #; 'P >#C'@F3D@A @C DD@?'C E @BG C >D

L% ; ##; C D'@@ < D'@"G /4 >< A

D ! ! "#! !

% &(' (7 IS G . 9T# =

S G . T ; S G 5G 8 T S T 5 7.'<G S PT

IS G . T ; S G 5 G 8 T 78 S G 5 T S G .T 14<=

# &6 * ?1 0( &6 X"(

- D ! ! B !

W 0( &(6 506 5 $% \S @ 6 6 6 F J

& +"! *&

- D %

- D ! B ! !

( / ,2, - 3 23 - - , 23 M2;

X"3 M /: 9G :

- D # - # % !

G1 6 61 M5 Y 71E$' 78!# 78F( 0 78K* U ^ : -/

N16 (7 V S1 S P T D %" ' ' 5 5

+ / , / 7 7 P ] T ] O G ;;0#(

D '2' 7AIS U UT 5R

% = "/ H . "/

: 2 "/ H . "/

2 5/ ,/ + ) 7 7= T Q O78 U^ T P G ;;00=]^ 7

Z (7N

6 & 6

I 9* D =E3' QS N1= T 7 "/ H . "/

G 6 G 0=O U

A" 7E 7F A" :

!# 2 7K* @ S U ] T #/ ,+ ,- ;

!= 6 5' 7 @ =*GS P T 2, :+ "/ H / , "/ H . "/

P T T 1!1 &(' % (7!(H ] Q?

!8 7 Y Z* 7 D 6 7 @ !# 7= '2 6 2 7C( * 7F 6 %7Y " S U T H :;/ + . / + 8/ )

' 4 5 4 = "/ H . "/

7( ] D N1"7= U

M ' (7

% (7 ^ &6 *6 0( 7]

7OQ & 24 0 0( % =7

I % 0( ;5 6 7] P E$J"C7 Q

AI CC7 P % (7 U7= P P

A : 2(7( O7= R

' 4 50' 7= ]

6 % 7O %7

' ' 7= U 50( ' 7] O

' (7]^ 7

0 &6 7