ANNLecture2 PDF

Biologically Inspired Compu4ng: 
Neural Computa4on 
Lecture 2   
Patricia A. Vargas   
Lecture 2 
I.  Lecture 1 – Revision 
II.  Ar4ficial Neural Networks (Part I)   
I.  Ar4ficial Neuron 
II.  Neural Network Architectures 
III.  Learning Paradigms 
F21BC2‐BIC‐Neural Computa4on  2 
Biological Neural Network 
•  How does our brain process all the informa4on it receives/
perceives and what are the main mechanisms involved? 
IA353 – Profs. Fernando J. Von Zuben & Romis R. F. Attux
DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp
h
N e tw o rk o f
n e u ro n s
N e u ro n
B ra in
S yn a p se
2.1.1 Neurônios e Sinapses 3 
• os neurônios utilizam uma variedade de mecanismos bioquímicos para o

The Synapse 
• a sinapse é uma fenda entre os terminais pré-sináptico e pós-sináptico, medindo

A neuron ac4va4on is also called spiking, firing, or triggering of an ac4on poten4al.  
~20 nm.
4 
Tópico 2: Base Biológica: Aspectos Funcionais e Organizacionais 14

** Versões anteriores deste material foram elaboradas em conjunto com o Prof. Leandro N. de Castro
Synap4c Plas4city 
•  The synap4c plas4city I defined by the 
capability of changing or modifying the 
synapses.  
•  Exploring the synap4c plas4city is crucial for 
the great majority of learning algorithms 
designed for ar4ficial neural networks. 
5 
Ar4ficial Neural Networks (ANN)  IA353 – Profs. Fernando J. Von Zuben & Romis R. F. Attux
•  History  1943
1948
McCulloch e Pitts
Wiener
1949 Hebb
1957 Rosenblatt
1958 Widrow e Hoff
!!! !!!
1969 Minsky e Papert
!!! !!!
1960- Kohonen, Grossberg, Widrow,
1980 Anderson, Caianiello,
Fukushima, Aleksander
!!! !!!
1974 Werbos
!!! !!!
1982 Hopfield
1986 Rumelhart e McClelland
6 
Tabela 1 " Histórico da pesquisa em Redes Neurais Artificiais
mas não ambas. Exemplo: Este curso é IA353. Contra-exemplo: Qual seu nome?
• Embora com os conhecimentos atuais sobre os mecanismos físicos e químicos
envolvidos na transmissão de sinais no cérebro seja possível afirmar que nenhum
Ar4ficial Neural Networks 
IA353 – Profs. Fernando J. Von Zuben & Romistipo
R. F.de
Attuxlógica das proposições é realizada no cérebro, o neurônio de McCulloch e
Pitts pode ser visto como um caso particular do neurônio genérico utilizado em
IA353 – Profs
•  McCulloch and Pi[s (1943) 
RNAs. DCA
• Considere a representação simbólica do neurônio de McCulloch e Pitts:
1943 McCulloch e Pitts
–  first ar4ficial neuron model 
Função de
1948 Wiener Tópico 4: Projeto de Redes Neurais Artificiais ativação 11
1949 Hebb x1 u y
1957 Rosenblatt
1958 Widrow e Hoff x2 ! f(u)
!!! !!! –  x1 and x2:    Função de
Saída
f(u)
1969 Minsky e Papert Junção
ativação
–  u: result of the summing junc4on 
x1 u somadora y
!!! !!! !
xf(u) : ac4va4on func4on 
f(u)
–  2
1960- Kohonen, Grossberg, Widrow, Saída
1980 Anderson, Caianiello, –  y : output 
Cada neurônio
•Junção possui um limiar (threshold) fixo ", e
somadora " u
Fukushima, Aleksander • A cada iteração t, o neurônio responde a suas entra
• Cada neurônio possui um limiar (threshold) fixo ", e recebe algumas entradas.
!!! !!! –  MCCULLOCH, W.S. & PITTS, W. “A logical 
1974 Werbos estado do neurônio
responde a suaspré-sináptico.
calculus of the ideas immanent in nervous 
• A cada iteração t, o neurônio Serefletem
entradas sinápticas, que nenhuma
o si
estado do neurônio pré-sináptico. Se nenhuma sinapse inibitória está ativa, o
!!! !!! ac4vity”, Bulle4n of Mathema4cal 
neurônio integra
neurônio integra (soma) suas entradas,(soma) suas líquida
gerando a entrada entradas, gerando a
(ou entrada
1982 Hopfield Biophysics, vol. 5, pp. 115‐133, 1943.  
interna) u do neurônio, e verifica se u é maior do que o limiar ". Caso positivo, o
1986 Rumelhart e McClelland interna) u do neurônio, e verifica se u é maior do qu
neurônio responde com um sinal de saída de valor 1. Caso negativo, ele responde
neurônio responde com um sinal de saída

com um sinal de saída 0. 7  de valor 1
Tabela 1 " Histórico da pesquisa em Redes Neurais Artificiais • Exemplo de operação: funções lógicas OR e AND.
com um sinal de saída 0.
1943
1948
McCulloch e Pitts
Wiener
•  Norbert Wiener (1948) 
1949 Hebb –  WIENER, N. (1948) 
1957 Rosenblatt
1958 Widrow e Hoff “Cyberne4cs”, The MIT Press. 
!!! !!!
!!! !!!
!!! !!!
1974 Werbos
!!! !!!
1982 Hopfield
8 
1943
1948
McCulloch e Pitts
Wiener
•  Donald Hebb (1949) 
1949 Hebb –  Hebbian Learning 
1957 Rosenblatt
1958 Widrow e Hoff
!!! !!!
1969 Minsky e Papert –  Hebb, D.O. (1949), “The 
!!! !!! organiza4on of behavior”, 
New York, Wiley. 
!!! !!!
1974 Werbos
!!! !!!
1982 Hopfield
9 
•  Frank Rosenbla[ (1957) 
1943 McCulloch e Pitts
–  Perceptron 
1948 Wiener
1949 Hebb
1957 Rosenblatt
1958 Widrow e Hoff
!!! !!!
!!! !!!
!!! !!!
1974 Werbos –  Rosenbla[, F. (1958), “The perceptron: A 
!!! !!! probabilis4c model for informa4on 
1982 Hopfield storage and organiza4on in the brain, 
1986 Rumelhart e McClelland Psychological Review, v65, n6, pp: 
386‐408. 
F21BC2‐BIC‐Neural Computa4on 2010  10 
1943 McCulloch e Pitts •  Widrow‐Hoff Learning Rule (1958) 

1948 Wiener
1949 Hebb
–  LMS (Least Mean‐Square) 
1957 Rosenblatt
algorithm 
1958 Widrow e Hoff
!!! !!! –  Widrow and Hoff (1960), “Adap4ve 
1969 Minsky e Papert Switching Circuits”, IRE WESCON 
!!! !!! conven4on record, pp: 96‐104. 
1960- Kohonen, Grossberg, Widrow, –  Widrow and Lehr (1990), “30 years 
1980 Anderson, Caianiello, of adap4ve neural networks: 
Fukushima, Aleksander perceptron, madaline, and 
!!! !!! backpropaga4on”, Proc. Of the Inst. 
1974 Werbos of Electrical and Electronics 
!!! !!! Engineers, v78, pp: 1415‐1442. 
1982 Hopfield
11 
1943
1948
McCulloch e Pitts
Wiener •  Marvin Minsky and Seymour 
1949 Hebb Papert (1969) 
1957 Rosenblatt
1958 Widrow e Hoff –  Book:  “Perceptrons”. 
!!! !!! –  This book marked the 
beginning of the “dark era” in 
!!! !!!
1960- Kohonen, Grossberg, Widrow, ANN research – the field 
1980 Anderson, Caianiello, stagnated for more than 10 
Fukushima, Aleksander years. 
!!! !!!
1974 Werbos –  New updated version of the 
!!! !!! book was published in 1988. 
1982 Hopfield
12 
1943
1948
McCulloch e Pitts
Wiener
•  Hopfield (1982) 
1949 Hebb –  Hopfield ANN: a recurrent 
1957 Rosenblatt ar4ficial neural network 
1958 Widrow e Hoff
!!! !!!
1969 Minsky e Papert –  HOPFIELD, J.J. (1982), “Neural 
!!! !!! networks and physical systems 
1960- Kohonen, Grossberg, Widrow, with emergent collec4ve 
Fukushima, Aleksander computa4onal abili4es”, 
!!! !!! Proceedings of the Na8onal 
1974 Werbos Academy of Sciences of the 
!!! !!! U.S.A., vol. 79, pp. 2554‐2558.  
1982 Hopfield
13 
1943
1948
McCulloch e Pitts
Wiener
•  Rumelhart and McClelland 
1949 Hebb (1986) 
1957 Rosenblatt –  Backpropaga4on Algorithm to 
1958 Widrow e Hoff train Mul4‐Layer perceptron 
!!! !!! ANN. 
!!! !!!
1960- Kohonen, Grossberg, Widrow, –  RUMELHART, D.E. & 
1980 Anderson, Caianiello, MCCLELLAND, J.L. (1986), 
Fukushima, Aleksander “Parallel Distributed Processing: 
!!! !!! Explora4ons in the 
1974 Werbos Microstructure of Cogni4on”, 
!!! !!! vols. 1 & 2, The MIT Press.  
1982 Hopfield
14 
nção de ativação. multiplicado por um valor constante de entrada igual a +1:
#1 se u ! 0 Tópico 4: Projeto de Redes Neurais Artificiais
y = f (u ) = "
!0 caso contrário
Ar4ficial Neural Networks  15
ojeto de Redes Neurais Artificiais
onde u = x1 + x2 # b (para b negativo).
IA3
•  Generic Ar4ficial Neurons 
Tópico 4: Projeto de Redes Neurais Artificiais
• Note
IA353 – Profs. Fernando J. Von Zuben & Romis que
R. F. Attux
17 genérico é s
a saída deste neurônio

de Synap4c  
potenciais
Pesos das de ação (disparos) discretos é ig
Synap4c  
Pesos das Weights 
conexões
Weights 
+1
conexões bk Limiar(bias) de neurônios,
wk0 = b0 denominados spiking neurons, q
x1
wk1 x1
Função de
Ac4va4on  • Matematicamente,
IA353 – Profs. Fernando aRomis
saídaR. F.do
wk1 J. Von Zuben &Ac4va4on 
Função de
neurônio
Attux k pode
x2 wk2 Func4on 
ativação DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp
Func4on 
Entradas
x2 ativação
) m &
wk2
u y
y k = f (u k ) = f ' *
' k wkj x j + bk $
Entradas
• Note que a saída deste neurônio genérico é simplesmente um número, a presença
Signals 
k k
u y
$
Input 
"
Signals 
f(u )
! ( %
Input 
k
j =1 f(uk)
…
de potenciais de ação (disparos) discretos é ignorada. Entretanto, existem modelos
…
wkm Output 
Saída Saída
Output 
wkm
Summing  
de neurônios, • É possível
denominados spiking neurons, que utilizam
Junção simplificar
disparos discretos.a notação acima de
Summing  
Junção
Junc4on 
somadora Junc4on 
somadora
xm definindo
• Matematicamente, a saída do neurônio k pode serxmdescrita por:um sinal de entrada de valor x0 = 1
representação, o primeiro subscritomk do peso sináptico wkj corresponde ao ) m &
) &
io pós-sináptico, eyok = f ' * wcorresponde
'
f (u k ) =subscrito
segundo
$
kj x j + bk $
y k = f (u k ) = f ' wkj x j $$
à sinapse ligada a ele.
' 19
Tópico 4: Projeto de Redes Neurais Artificiais *
( j =1 % ( j = 0 %
ão somadora soma todos os sinais de entrada ponderados pelos pesos das
• É possível simplificar a notação acima de forma a incluirvários
• Existem o biastipossimplesmente
de função de ativação c
ões. Assumindo os vetores de entrada e de pesos como sendo vetores coluna, 15  IA353 – Profs. Fernando J. Von Zuben & Romis R. F. Attux
definindo um sinal de entrada de valor x0 = 1 com peso função associado

degrau,was k0 = bk:
funções sigmoidais, e as fun
$ 1 se pu # 1
peração corresponde ao produto interno do vetor de entradas x pelof (vetor ! de
u ) = # pu se 0 < pu < 1
com p constante e positivo. k
m k k k
a do neurônio de McCulloch e Pitts: 0.8
xm p=3
0.6
p=1.5
p=3
p=0.8
0.5
0.6
p=1.5
11 Tópico 4: Projeto de Redes Neurais Artificiais 0.4

19
p=0.8
0.4
0.3
0.2
0.2
IA353
0.1– Profs. Fernando J. Von Zuben & Romis R. F. Attux
0
0
$
-5 0 5 -5 0 5
1 se pu k # 1
a) ! b)
•  Ac4va4on func4ons 
com p constante e positivo.
IA353 – Profs. Fernando J. Von Zuben & Romis R. F. Attux f (u k ) = # pu k se 0 < pu k < 1
DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp Função logística!"(a) e0 sua
se pderivada
uk " 0 em relação à entrada interna (b)
1
f(u) Tópico 4: Projeto de Redes Neurais Artificiais

0.8 p
0.6

0.4
IA353 – Profs. Fernando J. Von Zuben & Romis R. F.
DCA/FEEC/Unicamp & DECOM/FEEC/Un
e pu k 1 "y
y = f (u k ) = pu = e pu k ! e ! pu k
0.2
da = pu k (1 ! u k ) > 0 "y
e k + 1 1 + e ! pu k "u k y = f (u k ) = tanh( pu k ) = pu ! pu k = p (1 ! u 2k ) > 0
0
k
e +e 0 "u k
" u
0
a)
1/p
2.5
0
b)
1/p
0.8 1
1
Função semi-linear (a) e sua derivada em relação à entrada interna (b)
reshold) fixo ", e recebe algumas entradas.
0.8 p=3
0.7

p=2.2
p=1
2
20
0.6 0.5
p=1.5 p=0.6
p=3 p=2.2
onde a suas entradas sinápticas, que refletem o
0.6
p=0.8
0.5
p=1.5
1.5
p=1
0.4 0
Se nenhuma sinapse inibitória está ativa, o

0.4
0.3
p=0.8
1 p=0.6
adas, gerando a entrada líquida (ou entrada

0.2
0.2
-0.5
0.5
0.1
e u é maior do que o limiar ". Caso positivo, o

0
0
-1
0
-5 0 5 -5 0 -5 5 0 5 -5 0 5
a) b) a) b)
e saída de valor 1. Caso negativo, ele responde Função tangente hiperbólica (a) e sua derivada em relação à entrada interna (b)
• Embora com os conhecimentos atuais sobre os mecanismos físi
do neurônio de McCulloch e Pitts: envolvidos na transmissão de sinais no cérebro seja possível afirm
tipo de lógica das proposições é realizada no cérebro, o neurônio d
11
Pitts pode ser visto como um caso particular do neurônio genéri
RNAs.
•  Ac4va4on func4ons: Threshold Func4on 
• Considere a representação simbólica do neurônio de McCulloch e P
f(u)
If u ≥ Θ then “fire” 
If u < Θ then “don’t fire” 
IA353 – Profs. Fernando J. Von Zub
DCA/FEEC/Unicamp & D
" u
Função de f(u)
shold) fixo ", e recebe algumas entradas. ativação
1 x u y
de a suas entradas sinápticas, que refletem o
x2
Se nenhuma sinapse inibitória está ativa, o
! f(u)
Saída
das, gerando a entrada líquida (ou entrada Junção
u é maior do que o limiar ". Caso positivo, o somadora "
Tópico 4: Projeto de Redes Neurais Artificiais 19
Ar4ficial Neural Networks  IA353 – Profs. Fernando J. Von Zuben & Romis R. F. Attux

$ 1 se pu k # 1
! com p constante e positivo.
f (u k ) = # pu k se 0 < pu k < 1
•  Ac4va4on func4ons: Piece‐wise linear func4on 
!
" 0 se pu k " 0
0.8 p If puk ≥ 1 then f(uk)  = 1 
0.6
If 0 < puk < 1 then f(uk)  = puk 
If puk ≤ 0 then f(uk)  = 0 
0.4
0.2
0 0
0 1/p 0 1/p
•  p  is constant and posi4ve 
a) b)
Função semi-linear (a) e sua derivada em relação à entrada interna (b)

e 1 pu k
"y
y = f (u k ) = pu k
= ! pu k = pu k (1 ! u k ) > 0
e +1 1+ e "u k
•  Ac4va4on func4ons: Sigmoid func4on 
0.8
1
0.7
IA353 – P
0.8 p=3
0.6
D
p=1.5
p=3
pu k
p=0.8
0.5
e 1
y = f (u k ) = =
0.6
p=1.5
e pu k + 1 1 + e ! pu k
0.4
p=0.8
0.4
0.3
0.2
0.2
0.1
0.8
0 1
0
-5 0 5 -5 0 5
0.7
a) b)
p=3
Função logística (a) e sua 0.8
derivada em relação à entrada interna (b) 0.6
p=1.5
p=0.8
-5 0 5 -5
a)
Função logística (a) e sua derivada em relação à en

Ar4ficial Neural Networks  IA353 – Profs. Fernando J. Von Zuben & Romis R. F. Attux
Tópico
pu k 4: Projeto
! pu k de Redes Neurais Artificiais
e !e "y
y = f (u k ) = tanh( pu k ) = = p (1 ! u 2k ) > 0
e pu k + e ! pu k
•  Ac4va4on func4ons: Hyperbolic tangent func4on  "u k
2.5
1
p=2.2 IA353 – Profs. Ferna

2
p=1 DCA/FEEC/
0.5
p=0.6
e pu k ! e ! pu k
p=2.2
y = f (u k ) = tanh( pup=1
1.5
k) =
0
e pu k + e ! pu k
1 p=0.6
-0.5 2.5
1
0.5
p=2.2
-1 2
0
-5 0 5 -5 0 p=1 5
0.5
a) b) p=0.6
Função tangente hiperbólica (a) e sua derivada em relação à entrada interna (b) 1.5
0
1.2. Arquiteturas de Rede
• Muito pouco é sabido sobre os padrões de conexão entre os neurônios biológicos.
• Entretanto, a maioria das RNAs utilizam arquiteturas padronizadas, projetadas
•  Architectures 
especialmente para resolver algumas classes de problemas.
• O processo de conexão entre neurônios artificiais leva à geração de sinapses e à
construção de redes neurais artificiais.
1 wi0
yj
g
w
ui yi
g
xij
wij

• Esta rede é denominada feedforward porque a
da entrada
xm para a saída, ou seja, é apenas
yo no se
wom
Camada& w
Ar4ficial Neural Networks  w11 !
Camada de
entrada
" # =$ "
Wsaída
de
10
$
$% wo 0do w
• Esta rede é denominada feedforward porque a propagação sinal
o1 !
•  Architectures: Single‐layer Feedforward Networks 
da entrada para a saída, ou seja, é apenas no sentido positivo.
& w10 w11 ! w1m #

W = $$ " " # " !!
$% wo 0 wo1 ! wom !"
IA35

yi = f(wi.x) = f(!j wij.xj) , j = 1,…,m.
Note que a primeira coluna de W corresponde
• Em forma matricial:
y = f(W.x), IA353 – Profs. Fernando J. Von Zuben
DCA/FEEC/Unicamp & DEC
onde W " #o$m, wi " # 1$m
, i = 1,…,o, x " # m
• Seja W a matriz de pesos da camad
k
• w ij corresponde ao peso ligando
sináptico j na camada k.
• Em notação matricial, a saída da red
•  Architectures: Mul4layer Feedforward Networks 
x0
x1 y1
Wk is the synap4c 
weight matrix of 
layer k 
x2 y2
…
…
yo
… …
xm
Camada de
entrada Primeira
camada
Segunda
camada
Camada de
saída y = f3(W3 f2(W2 f1(W1x)))
escondida escondida
• Note que fk, k = 1,..., M (M = númer

Seja Wk a matriz de pesos da camada k, contadas da esquerda para a direita.
wijk corresponde ao peso ligando o neurônio pós-sináptico i aok neurôniol#lpré-

f ! " , onde l é o número de neurô
sináptico j na camada k.
•  Architectures: Recurrent Neural Networks  IA353 – Profs. Fernando J. Von Zuben & Romis R. F. Attux
Z!1
Ex: Hopfield Neural 
Network 
Z!1
Z!1
Rede neural recorrente de Hopfield.

do, por ajuste dos parâmetros da rede.
ural artificial, seja w(t) um peso sináptico de um dado neurônio,
po t. O ajuste "w(t) é aplicado ao peso sináptico w(t) no instante
•  Learning Paradigms 
orrigido w(t+1), na forma:
w(t+1) = w(t) + "w(t)
I.  feita
(t) pode ser Supervised Learning 
de diversas formas. O tipo de aprendizado é
II.  Unsupervised Learning 
écnica empregada no processo de ajuste dos pesos sinápticos
e neural). III.  Reinforcement Learning 
rais Artificiais 32
Lecture 2 
I.  Lecture 1 – Revision 
II.  Ar4ficial Neural Networks (Part I) 
26 
Lecture 2 
Reading list/Homework 
‐  Read Chapter 1.3 and 1.6 (inclusive) from the book: 
 “Neural Networks and Learning Machines” (3rd Edi4on) 
by Simon O. Haykin (Nov 28, 2008)  
‐  Answer ques4ons 6‐7 from the Tutorial material 
27 
Lecture 2 
Related videos: 
•  The Human Brain Project (Overview) 
h[p://www.youtube.com/watch?v=JqMpGrM5ECo 
28 
Lecture 3 
What’s next? 
(Part II) 
29 

ANNLecture2 PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

ANNLecture2 PDF

Enviado por

Direitos autorais:

Formatos disponíveis

Biologically Inspired Compu4ng:

2.1.1 Neurônios e Sinapses 3

• os neurônios utilizam uma variedade de mecanismos bioquímicos para o

• a sinapse é uma fenda entre os terminais pré-sináptico e pós-sináptico, medindo

Tópico 2: Base Biológica: Aspectos Funcionais e Organizacionais 14

neurônio responde com um sinal de saída

1943 McCulloch e Pitts • Widrow‐Hoﬀ Learning Rule (1958)

DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp

de potenciais de ação (disparos) discretos é ignorada. Entretanto, existem modelos

definindo um sinal de entrada de valor x0 = 1 com peso função associado

11 Tópico 4: Projeto de Redes Neurais Artificiais 0.4

f(u) Tópico 4: Projeto de Redes Neurais Artificiais

IA353 – Profs. Fernando J. Von Zuben & Romis R. F. Attux

Tópico 4: Projeto de Redes Neurais Artificiais

Se nenhuma sinapse inibitória está ativa, o

adas, gerando a entrada líquida (ou entrada

e u é maior do que o limiar ". Caso positivo, o

Ar4ﬁcial Neural Networks IA353 – Profs. Fernando J. Von Zuben & Romis R. F. Attux

Função semi-linear (a) e sua derivada em relação à entrada interna (b)

Tópico 4: Projeto de Redes Neurais Artificiais 20

Função logística (a) e sua derivada em relação à en

p=2.2 IA353 – Profs. Ferna

Tópico 4: Projeto de Redes Neurais Artificiais 23

& w10 w11 ! w1m #

Tópico 4: Projeto de Redes Neurais Artificiais

• Note que fk, k = 1,..., M (M = númer

wijk corresponde ao peso ligando o neurônio pós-sináptico i aok neurôniol#lpré-

Rede neural recorrente de Hopfield.

Tópico 4: Projeto de Redes Neurais Artificiais 29

IA353 – Profs. Fernando J. Von Zuben & Romis R. F. Attux

w(t+1) = w(t) + "w(t)

Você também pode gostar

Biologically Inspired Compu4ng: 

2.1.1 Neurônios e Sinapses 3 

1943 McCulloch e Pitts •  Widrow‐Hoﬀ Learning Rule (1958) 

Ar4ﬁcial Neural Networks  IA353 – Profs. Fernando J. Von Zuben & Romis R. F. Attux