EA072 Prof. Fernando J.

Von Zuben
DCA/FEEC/Unicamp

Modelos e Aplicaes de
Redes Neurais Artificiais
(Parte I)
Baseado em Notas de Aula da disciplina de ps-graduao IA353 Redes Neurais (FEEC/Unicamp)

1. Histrico .............................................................................................................. 2
2. Definio Genrica de Redes Neurais Artificiais ................................................ 3
3. Modelo matemtico de McCulloch e Pitts........................................................... 6
4. Modelo matemtico do perceptron ...................................................................... 7
5. Tipos de funes de ativao ............................................................................... 9
6. Dos neurnios s redes neurais.......................................................................... 13

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 1

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

1. Histrico
1943 McCulloch e Pitts
1948 Wiener
1949 Hebb
1957 Rosenblatt
1958 Widrow e Hoff

1969 Minsky e Papert

1960- Kohonen, Grossberg, Widrow,
1980 Anderson, Caianiello,
Fukushima,

1974 Werbos

1982 Hopfield
1986 Rumelhart e McClelland
Tabela 1 Histrico da pesquisa em Redes Neurais Artificiais

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 2

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

2. Definio Genrica de Redes Neurais Artificiais

uma estrutura de processamento (rede), passvel de implementao em
dispositivos eletrnicos (artificial), composta de um nmero de unidades
interconectadas (neurnios artificiais), sendo que cada unidade apresenta um
comportamento especfico de entrada/sada (computao local), determinado pela
sua funo de transferncia, pelas interconexes com outras unidades, dentro de
um raio de vizinhana, e possivelmente pelas entradas externas.
embora seja possvel projetar uma rede neural a partir da definio do papel
(computao global) que ela deve desempenhar, combinando-se os efeitos
individuais de todos os neurnios, uma rede neural usualmente se adapta para
atingir a funcionalidade desejada a partir de uma ou mais estratgias de
aprendizado, as quais vo atuar junto a parmetros configurveis da rede neural.
fundamental, portanto, que a rede neural possua meios de interagir com o mundo
exterior.

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 3

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

cada rede neural artificial apresenta uma arquitetura de processamento ou

topologia, havendo uma famlia de arquiteturas, cada qual adequada para
funcionalidades especficas.
a diversidade de arquiteturas tem aumentado muito, sendo que as ltimas geraes
de redes neurais j no podem ser caracterizadas por apresentarem um grande
nmero de unidades e conexes, com funes de transferncia simples e idnticas
para todas as unidades.
a funcionalidade de uma rede neural artificial vai ser determinada por:

topologia da rede

funo de transferncia de cada neurnio individual

estratgia de aprendizado

dados de treinamento
no entanto, analisar o papel de cada componente da rede neural no resultado final
no uma tarefa elementar.

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 4

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

por este motivo que as mais avanadas estratgias de aprendizado passaram a ser
responsveis pela definio automtica de muitas caractersticas de projeto, antes
a cargo do projetista.
o projetista geralmente no possui informao a priori suficiente para definir, por
exemplo, a melhor topologia da rede e as funes de transferncia que devem ser
utilizadas em cada neurnio, deixando apenas as conexes ajustveis a cargo do
algoritmo de treinamento.
quando o projetista incumbido desta tarefa ingrata, boas estimativas podem ser
obtidas apenas a partir de procedimentos exaustivos de tentativa e erro.
quando o aprendizado atua apenas modificando as conexes, diz-se que o
conhecimento adquirido armazenado nas conexes.
ora, isto significa que, ao arbitrar a topologia da rede e as funes de transferncia
que devem ser utilizadas em cada neurnio, o projetista est introduzindo um
conhecimento inicial, cujo nvel de adequao pode no estar a seu alcance.

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 5

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

3. Modelo matemtico de McCulloch e Pitts

n
y = g wi xi
i =1

xi sinal de entrada (i=1,2,...,n)

x1 w1 wi intensidade da conexo (peso) (i=1,2,...,n)

g(u) funo de ativao

x2 w2 y sinal de sada
u y
g
g(u)

xn wn 1

Figura 1 Representao funcional de um neurnio

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 6

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

4. Modelo matemtico do perceptron

n

y = g (u ) = g w0 + wi xi
i =1

1 w0

x w1
1
u y e
g
x2 w2

yd
xn wn

Figura 2 Perceptron: neurnio artificial com pesos ajustveis

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 7

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

notao a ser adotada mais adiante:

m

y = g v 0 + vi xi
i =1

1 v0

x1 v1
+ g y

xm vm

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 8

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

5. Tipos de funes de ativao

0 se u i < 0

a i (u i ) = [0,1] se u i = 0
1 se u i > 0

1 1

ai
0.8 0.8 ui

0.6 0.6

a i(0)
0.4 0.4

0.2 0.2

0 0

-5 0 5 -5 0 5

a) b)

Figura 3 Funo sinal (a) e sua derivada em relao entrada interna (b)

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 9

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

1 se pu i 1

a i (u i ) = pu i se 0 < pu i < 1 com p constante e positivo.
0 se pu i 0

0.8 p

0.6

0.4

0.2

0 0
0 1/p 0 1/p
a) b)

Figura 4 Funo semi-linear (a) e sua derivada em relao entrada interna (b)
Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 10
 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

e pui 1 a i
a i (u i ) = = = pa i (1 a i ) > 0
e pui + 1 1 + e pui u i

0.8
1

0.7

0.8 p=3
0.6
p=1.5
p=3
p=0.8
0.5
0.6
p=1.5
0.4
p=0.8
0.4
0.3

0.2
0.2

0.1

0
0
-5 0 5 -5 0 5

a) b)

Figura 5 Funo logstica (a) e sua derivada em relao entrada interna (b)

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 11

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

e pui e pui
a i ( u i ) = tanh( pu i ) = pu
a i
( )
= p 1 a 2i > 0
e i + e pui u i

2.5
1

p=2.2
2
p=1
0.5
p=0.6 p=2.2
1.5

p=1
0

1 p=0.6

-0.5

0.5

-1
0
-5 0 5 -5 0 5

a) b)

Figura 6 Funo tangente hiperblica (a) e sua derivada em relao entrada interna (b)

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 12

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

6. Dos neurnios s redes neurais

1 wi0
yj
g

w
ui yi
g
xij
wij

Figura 7 Processo de conexo entre neurnios (gerao de sinapses)

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 13

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

Figura 8 Exemplo de uma rede neural artificial arbitrria

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 14

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

Figura 9 Rede Neural de Hopfield: nfase nas conexes

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 15

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

z -1
..
.
z -1

z -1

w 11 = 0

w 12 y1
.. +
.
w 1n u1

w 21

y2

w 22 =0
.. +
.
w 2n u2
.. ..
. .
w n1

w n2 yn
.. +
.
w nn = 0 un

Figura 10 Rede Neural de Hopfield (rede totalmente recorrente) (sem auto-

realimentao)
Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 16
 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

x( k + 1) = g (k , x( k ), u (k ))

y (k ) = h(k , x(k ), u (k ))

y(k)
u(k) h
x(k+1) x(k)
g z-1

Figura 11 Modelo matemtico mais genrico de um sistema dinmico no-linear

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 17

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

. .

. .

Figura 12 Superfcie de energia: pontos de equilbrio e bases de atrao

este tipo de sistema dinmico pode operar como:

1) memria associativa (enderevel por contedo);
2) dispositivo computacional para resolver problemas de otimizao de
natureza combinatria.

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 18

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

Figura 13 Dinmica de uma rede recorrente generalizada: presena de ciclos

limites

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 19

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp
n
m

s k = wk 0 + wkj + g v j 0 + v ji x i , k = 1,..., r
j =1 i =1
1 v10

v11 y1
+ g
1 w 10

v1m w 11
+ ^s
1
1 v20 w 12

x1 v21 y2
+ g w 1n

xm v2m 1 w r0

w r1
+ ^s
r
w r2
1 vn0
yn
vn1
+ g w rn

vnm

Figura 14 Rede neural artificial perceptron com uma camada intermediria (neste
caso, a funo de ativao dos neurnios da camada de sada tomada como sendo a
identidade). Mais camadas intermedirias poderiam ser introduzidas.

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 20

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp
e
w 10
1
e
w 11 wo
10
s t
y t y 0t = 1
1 1 o
e
w1 m
+ f w 11
x 1t +1
e
w1 m w 1o n
+
e
w 1 m+r
u 1t .
.. w or 0
u mt e
1
wn 0 w or 1
.
.. 1
x t +1
e r
wn 1
w ro n
+
s nt y nt
f
e
wn m +
e
w n m+1

e
w n m+r

z -1

z -1

Figura 15 Rede neural artificial com uma camada intermediria e recorrncia externa

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 21

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp
n
f (w, x) = w0 + w j h j (x)
j =1

y = f(x )
w0
1 +
w1 wn
wj

h 1 (x ) ... h j (x ) ... h n (x )

c 11 c 1j c i1 c ij cm1 cmj cmn

c 1n c in
... ...
x1 xi xm

Figura 16 Rede neural com funo de ativao de base radial (RBF)

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 22

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

(x1 c j1 )2 (x 2 c j 2 )2 (x m c jm )2

h j (x) = exp ...
j1 j2 jm

0.8

0.6
hj(x)
0.4

0.2

0
-2 -1 0 1 2

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 23

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

i
+ 1 se i = l t11

til = 1
se i l , < n wij y1
j tn1
x1 y2
r r x2
y (0) = Wx




xdim

t1n
n
y i ( k + 1) = max 0, til y l ( k )
l =1
yn

Figura 17 - Rede de Kohonen em arranjo unidimensional: nfase nas conexes

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 24

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

ordem 2
ordem 1
ordem 0

...
x1 x2 xdim

Figura 18 - Rede de Kohonen em arranjo unidimensional: nfase na vizinhana

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 25

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

... ... ...

...
x1 x2 xdim

Figura 19 Rede de Kohonen em arranjo bidimensional: nfase na vizinhana

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 26

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

mi
mi

Figura 20 Outras configuraes de mapas e de vizinhana

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 27

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

Arranjo em
2

Neurnios mi

Pesos sinpticos
[mi1, ..., miD]

v1

v2 Dados de
Entrada
M
vD

Figura 21 Outra perspectiva para arranjo 2D

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 28

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp
P lano hexagonal
P lano retangular

7
8
6

1 6 5
1
0 4
0
4
-1 -1 3

0 0
2
2 2 2
4 4 1
6 6
8 0 8 0

Toroide

Cilindro

0.5
-1

0 8
-2
6
-0.5
4
2 1
-0.5 0 0.5
0.5 1 0
0
-0.5 -2
0 -1
1
2

Figura 22 Arranjos com vizinhana nos extremos

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 29

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

Figura 23 Interpretao do mapa aps auto-organizao

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 30

 EA072 Prof. Fernando J. Von Zuben
DCA/FEEC/Unicamp

Figura 24 Mapas auto-organizveis construtivos (Growing Neural Gas)

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 31

EA072 Prof. Fernando J. Von Zuben

DCA/FEEC/Unicamp

1 v10

v11 y1
+ f1
1 w10

v1m w11
+ ^s
1
1 v20 w12

x1 v21 y2
+ f2 w1n

xm v2m 1 wr0

wr1
+ ^s
r
wr2
1 vn0
yn
vn1
+ fn wrn

vnm

Figura 25 Aprendizado construtivo em redes multicamadas

Tpico 1.2: Modelos e Aplicaes de Redes Neurais Artificiais (Parte I) 32