Segue abaixo o que foi a prova de Redes Neurais – 01-11-2009:

1) Para que serve o BIAS (1 pto)

2) Explicar para que serve e como é o treinamento de uma RNA (1 pto)
3) De acordo com o algoritmo Widrow-Hoff, demonstre como fica o treinamento para uma operação
“OR” (2 ptos)
4) De acordo com a tabela abaixo, defina como deve ficar a Rede Neural (número de camadas,
número de neurônios por camada, e os valores dos pesos (3 ptos)
X1 X2 Saída desejada
+1 +1 -1
+1 -1 +1
-1 +1 +1
-1 -1 -1
5) De acordo com o desenho da rede apresentada (foi desenhado uma rede com três camadas: 2
neurônios na entrada, 3 na camada escondida e 1 na saída), calcular o valor para o neurônio 2
relativo a uma ciclo de retro-propagação (3 ptos).

Solução 1:
• Cada neurona posee un término BIAS, que constituye la predisposición de la neurona a activarse.
• O uso de BIAS em nossos RN mostra-se importante, pois permite que fixemos o valor Treshold
adotado em nossa função de ativação.
• O BIAS pode ser encarado como sendo o peso para um neurônio cuja entrada é sempre 1.
• BIAS, é usada para aumentar os graus de liberdade, permitindo uma melhor adaptação, por parte
da rede neural e ao conhecimento a ela fornecido.
• O neurônio de McCulloch-Pitts pode conter também um peso bias w0 alimentado por uma
constante x0 = +1 que desempenha o controle do nível de saída do neurônio.
Solução 2:
A propriedade mais importante das RN é a habilidade de aprender e com isso melhorar seu
desempenho. Isso é feito através de um processo iterativo de ajustes aplicados a seus pesos que
correspondem ao treinamento.
Denomina-se algoritmo de treinamento a um conjunto de regras bem definidas para a solução de um
problema de treinamento. Existem muitos tipos de algoritmos de treinamento específicos para
determinados modelos de redes neurais. Estes algoritmos diferem entre si, principalmente, pelo modo
como os pesos são modificados.
Outro fator importante é a maneira pela qual uma rede neural se relaciona com o ambiente. Nesse
contexto existem, basicamente, os seguintes paradigmas de treinamento:
Treinamento Supervisionado. Baseado na entrada e na saída, para fornecer saídas desejadas,
considerando-se o conjunto de padrões de entrada.
Treinamento Não-supervisionado. Baseado somente nos padrões de entrada. Procedimento de
treinamento auto-organizável.
Solução 3:
Assumindo ordem seudo-aleatorio para o tratamento dos padrões: {4, 2, 3, 1}
Assumindo alfa = 1,5 valores desejados d = -0,5 ou d = 0,5 pesos iniciais W = [ 1, 1, -1]
• Adaptação para o vetor padrão P4 = (x1 , x2) = (-1 , 1); d = 0,5 ; yd = 1
s = x1.w1 + x2.w2 + w0 = (-1)x1 + 1x1 + (-1) = -1
yc = -1
e = d – s = 1,5
1 Alfa Erro -1 0,25
1 + 1,5 1,5 1 = 1,75 (yd ≠ yc) outra iteração
W=
-1 3 1 -0,25
 s = x1.w1 + x2.w2 + w0 = (-1)x0,25 + 1x1,75 + (-0,25) = 1,25
yc = 1
e = d – s = -0,75
0,25 Alfa Erro -1 0,625
1,75 + 1,5 -0,75 1 = 1,375 (yd = yc) OK
W=
-0,25 3 1 -0,625

• Adaptação para o vetor padrão P2 = (x1 , x2) = (1 , -1); d = 0,5 ; yd = 1

s = x1.w1 + x2.w2 + w0 = 1x0,25 + (-1)x1,75 + (-0,25) = -1,75
yc = -1
e = d – s = 2,25
0,25 Alfa Erro 1 1,375
1,75 + 1,5 2,25 -1 = 0,625 (yd ≠ yc) outra iteração
W=
-0,25 3 1 0,875

s = x1.w1 + x2.w2 + w0 = 1x1,375 + (-1)x0,625 + (0,875) = 1,625
yc = 1
e = d – s = -1,125

1,375 Alfa Erro 1 0,8125
0,625 + 1,5 -1,125 -1 = 1,1875 (yd = yc) OK
W=
0,875 3 1 0,3125

• Adaptação para o vetor padrão P3 = (x1 , x2) = (-1 , -1); d = -0,5 ; yd = -1

s = x1.w1 + x2.w2 + w0 = (-1)x1,375 + (-1)x0,625 + (0,875) = -1,125
yc = -1
e=d–s = 0,625
1,375 Alfa Erro -1 1,0625
0,625 + 1,5 0,625 -1 = 0,3125 (yd = yc) OK
W=
0,875 3 1 1,1875

• Adaptação para o vetor padrão P1 = (x1 , x2) = (1 , 1); d = 0,5 ; yd = 1

s = x1.w1 + x2.w2 + w0 = 1x1,375 + 1x0,625 + (0,875) = 2,875
yc = 1
e=d–s = -2,375
1,375 Alfa Erro 1 0,1875
0,625 + 1,5 -2,375 1 = -0,5625 (yd = yc) OK
W=
0,875 3 1 -0,3125

• Pesos finales [w1 w2 w0] = [1,375 0,625 0,875]

• Hiperplano de comutação passa por os pontos: (-0,6364 , 0) e (0 , -1,4)
Solução 4: XOR x1⊕ x2 = (x'1.x2) + (x1.x'2) = z1 + z2
x1 x2 t1 t2 z1 z2 Sy y - 2 camadas
1 1 -1 -1 -1 -1 -1 -1 - Camada 1: 2 neurônios
1 -1 -3 1 -1 1 1 1
- Camada 2: 1 neurônio
-1 -1 -1 -1 -1 -1 -1 -1
-1 1 1 -3 1 -1 1 1

Hiperplanos: t1 = 0
(-1, 0) e (0,1) t2 = 0
(1, 0) e (0,-1)
t1 (OR) t2

Solução 4: XNOR (x1⊕ x2)’ = (x'1 + x2) + (x1 + x'2) = z1. z2

x1 x2 t1 t2 z1 z2 Sy y
 1 1 1 1 1 1 1 1 - 2 camadas
1 -1 -1 3 -1 1 -1 -1 - Camada 1: 2 neurônios
-1 -1 1 1 1 1 1 1
- Camada 2: 1 neurônio
-1 1 3 -1 1 -1 -1 -1

Hiperplanos: t1 = 0
(1, 0) e (0,-1) t2 = 0
(-1, 0) e (0,1)
t1 (AND) t2

Solução 5:

Camada de entrada Camada escondida Camada de saída


    
Matrizes de pesos:




    
        

    

    
           0,5 λ1    

  =    σ         .  
  
  1    2!.  
    .  

    % 

 0,5 λ1  1 
  =    σ %     . 
   

  1   2!. 
 

   .  

    % 

 0,5 λ1  2 
  =    σ %     . 
   

  1   2!. 
 

   .  

    % 

 0,5 λ1  3 
  = 
    σ %     . 
   

  1   2!. 
 

   .    .    . 
   
    (
  =  (
    σ '  )   0,5 λ1  %1 
 

  1
   .    2!. 
    

   .    .    . 
   
    (
  =    σ '( )   0,5 λ1  %2 
 

  1
   .    2!. 
    

Lambda = 0,5 alfa = 0,8

Para dados binários: empregar valores grandes para lambda (apróx. função relé)
Para dados analógicos: empregar valores pequenos, 0,3 ≤ lambda ≤ 0,5.
alfa (máx) = 1/lambda
si lambda = 0,5 , então alfa (máx) = 2

=========================================================================
QUESTÕES – 1ra prova – RN – Ana Diva – 27/11/2009
1) Comente sobre as deficiências da técnica “Retropropagação” aplicada no treinamento de Redes
Neurais multicamadas Feed Forward com não-linearidades sigmoidal (2 ptos).
2) Explique objetivamente os tipos de redes neurais (1 pto)
3) Supondo que, se deseje implementar uma RN Feed Forward “Retropropagação” cujos vetores de
entrada e de saída possuem dimensões M e N, respectivamente. Especifique o N° de camadas e o
número de neurônios de cada camada desta RN (2 ptos).
4) Projete (determinação do número de camadas, Função Lógica
neurônios por camada, e dos pesos) uma RN que Entrada Saída
realize a função lógica mostrada Q1 (3 ptos). x1 x2 Q1
+1 +1 +1
+1 -1 -1
5) Calcule a saída Y na seguinte rede mostrada na fig. 1 -1 +1 -1
para uma entrada X1 = 1 e X2 = -1 (2 ptos) -1 -1 +1
Solução 1:
• Existência de pontos mínimos locais. – O treinamento da rede neural será considerado concluído
quando houver a convergência para um ponto mínimo global.
• Existência de paralisia no mecanismo de adaptação de pesos. – Outro detalhe que contribui para a
redução da eficiência, quando não impossibilita a conclusão do treinamento. Quando “s” (saída
intermediaria) é excessivamente grande o pequena.
• Algoritmo de treinamento muito lento, tempo de treinamento muito grande (pudendo ser dias o
semanas, para ração de aprendizado pequeno, 0.05 < alfa < 0.25 (alfa max = 1)
• Se ração de aprendizado muito grande, pode não converger.
• Quanto menor for o parâmetro da taxa de aprendizagem, menor serão variações dos pesos
sinápticos da rede, de uma iteração para outra, e mais suave será a trajetória no espaço dos pesos.
O custo é uma taxa de aprendizagem lenta. Se taxa é elevada, as grandes modificações nos pesos
sinápticos resultantes podem tornar a rede inestavel (i.e. oscilatória).
• Permite treinar redes multicamadas.
Solução 2: As Redes Neurais podem ser classificadas em dois tipos quanto a sua estrutura:
Redes Neurais Recorrentes (feedforward). Uma rede é definida como recorrente se ela contém laços
de realimentação, ou seja, contém conexões das saídas de uma determinada camada para a entrada da
mesma ou de camadas anteriores.
As entradas de um neurônio são as saídas dos demais neurônios da camada anterior. As redes que
possuem esta estrutura desenvolvem uma memória a longo prazo nos neurônios internos. Nesta classe
de redes neurais, e.g., encontra-se a rede de Hopfield.
Redes Neurais Não-recorrentes. Esta rede caracteriza-se estruturalmente por estar disposta em
camadas. Nestas redes cada camada de neurônios recebe sinais somente das camadas anteriores, ou
seja, elas não possuem laços de realimentação.
Solução 3: no melhor dos casos 3 camadas (razoável)
• Camada de entrada: M neurônios NE = dim(X) = M
• Camada de saída: N neurônios NS = dim(Y) = N
• Camada escondida: P neurônios máx(M,N) ≤ NI ≤ n° de padrões
Solução 4: se usara 2 camadas (solução, ver exercício 4 do exame anterior)
• Camada de entrada: 2 neurônios
• Camada de saída: 1 neurônio

*  *   
+, -λ../ +, -λ..0 +, -λ.1
, -λ../ , -λ..0 , -λ.1
Solução 5: considerando lambda = 0,5

t1 = -2X1 + 1,5X2 -1 = -2(1) + 1,5(-1) – 1 = - 4,5
z1 = - 0.8093

t2 = X1 + 2X2 -1 = 1 + 2(-1) – 1 = - 2
z2 = - 0.4621
s = 0,5z1 + z2 – 0,75 = 0,5(- 0.8093) - 0.4621 – 0,75 = - 1.6168
y = - 0.3835
1) Explique de maneira objetiva o funcionamento da Rede Neural HOPFIELD.
2) Explique de maneira objetiva o funcionamento da Rede Neural KOHONEN.
3) Explique de maneira objetiva o funcionamento da Rede Neural Art Nebulosa
4) Projete usando Rede HOPFIELD
X1 [ 1 1 -1 1]
X2 [ 1 1 1 1]
X3 [ 1 -1 -1 1]
X4 [ -1 -1 1 1]
X5 [ 1 1 1 -1]
5) Treinamento Art. Map.
X1 [ 0,7 0,1 0,8 ] alpha = 0,1
X2 [ 0 1 0 ] BETA = 1
X3 [ 1 0 1 ] P = 0,9
Solução 1: Rede Neural de HOPFIELD
A Rede Neural de HOPFIELD, é uma das concepções mais conhecidas de memória associativa. É uma
Rede Neural composta por N-Neurônios, em paralelismo, em uma camada, com não-linearidade em
relé. É uma Rede dinâmica com realimentação, os pesos são alimentados de forma direta e rápida,
diferentemente das redes Feed Forward, cujos pesos são atribuídos de forma adaptativa.
Esquema da Rede HOPFIELD

Algoritmo: Wij = pesos da conexão de “i”

para “j”
M r r
∑ x .x , i≠ j
Wi j =  r =1 i j
0 , i= j


Limitações da Rede: quando empregada como memoria endereçada por conteúdo:

1) O numero de padrões que podem ser armazenados são limitados.
2) A rede pode apressentar problemas de convergência, se nos padrões armazenados contiverem
muitos “bits” coincidentes.
Solução 2: Rede Neural de KOHONEN (Estructura)

A rede de Kohonen é uma rede neural não-supervisionada de
mapeamentos auto-organizável, conforme mostrada na Figura.
É composta por um reticulado (grade) bi-dimensional e um
conjunto de vetores pesos, fixado inicialmente em valores
aleatórios entre 0 e 1, wj = [w1j w2j . . . wnj]T, 1 = 1, . . . , nn, e
x = [ x1 x2 . . . xn]T um vetor de entrada, sendo nn o número de
neurônios sobre a grade da rede neural. Tratase, portanto, de
um mapeamento de ℜn em ℜ2.
Cada neurônio sobre a grade está conectado a entrada da rede,
através do vetor de entrada conforme é mostrado na Figura
 Conexão do vetor padrão de entrada X com o j-ésimo
neurônio da rede de Kohonen.
Deste modo a saída yj (atividade do j-ésimo neurônio) pode
ser calculado da seguinte forma:
yj = < Wj, x>

• A auto-organização se dá à medida que aumente o número de ciclos de adaptação.

• Treinamento lento;
• Aumento da velocidade de treinamento: a) Uso do conceito de
consciência; b) Uso de lógica nebulosa.
Solução 3: Rede Neural de Art Nebulosa, Características:
• Treinamento rápido;
• Treinamento não-supervisionado;
• Estabilidade / plasticidade.
NB. A representação dos vetores, nas redes neurais da família ART, é
adotada por linha e não por coluna (como habitualmente feita).
Estrutura da rede neural ART nebulosa

A rede neural ART é composta por três camadas: F0 (camada de entrada),
F1 (camada de comparação) e F2 (camada de reconhecimento que
armazena as categorias (clusters)). O algoritmo desta rede neural
consiste, basicamente, nos seguintes passos
Falta ......... (não vem neste exame)

Solução 4: Rede HOPFIELD

X1 [ 1 1 -1 1] M = 5 (n° de padrões)
X2 [ 1 1 1 1] N = 4 (n° de componentes de c/padrão)
X3 [ 1 -1 -1 1]
X4 [ -1 -1 1 1] para convergência e estabilidade, recomenda-se
X5 [ 1 1 1 -1] M ≤ 15% N
W11 = W22 = W33 = W44 = 0
W12 = 1x1 + 1x1 + 1x(-1) + (-1)x(-1) + 1x1 = 1 + 1 – 1 + 1 +1 = 3 = W21
W13 = 1x(-1) + 1x1 + 1x(-1) + (-1)x1 + 1x1 = -1 + 1 – 1 - 1 +1 = -1 = W31
W14 = 1x1 + 1x1 + 1x1 + (-1)x1 + 1x(-1) = 1 + 1 + 1 - 1 -1 = 1 = W41
W23 = 1x(-1) + 1x1 + (-1)x(-1) + (-1)x1 + 1x1 = -1 + 1 + 1 - 1 +1 = 1 = W32
W24 = 1x1 + 1x1 + (-1)x1 + (-1)x1 + 1x(-1) = 1 + 1 - 1 - 1 -1 = - 1 = W42
W34 = (-1)x1 + 1x1 + (-1)x1 + 1x1 + 1x(-1) = -1 + 1 – 1 + 1 -1 = -1 = W43
0 3 1 1
3 0 1 1

 
1 1 0 1
1 1 1 0

Solução 4: Treinamento Art. Map.

Não vem neste exame

Questões 2da prova Redes Neurais
4) Supondo a Rede Neural HOPFIELD (estrutura usada nas aulas da disciplina de Redes Neurais)

0 3 1 1
possui inicialmente a seguinte matriz de pesos.

3 0 3 1

 
1 3 0 1
1 1 1 0
Determine a matriz W atualizada considerando inclusão 2 novos vetores
X(k) [ -1 -1 -1 -1 ]T
X(k+1) [ 1 1 1 -1 ]T
Solução 4:
W12(novo) = -3 + (-1)x(-1) + 1x1 = -1 = W21(novo) W13(novo) = -1 + (-1)x(-1) + 1x1 = 1 = W31(novo)
W14(novo) = 1 + (-1)x(-1) + 1x(-1) = 1 = W41(novo) W23(novo) = 3 + (-1)x(-1) + 1x1 = 5 = W32(novo)

0 1 1 1
W24(novo) = 1 + (-1)x(-1) + 1x(-1) = 1 = W42(novo) W34(novo)= -1 + (-1)x(-1) + 1x(-1) = -1 = W43(novo)

1 0 5 1
W 
1 5 0 1
1 1 1 0
5) Calcule a saída Y na seguinte rede mostrada na figura para uma entrada X1 = 1 e X2 = 1 (2 ptos)

*  *   
+, -λ../ +, -λ..0 +, -λ.1
, -λ../ , -λ..0 , -λ.1
Considerando λ = 0,5; α = 0,8

t1 = -x1 + 2x2 + 1 = - (1) + 2(1) + 1 = 2
z1 = 0.4621

t2 = 1,5x1 + x2 - 1 = 1,5(1) + 1 – 1 = 1,5
z2 = 0.3584
s = -2z1 - z2 + 1 = -2(0.4621) - 0.3584 + 1 = - 0.2826
y = - 0.0705
se d = 0,5
ε = d – y = 0,5 – (- 0.0705) = 0,5705
θ = 0,5λ(1 – y2) = 0,2488
δ = ε.θ = 0,1419
σ = 2α.δ = 2(0,8).( 0,1419) = 0,2271 (α = 1.5) pode ser ?
5) Treinamento Art. Map.
X1 [ 0,7 0,1 0,8 ] alpha = 0,1
X2 [ 1 0 0 ] BETA = 1
X3 [ 1 0 1 ] P = 0,95

======================================================

Rede Neural ARTMAP é uma arquitetura em que o treinamento e realizado de modo supervisionado e
auto-organizavel, é composta por 2 módulos Arta e Artb e póssuem a mesma estrutura da rede ART,
exceto quando uma vigilância básica é usada para controlar o sistema.

- Treinamento rápido
- Supervisionado
- Estabilidade / plasticidade

Lista 1 – 7
 1 − e− λ A1
A1 = x1.w11 + x2 .w21 + w01 B1 = f ( A1 ) =
1 + e− λ A1
1 − e− λ A2
A2 = x1.w21 + x2 .w22 + w02 B2 = f ( A2 ) =
1 + e − λ A2
C1 = B1U11 + B2U 21 + U 01 C2 = B1U12 + B2U 22 + U 02 C3 = B1U13 + B2U 23 + U 03
∈1(3) = d1 − y1 ∈(3)
2 = d 2 − y2 3ra camada, 1er y 2do neurônios

θ1(3) = 0, 5λ (1 − y12 ) θ 2(3) = 0, 5λ (1 − y22 )

G1(3) = 2α ∈1(3) .θ1(3) = 2α .δ1(3) G2(3) = 2α ∈(3) (3)
2 .θ 2 = 2α .δ 2(3)
( k +1) (k ) ( k +1) (k )
V11  V11   D1  V12  V12   D1 
V  V    V  V   
 21  (3)  D2  (3)  D2 
=  21  + G1  22  =  22  + δ2
V31  V31   D3  V32  V32   D3 
           
V01  V01  1 V02  V02  1