Resolução da prova de RNA

1. Para que serve o BIAS?

2. Explicar para que serve e como é o treinamento de uma RNA.
3. De acordo com o algorı́timo Widrow-Hoff, demonstre como fica o treinamento para uma operação “OR”.
4. De acordo com a tabela abaixo defina como deve ficar a rede neural (Número de camadas, número de neurônios
por camadas e os valores dos pesos.

X1 X2 Saı́da desejada

1 1 -1

1 -1 1

-1 1 1

-1 -1 -1

5. De acordo com o desenho da rede apresentada calcular o valor do neurônio 2 para um ciclo de backpropagation.

Respostas

I A camada de entrada deve possuir uma unidade especial conhecida como bias, usada para aumentar os graus
de liberdade, permitindo uma melhor adaptação, por parte da rede neural, ao conhecimento a ela fornecido.
No caso do neurônio de McCulloch-Pitts temos um peso bias w0 alimentado por uma constante x0 = +1 que
desempenha o controle do nı́vel de saı́da do neurônio.
II A propriedade mais importante das redes neurais é a habilidade de aprender e com isso melhorar o seu desem-
penho. Isso é feito através de um processo iterativo de ajustes aplicados aos seus pesos que correspondem ao
treinamento. O treinamento pode ser:
[Treinamento supervisionado] Consiste no ajuste de pesos de uma rede neural para fornecer saı́das dese-
jadas, considerando-se o conjunto de padrões de entrada.
[Treinamento não supervisionado] Consiste no ajuste de pesos de uma rede neural, levando-se em conta
somente o conjunto de padrões de entrada. É portanto, um procedimento auto-organizável.
III Sejam os pontos P1 = (1, 1), P2 = (1, −1), P3 = (−1, −1) e P4 = (−1, 1), vamos assumir uma ordem psudo-
aleatória [4 2 3 1], α = 1, 5, d = 0, 5 ou d = −0, 5 e W = [1 1 − 1]T .

X
Wk+1 = W + α
|X|2

[⇒] Para P4 = (−1, 1), S = x1 W1 + x2 W2 + W0 ⇒ S = −1 ∗ 1 + 1 ∗ 1 − 1 = −1 e como  = d − S temos

 = 0, 5 − (−1) = 1, 5.      
W1 1 −1
 W2  =  1  + p 1, 5 ∗ 1, 5  1 
W0 −1 ( 12 + 12 + (−1)2 )2 1
   
W1 0, 25
 W2  =  1, 75 
W0 −0, 25

logo S = −1(0, 25) + 1(1, 75) − 0, 25 = 1, 25, S > 0 ⇒ y > 0 OK! para este ponto.

[⇒] Para o ponto P2 = (1, −1), S = x1 W1 + x2 W2 + W0 = 1 ∗ 0, 25 + (−1) ∗ 1, 75 − 0, 25 = −1, 75 e como

 = d − S temos  = 0, 5 − (−1, 75) ⇒  = 2, 25
     
W1 1 1
 W2  =  1  + p 1, 5 ∗ 2, 25  −1 
W0 −1 ( 12 + 12 + (−1)2 )2 1
   
W1 2, 125
 W2  =  −0, 125 
W0 0, 125

S = 1 ∗ 2, 125 + (−1) ∗ (−0, 125) + 0, 125 = 2, 375 portanto S > 0 ⇒ y > 0 OK!
2

[⇒] Para o ponto P3 = (−1, −1), S = x1 W1 +x2 W2 +W0 = (−1)∗2, 125+(−1)∗(−0, 125)+0, 125 = −1, 875
e como  = d − S temos  = 0, 5 − (−1, 875) ⇒  = 2, 375
     
W1 1 −1
 W2  =  1  + p 1, 5 ∗ 2, 375  −1 
W0 −1 ( 12 + 12 + (−1)2 )2 1
   
W1 −0, 1875
 W2  =  −0, 1875 
W0 0, 1875
S = 3, 5625, S > 0 ⇒ y > 0 logo a saı́da calculada é diferente da desejada ! Temos de fazer outra iteração para
o pontoP3
S = x1 W1 + x2 W2 + W0 = (−1) ∗ (−0, 1875) + (−1) ∗ (−0, 1875) + 0, 1875 = −3, 5625 e como  = d − S temos
 = 0, 5 − (−3, 5625) ⇒  = −3, 0625
     
W1 1 −1
 W2  =  1  + p1, 5 ∗ (−3, 0625)  −1 
W0 −1 ( 12 + 12 + (−1)2 )2 1
   
W1 2, 53125
 W2  =  2, 53125 
W0 −2, 53125
S = (−1) ∗ 2, 53125 + (−1) ∗ 2, 53125 − 2, 53125 = −7, 59375, ou seja, S < 0 ⇒ y < 0 OK! Para este ponto
também.
[⇒] Para o ponto P1 = (1, 1), vamos usar os dados da iteração anterior S = x1 W1 + x2 W2 + W0 =
1 ∗ (−0, 1875) + 1 ∗ (−0, 1875) + 0, 1875 = −0, 1875 e como  = d − S temos  = 0, 5 − (−0, 1875) ⇒  = 0, 65625
     
W1 1 1
 W2  =  1  + p 1, 5 ∗ 0, 65625  1 
W0 −1 ( 12 + 12 + (−1)2 )2 1
   
W1 1, 34375
 W2  =  1, 34375 
W0 −0, 65625
S = 1, 34375 + 1, 34375 − 0, 65625 = 2, 03125, isto é, S > 0 ⇒ y > 0 OK!
Desta forma os pesos finais são    
W1 1, 34375
 W2  =  1, 34375 
W0 −0, 65625

IV No caso “XOR”
Hiperplano t1 = x1 W11 + x2 W21 + W01 ⇒ x2 = − W 11
W21 1
x − W01
W21
Para (0,0) t1 = W01 ⇒ W01 = −1
W11
Para (-1,0) 0 = W01 ⇒ W11 = −1
W21 − W
21
Para (0,1) 1 = − W
W
01
⇒ W21 = 1
21
Hiperplano t2 = x1 W12 + x2 W22 + W02 ⇒ x2 = − W 12
W22 1
x − W02
W22
Para (0,0) t2 = W02 ⇒ W02 = −1
W12
Para (1,0) 0 = − W02 ⇒ W12 = 1
W22 − W
22
W02
Para (0,-1) −1 = − W ⇒ W22 = −1
22

x1 x2 t1 t2 z1 z2 Sy y
1 1 -1 -1 -1 -1 -1 -1
1 -1 -3 1 -1 1 1 1 não sei porque fazer a outra opção afinal aqui ja vimos que os
-1 1 1 -3 1 -1 1 1
-1 -1 -1 -1 1 1 -1 -1
pesos são ⇑ e que a primeira camada tem dois neurôios e que a segunda tem 1.