UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

4. REDES NEURAIS DE MLTIPLAS

CAMADAS
4.1 INTRODUO
Redes de mltiplas camadas alimentadas adiante (feedfoward multilayer neural networks)

Muito utilizadas para resolver diferentes problemas complexos

Geralmente, treinadas com superviso atravs de algoritmo de

retropropagao de erro (back-propagation)

Este tipo de RN possui as seguintes caractersticas:

a) O modelo de cada neurnio inclui uma funo de ativao nolinear (geralmente logstica);
b) Contm uma ou mais camadas escondidas (ou ocultas) de
neurnios
aumentam a capacidade da rede em aprender
problemas complexos;
c) Alto grau de conectividade.
Com estas caractersticas, a RN se torna uma ferramenta matemtica
muito poderosa!!!!

30

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

Contudo, apresenta deficincias:

a) Difcil anlise terica da rede, devido s altas no-linearidade e
conectividade;
b) Neurnios ocultos tornam difcil a visualizao do processo de
aprendizagem.
Exemplo de RN totalmente conectada com duas camadas escondidas:

Cada neurnio projetado para realizar duas tarefas:

a) Clculo do sinal funcional de sada do neurnio, resultado dos
sinais de entrada, bias e pesos sinpticos que foram aplicados
na funo de ativao;
b) Clculo de uma estimativa do vetor gradiente (gradientes da
superfcie de erro em rel. aos pesos conectados s entradas de um
neurnio), necessrio para a retropropagao atravs da rede.

31

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

4.2 ALGORITMO
PROPAGATION)

DE

Profa. Andrea Sell Dyminski

RETROPROPAGAO

(BACK-

Objetivo: Ajustar os parmetros livres da RN (pesos sinpticos) a fim

de minimizar a funo de custo (erro).
Fluxo dos sinais de entrada:

32

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

Fluxo relativo retropropagao dos sinais de erro:

OBS: Notar que os procedimentos so um pouco diferentes para

neurnios da camada de sada e das camadas intermedirias.
33

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

Assim, para o treinamento da RN atravs de back-propagation, devese ter dois fluxos de valores na mesma:
- Passo para frente: Clculo dos sinais funcionais (fluxo das
informaes do conjunto de entrada);
- Passo para trs: Sinais de erro sendo propagados da sada para
as camadas anteriores de neurnios/sinapses.

4.2.1 Funes de Ativao:

Exigncia bsica: a funo de ativao deve ser diferencivel!!
Geralmente possuem no-linearidade suave (no abrupta).
Mais usadas: Funo Logstica (Sigmide) e Tangente Hiperblica.

4.2.2 Taxa de Aprendizagem ()

Quanto menor : menores so as variaes de wji e mais suave a
trajetria no espao de pesos. Desvantagem: Aprendizagem lenta
Quanto maior : aprendizagem mais rpida, ajustes em wji grandes
Desvantagem: a rede pode se tornar instvel (oscilatria)
Soluo Simples: Incluso de um termo de momento na regra delta:
wji(n) = . wji(n-1) + . j(n) . yj(n)
(REGRA DELTA GENERALIZADA)
onde a constante de momento (se = 0

regra delta)

34

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

Para que o ajuste wji(n) seja convergente, a constante de momento

deve ser 0 | |< 1. Geralmente, positivo.

OBS 1: Na derivao do algoritmo de retropropagao, assume-se

como uma constante.
Porm, ele deveria ser considerado ji, ou seja, um valor dependente
da conexo. Assim, pode-se ter valores diferentes de ji para
diferentes partes da rede.

OBS 2: No algoritmo de retropropagao, tambm pode-se escolher

entre ajustar todos os pesos da rede ou apenas alguns, deixando
outros fixos. Isso pode ser feito deixando o valor de ji nulo para os
peso fixo wji.

4.2.3 Modos de Treinamento

Definio: poca corresponde a uma apresentao completa do
conjunto de treinamento inteiro RN.
O processo de treinamento de uma RN realizado de poca em
poca.
A apresentao dos exemplos RN pode ser realizada de duas
formas:
a) Modo Seqencial: a atualizao dos dos pesos realizada aps
a aprensentao de cada exemplo de treinamento. Bastante
utilizado em problemas de classificao de padres com muitas
repeties (redundantes).
OBS: deve-se sempre variar (tornar
apresentao dos exemplos rede.

aleatria)

ordem

de

b) Modo por Lote: O ajuste dos pesos realizado aps a

apresentao de todos os exemplos do conjunto de treinamento,
35

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

constituindo assim uma poca. A funo de custo definida

neste caso por:

MED

1
=
2N

e
n =1 jC

2
j

(n )

Sendo N o nmero de exemplos do conjunto de treinamento.

4.2.4 Critrios de Parada

So basicamente dois. Supe-se que o algoritmo de retropropagao
tenha convergido quando:
a) a norma euclidiana do vetor gradiente alcanar um limiar
suficientemente pequeno.
Desvantagens: tempo de
aprendizagem longo e requer o clculo do vetor gradiente dos
pesos.
b) a taxa absoluta de variao do erro mdio quadrado por poca
for suficientemente pequena.
Desvantagem: pode-se ter uma
parada prematura do processo

Outro critrio bastante til

teste de generalizao

36