INTELIGNCIA COMPUTACIONAL

ADALINE
(Adaptative Linear Neuron)

Faculdades de Cincias Exatas e Tecnolgicas Santo Agostinho

Prof: Esp. Mikaella Pricila Alves Dias

Montes Claros
2017
INTRODUO
O Adaline foi desenvolvido em 1960 por Widrow
e Hoff e sua principal aplicao era o
chaveamento de circuitos telefnicos.
As principais contribuies do modelo so:
1) Desenvolvimento do algoritmo de aprendizado
Regra Delta;
2) Aplicaes de RNAs de forma prtica para
solues de sinais analgicos;
3) Foi a primeira rede neural aplicada na
indstria.
ADALINE
ADALINE e Perceptron surgiram quase que
simultaneamente.
Tem seus pesos ajustados em funo do erro de
sua sada linear, antes da aplicao da funo de
propagao .
Continua com o problema de uma nica camada
de pesos ajustveis .
A funo de custo a ser minimizada quadrtica
nos pesos de entrada, e a minimizao feita
pelo mtodo do gradiente
 O Adaline similar ao Perceptron, com
diferena apenas pelo seu algoritmo de
treinamento. Enquanto o Perceptron ajusta
os pesos somente quando um padro
classificado incorretamente, o Adaline
utiliza a regra Delta para minimizar o
erro mdio (MSE) aps cada padro ser
apresentado, ajustando os pesos
proporcionalmente ao erro.
Vantagens e Limitaes do ADALINE
Vantagens: Treinamento mais suave que o do
Perceptron .

Limitaes: As mesmas do Perceptron . O

treinamento inclusive pode ser muito mais
demorado
Adaline para classificao versus
Perceptron

A busca pela "melhor" reta que melhor represente o

conjunto de dados pode ser obtida atravs da rede
Neural Adaline.
 ADALINE: Treinamento usando Regra Delta
(Minimizao do erro em relao a todas as
amostras de treinamento). Independentemente
dos valores iniciais atribudos a w, o hiperplano
de separabilidade (aps convergncia) sempre
ser o mesmo.
Perceptron: Treinamento usando Regra de
Hebb (Avaliao das respostas produzidas aps
apresentao de cada amostra de treinamento).
Quaisquer hiperplanos posicionados dentro da
faixa de separabilidade entre as classes so
considerados solues factveis.
 Como no est na soluo tima, pode classificar
errado os padres.
 ADALINE: menor probabilidade de classificar a
amostra incorretamente.

Perceptron: maior probabilidade de classificar a

amostra incorretamente.
Algoritmo de Aprendizagem
FASE TESTE
 INTELIGNCIA COMPUTACIONAL
PERCEPTRON DE MLTIPLAS
CAMADAS - MLP
(MULTILAYER PERCEPTRON)

Faculdades de Cincias Exatas e Tecnolgicas Santo Agostinho

Prof: Esp. Mikaella Pricila Alves Dias

Montes Claros
2017
Relembrando conceitos:
Redes de uma camada: constituda de apenas
uma camada de entrada e uma camada neural de
sada.
Redes de mltiplas camadas: constituda por
uma camada de entrada, uma ou mais camadas
intermedirias (ou escondidas/ocultas) de
unidades computacionais e uma camada de
sada.
 Feedforward de uma nica camada
Feedforward de mltiplas camadas;

Obs:
- Feed-Forward: as entradas se propagam
pela rede, da camada de entrada at a camada de
sada.
- Feed-Backward: os erros se propagam na
direo contrria ao fluxo de dados, indo
da camada de sada at a primeira camada
escondida.
 Primeira camada intermediria: cada nodo
traa retas no espao de padres de treinamento.
Segunda camada intermediria: cada nodo
combina as retas traadas pelos neurnios da
camada anterior, formando regies convexas.
Camada de sada: cada nodo forma regies
que so combinaes das regies convexas
definidas pelos nodos a eles conectados da
camada anterior
Definidos regies com formatos abstratos.
Grande incentivo para criao do
Perceptron de Mltiplas camadas:
Redes com uma camada:
Redes com uma camada resolvem apenas
problemas linearmente separveis
Redes de duas camadas:
Soluo: Utilizar mais de uma camada
Camada 1: uma rede Perceptron para cada
grupo de entradas linearmente separveis.
Camada 2: uma rede combinando as sadas
das redes da 1 camada, produzindo a
classificao final.
Redes Neurais Multicamadas
Uma ou mais camadas ocultas;
No h como prever sada nas camadas
intermedirias;
Os neurnios possuem uma funo de ativao
no-linear do tipo sigmoidal (e.g. funo
logstica ou tangente hiperblica).
A rede possui um alto grau de conectividade.
 A funo de ativao substituda por uma
sigmide ou tangente hiperblica.
Arquitetura da Rede
Nmero de camadas escondidas da rede? Uma,
duas ou mais?
O nmero adequado de nodos na camada
intermediria depende de vrios fatores (Nmeros
de exemplos, complexidade da funo e outros).
Nmero elementos por camada?
Maior, menor ou igual ao nmero de
entradas.
Funes de propagao?
sigmide ou tangente hiperblica linear.
Tipos de treinamento

Estticos: No alteram a estrutura da rede

Dinmicos: Podem tanto reduzir quanto

aumentar o tamanho da rede.
O probelma...
Como treinar os nodos da camada intermediria
dessa rede. Qual seria a resposta desejada para
esses nodos? Ou melhor, como seria definido o
erro dester nodos?
Aonde estaria a noo precisa do erro?
No utilizar unidades demais (memorizar) e
nem um nmero pequeno (forar a rede a gastar
tempo).
Algoritmo de retro-propagao (back-
propagation)
Responda
1- O Adaline possui alguma vantagem em relao
ao Perceptron? Se sim, qual?
2- Qual o objetivo da criao de redes com
multicamadas?
3- Porque as camadas intermedirias recebem o
nome de camada oculta?
4- Redes MLP podem tratar problemas que no
so linearmente separveis?
5- Quais so as funes de ativao utilizadas em
Perceptron de mltiplas camadas?