Engenharia Elétrica

Sistemas inteligentes

Aula 3 - Rede Adaline

Adaptive Linear Neuron

Professor Renato Kazuo Miyamoto

renato.miyamoto@sistemafiep.org.br
 Revisando

Fonte: SILVA; SPATI; FLAUZINO (2010) Fonte: SILVA; SPATI; FLAUZINO (2010)

Sistemas Inteligentes 2
Professor Renato Kazuo Miyamoto
 • Arquitetura feedfoward de camada simples: possui uma única camada
de neurônios, que já é a própria camada de saída.
• Perceptron e Adaline.

Sistemas Inteligentes Fonte: SILVA; SPATI; FLAUZINO (2010) 3

Professor Renato Kazuo Miyamoto
 Análise matemática do Perceptron
• Pode ser considerado um típico caso de discriminador linear.

Fonte: SILVA; SPATI; FLAUZINO (2010)

• Treinamento pela Regra de Hebb: Se a saída produzida pelo Perceptron

é diferente da saída desejada, os pesos sinápticos e limiar serão então
decrementados 4
Sistemas Inteligentes
Professor Renato Kazuo Miyamoto
 • Sequência passo a
passo para o
treinamento do
Perceptron.

• Época: quantas vezes

serão necessárias
apresentar todas as
amostras do conjunto
de treinamento
visando o ajuste do
vetor de pesos

Sistemas Inteligentes 5
Professor Renato Kazuo Miyamoto
 • Sequência passo a
passo para a
operação do
Perceptron.

• Uma vez que esteja

treinada, a rede
estará apta para
proceder com a tarefa
de classificação de
padrões frente às
novas amostras que
serão apresentadas
em suas entradas.

Sistemas Inteligentes 6
Professor Renato Kazuo Miyamoto
Conceitos

Rede Adaline
 Apesar das semelhanças, os trabalhos que descreveram o Perceptron e
o Adaline surgiram em áreas diferentes e com enfoques diferentes.

Frank Rosenblatt, que era psicólogo,

enfocou a descrição do Perceptron em Bernard Widrow e Marcian Hoff
aspectos cognitivos do enfocaram a descrição do Adaline na
armazenamento da informação e da construção de filtros lineares.
organização cerebral

Perceptron = Separador Linear

Adaline = Aproximador Linear de Funções

Sistemas Inteligentes 8
Professor Renato Kazuo Miyamoto
 Rede Adaline
• A rede Adaline foi desenvolvida e idealizada por Widrow e Hoff em
1960, pertence a arquitetura feedforward de camada única. Sua
aplicação está relacionada com resolução de problemas envolvendo
processamento de sinais analógicos (Silva, 2010).

• A rede Adaline tem utilidade em aplicações envolvendo reconhecimento

de padrões, sua saída é capaz de classificar duas classes, e a função de
ativação adotada pode ser degrau ou degrau bipolar.

Sistemas Inteligentes 9
Professor Renato Kazuo Miyamoto
 Rede Adaline
• Grande contribuição foi a introdução do algoritmo de aprendizado
denominado regra Delta, que trabalha de modo a minimizar o erro
quadrático médio, portanto para mapeamento de variáveis não-
linearmente separáveis o algoritmo Adaline é passível de convergência.

• A regra Delta (algoritmo LMS (least mean square)) é passível de

convergência em função da taxa de precisão adotada, para medir a
diferença dos erros quadráticos médios entre duas épocas sucessivas.

Sistemas Inteligentes 10
Professor Renato Kazuo Miyamoto
 Rede Adaline
• Única camada neural;
• Único neurônio;

Fonte: SILVA; SPATI; FLAUZINO (2010)

Sistemas Inteligentes 11
Professor Renato Kazuo Miyamoto
 • A Tabela explicita os aspectos característicos dos parâmetros
relacionados com a dinâmica de funcionamento do Adaline.

Regra Delta

Sistemas Inteligentes 12
Professor Renato Kazuo Miyamoto
 Processo de treinamento da Adaline:
• Regra Delta: implementa um gradiente descendente no quadrado da
soma do erro para funções de ativação lineares.

• Ajusta os pesos e limiar minimizando a diferença da saída desejada {d} e

a resposta do combinador linear {u} considerando todas as amostras.

• Utiliza-se da minimização do erro quadrático entre {u} e {d} com o

intuito de ajustar o vetor de pesos da rede. Em
resumo, consiste em obter um 𝑤 ∗ ótimo tal qual o erro quadrático
{𝐸 𝑤 ∗ } sobre todo conjunto de amostras seja o mínimo possível.

Sistemas Inteligentes 13
Professor Renato Kazuo Miyamoto
 • A função erro quadrático pode ser definido por:

Sistemas Inteligentes 14
Professor Renato Kazuo Miyamoto
 • Próximo passo consiste na aplicação do operador gradiente em relação
ao vetor 𝑤, como objetivo do valor ótimo para o erro quadrático médio:

Sistemas Inteligentes 15
Professor Renato Kazuo Miyamoto
 é o vetor contendo o limiar e os pesos;
é a k-ésima amostra de treinamento;
é o valor desejado para a k-ésima amostra;
é o valor de saída do combinador linear;
é uma constante que define a taxa de aprendizagem da rede

Erro quadrático médio: Algoritmo converge quando o erro quadrático médio

entre duas épocas for suficientemente pequeno
menor que a precisão requerida no treinamento:

Sistemas Inteligentes 16
Professor Renato Kazuo Miyamoto
 • Sequência passo a
passo para o
treinamento da
Adaline.

Sistemas Inteligentes 17
Professor Renato Kazuo Miyamoto
 • Sequência passo a
passo para o
algoritmo para
obtenção do erro
quadrático médio na
Adaline.

• A rede estará treinada

quando o Eqm entre
duas épocas
sucessivas for inferior
a precisão.

Sistemas Inteligentes 18
Professor Renato Kazuo Miyamoto
 • Sequência passo a
passo para a
operação da Adaline.

• Uma vez que esteja

treinada, a rede
estará apta para
proceder com a tarefa
de classificação de
padrões frente às
novas amostras que
serão apresentadas
em suas entradas.

Sistemas Inteligentes 19
Professor Renato Kazuo Miyamoto
 Perceptron x Adaline: na rede Adaline existe apenas uma reposta de pesos
ideais conforme a variação estipulada, não importando qual o peso inicial, já na
rede Perceptron existe um conjunto de respostas satisfatórias que podem falsear
alguns dados.

Fonte: SILVA; SPATI; FLAUZINO (2010)

Sistemas Inteligentes 20
Professor Renato Kazuo Miyamoto
 • Projeto Prático: é proposto um sistema de gerenciamento automático de
duas válvulas, situado a 500 metros de um processo industrial, que envia um
sinal codificado de quatro grandezas {x1,x2,x3,x4}. A Figura ilustra a situação
descrita, o sistema de comutador decide quando enviar o sinal para A ou B.

Sistemas Inteligentes 21
Professor Renato Kazuo Miyamoto
 • É oferecido uma rede Adaline para treinar dados de entrada coletados e
classificar -1 para ajuste de válvula A e +1 para ajuste de válvula B. Utilizar a
regra de treinamento Delta.

• Assumir taxa de aprendizagem como 0,0025, taxa de precisão 1𝑒 −5 realize o

treinamento para as 35 amostras contidas no arquivo ‘tabela_4_6.txt’

Sistemas Inteligentes 22
Professor Renato Kazuo Miyamoto
 A X1 X2 X3 X4 Y

1 0.9694 0.6909 0.4334 3.4965 1

2 0.5427 1.3832 0.6390 4.0352 1
3 0.6081 -0.9196 0.5925 0.1016 1 • Dados para a validação
4 -0.1618 0.4694 0.2030 3.0117 -1
5 0.1870 -0.2578 0.6124 1.7749 -1
6 0.4891 -0.5276 0.4378 0.6439 1
7 0.3777 2.0149 0.7423 3.3932 1
8 1.1498 -0.4067 0.2469 1.5866 1
9 0.9325 1.0950 1.0359 3.3591 1
10 0.5060 1.3317 0.9222 3.7174 1
11 0.0497 2.0656 0.6124 0.6585 -1
12 0.4004 3.5369 0.9766 5.3532 1
13 -0.1874 1.3343 0.5374 3.2189 1
14 0.5060 1.3317 0.9222 3.7174 1
15 1.6375 0.7911 0.7537 0.5515 1
Sistemas Inteligentes 23
Professor Renato Kazuo Miyamoto
 • Para 5 treinamentos, preencha a Tabela a seguir:

Treinam Vetor de pesos iniciais Vetor de pesos finais Nº

ento W0 W1 W2 W3 W4 W0 W1 W2 W3 W5 épocas

1º

2º

3º

4º

5º

Sistemas Inteligentes 24
Professor Renato Kazuo Miyamoto
 • Plotar o comportamento do
Eqm por épocas.

Eqm_ant = Eqm_at;
.
.
.

%soma Eqm(W) Eqm=Eqm+(d-u)^2;

Soma_Eqm = Soma_Eqm +((d(i) - A(i,1))^2);
Eqm_at = Soma_Eqm/35;

Sistemas Inteligentes 25
Professor Renato Kazuo Miyamoto
 Referências
LIMA, Isaías; PINHEIRO, Carlos A. M. ; SANTOS, Flávia A Oliveira. Inteligência Artificial.
Rio de Janeiro: Elsevier, 2014. 184 p. ISBN: 8535278087.

NASCIMENTO JÚNIOR, Cairo Lúcio; YONEYAMA, Takashi. Inteligência artificial: em

controle e automação. São Paulo: Edgar Blücher ltda, 2000. 218 p. ISBN 978-85-212-
0310-0.

SILVA, I. N.; SPATTI, D. H.; FLAUZINO, R. A. Redes Neurais Artificiais para engenharia e
ciências aplicadas: curso pratico. São Paulo: Artliber, 2010.

SIMON, H. Redes Neurais Artificiais princípios e prática. 2ed. São Paulo: Bookman,
2000.

Sistemas Inteligentes 26
Professor Renato Kazuo Miyamoto