Algoritmos de Aprendizado de Redes

Neurais

A prendizagem por Correção de Erros

Como o próprio nome diz, a aprendizagem por correção de erros

corresponde a uma aprendizagem com base em valores
referentes ao erro de um valor obtido em relação a um valor referencial.
Para efeito de assimilação, vamos imaginar o seguinte caso: Uma rede
alimentada adiante, composta por uma camada de entrada, uma camada
de saída, uma ou mais camadas ocultas, todas estas com apenas com
um nó. Ao ser acionado pelo valor de entrada, os neurônios da camada
oculta acionam o neurônio de saída. A partir disso, o sinal de saída é
comparado a um valor de referência, de modo que a diferença entre os
dois sinais seja minimizada ao longo de uma série de ajustes corretivos,
como na figura abaixo:

Figura 1: Exemplo de uma rede neural com

aprendizagem por correção de erros. | Fonte:
HAYKIN S. (2001).
1
Como podemos observar na Figura 1, este tipo de rede pode ser
classificada como rede retroalimentada. Neste caso, dk(n) representa o
sinal de referência, yk(n) o sinal de saída do neurônio k, ek(n) o erro
computado (dk - yk), por fim, x(n) o sinal produzido pelas camadas ocultas.

Este tipo de aprendizagem também recebe o nome de regra delta, ou

regra de Widrow-Hoff.

Aprendizagem Hebbiana

O conceito de aprendizagem hebbiana em redes neurais é baseado na

regra de aprendizagem proposta por Hebb, em 1947, na publicação A
Organização do Comportamento (The Organization of Behavior). O
postulado proposto por Hebb diz o seguinte:

Quando um axônio da célula A está perto o suficiente para excitar uma

célula B e participar do seu disparo repetida ou persistentemente, então
algum processo de crescimento ou modificação metabólica acontece em
uma das células ou em ambas, de tal forma que a eficiência de A com
uma das células que dispara B é aumentada.

Quando fazemos uma analogia com o comportamento humano, podemos

interpretar o postulado de Hebb como um processo repetitivo de alguma
tarefa, seja ela estudar ou praticar um determinado esporte, que cria ou
reforça um hábito e aprimora uma determinada habilidade.

Em redes neurais, o processo de aprendizagem hebbiana consiste em

observar se um determinado padrão ocorre simultaneamente em dois ou
mais neurônios, de modo a reforçar a sua relevância no processo de
aprendizagem. Se caso um determinado padrão ocorre de forma
assíncrona na rede neural, então a relevância deste comportamento é
enfraquecida, podendo até ser completamente ignorada em processos
futuros.

Aprendizagem Competitiva

Em contraposto ao método de aprendizado hebbiano, em que mais de um

neurônio pode ser ativado simultaneamente, na aprendizagem
competitiva os neurônios competem pela ativação, que ocorre de maneira
única em um determinado instante.

Neste tipo de aprendizagem a competição ocorre de acordo com o peso

estatístico atribuído a cada neurônio, sendo o critério de avaliação as
informações de entrada da primeira camada. Uma vez identificado o
neurônio vencedor, um critério de avaliação binária é distribuído aos
competidores, sendo 1 o valor atribuído ao neurônio vencedor, e 0 aos
perdedores. Esta característica dá a aprendizagem competitiva a alcunha
de “o vencedor leva tudo”.

Aprendizagem de Boltzmann

A aprendizagem de Boltzmann recebe este nome em decorrência dos

princípios estocásticos da mecânica estatística, muitos deles consolidados
pelo físico estatístico Ludwig Eduard Boltzmann.
Neste caso a aprendizagem ocorre de maneira recorrente, atribuindo aos
neurônios valores binários, +1 e -1. Estes valores indicam se um neurônio
está ativo (+1) ou inativo (-1). A distribuição aleatória destes valores
constitui o chamado estado do sistema, que é apresentado na forma de
uma equação energia (E). Conforme as interações ocorrem, dizemos que
a rede neural transita para um estado de equilíbrio que, em poucas
palavras, pode ser interpretado como a configuração de maior precisão
interpretativa da rede neural.

Tarefas de Aprendizagem

A escolha de um método de aprendizado deve ser feita com base nas

tarefas que uma rede neural deve exercer. Tendo isso em mente,
dedicaremos esta seção para expor alguns tipos de tarefas que uma rede
neural pode realizar em seu processo de aprendizado.

a) Filtragem, ou triagem de dados

Como o próprio nome diz, esta tarefa realiza a filtragem de dados que
possuam algum tipo de ruído ou interferência indesejada. Esta tarefa é
particularmente útil quando os nossos objetivos são: Extração de dados
em um determinado intervalo de tempo; Suavização dos dados a partir da
coleta de dados em uma ampla faixa de tempo, aquém da região de
interesse; Previsão de resultados com base na coleta de informações no
presente.
b) Controle

O controle é uma tarefa crucial para a determinação do caráter crítico de

uma rede neural. Nessa tarefa são definidos os critérios de admissão nas
primeiras camadas que levam aos sinais de saída com valores próximos,
quando não iguais, aos valores de referência. Este problema pode ser
atacado utilizando duas abordagens, ambas apresentadas no módulo
anterior: Aprendizagem direta e aprendizagem indireta.

c) Aproximação de funções

Nessa tarefa, a rede neural, munida apenas de informações de entrada e

saída, tenta aproximar uma função que reproduza os resultados
observados. Para tal, um conjunto de funções testes passam por um
processo de escrutínio, onde o melhor resultado será aquele que
minimizar a diferença entre o resultado original e o resultado simulado. A
habilidade com que essa tarefa é realizada depende da capacidade da
rede em identificar os sistemas pré-definidos que possuam afinidade com
os dados processados.

d) Associação de padrões

O aprendizado por associação é uma tarefa em que dados armazenados

orientam a tomada de decisão em uma fase de recordação. A taxa de
êxito nesta tarefa pode ser atribuída a experiência do algoritmo: quanto
mais informações (padrões) armazenados pela máquina, melhor será a
sua tomada de decisão em relação aos dados de entrada.
A associação pode assumir duas formas: auto-associação ou hetero
associação. A primeira consiste no armazenamento de padrões, que são
apresentados à rede de maneira recorrente, dando a máquina uma
apresentação distorcida de um padrão original, que serve como
orientação na recuperação de um padrão específico em um processo de
aprendizagem não-supervisionado . A hetero associação consiste na
apresentação de padrões aleatórios, formando um processo de
aprendizagem supervisionada.

e) Reconhecimento de padrões

Pode ser entendido como um processo no qual os sinais de entrada são

classificados dentro de uma gama de classes pré-definidas. Estas
classes, cuja complexidade é determinada de acordo com suas
variabilidades, são construídas de acordo com um processo de
treinamento da rede neural. Posteriormente, o sinal de entrada é
distribuído de acordo com o treinamento em um processo de decisão
puramente estatístico.

Este tipo de tarefa pode ser dividido em duas formas:

• Uma máquina constituída por duas partes: a primeira uma rede não-
supervisionada cuja função é extrair características, e uma segunda
rede, supervisionada, cuja função é classificar os padrões;

• Uma única máquina, em que a caracterização é realizada pelas

camadas ocultas.
Atividade Extra

Recomendo que assistam esse vídeo:

Está inglês, mas você pode ativar a legenda.

Hebbian Learning Rule:

https://www.youtube.com/watch?v=p6qU8DlIcas (12:43)

Referência Bibliográfica

HAYKIN, S. "Neural Networks. A Comprehensive Foundation". 2 ed.

New Jersey: Prentice Hall, 2001.

LEK, S.; PARK, Y.P. “Artificial Neural Network”. Springer. 2008.

GOODFELLOW, I. “Deep Learning”. The Mit Press. 2016.

Ir para questão