Redes Recorrentes Dirigidas

Dinamicamente

R ede Neural Adaline

A principal diferença entre a regra Adaline (também conhecida

como regra de Widrow-Hoff) e o perceptron de Rosenblatt é que
os pesos são atualizados com base em uma função de ativação linear em
vez de uma função de etapa unitária como no modelo Perceptron.

Figura 1 - Perceptron

Figura 2 - Neurônia Linear Adaptativo (Adaline)

1
A diferença é que vamos usar a saída de valor contínuo da função de
ativação linear para calcular o erro do modelo e atualizar os pesos, em vez
dos rótulos de classe binários.

Para o treinamento do Adaline precisamos compreender os métodos dos

mínimos quadrados, conhecido como Regra Delta. Essa regra afirma que
a modificação no peso sináptico de um nó é igual a multiplicação do erro
na entrada.

Δwi = α . xi . ej
​ ​ ​

Sendo

Δwi = Mudança do peso.

​

α = Taxa de aprendizagem (learning rate)

xi = O valor de entrada do neurônio pré-sináptico

​

ej = (t − yin) = Diferença entre a saída desejada (target) e a saída real

​ ​

yin ​

A regra delta acima é para uma única unidade de saída apenas.

Rede Neural Sigmoid

Neurônios sigmóides onde a função de saída é muito mais suave do que

a função de grau. No neurônio sigmóide, uma pequena mudança na
entrada causa apenas uma pequena mudança na saída, em oposição à
 saída escalonada. Existem muitas funções com a característica de uma
curva em forma de “S”, conhecidas como funções sigmóides. A função
mais comumente usada é a função logística.

Figura 2 - Representação matemática do neurônio

Sigmoid.

Não vemos mais uma transição abrupta no limiar b. A saída do neurônio

sigmóide não é 0 ou 1. Em vez disso, é um valor real entre 0–1 que pode
ser interpretado como uma probabilidade.

Rede Neural Recorrente (RNR)

Uma rede neural recorrente (RNN) é um tipo de rede neural artificial que
usa dados sequenciais ou dados de série temporal. Esses algoritmos de
aprendizado profundo são comumente usados ​para problemas ordinais
ou temporais, como tradução de linguagem, processamento de linguagem
natural (NLP), reconhecimento de fala e legendagem de imagens; eles
são incorporados a aplicativos populares, como Siri, pesquisa por voz e
Google Translate. Como as redes neurais de feedforward e
convolucionais (da qual veremos no próximo módulo), as redes neurais
recorrentes usam dados de treinamento para aprender. Eles se
distinguem por sua “memória”, pois recebem informações de entradas
 anteriores para influenciar a entrada e a saída atuais. Enquanto as redes
neurais profundas tradicionais presumem que as entradas e saídas são
independentes umas das outras, a saída das redes neurais recorrentes
depende dos elementos anteriores dentro da sequência. Embora os
eventos futuros também sejam úteis para determinar a saída de uma
determinada sequência, as redes neurais recorrentes unidirecionais não
podem levar em conta esses eventos em suas previsões.

Figura 1 - Redes neurais recorrentes

Veremos com mais detalhes nas vídeos aulas as funções de ativação e os

conceitos de redes recorrentes dirigidas dinamicamente.

Atividade Extra

Recomendo a leitura bem interessante de um artigo no site:

https://imasters.com.br/data/um-mergulho-profundo-nas-redes-neurais-
recorrentes.

Referência Bibliográfica

HAYKIN, S. "Neural Networks. A Comprehensive Foundation". 2 ed.

New Jersey: Prentice Hall, 2001.

LEK, S.; PARK, Y.P. “Artificial Neural Network”. Springer. 2008.

GOODFELLOW, I. “Deep Learning”. The Mit Press. 2016.

Ir para questão