• •

REDES NEURAIS

Marley Maria B.R. Vellasco

ICA: Núcleo de Pesquisa em Inteligência
Computacional Aplicada
PUC-Rio

CONTEÚDO
• Introdução
– Motivação, Objetivo, Definição, Características
Básicas e Histórico
• Conceitos Básicos
– Neurônio Artificial, Modos de Interconexão
• Processamento Neural
– Learning e Recall
• Regras de Aprendizado
– Perceptron, Back Propagation e Competitive
Learning.

• •1
• •

CONTEÚDO
• Introdução
– Motivação, Objetivo, Definição, Características
Básicas e Histórico
• Conceitos Básicos
– Neurônio Artificial, Modos de Interconexão
• Processamento Neural
– Learning e Recall
• Regras de Aprendizado
– Perceptron, Back Propagation e Competitive
Learning.

MOTIVAÇÃO
Constatação que o cérebro processa informações de
forma diferente dos computadores convencionais

CÉREBRO
ê COMPUTADOR
velocidade 1 milhão de vezes processamento extremamente
mais lenta que qualquer gate rápido e preciso na execução
digital è processamento de sequência de instruções
extremamente rápido no è muito mais lento no
reconhecimento de padrões reconhecimento de padrões
ê
Processamento altamente paralelo
(1011 neurônios com 104 conexões cada)

• •2
• •

Problema dos 100 Passos

Neurônio: 2ms Processador: 2ns
î í
Processador é 106 mais rápido que o neurônio

ê
Cérebro reage a um estímulo entre 0,2 e 1 seg.

ê
O cérebro responde em 100 “passos”

MOTIVAÇÃO
• Observações:
– O cérebro tem ∼ 10 bilhões de neurônios.
– Cada neurônio tem ∼ 1.000 a 10.000 conexões
ê
– 60 trilhões de conexões - 1014 sinapses!
ê
– Cada pessoa pode dedicar 100.000 conexões
para armazenar cada segundo de experiência
(65 anos ⇒ 2.000.000.000 de segundos!)

– Durante os 2 primeiros anos de vida, 1.000.000

de sinapses são formadas por segundo!!

• •3
• •

CONTEÚDO
• Introdução
– Motivação, Objetivo, Definição, Características
Básicas e Histórico
• Conceitos Básicos
– Neurônio Artificial, Modos de Interconexão
• Processamento Neural
– Learning e Recall
• Regras de Aprendizado
– Perceptron, Back Propagation e Competitive
Learning.

OBJETIVO

Estudar a teoria e a implementação de

sistemas massivamente paralelos, que
possam processar informação com
eficiência comparável ao cérebro.

• •4
• •

DEFINIÇÃO

Redes Neurais Artificiais são sistemas

inspirados nos neurônios biológicos e
na estrutura massivamente paralela do
cérebro, com capacidade de adquirir,
armazenar e utilizar conhecimento
experimental.

Aquisição de Conhecimento:
Aprendizado
Treinamento efetuado através da apresentação
de exemplos
ê
Existe uma variedade de algoritmos que
estabelecem QUANDO e COMO os parâmetros
da Rede Neural devem ser atualizados

ê
Algoritmos substituem a programação
necessária para a execução das tarefas nos
computadores

• •5
• •

APLICAÇÕES GERAIS
þ Reconhecimento de Padrões
þ Classificação de Padrões
þ Correção de Padrões
þ Previsão de Séries Temporais
þ Aproximação de Funções
þ Suporte à Decisão
þ Extração de Informações

CONTEÚDO
• Introdução
– Motivação, Objetivo, Definição, Características
Básicas e Histórico
• Conceitos Básicos
– Neurônio Artificial, Modos de Interconexão
• Processamento Neural
– Learning e Recall
• Regras de Aprendizado
– Perceptron, Back Propagation e Competitive
Learning.

• •6
• •

Características Básicas

Devido à similaridade com a estrutura

do cérebro, as Redes Neurais exibem
características similares ao do
comportamento humano, tais como:

Características Básicas

• Procura Paralela e
Endereçamento pelo Conteúdo:

O cérebro não possui endereço de

memória e não procura a
informação sequencialmente

• •7
• •

Características Básicas

• Aprendizado:

A rede aprende por experiência, não

necessitando explicitar os algoritmos
para executar uma determinada
tarefa

Características Básicas

• Associação:
A rede é capaz de fazer associações
entre padrões diferentes
Ex: Cidade è Pessoa
Perfume è Pessoa

• •8
• •

Características Básicas

• Generalização:

Redes Neurais são Habilidade de lidar com

capazes de ruídos e distorções,
generalizar o seu è respondendo
conhecimento a partir corretamente a
de exemplos
padrões novos.
anteriores

Características Básicas
• Abstração:

Capacidade de abstrair a essência de um

conjunto de entradas, isto é, a partir de
padrões ruidosos, extrair a informação do
padrão sem ruído.

• •9
• •

Características Básicas
• Robustez e Degradação Gradual:

A perda de um conjunto de elementos

processadores não causa o mal
funcionamento da rede neural.

CONTEÚDO
• Introdução
– Motivação, Objetivo, Definição, Características
Básicas e Histórico
• Conceitos Básicos
– Neurônio Artificial, Modos de Interconexão
• Processamento Neural
– Learning e Recall
• Regras de Aprendizado
– Perceptron, Back Propagation e Competitive
Learning.

• •10
• •

EVOLUÇÃO
McCulloch & Pitts (Mathematical Bio-Physics, Vol. 5, 1943),
“A Logical Calculus of Ideas Immanent in Nervous Activity”

Von Neumann Marvin Minsky Frank Rosenblatt

Machine Macroscopic Microscopic
Intelligence Intelligence Intelligence
1945 Digital
Computers
1950 Black-Box AI Perceptron,
(LISP) Adaline
1960 Mainframes Theorem Solver
1970 Vax 780 Expert Systems
(Time Sharing)
1980 Workstations, Commercialization Rumelhart,
PCs of E.S. Hopfield
1990 Desktop Commercialization
Supercomputers of N.N.

EVOLUÇÃO
• Modelo de McCulloch-Pitts:
w1
x1
w2
x2
Entradas T s
(valores 0,1)
wn wi = +- 1
xn
i = 1,2,..., n

n
sk+1 = 1 se Σ wi xik ≥T
i=1
n
0 se Σ wi xik <T
i=1

• •11
• •

EVOLUÇÃO
• Modelo de McCulloch-Pitts:
1
x1 -1 T=0 x1
1
-1 1 1 -1
x2 T=0 T=1 s x2 T=1 T=0 s
1
-1 NAND __ 1 NOR ___
x3 T=0 A B AB
x3 A B A+B
0 0 1 0 0 1
0 1 1 0 1 0
1 0 1 1 0 0
1 1 0 1 1 0

1
entrada 1
T=1 sk+1 = xk
excitatória
-1 Célula de Memória
entrada na ausência de entradas,
inibitória a saída é armazenada
indefinidamente

HISTÓRICO
• McCulloch & Pitts (1943):
– modelo computacional para o neurônio artificial. Não possuía
capacidade de aprendizado
• Hebb (1949):
– modelo de aprendizado (Hebbian Learning Rule)
• Rosenblatt (1957):
– Perceptron, com grande sucesso em certas aplicações e
problemas em outras aparentemente similares
• Minsky & Papert ( Perceptrons 1969):
– prova matemática de que as redes Perceptron são incapazes
de solucionar problemas simples tipo OU-EXCLUSIVO
• Rumelhart (início da década de 80):
– novos modelos que superaram os problemas dos Perceptrons.

• •12
• •

CONTEÚDO
• Introdução
– Motivação, Objetivo, Definição, Características
Básicas e Histórico
• Conceitos Básicos
– Neurônio Artificial, Modos de Interconexão
• Processamento Neural
– Learning e Recall
• Regras de Aprendizado
– Perceptron, Back Propagation e Competitive
Learning.

CONCEITOS BÁSICOS

• Neurônio Artificial
– (Elemento Processador)
• Estruturas de Interconexão
– FeedForward de 1 camada
– FeedForward de Múltiplas Camadas
– Recorrente (com realimentação)

• •13
• •

Elemento Processador
Elemento Processador inspirado no Neurônio Biológico

Neurônio Neurônio
Biológico Artificial
Sinapses Dendritos
Pesos
Axônio w1 Propagação Ativação
w2
Corpo
Somático
w3

Elementos Básicos
• Estado de Ativação è sj
• Conexões entre Processadores
– a cada conexão existe um peso sináptico
que determina o efeito da entrada sobre o
processador è w ij
• Função de Ativação
– determina o novo valor do Estado de
Ativação do processador è sj = F (netj)

• •14
• •

Funções de Ativação
É a função que determina o nível de
ativação do Neurônio Artificial - sj = F(netj)

F(netj) F(netj) F(netj)

netj netj netj

Degrau Pseudo-Linear Sigmoid

Tipos de Processadores

è Recebe os dados de entrada

è Apresenta os dados de saída

è As suas entradas e saídas

permanecem dentro do sistema

• •15
• •

Neurônio Artificial
3 pontos importantes: Ü Thresholding
bias
Ü Não-Linearidade
Ü Saturação
x1 w0
F(netj)
w1
net F(net) y saturação
w2
x2
não-linear

net = w0 + w1x1 + w2x2 netj

F(net) = 1 (sigmoid) threshold
1 + e-net

Neurônio Artificial
Em função das equações de net e F(net):
y
1
y = F(net) =
1 + e -(w0 + x1w1 + x2w2)

x1

Fórmula matemática
representada pelo
neurônio artificial x2

• •16
• •

Exemplos
Regressão Linear:
y = a0 + a1x1 + a2x2 + a3x3 Acha a reta com erro
mínimo que passe pelos
pontos existentes
Variáveis
(padrões de treinamento)
explicativas

Representação
Bias = +1
Neural Deslocamento
x1 a0 em função Reta obtida
a1
do a 0 (bias) pela regressão
a2 Função
x2 y
linear
x3 a3

Exemplos
Transformada de Fourier:
y = a0 + a1sen(wt + φ1) + a2sen(2wt + φ2) +
a3sen(3wt + φ3) + ...
φ1
a0
+1
(bias) φ2 a1
Representação φ3 a2
y
w
Neural t
2w a3
(tempo) 3w
Função
Linear
Todos com função
de ativação senoidal

• •17
• •

CONCEITOS BÁSICOS

• Neurônio Artificial
– (Elemento Processador)
• Estruturas de Interconexão
– FeedForward de 1 camada
– FeedForward de Múltiplas Camadas
– Recorrente (com realimentação)

Topologias das Redes

Neurais
• Redes Feed-Forward:
– redes de uma ou mais camadas de
processadores, cujo fluxo de dados é
sempre em uma única direção, isto é, não
existe realimentação.
• Redes Recorrentes:
– redes com conexões entre processadores da
mesma camada e/ou com processadores das
camadas anteriores (realimentação).

• •18
• •

Redes Feed-Forward
Redes de uma camada

PE1

PE2

PE3

PEn

Redes Feed-Forward
Rede de Múltiplas Camadas
Camada
Camada
Escondida
de Saída
PE1
PE1
PE2
PE2
PE3

PEm
PEn

• •19
• •

Redes Recorrentes
Output
R
e
a
l
i
m
e
n
t
a
ç
ã
o
Input

CONTEÚDO
• Introdução
– Motivação, Objetivo, Definição, Características
Básicas e Histórico
• Conceitos Básicos
– Neurônio Artificial, Modos de Interconexão
• Processamento Neural
– Learning e Recall
• Regras de Aprendizado
– Perceptron, Back Propagation e Competitive
Learning.

• •20
• •

Processamento Neural
O processamento de uma Rede Neural
pode ser dividido em duas fases:
Processo de atualização
dos pesos sinápticos para a
aquisição do conhecimento
- Aquisição da Informação

Processo de cálculo da saída

da rede, dado um certo
padrão de entrada -
Recuperação da Informação

Aprendizado

• •21
• •

Aprendizado
• Processo pelo qual os parâmetros livres
- pesos sinápticos - de uma rede neural são
adaptados através de um processo
contínuo de estimulação pelo ambiente.

• Existem 3 tipos básicos de aprendizado:

þ Treinamento Supervisionado;
þ Treinamento Não-Supervisionado;
þ Treinamento em “Batch”.

Treinamento Supervisionado

A rede é treinada através do fornecimento

dos valores de entrada e seus respectivos
valores da saída desejada (“training pair”).

Geralmente efetuado através do processo

de minimização do erro calculado na saída.

• •22
• •

Treinamento Supervisionado

PADRÃO
DE ENTRADA PESOS SAÍDA
(X) AJUSTÁVEIS (s)
(W)

VALOR
CÁLCULO DESEJADO
DO ERRO (t)
(e)
e(t,s)

Treinamento Não-Supervisionado

“Self-Organization” è Não requer o

valor desejado de saída da rede. O
sistema extrai as características do
conjunto de padrões, agrupando-os em
classes inerentes aos dados.

Aplicado a problemas de “Clusterização”

• •23
• •

Treinamento Não-Supervisionado

PADRÃO
DE ENTRADA PESOS SAÍDA
(X) AJUSTÁVEIS (s)
(W)

Treinamento em “Batch”

Os valores dos pesos sinápticos são

estabelecidos a priori, em um único
passo. Também chamado de
Gravação - “Recording”

• •24
• •

Recuperação de Dados

Recuperação de Dados
Assumindo que um conjunto de padrões
tenha sido armazenado, a Rede Neural
pode executar as seguintes tarefas:
– Auto-associação
– Hetero-associação
– Classificação

• •25
• •

Recuperação de Dados
Assumindo que um conjunto de padrões
tenha sido armazenado, a Rede Neural
pode executar as seguintes tarefas:
– Auto-associação
– Hetero-associação GENERALIZAÇÃO
– Classificação

Recuperação de Dados
Autoassociação:
A Rede Neural recupera o padrão armazenado
mais semelhante ao padrão de entrada
apresentado. Recuperação de
padrões ruidosos

Padrão de Padrão
entrada correto
distorcido recuperado

• •26
• •

Recuperação de Dados
Heteroassociação:
A Rede Neural armazena a associação entre
um par de padrões. Recuperação de um
padrão diferente do
da entrada.

Padrão de
Padrão
entrada
correto
com ou
recuperado
sem ruído

Recuperação de Dados
Classificação:
A Rede Neural responde com a informação
relativa à classe a qual o padrão de entrada
pertence. Caso especial de Heteroassociação
Ex: Padrões de entrada divididos em 3 classes distintas.

Padrão de Classe 1
entrada Classe 2 Classe 3
com ou
Classe 3
sem ruído

• •27
• •

Recuperação de Dados
Generalização:
A Rede Neural responde corretamente a um
padrão de entrada fora do conjunto de
treinamento .

GENERALIZAÇÃO
A Rede Neural responde corretamente a um
padrão de entrada fora do conjunto de
treinamento . Interpola corretamente os novos
pontos apresentados
f(x)
Interpolação ruim
generalizações Boa interpolação

x1 x2 x3 y x4 x5 x
x i è pontos do conjunto de treinamento
y è novo ponto para generalização

• •28
• •

Exemplos de Treinamento
Supervisionado

ΠReconhecimento de Caracteres

• Previsão de Séries Temporais

Reconhecimento de
Caracteres

• •29
• •

Processo de Aprendizado
Alvo
Atividade
Neural w w

I1
w H1 w O1
w w

w w
I2 w H2 O2
w
w w

w w
Dados para
Treinamento I3 w H3 w O3

w w

Pesos Pesos
Saída
Entrada Escondida

Processo de Aprendizado

w w
Erro = -
w w O1
I1 H1

w w

w w
O2
I2 w H2 w
w w

w w
Dados para O3
Treinamento I3 w H3 w
w w

Pesos Pesos Saída

Entrada Escondida

Atualização dos pesos em função do erro

• •30
• •

Processo de Aprendizado
Alvo
Atividade
Neural w w

I1
w H1 w O1
w w

w w
I2 w H2 O2
w
w w

w w
Dados para
Treinamento I3 w H3 w O3

w w

Pesos Pesos
Saída
Entrada Escondida

Processo de Aprendizado

w w
Erro = -
w w O1
I1 H1

w w

w w
O2
I2 w H2 w
w w

w w
Dados para O3
I3 w H3 w
Treinamento
w w

Pesos Pesos Saída

Entrada Escondida

Atualização dos pesos em função do erro

• •31
• •

Processo de Aprendizado
Alvo
Atividade
Neural w w

I1
w H1 w O1
w w

w w
I2 w H2 O2
w
w w

w w
Dados para
Treinamento I3 w H3 w O3

w w

Pesos Pesos
Saída
Entrada Escondida

Processo de Generalização

Recuperação da Informação
Aprendida

• •32
• •

Processo de Generalização
Atividade
Neural w w

I1
w H1 w O1
w w

w w
I2 w H2 O2
w
w w

w w
I3 w H3 w O3
Resposta
w w correta a um
Pesos Pesos
novo padrão!
Saída
Entrada Escondida

Previsão de
Séries Temporais

• •33
• •

Estrutura da Rede Neural

Série temporal
alvo

janela

Saída Dados de
Entradas Treinamento
da rede = Desejada =
n valores valor da série
passados k passos à
frente

Ex: valor um
Ex: 5 valores passo à frente
passados

Processo de Aprendizado
Série temporal
alvo

janela

Dados de
Entradas Treinamento
da rede

Saída da rede:
Valor previsto
um passo à frente

• •34
• •

Processo de Aprendizado
Série temporal
alvo

janela

Dados de
Entradas Treinamento
da rede
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)

Saída da rede:
Valor previsto
um passo à frente

Processo de Aprendizado
Série temporal
alvo

janela

Dados de
Entradas Treinamento
da rede
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)

Saída da rede:
Valor previsto
um passo à frente

• •35
• •

Processo de Aprendizado
Série temporal
alvo

janela

Dados de
Entradas Treinamento
da rede
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)

Saída da rede:
Valor previsto
um passo à frente

Processo de Aprendizado
Série temporal

janela
alvo

Dados de
Entradas
Treinamento
da rede

Ajuste dos pesos

a partir do erro
Saída da rede: (Erro= alvo - previsto)
Valor previsto
um passo à frente

• •36
• •

Processo de Aprendizado
Série temporal
alvo
janela

Dados de
Entradas
Treinamento
da rede

Ajuste dos pesos

a partir do erro
(Erro= alvo - previsto)
Saída da rede:
Valor previsto
um passo à frente

Processo de Aprendizado
Série temporal
alvo

janela

Dados de
Entradas Treinamento
da rede
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)

Saída da rede:
Valor previsto
um passo à frente

• •37
• •

Processo de Aprendizado
Série temporal
alvo

janela

Dados de
Entradas Treinamento
da rede
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)

Saída da rede:
Valor previsto
um passo à frente

Processo de Aprendizado
Série temporal
alvo
janela

Dados de
Entradas
Treinamento
da rede

Ajuste dos pesos

a partir do erro
(Erro= alvo - previsto)
Saída da rede:
Valor previsto
um passo à frente

• •38
• •

Processo de Generalização

Recuperação da Informação
Aprendida

Processo de Generalização
Série temporal janela

Dados de
Entradas Treinamento
da rede

• •39
• •

Processo de Generalização
Série temporal previsto
janela

Dados de
Entradas Treinamento
da rede
Dados
previstos

Saída da rede:
Valor previsto

Processo de Generalização
Série temporal
janela previsto

Dados de
Entradas da rede: Treinamento
inclui o(s) valor(es)
previstos pela Rede Dados
previstos

Saída da rede:
Valor previsto

• •40
• •

Processo de Generalização
Série temporal previsto

janela

Dados de
Entradas da rede:
Treinamento
inclui o(s) valor(es)
previstos pela Rede Dados
previstos

Saída da rede:
Valor previsto

• •41