Você está na página 1de 156

REDES NEURAIS

Marley Maria B.R. Vellasco


ICA: Ncleo de Pesquisa em Inteligncia Computacional Aplicada PUC-Rio

CONTEDO
Introduo

Inteligncia Computacional, Motivao, Objetivo, Definio, Caractersticas Bsicas e Histrico

Conceitos Bsicos
Neurnio Artificial, Modos de Interconexo

Processamento Neural
Recall e Learning

Regras de Aprendizado
Regra de Hebb, Perceptron, Back Propagation, Competitive Learning, RBF, Hopfield, etc.

O que Inteligncia Computacional ?


Tcnicas e sistemas computacionais que imitam aspectos humanos, tais como: percepo, raciocnio, aprendizado, evoluo e adaptao.

Inspirao na Natureza

Sistemas Especialistas

inferncia humana

Lgica Fuzzy
Redes Neurais Algoritmos Genticos Sistemas Hbridos

processamento lingstico
neurnios biolgicos evoluo biolgica aspectos combinados

Sistemas Computacionais de Suporte Deciso


Aquisio de Conhecimento
Previso Otimizao Controle Planejamento

Sistemas Especialistas Lgica Fuzzy Redes Neurais

Algoritmos Genticos
Sistemas Hbridos

Data Mining
Anlise de Risco

Deteco de Fraude

reas de Aplicao
Energia Finanas
Telecomunicaes Medicina Meio-Ambiente Comrcio

Indstria

CONTEDO
Introduo
Inteligncia Computacional, Motivao, Objetivo, Definio, Caractersticas Bsicas e Histrico

Conceitos Bsicos
Neurnio Artificial, Modos de Interconexo

Processamento Neural
Recall e Learning

Regras de Aprendizado
Regra de Hebb, Perceptron, Back Propagation, Competitive Learning, RBF, Hopfield, etc.

MOTIVAO
Constatao que o crebro processa informaes de forma diferente dos computadores convencionais
CREBRO

COMPUTADOR processamento extremamente rpido e preciso na execuo de seqncia de instrues muito mais lento no reconhecimento de padres

velocidade 1 milho de vezes mais lenta que qualquer gate digital processamento extremamente rpido no reconhecimento de padres

Processamento altamente paralelo (1011 neurnios com 104 conexes cada)

MOTIVAO
Observaes:
O crebro tem 10 bilhes de neurnios. Cada neurnio tem 1.000 a 10.000 conexes 60 trilhes de conexes - 1014 sinapses! Cada pessoa pode dedicar 100.000 conexes para armazenar cada segundo de experincia
(65 anos 2.000.000.000 de segundos!)

Durante os 2 primeiros anos de vida, 1.000.000 de sinapses so formadas por segundo!!

CONTEDO
Introduo
Inteligncia Computacional, Motivao, Objetivo, Definio, Caractersticas Bsicas e Histrico

Conceitos Bsicos
Neurnio Artificial, Modos de Interconexo

Processamento Neural
Recall e Learning

Regras de Aprendizado
Regra de Hebb, Perceptron, Back Propagation, Competitive Learning, RBF, Hopfield, etc.

OBJETIVO

Estudar a teoria e a implementao de sistemas massivamente paralelos, que possam processar informaes com eficincia comparvel ao crebro.

DEFINIO
Redes Neurais Artificiais so sistemas inspirados nos neurnios biolgicos e na estrutura massivamente paralela do crebro, com capacidade de adquirir, armazenar e utilizar conhecimento experimental.

Relao com a Natureza


Crebro Redes Neurais Artificiais

Neurnio Biolgico Rede de Neurnios 10 bilhes neurnios Aprendizado Generalizao Associao Reconhecimento de Padres

Neurnio Artificial Estrutura em Camadas centenas/milhares Aprendizado Generalizao Associao Reconhecimento de Padres

IDIA BSICA
Sistemas compostos de diversas unidades simples (neurnios artificiais) ligadas de maneira apropriada, podem gerar comportamentos interessantes, complexos e no-lineares. Comportamento determinado pela estrutura das ligaes (topologia) e pelos valores das conexes (pesos sinpticos)

APLICAES GERAIS
Reconhecimento de Padres Classificao de Padres Correo de Padres Previso de Sries Temporais Aproximao de Funes Suporte Deciso Gerao de Informao Descoberta de Conhecimento

CONTEDO
Introduo
Inteligncia Computacional, Motivao, Objetivo, Definio, Caractersticas Bsicas e Histrico

Conceitos Bsicos
Neurnio Artificial, Modos de Interconexo

Processamento Neural
Recall e Learning

Regras de Aprendizado
Regra de Hebb, Perceptron, Back Propagation, Competitive Learning, RBF, Hopfield, etc.

Caractersticas Bsicas
Devido similaridade com a estrutura do crebro, as Redes Neurais exibem caractersticas similares ao do comportamento humano, tais como:

Caractersticas Bsicas
Procura Paralela e

Endereamento pelo Contedo:


O crebro no possui endereo de memria e no procura a informao seqencialmente

Caractersticas Bsicas
Aprendizado: A rede aprende por experincia, no necessitando explicitar os algoritmos para executar uma determinada tarefa

Caractersticas Bsicas
Associao: A rede capaz de fazer associaes entre padres diferentes Ex: Foto Pessoa

Sintomas Doena Leitura de Sensores Falha Caractersticas do Cliente Fraude

Caractersticas Bsicas
Generalizao: Habilidade de lidar com Redes Neurais so capazes de rudos e distores, generalizar o seu respondendo conhecimento a partir corretamente a de exemplos padres novos. anteriores

Caractersticas Bsicas
Abstrao:

Capacidade de abstrair a essncia de um conjunto de entradas, isto , a partir de padres ruidosos, extrair a informao do padro sem rudo.

Caractersticas Bsicas
Robustez e Degradao Gradual:

A perda de um conjunto de elementos processadores e/ou conexes sinpticas no causa o mal funcionamento da rede neural.

CONTEDO
Introduo
Inteligncia Computacional, Motivao, Objetivo, Definio, Caractersticas Bsicas e Histrico

Conceitos Bsicos
Neurnio Artificial, Modos de Interconexo

Processamento Neural
Recall e Learning

Regras de Aprendizado
Regra de Hebb, Perceptron, Back Propagation, Competitive Learning, RBF, Hopfield, etc.

EVOLUO
McCulloch & Pitts (Mathematical Bio-Physics, Vol. 5, 1943), A Logical Calculus of Ideas Immanent in Nervous Activity
Von Neumann Machine Intelligence 1945 Digital Computers 1950 1960 1970 Marvin Minsky Macroscopic Intelligence Frank Rosenblatt Microscopic Intelligence

Mainframes Vax 780 (Time Sharing) 1980 Workstations, Commercialization Rumelhart, PCs of E.S. Hopfield 1990 Desktop Commercialization Supercomputers of N.N.

Black-Box AI (LISP) Theorem Solver Expert Systems

Perceptron, Adaline

EVOLUO
Modelo de McCulloch-Pitts:
Entradas (valores 0,1) x1 x2 xn

w1 w2 T wn
wi = + 1 -

i = 1,2,..., n
n

sk+1

= 1 se wi xik
i=1 n

0 se wi xik
i=1

EVOLUO
Modelo de McCulloch-Pitts:
x1 x2 x3 -1 -1 -1 T=0 T=0 T=0 1 1 1 T=1
NAND __ A B AB 0 0 1 0 1 1 1 0 1 1 1 0

x1 s

1 1

x2
x3

T=1

-1

T=0
NOR
A 0 0 1 1 B 0 1 0 1 ___ A+B 1 0 0 0

1 entrada excitatria 1 -1 T=1 sk+1 = xk


Clula de Memria na ausncia de entradas, a sada armazenada indefinidamente

entrada inibitria

HISTRICO
McCulloch & Pitts (1943):
modelo computacional para o neurnio artificial. No possua capacidade de aprendizado

Hebb (1949):
modelo de aprendizado (Hebbian Learning Rule).

Rosenblatt (1957):
modelo Perceptron, com grande sucesso em certas aplicaes e problemas em outras aparentemente similares.

Minsky & Papert ( Perceptrons 1969):


prova matemtica de que as redes Perceptron so incapazes de solucionar problemas simples tipo OU-EXCLUSIVO

Rumelhart (incio da dcada de 80):


novos modelos que superaram os problemas dos Perceptrons.

CONTEDO
Introduo
Inteligncia Computacional, Motivao, Objetivo, Definio, Caractersticas Bsicas e Histrico

Conceitos Bsicos
Neurnio Artificial, Modos de Interconexo

Processamento Neural
Recall e Learning

Regras de Aprendizado
Regra de Hebb, Perceptron, Back Propagation, Competitive Learning, RBF, Hopfield, etc.

CONCEITOS BSICOS
Neurnio Artificial
(Elemento Processador)

Estruturas de Interconexo
FeedForward de 1 camada FeedForward de Mltiplas Camadas Recorrente (com realimentao)

Elemento Processador
Elemento Processador inspirado no Neurnio Biolgico

Squashing Function

neti

f (neti)

Elementos Bsicos
Estado de Ativao sj Conexes entre Processadores
a cada conexo existe um peso sinptico que determina o efeito da entrada sobre o processador wji

Funo de Ativao
determina o novo valor do Estado de Ativao do processador sj = F (netj)

Funes de Ativao
a funo que determina o nvel de ativao do Neurnio Artificial: sj = F(netj)
F(netj) F(netj) F(netj) F(netj)

netj

netj

netj

netj

Degrau

Tanh

Logstica

Pseudo-Linear

Funes de Ativao
a funo que determina o nvel de ativao do Neurnio Artificial: sj = F(netj)

threshold

Tipos de Processadores
Recebe os dados de entrada Apresenta os dados de sada As suas entradas e sadas permanecem dentro do sistema

Neurnio Artificial
3 pontos importantes: Thresholding No-Linearidade Saturao

Neurnio Artificial
3 pontos importantes: Thresholding No-Linearidade bias Saturao
x1
w0 w1 w2 net
F(net)

F(netj)
y saturao no-linear

x2 net = w0 + w1x1 + w2x2 F(net) = 1 (sigmoid) 1 + e-net

netj
threshold

Neurnio Artificial
Em funo das equaes de net e F(net):
y y = F(net) = 1 1 + e -(w0 + x1w1 + x2w2)

x1 Frmula matemtica representada pelo neurnio artificial

x2

Exemplos
Regresso Linear:
y = a0 + a1x1 + a2x2 + a3x3
Variveis explicativas

Determina a reta (ou hiperplano) com erro mnimo que passe pelos pontos existentes (padres de treinamento)

Representao Neural
x1 x2 x3 a2 a1

Bias = +1 a0
Funo linear

Deslocamento em funo do a0 (bias)

Reta obtida pela regresso

a3

Exemplos
Transformada de Fourier:
y = a0 + a1sen(wt + 1) + a2sen(2wt + 2) + a3sen(3wt + 3) + ...
1 a0

+1

Representao Neural

(bias)
w

3 2w

2
a2

a1

t
(tempo)

a3
3w

Funo Linear Todos com funo de ativao senoidal

CONCEITOS BSICOS
Neurnio Artificial
(Elemento Processador)

Estruturas de Interconexo
FeedForward de 1 camada FeedForward de Mltiplas Camadas Recorrente (com realimentao)

Topologias das Redes Neurais


Redes Feed-Forward:
redes de uma ou mais camadas de processadores, cujo fluxo de dados sempre em uma nica direo, isto , no existe realimentao.

Redes Recorrentes:
redes com conexes entre processadores da mesma camada e/ou com processadores das camadas anteriores (realimentao).

Redes Feed-Forward
Redes de uma camada
PE1 PE2 PE3

PEn

Redes Feed-Forward
Rede de Mltiplas Camadas
Camada Intermediria (Escondida) PE1 PE1 Camada de Sada

PE2
PE2 PE3 PEm PEn

Exemplo 1: Reconhecimento de Padres


Atividade Neural
I1

w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

Novo dado (no apresentado durante o treinamento)

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Exemplo 1: Reconhecimento de Padres


Atividade Neural
I1

w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Exemplo 1: Reconhecimento de Padres


Atividade Neural
I1

w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Exemplo 2: Previso
Srie temporal

janela

Entradas da rede

Dados de Treinamento

Exemplo 2: Previso
Srie temporal

janela

previsto

Entradas da rede

Dados de Treinamento Dados previstos Dados reais

Sada da rede: Valor previsto

Redes Recorrentes
Output
R e a l i m e n t a o

Input

Redes Recorrentes
Output
R e a l i m e n t a o

Input

Redes Recorrentes
Output
R e a l i m e n t a o

Redes Recorrentes
Output
R e a l i m e n t a o

Input

Redes Recorrentes
Output
R e a l i m e n t a o

Redes Recorrentes
Output
R e a l i m e n t a o

Redes Recorrentes
Output
R e a l i m e n t a o

Redes Recorrentes
Output
R e a l i m e n t a o

Redes Recorrentes
Output
R e a l i m e n t a o

Redes Recorrentes
Output
R e a l i m e n t a o

Redes Recorrentes
Rede Convergiu para um estado estvel
Output
R e a l i m e n t a o

Memria Autoassociativa
Exemplo 1:
Rede de 120 processadores
Estado ROSA Estado AZUL Estado VERDE Estado LARANJA

Padro de entrada

1 ciclo

2 ciclo

3 ciclo - estvel -

Memria Autoassociativa
Exemplo 2: Rede de 120 processadores

Memria Autoassociativa
Exemplo 3: Rede de 320 processadores

Memria Autoassociativa
Exemplo 3: Rede de 320 processadores

Memria Autoassociativa
Exemplo 3: Rede de 320 processadores

CONTEDO
Introduo
Inteligncia Computacional, Motivao, Objetivo, Definio, Caractersticas Bsicas e Histrico

Conceitos Bsicos
Neurnio Artificial, Modos de Interconexo

Processamento Neural
Recall e Learning

Regras de Aprendizado
Regra de Hebb, Perceptron, Back Propagation, Competitive Learning, RBF, Hopfield, etc.

Processamento Neural
O processamento de uma Rede Neural pode ser dividido em duas fases:
Processo de atualizao dos pesos sinpticos para a aquisio do conhecimento - Aquisio da Informao Processo de clculo da sada da rede, dado um certo padro de entrada Recuperao da Informao

Aprendizado

Aprendizado
Processo pelo qual os parmetros livres pesos sinpticos - de uma rede neural so adaptados atravs de um processo contnuo de estimulao pelo ambiente.
Existem 3 tipos bsicos de aprendizado:
Treinamento Supervisionado (TS); Treinamento No-Supervisionado; Reinforcement Learning.

Treinamento Supervisionado
A rede treinada atravs do fornecimento dos valores de entrada e de seus respectivos valores desejados de sada (training pair).

Geralmente efetuado atravs do processo de minimizao do erro calculado na sada.

Treinamento Supervisionado
PADRO DE ENTRADA (X)

PESOS AJUSTVEIS (W)

SADA (s)

e(t,s)

CLCULO DO ERRO (e)

VALOR DESEJADO (t)

Treinamento Supervisionado

Treinamento Supervisionado
FUNES OBJETIVO: Genrica Sum of Squared Errors: ESSE = p i (tpi - ypi)2
ypi = sada calculada do processador i ao apresentar o padro p tpi = sada desejada para o processador i ao apresentar o padro p

Treinamento No-Supervisionado
Self-Organization No requer o valor desejado de sada da rede. O sistema extrai as caractersticas do conjunto de padres, agrupando-os em classes inerentes aos dados.

Aplicado a problemas de Clusterizao


(Ex: Segmentao, Quantizao vetorial, etc.)

Treinamento No-Supervisionado
PADRO DE ENTRADA (X)

PESOS AJUSTVEIS (W)

SADA (s)

Treinamento No-Supervisionado
vetores de entrada vetores de pesos no instante t

Topologia
w1t

w1t

PE1
w2t

x1 x2 x3
w3t

s1 s2
w2t w3t

PE2 PE3

s3

Treinamento No-Supervisionado
vetores de entrada vetores de pesos no instante t vetores de pesos aps aprendizado

Topologia
w1t+n w1t+n

w1t

PE1
w2t+n

x1 x2 x3

s1 s2
w2t

w3t+n w3t

PE2 PE3

w3t+n

s3

w2t+n

Reinforcement Learning
Semelhante ao Treinamento Supervisionado (existe um objetivo); NO existe um target para cada padro; Existe uma realimentao (sinal de reforo) que avalia a resposta como boa ou ruim; O objetivo maximizar a quantidade de reforo positivo Ex. aprendizado de jogos, robs autmatos; .

Reinforcement Learning
Vetor de Estado

Ambiente

Crtico
Sinal de Reforo

Aes

Sistema de Aprendizado

Sistema de Aprendizado aprende a realizar uma certa tarefa somente com base nos resultados de sua experincia com uma interao com o ambiente.

Recuperao de Dados

Recuperao de Dados
Assumindo que um conjunto de padres tenha sido armazenado, a Rede Neural pode executar as seguintes tarefas:
Auto-associao Hetero-associao Classificao Previso

GENERALIZAO

Recuperao de Dados
Autoassociao:
A Rede Neural recupera o padro armazenado mais semelhante ao padro de entrada apresentado. Recuperao de padres ruidosos
Padro de entrada distorcido Padro correto recuperado

Recuperao de Dados
Autoassociao:
A Rede Neural recupera o padro armazenado mais semelhante ao padro de entrada apresentado. Recuperao de padres ruidosos

Recuperao de Dados
Heteroassociao:
A Rede Neural armazena a associao entre Recuperao de um um par de padres. padro diferente do da entrada.
Padro de entrada com ou sem rudo Padro correto recuperado

Recuperao de Dados
Heteroassociao:
A Rede Neural mapeia um certo vetor de entrada em um padro de sada diferente.

ASCII Code of digit 1

Recuperao de Dados
Classificao:
A Rede Neural responde com a informao relativa classe (categoria) a qual o padro de entrada pertence (dentro de um conjunto de classes prdeterminado).
Caso especial de Heteroassociao (tambm chamado Pattern Recognition)
Ex: Padres de entrada divididos em 3 classes distintas.
Padro de entrada com ou sem rudo
Classe 1 Classe 2 Classe 3

Classe 3 - (Quadrados)

Recuperao de Dados
Classificao:
A Rede Neural responde com a informao relativa classe (categoria) a qual o padro de entrada pertence (dentro de um conjunto de classes prdeterminado).
Ex2: Reconhecimento de Dgitos
1 0 0

Recuperao de Dados
Classificao:
A Rede Neural responde com a informao relativa classe (categoria) a qual o padro de entrada pertence (dentro de um conjunto de classes prdeterminado).
Ex3: Anlise de Crdito Bancrio
Renda mensal

Valor solicitado
Crdito Aprovado Crdito No Aprovado Idade Tempo no emprego

Recuperao de Dados
Classificao:
A Rede Neural responde com a informao relativa classe (categoria) a qual o padro de entrada pertence (dentro de um conjunto de classes prdeterminado).
Ex4: Deteco de clientes fraudadores em BT
Mdia do consumo 3 ltimos meses Local do medidor

Cliente Irregular Cliente Normal


Tipo do medidor Temperatura mdia

Recuperao de Dados
Previso:
O objetivo determinar qual ser o valor de uma determinada quantidade em um instante de tempo t0+k (k>0), utilizando dados medidos at o instante t0 inclusive.
f(x)

t0-n a t0 pontos do conjunto de treinamento t > t0 pontos previstos (k=1).


t0-n t1t2 t0+t t

Recuperao de Dados

Generalizao:
A Rede Neural responde corretamente a um padro de entrada fora do conjunto de treinamento .

GENERALIZAO
A Rede Neural responde corretamente a um padro de entrada fora do conjunto de Interpola corretamente os novos treinamento
pontos apresentados
f(x)

Interpolao ruim generalizaes Boa interpolao

x1

x2

x3

Xnovo x4

x5

xi pontos do conjunto de treinamento xnovo novo ponto para generalizao

Exemplos de Treinamento Supervisionado


Reconhecimento de Caracteres Previso de Sries Temporais

Reconhecimento de Caracteres

Estrutura da Rede Neural


Atividade Neural
I1

w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

Dados para Treinamento

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Erro =
w
I1

w
H1

w w w

w w w

O1

I2

w w w

H2

w w w

O2

Dados para Treinamento

I3

w w
Pesos

H3

w w
Pesos

O3

Entrada

Escondida

Sada

Atualizao dos pesos em funo do erro

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

Dados para Treinamento

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Erro =
w
I1

w
H1

w w w

w w w

O1

I2

w w w

H2

w w w

O2

Dados para Treinamento

I3

w w
Pesos

H3

w w
Pesos

O3

Entrada

Escondida

Sada

Atualizao dos pesos em funo do erro

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

Dados para Treinamento

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Erro =
w
I1

w
H1

w w w

w w w

O1

I2

w w w

H2

w w w

O2

Dados para Treinamento

I3

w w
Pesos

H3

w w
Pesos

O3

Entrada

Escondida

Sada

Atualizao dos pesos em funo do erro

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

Dados para Treinamento

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
w
I1

w
H1

Erro =
O1

w w w

w w w

I2

w w w

H2

w w w

O2

Dados para Treinamento

I3

w w
Pesos

H3

w w
Pesos

O3

Entrada

Escondida

Sada

Atualizao dos pesos em funo do erro

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

Dados para Treinamento

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Erro =
w
I1

w
H1

w w w

w w w

O1

I2

w w w

H2

w w w

O2

Dados para Treinamento

I3

w w
Pesos

H3

w w
Pesos

O3

Entrada

Escondida

Sada

Atualizao dos pesos em funo do erro

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

Dados para Treinamento

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Erro =
w
I1

w
H1

w w w

w w w

O1

I2

w w w

H2

w w w

O2

Dados para Treinamento

I3

w w
Pesos

H3

w w
Pesos

O3

Entrada

Escondida

Sada

Atualizao dos pesos em funo do erro

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

Dados para Treinamento

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

Dados para Treinamento

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w

w w w

O2

Dados para Treinamento

w
I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Aprendizado
Atividade Neural
I1

Alvo
w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

Dados para Treinamento

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Generalizao
Recuperao da Informao Aprendida

Processo de Generalizao
Atividade Neural
I1

w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

Novo dado (no apresentado durante o treinamento)

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Generalizao
Atividade Neural
I1

w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

I3

w w Pesos

H3

w w Pesos

O3

Entrada

Escondida

Sada

Processo de Generalizao
Atividade Neural
I1

w w w
H1

w w w
O1

w
I2

w
H2

w w w

w w w

O2

I3

w w Pesos

H3

w w Pesos

O3

Resposta correta a um novo padro!

Entrada

Escondida

Sada

Previso de Sries Temporais

Estrutura da Rede Neural


Srie temporal

alvo
janela

Entradas da rede = n valores passados

Sada Desejada = valor da srie k passos frente

Dados de Treinamento

Ex: 5 valores passados

Ex: valor um passo frente

Processo de Aprendizado
Srie temporal

alvo
janela

Entradas da rede

Dados de Treinamento

Sada da rede: Valor previsto um passo frente

Processo de Aprendizado
Srie temporal

alvo
janela

Entradas da rede Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente

Dados de Treinamento

Processo de Aprendizado
Srie temporal

alvo
janela

Entradas da rede Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente

Dados de Treinamento

Processo de Aprendizado
Srie temporal alvo janela

Entradas da rede Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente

Dados de Treinamento

Processo de Aprendizado
Srie temporal

janela

alvo

Entradas da rede Ajuste dos pesos a partir do erro (Erro= alvo - previsto)

Dados de Treinamento

Sada da rede: Valor previsto um passo frente

Processo de Aprendizado
Srie temporal janela alvo

Entradas da rede

Dados de Treinamento

Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente

Processo de Aprendizado
Srie temporal

alvo
janela

Entradas da rede Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente

Dados de Treinamento

Processo de Aprendizado
Srie temporal

alvo
janela

Entradas da rede Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente

Dados de Treinamento

Processo de Aprendizado
Srie temporal janela alvo

Entradas da rede

Dados de Treinamento

Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente

Processo de Aprendizado
Srie temporal

alvo
janela

Entradas da rede Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente

Dados de Treinamento

Processo de Aprendizado
Srie temporal

alvo
janela

Entradas da rede Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente

Dados de Treinamento

Processo de Aprendizado
Srie temporal janela alvo

Entradas da rede

Dados de Treinamento

Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Sada da rede: Valor previsto um passo frente

Processo de Generalizao
Recuperao da Informao Aprendida

Processo de Generalizao
Srie temporal

janela

Entradas da rede

Dados de Treinamento

Processo de Generalizao
Srie temporal

janela

previsto

Entradas da rede

Dados de Treinamento Dados previstos

Sada da rede: Valor previsto

Processo de Generalizao
Srie temporal janela previsto

Entradas da rede: inclui o(s) valor(es) previstos pela Rede Sada da rede: Valor previsto

Dados de Treinamento Dados previstos

Processo de Generalizao
Srie temporal janela previsto

Entradas da rede: inclui o(s) valor(es) previstos pela Rede

Dados de Treinamento Dados previstos

Sada da rede: Valor previsto

Previso
Previso de Demanda de Energia Eltrica: mensal, horria, 10 em 10 min., horrio de pico. Previso mensal de Demanda de Lubrificantes Previso de Vazo de Rios: diria e semanal Previso Consumo de cigarros: semanal, mensal Previso de Safra de Cacau Previso de ndices financeiros

Data Mining
Caracterizao do Negcio
extrair regras de BD que caracterizem o negcio

Enriquecimento de Banco de Dados


inferir informaes a partir de levantamento parcial

Segmentao de Mercado
agrupar entradas similares em clusters

Classificao de Padres
pr-classificar um nova entrada em um grupo

Deteco de Fraude
cartes de crdito, roubo de energia, gua, etc.

Anlise de Risco em Investimentos


identificao de regras de investimento

Setor Petroqumico
Deteco e Diagnstico de Falhas em equipamentos Inferncia da produo em reservatrios de petrleo
Rede Neural prev a produo, por 20 anos, de leo, gs e gua, dada uma configurao de poos / vlvulas (proxies)

Inferncia/Predio de Propriedades
Rede Neural infere propriedades de derivados de petrleo em refinarias (soft sensor)

Identificao de derramamento de leo atravs de imagens de satlite


Rede Neural classifica as imagens com e sem derramamento de leo

Reconhecimento de Litografia em campos de petrleo


Um comit de redes neurais usado para classificar litografia

Previso de tempo de durao de atividades de perfurao e completao Manuteno Preditiva


RN determina o momento ideal para realizar manuteno em cada equipamento

Aplicaes Comerciais
Fidelity Investments: Gerncia de Fundos de Investimento
($2 bilhes)

Chase Manhattan Bank: Deteco de Fraudes em Cartes


de Crditos

Citibank (USA): Avaliao de Crdito

Nikko Securities: Sistema de Negociao do ndice da Bolsa


Hill Samuel/UCL: Sistema de Previso de Fundos de
Investimento

Thorn EMI/UCL: Perfil do consumidor

Outras Aplicaes
Classificao de Clientes (Data Mining) Anlise de Crdito bancrio Anlise de anomalias cardacas Reconhecimento de expresses faciais Anlise/Classificao de Imagens de Satlite Agrupamento (Clustering) e Caracterizao de clientes Clustering de tipos de carvo Controle de Tenso em Sistemas Eltricos Previso de chamadas de um Call Center Classificao de Imagens de satlite Determinao da carga mxima em vigas de ao Identificao de placas de veculos Sistema de Deteco e Classificao de Tumores Sistema automtico de seleo de laranjas

Você também pode gostar