Redes Neurais

Luana Bezerra Batista

luana@dsc.ufcg.edu.br
Roteiro
1. Introduo
2. Neurnio Artificial
3. Perceptron
4. Perceptrons de Mltiplas
Camadas
Algoritmo Backpropagation
5. Mapas Auto-Organizveis
Introduo
Redes Neurais so modelos
computacionais inspirados no
crebro humano que aprendem
atravs de exemplos
Compostas por vrias unidades de
processamento (neurnios)
Interligadas por conexes (sinapses)
Cada conexo possui um peso associado
(peso sinptico)
 Introduo Camada
intermediri
Arquitetura genrica de uma
a RN
Camada de Camada de
entrada sada
Neurnio Artificial
Modelo de McCulloch-Pitts (1943)
x1 w1i v(i)

xj wji
f(.) o(i)

wni
xn

v( i) w ji
xj f(v(i)) = 1, se v(i)0
o(i ) f (v (i)) f(v(i)) = 0, se v(i)<0
Perceptron
Desenvolvido por Rosemblat
(1958)
Forma mais simples de uma Rede
Neural utilizada para classificao
de padres linearmente separveis
Utiliza o modelo de neurnio de
McCulloch-Pitts
Perceptron
Problemas linearmente separveis
Perceptron
Algoritmo de Treinamento
(Supervisionado)
iniciar todas as conexes com w j = 0;
repita
para cada padro de treinamento (x, d)
faa
calcular a sada o
se (d o)
ento ajustar pesos
at o erro ser aceitvel
Perceptron
Ajuste dos pesos por correo do
erro
wji = xj (dj - oj ), se (d o)
Onde (dj - oj ), representa o erro
e a taxa de aprendizado

wji = 0, se (d = o)
Perceptron
Algoritmo de Teste
Para cada padro x faa
apresentar x a entrada da rede
calcular a sada o
se (o=1)
ento x classe 1
seno x classe 2
Perceptron
Perceptrons de uma nica camada
resolvem apenas problemas
linearmente separveis
Grande nmero de aplicaes
importantes so no-linearmente
separveis
Perceptron
Exemplo: problema XOR
Perceptron
Soluo: perceptrons de mltiplas
camadas
Perceptrons de mltiplas
camadas
Uma rede neural MLP (Multi-Layer
Perceptrons) uma extenso do
Perceptron proposto por
Rosenblatt, composta de vrias
camadas de neurnios
Arquitetura de rede neural mais
utilizada
Perceptrons de mltiplas
camadas
Contm trs tipos de camadas:
1. camada de entrada
2. camada(s) intermedirias(s)
3. camada de sada
Qualquer neurnio de uma
camada pode interligar-se com
outro neurnio da camada
seguinte
 Perceptrons de mltiplas
camadas
Camada
intermediri
a
Camada de
entrada
Camada de
sada
Perceptrons de mltiplas
camadas
O treinamento de uma rede neural MLP
realizado de maneira supervisionada
com o algoritmo Backpropagation (ou
retropropagao do erro)
Nesse algoritmo, a determinao do
sinal de erro um processo recursivo
que se inicia nos neurnios da camada
de sada e vai at os neurnios da
primeira camada intermediria
Backpropagation
O algoritmo Backpropagation opera em
dois passos:
1) Forward
um padro apresentado camada de
entrada da rede e propagado em direo
camada de sada
a sada obtida comparada com a sada
desejada para esse padro particular. Se
esta no estiver correta, o erro calculado
Backpropagation
2) Backward
o erro propagado a partir da camada de
sada at a camada de entrada
os pesos das conexes dos neurnios das
camadas internas vo sendo modificados
conforme o erro retropropagado
Backpropagation
Para os neurnios das camadas
intermedirias, onde no existem
sadas desejadas, o sinal do erro
determinado recursivamente em
termos dos sinais dos erros dos j
neurnios diretamente conectadas a
eles e dos pesos destas conexes
Backpropagation
Erro dos neurnios na camada de sada

Erro dos neurnios nas camadas

intermedirias

Ajuste dos pesos

Backpropagation
Backpropagation
Vantagens
simples de implementar
boa capacidade de generalizao
Desvantagens
dificuldade de justificar as respostas
custo computacional significativo
baixa velocidade de aprendizado
Mapas Auto-Organizveis
O mapa auto-organizvel (SOM: Self-
Organizing Map) um tipo especial
de rede neural no-supervisionada
onde realizado um processo de
aprendizagem competitiva
O neurnio mais prximo do padro de
entrada (com a menor distncia
Euclidiana) declarado vencedor
Mapas Auto-Organizveis
Segundo Haykin (2001), o principal
objetivo do SOM transformar um
padro de entrada, de dimenso
arbitrria, em um mapa discreto
uni- ou bi-dimensional
 Mapas Auto-Organizveis
Camada
computacion
SOM bidimensional al

Camada de
entrada
Mapas Auto-Organizveis
Os mapas auto-organizveis
possuem duas propriedades
principais:
1. Quantizao vetorial (reduo do
espao de entrada)
2. Agrupamento de padres similares
em regies geograficamente prximas
Mapas Auto-Organizveis
Algoritmo
1. Inicialize os vetores de pesos com valores
aleatrios wj = [wj1, wj2, , wjm], j=1,2,n
Onde m a dimenso do espao de entrada e n o
nmero total de neurnios do mapa

Restrio: os vetores de pesos devem ser diferentes

2. Para cada padro de entrada x = [x1, x2, ...xm]

encontre o neurnio mais prximo desse padro
(neurnio vencedor i(x)=arg min||x-w j||)

atualize os pesos

3. Repita o passo 2 at que no sejam observadas

modificaes significativas no mapa
Mapas Auto-Organizveis
Ajuste dos vetores de pesos
wj = h(i(x))(x - wj )
Onde h(i(x)) a funo de
vizinhana que mede o grau de
participao dos neurnios
vizinhos a i(x) no processo de
aprendizado
Mapas Auto-Organizveis
Experimento:
agrupamento de 16 animais em 3
categorias
Caadores
Pssaros
Espcies pacficas
SOM 10x10
2000 iteraes
Atributos
 Mapa Contextual

Caadore
s

Pssaros

Espcies
pacficas
Referncias
Mitchell, T., Machine Learning.
McGraw-Hill, 1997
Haykin, S. Redes Neurais
Princpios e prtica. 2. Ed. Porto
Alegre, RS: Bookman, 2001