Redes Neurais Artificial

Tpicos:

Introduo ao estudo de RNA sua origem e
inspirao biolgica
Caractersticas gerais das RN e descrio do
neurnio artificial
Aprendizado de RN e tipos de Aprendizado
Algoritmo de Aprendizado e Topologias
bsicas
Algumas Aplicaes das RNA
Introduo
Redes Neurais Artificiais so tcnicas computacionais que
apresentam um modelo matemtico inspirado na estrutura
neural de organismos inteligentes e que adquirem
conhecimento atravs da experincia. Uma grande rede
neural artificial pode ter centenas ou milhares de unidades
de processamento; j o crebro de um mamfero pode ter
muitos bilhes de neurnios.
O sistema nervoso formado por um conjunto
extremamente complexo de clulas, os neurnios. Eles tm
um papel essencial na determinao do funcionamento e
comportamento do corpo humano e do raciocnio. Os
neurnios so formados pelos dendritos, que so um
conjunto de terminais de entrada, pelo corpo central, e
pelos axnios que so longos terminais de sada.

Constituntes da clula
neuronal
Inspirao biolgica
Os neurnios se comunicam atravs de sinapses. Sinapse
a regio onde dois neurnios entram em contato e atravs
da qual os impulsos nervosos so transmitidos entre eles.
Os impulsos recebidos por um neurnio A, em um
determinado momento, so processados, e atingindo um
dado limiar de ao, o neurnio A dispara, produzindo
uma substncia neurotransmissora que flui do corpo
celular para o axnio, que pode estar conectado a um
dendrito de um outro neurnio B. O neurotransmissor pode
diminuir ou aumentar a polaridade da membrana ps-
sinptica, inibindo ou excitando a gerao dos pulsos no
neurnio B. Este processo depende de vrios fatores, como
a geometria da sinapse e o tipo de neurotransmissor.

Em mdia, cada neurnio forma entre mil e dez
mil sinapses. O crebro humano possui cerca de
10 E11 neurnios, e o nmero de sinapses de
mais de 10 E14, possibilitando a formao de
redes muito complexa.

Um Breve Histrico

McCulloch e Pitts (1943), Hebb (1949), e
Rosemblatt (1958). Estas publicaes
introduziram o primeiro modelo de redes neurais
simulando mquinas, o modelo bsico de rede
de auto-organizao, e o modelo Perceptron de
aprendizado supervisionado, respectivamente.
nos anos 60 e 70, importantes trabalhos sobre
modelos de redes neurais em viso, memria,
controle e auto-organizao como: Amari,
Anderson, Cooper, Cowan, Fukushima,
Grossberg, Kohonen, von der Malsburg, Werbos e
Widrow.

Alguns histricos sobre a rea costumam
pular os anos 60 e 70 e apontar um
renicio da rea com a publicao dos
trabalhos de Hopfield (1982) relatando a
utilizao de redes simtricas para
otimizao e de Rumelhart, Hinton e
Williams que introduziram o poderoso
mtodo Backpropagation.

Caractersticas Gerais das RNs

Uma rede neural artificial composta por vrias
unidades de processamento, cujo funcionamento
bastante simples. Essas unidades, geralmente so
conectadas por canais de comunicao que esto
associados a determinado peso. As unidades
fazem operaes apenas sobre seus dados locais,
que so entradas recebidas pelas suas conexes. O
comportamento inteligente de uma Rede Neural
Artificial vem das interaes entre as unidades de
processamento da rede.

Caractersticas
So modelos adaptativos treinveis
Podem representar domnios complexos (no lineares)
So capazes de generalizao diante de informao
incompleta
Robustos
So capazes de fazer armazenamento associativo de
informaes
Processam informaes Espao/temporais
Possuem grande paralelismo, o que lhe conferem rapidez
de processamento
O que uma Rede Neural?
A grande premissa do conexionismo para
aplicaes em processamento de informaes e/ou
inteligncia artificial o fato de que se pode
analisar um problema de acordo como
funcionamento do crebro humano
O crebro processa informaes atravs da
ativao de uma srie de neurnios biolgicos. Os
neurnios por sua vez, interagem numa rede
biolgica atravs da intercomunicao.
O Neurnio Artificial
McCullock e Pitts 1943,
sinais so apresentados
entrada;
cada sinal multiplicado por
um nmero, ou peso, que indica
a sua influncia na sada da
unidade;
feita a soma ponderada dos
sinais que produz um nvel de
atividade;
se este nvel de atividade
exceder um certo limite
(threshold) a unidade produz
uma determinada resposta de
sada.



Exemplo
sinais de entrada X1, X2, ..., Xp (0 ou 1)
pesos w1, w2, ..., wp, valores reais.
limitador t;
Neste modelo, o nvel de atividade a dado por:
a = w1X1 + w2X2 + ... + wpXp
A sada y dada por:
y = 1, se a >= t ou
y = 0, se a < t.

Organizao em camadas


Organizao em camadas

Usualmente as camadas so classificadas em trs
grupos:
Camada de Entrada: onde os padres so
apresentados rede;
Camadas Intermedirias ou Escondidas: onde feita
a maior parte do processamento, atravs das conexes
ponderadas; podem ser consideradas como extratoras
de caractersticas;
Camada de Sada: onde o resultado final concludo e
apresentado.

Processos de Aprendizado
A propriedade mais importante das redes neurais
a habilidade de aprender de seu ambiente e com
isso melhorar seu desempenho.
Isso feito atravs de um processo iterativo de
ajustes aplicado a seus pesos, o treinamento.
O aprendizado ocorre quando a rede neural atinge
uma soluo generalizada para uma classe de
problemas.

Algoritmo de Aprendizado
algoritmo de aprendizado um conjunto de regras
bem definidas para a soluo de um problema de
aprendizado.
Existem muitos tipos de algoritmos de
aprendizado especficos para determinados
modelos de redes neurais,
estes algoritmos diferem entre si principalmente
pelo modo como os pesos so modificados.

Aprendizado Supervisionado, quando utilizado
um agente externo que indica rede a resposta
desejada para o padro de entrada;
Aprendizado No Supervisionado (auto-
organizao), quando no existe uma agente
externo indicando a resposta desejada para os
padres de entrada;
Reforo, quando um crtico externo avalia a
resposta fornecida pela rede.

A regra de aprendizado de Hebb prope que o peso de
uma conexo sinptica deve ser ajustado se houver
sincronismo entre os nveis de atividade das entradas e
sadas [Hebb, 1949].
Wij(t) = ai(t)aj(t)
Treinamento Supervisionado
O treinamento de rede Perceptron, consiste em
ajustar os pesos e os thresholds (bias) de suas
unidades para que a classificao desejada seja
obtida.
Quando um padro inicialmente apresentado
rede, ela produz uma sada.
Aps medir a distncia entre a resposta atual e a
desejada, so realizados os ajustes apropriados nos
pesos de modo a reduzir esta distncia.
Este procedimento conhecido como Regra Delta



Esquema de treinamento
Iniciar todas as conexes com pesos aleatrios;
Repita enquanto o erro E > e
Para cada par de treinamento (X,d), faa:
Calcular a resposta obtida O;
Se o erro no for satisfatoriamente pequeno E > e, ento:
Atualizar pesos: Wnovo := W anterior + neta E X
Onde:
O par de treinamento (X, d) corresponde ao padro de entrada e a sua
respectiva resposta desejada;
O erro E definido como: Resposta Desejada - Resposta Obtida (d - O);
A taxa de aprendizado neta uma constante positiva, que corresponde
velocidade do aprendizado.





Potencial de Representao
Perceptrons representam uma superficie de um
hiperplano no espao n-dimensional
Alguns problemas no podem ser separados por
hiperplanos
A regra de aprendizado encontra um vetor de
pesos se os exemplos so linearmente separaveis
em cc a regra converge para a melhor
aproximao
Perceptron Multi-Camadas (MLP)

o desenvolvimento do algoritmo de treinamento
backpropagation, por Rumelhart, Hinton e
Williams em 1986, precedido por propostas
semelhantes ocorridas nos anos 70 e 80,
possvel treinar eficientemente redes com
camadas intermedirias, resultando no modelo de
Perceptron Multi-Camadas (MLP)

Se existirem as conexes certas entre as unidades
de entrada e um conjunto suficientemente grande
de unidades intermedirias, pode-se sempre
encontrar a representao que ir produzir o
mapeamento correto da entrada para a sada
atravs das unidades intermediria.
Como provou Cybenko, a partir de extenses do
Teorema de Kolmogoroff, so necessrias no
mximo duas camadas intermedirias, com um
nmero suficiente de unidades por camada, para se
produzir quaisquer mapeamentos.
Tambm foi provado que apenas uma camada
intermediria suficiente para aproximar qualquer
funo contnua.

Backpropagation
Durante o treinamento com o algoritmo
backpropagation, a rede opera em uma sequncia
de dois passos.
Primeiro, um padro apresentado camada de entrada
da rede. A atividade resultante flui atravs da rede,
camada por camada, at que a resposta seja produzida
pela camada de sada.
segundo passo, a sada obtida comparada sada
desejada para esse padro particular. Se esta no estiver
correta, o erro calculado. O erro propagado a partir
da camada de sada at a camada de entrada, e os pesos
das conexes das unidades das camadas internas vo
sendo modificados conforme o erro retropropagado.
As redes que utilizam backpropagation trabalham
com uma variao da regra delta, apropriada para
redes multi-camadas: a regra delta generalizada.
A regra delta padro essencialmente implementa
um gradiente descendente no quadrado da soma
do erro para funes de ativao lineares.
Entretanto, a superfcie do erro pode no ser to
simples, as redes ficam sujeitas aos problemas de
de mnimos locais.

A regra delta generalizada funciona quando so
utilizadas na rede unidades com uma funo de
ativao semi-linear, que uma funo
diferencivel e no decrescente. Note que a funo
threshold no se enquadra nesse requisito. Uma
funo de ativao amplamente utilizada, nestes
casos, a funo sigmoid.
A taxa de aprendizado uma constante de
proporcionalidade no intervalo [0,1], pois este
procedimento de aprendizado requer apenas que a
mudana no peso seja proporcional neta.

Entretanto, o verdadeiro gradiente descendente
requer que sejam tomados passos infinitesimais.
Assim quanto maior for essa constante, maior ser
a mudana nos pesos, aumentando a velocidade do
aprendizado, o que pode levar uma oscilao do
modelo na superfcie de erro. O ideal seria utilizar
a maior taxa de aprendizado possvel que no
levasse uma oscilao, resultando em um
aprendizado mais rpido.
O treinamento das redes MLP com
backpropagation pode demandar muitos passos no
conjunto de treinamento, resultando um tempo de
treinamento considervelmente longo. Se for
encontrado um mnimo local, o erro para o
conjunto de treinamento pra de diminuir e
estaciona em um valor maior que o aceitvel.
Uma maneira de aumentar a taxa de aprendizado
sem levar oscilao modificar a regra delta
generalizada para incluir o termo momentum, uma
constante que determina o efeito das mudanas
passadas dos pesos na direo atual do movimento
no espao de pesos.
Desta forma, o termo momentum leva em
considerao o efeito de mudanas anteriores de
pesos na direo do movimento atual no espao de
pesos. O termo momentum torna-se til em
espaos de erro que contenham longas gargantas,
com curvas acentuadas ou vales com descidas
suaves.
Memrias Matricias
Modelo no-linear de Willshaw
Modelo linear de Kohonen e Anderson
Memria linear tima
Hopfield
Memria Matricial
Envolve a gerao de um padro de
ativao no conjunto de nodos de sada em
funo do aparecimento de um determinado
padro de ativao de entrada.
O mapeamento entre o padro de ativao
de entrada e o de sada feito atravs de
uma transformao matricial
Pode ter ou no uma operao no-linear
Modelo de Willshaw
A matriz de pesos obtida atravs da regra
de Hebb + uma transformao no linear
para obter uma matriz de pesos binria
Wij = g(

i X

j )
g(x) = {1 x>= 1, 0 x<1}
(Y

) = (W X

)
(x) uma funo de limear, o limear deve ser
igual ao nmero de elementos ativos em X

Exemplo
Suponha que se deseja recuperar X
2
e Y
2
:
WX
2
= (3 2 3 0 2 2 3 0)
t
ento Y
2
= (1 0 1 0 0 0 1 0)
t
Capacidade de recuperao
Se adiciona-se o par [x
3
y
3
]
x
3
=(1 1 1 1 1 1 1 1)
t
e y
3
=(1 1 1 1 1 1 1 1 )
t
W passa a ter todos seus elementos em 1, a
rede perde a sua capacidade de recuperar as
associaes.