Redes Neurais Artificiais

Prof. Joo Marques Salomo

Curso de Engenharia Eltrica
Coordenadoria de Engenharia Eltrica
Ifes

2011/2
Tcnicas inspiradas na Natureza:
Caractersticas hereditrias (gnetica);
Comportamento social/colaborativo de grupos de
aves, formigas e etc;

Sistemas inteligentes baseados no
comportamento humano:
Processo de aprendizagem, percepo,
raciocnio, evoluo e adaptao.
Inteligncia Computacional
Tcnicas Computacionais
Tcnica
Computacional
Inspirao na
Natureza
Redes Neurais
Artificiais
Neurnios biolgicos
Computao
Evolucionria
Evoluo biolgica
Lgica Fuzzy
Processamento
lingstico
Sistemas Especialistas Processo de Inferncia
Tcnica Artificial x Natureza
Baseadas no crebro humano:
Neurnios artificiais so conectados
em rede;
Processo de aprendizado baseado em
algoritmos que ajustam variveis;
Exigem treinamento para a etapa
seguinte de reconhecimento;
Generalizao: capacidade de, para
um padro similar, reconhec-lo
oferecendo a mesma soluo).
Redes Neurais Artificiais
Redes Neurais Artificiais
As RNAs so bastante efetivas no
aprendizado supervisionado ou no a
partir de amostras com padres e dados:
no-lineares,
incompletos,
com rudos;
compostos de exemplos contraditrios.

Neurnios Naturais em Rede
Modelo de um Neurnio Natural
Os principais componentes so:

Os dentritos, cuja funo receber os estmulos
transmitidos pelos outros neurnios;
O corpo do neurnio ou soma, responsvel por
coletar e combinar informaes vindas de outros
neurnios;
O axnio, constitudo de uma fibra tubular (pode
ter at alguns metros) responsvel por transmitir
os estmulos para outras clulas.
A sinpse faz a interface entre um neurnio e
outro, processa e armazena, atravs de reaes
eletroqumicas, as informaes.
Neurnios Naturais
Conexes sinpticas: memria ponderada
RNAs Neurnio Natural
Excitao da clula neuronal:
RNAs Neurnio Natural
RNAs O Crebro Humano
Neurnios Naturais x Aprendizagem:
O crebro humano de um adulto pesa cerca de
1,5 Kg;
O crebro humano possui cerca de 10
11

neurnios;
Em mdia, cada neurnio forma entre mil e dez
mil sinapses.
O nmero de sinapses de mais de 10
14
,
possibilitando a formao de redes muito
complexas.
RNAs Nmero de Neurnios RNAs Nmero de Neurnios
Dados sobre o Crebro humano:
Parmetro Crebro Computador
Material Orgnico Metal e plstico
Velocidade Milisegundos Nanosegundos
Tipo de Processamento Paralelo Seqencial
Armazenamento Adaptativo Esttico
Controle de Processos Distribudo Centralizado
Nmero de elementos
processados
10
11
10
14
10
5
10
6
Eficincia energtica 10
-16
J/op./seg. 10
-6
J/op./seg
Ligaes entre elementos
processados
10.000 <10
O crebro x computador
RNAs Histrico das pesquisas
O neurofisiologista McCulloch e o matemtico
Walter Pitts (1943), pesquisaram a sobre a
analogia entre clulas vivas e o processo
eletrnico:
Simularam o comportamento do neurnio natural,
onde o neurnio artificial possua apenas uma
sada como uma funo do valor de suas diversas
entradas.
Ano de 1943:
Consiste basicamente de um neurnio que
executa uma funo lgica.
Os ns produzem somente resultados binrios
e as conexes transmitem exclusivamente
zeros e uns.
O modelo de McCulloch & Pitts
As redes so compostas de conexes com
pesos, de tipos excitatrios e inibitrios.
Cada unidade caracterizada por um certo
limiar (threshold).
RNAs Histrico das pesquisas
O psiclogo Donald Hebb, demonstrou que a
capacidade da aprendizagem em redes neurais
biolgicas vem da alterao da eficincia sinptica:
a conexo somente reforada se tanto
as clulas pr-sinpticas quanto as ps-
sinpticas estiverem excitadas;
Hebb foi o primeiro a propor uma lei de
aprendizagem especfica para as sinpses dos
neurnios.

Ano de 1949:
RNAs Histrico das pesquisas
Construo do primeiro neurocomputador,
denominado Snark, por Mavin Minsky.
O Snark ajustava seus pesos automaticamente.
RNAs Histrico das pesquisas
Ano de 1951:
Ano de 1956:
Surgem os paradigmas da Inteligncia Artificial:
Simblica: tenta simular o comportamento
inteligente humano desconsiderando os
mecanismos responsveis por tal.
Conexionista: acredita em um sistema inteligente
que simule a estrutura do crebro; ele ser capaz
de aprender, assimilar, errar e aprender com seus
erros.
RNAs Histrico das pesquisas
RNAs Histrico das pesquisas
Ano de 1958:
Rosemblatt mostrou em seu livro (Principles of
Neurodynamics) o modelo dos "Perceptrons".
Os neurnios (Perceptrons) eram organizados em
camada de entrada e sada. Os pesos das conexes
eram adaptados a fim de se atingir a eficincia
sinptica usada no reconhecimento de caracteres.
retina
conexes
locais
rea de
projeo
rea de
associao
conexes
aleatrias
respostas
E u
E u
E u
E u
retina
associao
resposta
RNAs Histrico das pesquisas
Perceptron Clssico Neurocomputador Mark I
Surgiu a rede ADALINE (ADAptative LInear NEtwork) e o
MADALINE (Many ADALINE), proposto por Widrow e Hoff:
Sadas analgicas em uma arquitetura de trs camadas;
Algoritmo de aprendizagem baseado na regra Delta
(Descendent Gradient) ou LMS (Least Mean square).
Ano de 1960:
RNAs Histrico das pesquisas
Minsky & Papert demonstram que um neurnio
do tipo Perceptron s resolve problemas com
classes linearmente separveis:
Exemplo clssico: um percepton no resolvia o
problema do XOR.
Ano de 1969 - atraso nas pesquisas...
:
Anos 1960-1970 Param as pesquisas...:
Poucos pesquisadores nessa rea....
Ano de 1974:
Werbos desenvolve o algoritmo de predio
baseado em gradiente reverso.
RNAs Histrico das pesquisas
Ano de 1980:
Grosberg implementa a rede ART (Adaptive
Resonance Theory).
Publicao dos trabalhos do fsico e bilogo
Hopfield para as redes recorrentes baseadas em
funes de energia:
utilizao de redes simtricas para otimizao;
algoritmo de aprendizagem que estabilizava uma rede
binria simtrica com realimentao.
Formulao dos mapas auto-organizveis de
Kohonen.

RNAs Histrico das pesquisas
Ano de 1982 Retomada das pesquisas:
Rumelhart, Hinton e Williams introduziram o
poderoso mtodo de treinamento denominado
Backpropagation (resolveu o XOR).
Rumelhart e McClelland escreveram o livro
Processamento Paralelo Distribudo: Exploraes
na Microestrutura do Conhecimento.
Ano de 1986 - Motivao das pesquisas:
RNAs Histrico das pesquisas
Ano de 1988:
Broomhead e Lowe descreveram procedimento
para o projeto de uma rede neural (feedforward)
usando funes de base radial (RBF).
Entradas ou sinapses (x
1
,
x
2
,...., x
n
) com seus
respectivos pesos (W
1
,
W
2
,...., W
n
) associados
para ponder-las.
Juno somadora (E);
Limiar de ativao ();
Funo de ativao ( g(.) );
Sadas (y).

O Neurnio Artificial
Modelo proposto por McCulloch& Pitts (1943):
Princpio de funcionamento
Etapas de operao de um neurnio artificial:
Cada sinal ou medida apresentado entrada (x
1
a x
n
)
multiplicado por um peso (w
i
) que o pondera e indica sua
influncia na sada da unidade;
feita a soma dos sinais ponderados com o limiar de
ativao produzindo um potencial de ativao
u
=
(E(x
i
.w
i
)-);
A funo de ativao g(u) limita a sada e introduz no-
linearidade ao modelo, produzindo a sada y=g(u).

O limiar de ativao ou bias () tem o papel de aumentar ou
diminuir a influncia do valor das entradas. Ele pode ser
considerado como uma entrada de valor constante e igual a 1.
Sada do neurnio artificial
Matematicamente a sada pode ser expressa por:




ou considerando o bias como entrada de valor x
0
=1 e
ponderado por um peso w
0
:
1
( )
n
i i
i
y g u g w x u
=
| |
= = +
|
\ .

0
( )
n
i i
i
y g u g w x
=
| |
= =
|
\ .

Funes de ativao (1)

Grupo parcialmente diferenciveis :
1 , 0
( ) 0 0
se u
g u se u
>

= <

Degrau
1 0
( ) 0 0
1 0
se u
g u se u
se u
>

= =

<

Degrau bipolar
( )
a se u a
g u u se a u a
a se u a
>

= > s

<

Rampa simtrica
28
Grupo totalmente diferenciveis:
Funes de ativao (2)
1
( ) tanh( )
1
u u u
k k k
e e e
g u pu
k k u u u
k k k
e e e
| | |
| | |


= = =

+ +
1
( )
1 1
k
k k
u
k
u u
e
g u
e e
|
| |
= =
+ +
2
( )
2
( )
k
u c
k
g u e
o

=
Gaussiana
Sigmide
Tangente hiperblica
29
Funes de ativao (3)
Sigmide (a) e sua derivada (b).
(a) (b)
1
( ) (1 ) 0
1 1
k
k k
u
k k k
u u
k
e g
g u u u
e e u
|
| |
|

c
= = = >
+ + c
30
Funes de ativao (4)
Tangente hiperblica (a) e sua derivada (b).
(a) (b)
2
( ) tanh( ) (1 ) 0
k k
k k
u u
k k k
u u
k
e e g
g u u u
e e u
| |
| |
| |

c
= = = >
+ c
31
Funes de ativao (5)
(a) (b)
2
( )
2
( ) ?
k
u c
k
k
g
g u e
u
o
o
o

= =
Gaussiana (a) e sua derivada (b).
?
32
Classificao de RNAs
33
Algumas Aplicaes