Pedes Meurois Arfificiois

Baseada em:
Stuart Russel e Peter Norving - Inteligncia Artificial seo 20.5
Jorge M. Barreto Introduo s Redes Neurais Artificiais -
http://www.inf.ufsc.br/~barreto/tutoriais/Survey.pdf
Cassia Yuri Tatibana e Deisi Yuki Kaetsu Uma Introduo s Redes Neurais -
http://www.din.uem.br/ia/neurais/#neural
Profa. Josiane M. Pinheiro
outubro/2008
InfeIigncio ArfificioI
Tcnicas para simulao de raciocnio
Simblicas
Regras e fatos
Deduo formal
No-simblicas
redes neurais (sistemas conexionistas)
Pedes Meurois
Imitam a estrutura fsica do crebro como modelo
Tem habilidade de:
Executar computao distribuda
Tolerar entradas ruidosas e
Aprender
Uma das formas mais populares e efetivas de
sistemas de aprendizagem
Meurnio 8ioIogico X Meurnio ArfificioI
Um neurnio biolgico consiste de:
Um corpo celular ou soma
Ramificaes chamadas de dendritos conduzem sinais
das extremidades para o corpo celular
Uma ramificao nica chamada de axnio conduz o
sinal do corpo celular para outras extremidades
As conexes entre os neurnios so as chamadas de
sinapses
dendritos
axnio
Para outros
neurnios
sinapses
informao
Um neurnio bioIogico
Meurnio 8ioIogico X Meurnio ArfificioI
Um neurnio artificial (ou elemento processador)
Axnios e dendritos so modelados atravs de
conexes
Sinapses so modeladas atravs de ponderaes ou
pesos de ajuste entre as conexes
Estes pesos de ajuste so modificados enquanto a rede
aprende algo
So eles que verdadeiramente guardam o
conhecimento de uma rede neural
Funcionomenfo de umo rede neuroI
Atravs das sinapses os dendritos recebem sinais
excitatrios ou inibitrios
Esses sinais que chegam ao neurnio atravs dos
dendritos, so somados no corpo celular
Quando a soma atinge um limiar o neurnio dispara um
sinal para os outros (atravs do axnio)
As sinapses regulam a forma de como a informao
passa pelo neurnio
Propogoo do informoo
No qualquer informao presente na entrada que se
propaga para a sada
necessrio uma combinao correta entre
transmissores e receptores nervosos
Quando esta combinao acontece, o neurnio dispara
(propaga informao)
A eficcia dessa combinao determinada pela
presena em quantidade suficiente do neurotransmissor
na conexo nervosa
Ajusfe dos sinopses
Em uma rede neural biolgica
Sinapses so ajustadas primeiramente baseadas no
gentipo
No decorrer da vida as sinapses so ajustadas atravs
do treino ou aprendizado
Quanto mais uma conexo utilizada, maior a
quantidade de neurotrasmissores liberados, e mais forte
se torna a conexo
Conexes so ajustadas se tornam mais fracas ou mais
fortes
Conexes so construdas
Ajusfe dos sinopses
Em uma rede neural artificial
Sinapses normalmente possuem valores randmicos
inicialmente
Algum conhecimento prvio do domnio pode ajudar a
colocar os pesos sinpticos iniciais
Enquanto a rede aprende, as sinapses so ajustadas
pra fornecer sadas de melhor qualidade
Em algumas tipos de redes apenas so feitos ajustes
dos pesos sinpticos j existentes
Outros tipos de redes criam neurnios e conexes entre
eles para melhorar a qualidade da sada
ModeIo de umo rede neuroI orfificioI
caracterizado por:
Uma quantidade de neurnios (ou elementos
processadores)
A forma das conexes entre eles (topologia da rede)
Seu esquema de aprendizagem
Pode ser vista como um grafo orientado composto por:
Um certo nmero de ns (neurnios) que operam em
paralelo
Cada n possui um certo nmero de entradas e somente
uma sada (que pode dividir-se em cpias) que se propaga
ModeIo de umo rede neuroI orfificioI
Cada entrada de um neurnio est associada a um
peso sinptico:
Excittrio (positivo) ou
Inibitrio (negativo)
O sinal de entrada pode assumir uma variao:
Contnua (desde 1 at 1) grau de veracidade
Discreta (valores binrios 0 e 1) falso ou verdadeiro
Meurnio orfificioI simpIificodo
(por McCuIIoch e Piffs - I943)
A somo ponderodos dos enfrodos
O neurnio avalia seus sinais de entrada
Realiza o somatrio ponderado de suas entradas atravs dos
pesos sinpticos associadas a cada uma delas
Onde:
in
i
a soma ponderada dos n sinais de entrada do neurnio i
W
ji
o valor do peso sinptico associado conexo entre os
neurnios j e i
a
j
a sada do j-simo neurnio

=
=
n
j
j ji i
a W in
0
A funo de ofivoo sobre o enfrodo
O sinal de sada:
Aplica-se o somatrio ponderado das suas entradas numa
funo de ativao
Funo de ativao: determina o valor de sada (nvel de
ativao) do neurnio
Onde:
g funo de ativao do neurnio i
a
i
sada do neurnio i

= =

=
n
j
j ji i i
a W g in g a
0
) (
Formos de funo de ofivoo
(ou funo de fronsferncio)
1
0
x
y
y
1
0
-1
x
y
1
0
x
y
1
0
-1
x
1
0
x
y
1
0
x
y
1
0
-1
x
y
limiar Rampa-limitada Sigmide
Radial bsica
Meurnios com umo funo de ofivoo de
Iimior podem ofuor como porfos Iogicos
Funes de ofivoo
A funo de ativao caracteriza o neurnio em:
Linear ou no-linear
Modelo no-linear mais simples: funo de limiar
Quando o somatrio ponderado das entradas atinge um
certo valor (normalmente zero), o neurnio dispara
Conhecido como neurnio binrio
Modelo no-linear mais utilizado: funo sigmide
Sada proporcional a soma ponderada das entradas
Funo de ativao que mais se aproxima de um neurnio
real
Esfrufuros dos redes neurois orfificiois
Redes acclicas ou de alimentao direta (feedforward)
Representa uma funo do seu estado atual, no existe
nenhum estado interno alm dos pesos sinpticos
Redes cclicas ou recorrentes (feedback)
Utiliza sua sada para realimentar suas prprias entradas
Os nveis de ativao da rede formam um sistema dinmico
A resposta da rede a uma determinada entrada depende de
seu estado inicial, que pode depender de entradas anteriores
(memria de curto prazo)
So mais prximas do modelo do crebro, mas so mais
difceis de compreender
Pedes de oIimenfoo direfo
(feedforword)
Normalmente so representadas em camadas:
Neurnios que recebem sinais de excitao so chamados
de camada de entrada ou primeira camada
Neurnios que tem sua sada como sada da rede so a
camada de sada ou ltima camada
Neurnios que no pertencem nem camada de sada e
nem a camada de entrada so chamados e neurnios
internos (ou hidden) podendo se organizar em uma ou mais
camadas internas (hidden layers)
Cada camada recebe apenas entradas de unidades
situadas na camada imediatamente precedente
Esfrufuro de umo rede feedforword
Camada de
entrada
Camada
invisvel
Camada de
sada
Sadas
Normalmente os ns entre as camadas so completamente ligados
Umo rede de oIimenfoo direfo
represenfo umo funo de suos enfrodos
Seja o vetor de entrada x = (x
1
, x
2
), as ativaes de entrada so
definidas como (a
1
, a
2
) = (x
1
, x
2
) e a rede calcula:
a
5
= g(W
3,5
*a
3
+ W
4,5
*a
4
)
a
5
= g(W
3,5
*g(W
1,3
*a
1
+ W
2,3
*a
2
) + W
4,5
*g(W
1,4
*a
1
+ W
2,4
*a
2
))
Umo rede de oIimenfoo direfo represenfo
umo funo de suos enfrodos
a
5
= g(W
3,5
*g(W
1,3
*a
1
+ W
2,3
*a
2
) + W
4,5
*g(W
1,4
*a
1
+ W
2,4
*a
2
))
A sada da rede como um todo uma funo de suas entradas
Os pesos da rede atuam como parmetros dessa funo
Escrevendo-se Wpara os parmetros a rede calcula uma
funo h
W
(x)
Ajustando os pesos, mudamos a funo que a rede representa
Essa a forma de aprendizagem das redes neurais
Pedes de oIimenfoo direfo de umo
nico comodo - Percepfrons
uma rede com todas as entradas conectadas
diretamente s sadas
Cada unidade de sada independente das outras
cada peso afeta apenas uma das sadas
Sada de um perceptron de duas entradas
com uma funo de ativao sigmide
Uma rede de perceptrons com
trs unidades de sada que
compartilham cinco entradas
Pedes de oIimenfoo direfo de umo
nico comodo - Percepfrons
Uma rede com um nica unidade de sada:
Com uma funo de ativao de limiar podemos visualizar
o perceptron como uma representao de uma funo
booleana (E, OU, NOT, como vimos)
Pode representar algumas funes booleanas bastante
complexas de maneira compacta
Exempo: funo maioria com cada W
j
= 1 e limiar W
0
= n/2
O que os percepfrons no podem
represenfor
Podemos ver a equao do perceptron de limiar
como uma reta que separa as entradas
Por esta razo o perceptron chamado de
separador linear
E pode representar apenas funes linearmente
separveis
Aprendi;ogem em redes neurois
Aprendizado supervisionado
So fornecidos pares de entra-sada casados p/ a rede
A cada entrada fornecida para a rede a sada
comparada com a sada correta
Se a sada obtida for diferente da sada correta os
pesos sinpticos so ajustados para minimizar o erro
Aprendizado no-supervisionado
No possui acesso a sada desejada
Aprende por mecanismo de estmulo-reao
No existe ningum para indicar se a associao feita est
correta
Processo interno prprio de categorizao da informao
de entrada
Os oIgorifmos de oprendi;ogem poro
redes neurois
A idia por trs da maioria deles ajustar os pesos da
rede para minimizar alguma medida de erro no conjunto
de treinamento
A medida clssica de erro a soma dos erros quadrticos
A aprendizagem formulada como uma busca de
otimizao no espao de pesos
Os pesos sinpticos variam somente durante a etapa de
treinamento
Treinar uma rede neural = ajustar pesos sinpticos
Manualmente ou automaticamente (algoritmos)
Aprendi;ogem de um percepfron com
funo de ofivoo sigmoide
O erro quadrtico para um nico exemplo de treinamento x e sada
verdadeira y escrito como:
O gradiente descendente usado para reduzir o erro quadrtico
Calculando a derivada parcial de E em relao a cada peso temos:
Atualizamos o peso como a seguir:
Onde a taxa de aprendizagem
2 2
)) ( (
2
1
2
1
x
w
h y Err E =
j
j
x in g Err
W
E
* ) ( ' * =

j j j
x in g Err W W * ) ( ' * * + =
funo APRENDIZAGEM-DE-PERCEPTRON (exemplos, rede) retorna uma hiptese de
perceptrons
entrada: exemplos, um conjunto de exemplos, cada um com entrada x = x
1
,..., x
n
e sada y
rede, um perceptron com pesos W
j
, j = 0...n e funo de ativao g (diferencivel)
repita
para cada e em exemplos faa
at que algum critrio de parada seja satisfeito
retornar HIPTESE-DA-REDE-NEURAL(rede)
Para perceptrons de limiar onde g(in) indefinido, a regra do perceptron
original simplesmente omite este valor.
Para perceptrons que utilizam a funo sigmide, g = g*(1-g)
] [ * ) ( ' * *
) ( ] [
] [
0
e x in g Err W W
in g e y Err
e x W in
j j j
n
j
j j
+

=
Pegro de Aprendi;odo de Widrow-Hoff
(ou DeIfo) poro percepfrons de Iimior
Ignora a funo de ativao fazendo g(in) = in
Uma rpida anlise:
Quando o erro positivo, a sada da rede pequena demais, e os
pesos devem ser aumentados
Quando o erro negativo, a sada da rede grande demais e os
pesos devem ser diminudos
Depois de encontrar os pesos que minimizam o erro quadrtico, podemos
reinserir a funo de limiar para produzir os valores necessrios
] [ * *
] [
] [
0
e x Err W W
in e y Err
e x W in
j j j
n
j
j j
+

=
Pegro de Aprendi;odo DeIfo 0eneroIi;odo
poro percepfrons com funo sigmoide
A derivada da funo sigmide g(in) = g(1-g) resultando em:
] [ * ) 1 ( * * *
) ( ] [
] [
0
e x g g Err W W
in g e y Err
e x W in
j j j
n
j
j j
+

Curvo de oprendi;ogem
percepfrons X orvores de deciso
Exerccio
Considere um perceptron com duas unidades de entrada com
valores reais e uma unidade de sada
Todos os pesos iniciais e o desvio (bias) so iguais a 0,5.
A sada deve ser 1 para os valores de entrada x
1
= 0,7 e x
2
= -
0,3
Mostre como a regra de aprendizado e Widrow-Hoff altera os
pesos de perceptron para que a rede tenha a sada correta para
este exemplo
Considere = 0,3
Pedes de oIimenfoo direfo de vorios
comodos
A vantagem em adicionar camadas ocultas que ela
aumenta o espao de hipteses que a rede pode
representar
Combinao de duas funes de
limiar oposta para obter um cume
(Uma camada oculta que combina a
sada de dois perceptrons)
Combinao de dois cumes para
formar uma coluna
(Uma segunda camada oculta que
combina a sada da camada anterior
Aprendi;ogem em redes de vorios
comodos
Algoritmo de aprendizagem back propagation
o mais difundido em redes multicamadas
Aprendizado supervisionado
Durante a operao nenhuma informao retropropagada
Na fase de aprendizagem o sinal de erro da sada
retropropagado pela rede modificando os pesos sinpticos
para minimizar o erro
Depois do treinamento o processo de aprendizado se
encerra e os pesos so armazenados
Muitas vezes chamadas de redes back propagation,
mas o termo back propagation se refere ao mtodo
de aprendizagem da rede
Pedes bock propogofion
Requer no mnimo 3 camadas
De entrada: recebe as entradas
Invisvel ou intermediria: processam os dados
De sada: apresenta os resultados da rede
Os ns da camada de entrada se conectam somente com
os ns da camada invisvel
E os ns da camada invisvel somente com os ns da
camada de sada
Pede bock propogofion - Arquifefuro
O oIgorifmo de oprendi;odo 8ock
Propogofion
Duas fases:
Feed-Forward as entradas se propagam pela rede,
da camada de entrada at a camada de sada
Feed-Backward os erros se propagam na direo
contrria ao fluxo de dados, indo da camada de sada
at a primeira camada escondida
Repetido, at que, para todos os processadores da
camada de sada e para todos os padres de
treinamento, o erro seja menor do que o especificado
O oIgorifmo de oprendi;odo
Exige que a funo de transferncia seja contnua e
diferencivel
Deve ser tambm assinttica para valores infinitamente
positivos e negativos
conhecida como regra Delta generalizada que utiliza mnimo
erro mdio quadrtico
Equaes de erros operam sobre funes diferenciais
Baseadas em uma heurstica de gradiente descendente
Codo neurnio do comodo evoIui seu
erro
E
pj
= (T
pj
O
pj
)
Onde:
E
pj
erro linear na sada j para o padro p
T
pi
sada desejada para a sada j, padro p
O
pj
sada j computada para o padro p
Isto feito at que O
pj
T
pj
Como ofuoIi;or os pesos
A qualidade da aproximao realizada pode ser
medida pelo erro quadrtico da sada
O erro quadrtico instantneo, para o padro p
neurnio j dado por:
E
pj
= (e
pj
)
2
= (T
pj
O
pj
)
2
Este valor utilizado para atualizar os pesos da rede
para minimizar o erro
Atravs do mtodo do gradiente descendente,
deslocando o vetor de sinapses em uma direo
Como ofuoIi;or os pesos
A cada passo de treinamento, cada sinapse w
ij
sofre
uma atualizao:
O acrscimo correspondente em cada sinapse
corresponde a:
to treinamen do passo o 0 Onde
, ,
>
+ =

ij anterior ij novo ij
w w w
anterior ij
pj
ij
w
E
w
,

=
Gradiente do
valor esperado
de erro
O processo de freinomenfo
Durante o treinamento espera-se que o seu erro diminua de
forma que os pesos w
ij
alcancem melhores valores (mnimo
global)
Mas a rede pode entrar em um estado de paralisia causado
pelo prprio processo de otimizao de erros pelo gradiente
w
ij
deslocado numa regio de gradiente pequeno (mnimo
local)
E o treinamento praticamente pra onde no desejvel
Simulated annealing pode ser usado para fugir deste problema
Moniforoo do processo de
oprendi;ogem
importante durante o treinamento para evitar o
sobreaprendizado
Situao em que a rede perde sua capacidade de
generalizao (memoriza os pares de entrada/sada)
Para reduzir o sobreaprendizado
Acompanhar o desempenho da rede sobre um
conjunto separado de teste
Depois de passar por um conjunto de treino, o
conjunto de teste apresentado rede e os resultados
obtidos so avaliados, mas no propagados
Moniforoo do processo de
oprendi;ogem
Um critrio deve ser estabelecido como ponto de
parada, antes que se alcance o sobreaprendizado
A eficincia da rede para o conjunto de teste e treino
vai aumentado devido ao ajuste dos pesos
At que esta eficincia atinge um plat em torno do
qual os pesos ficam oscilando
A rede est entrando no sobreaprendizado, e o
processo de aprendizagem deve parar
Fofores que infIuenciom o oprendi;odo
O nmero de camadas invisveis
O nmero de neurnios nas camadas invisveis
O formato do conjunto de treino
Mmero de comodos invisveis
Camadas invisveis so:
Detectores de caractersticas
Unidades internas de representao
A rede acumula conhecimento nestas camadas abstrado
do conjunto de treino
Pode ser treinada para detectar a presena de
caractersticas nos padres de entrada
Capacidade para lidar com dados incompletos
Para se descobrir as caractersticas que esto sendo
representadas na camada invisvel anlise de
sensibilidade
Mmero de comodos invisveis
O treinamento iniciado com apenas uma camada
invisvel, e verificando-se o seu desempenho
Aumenta-se o nmero de camadas gradativamente,
monitorando-se o desempenho da rede
A capacidade de mapeamento de padres complexos
aumenta com o aumento das camadas
Mais camadas invisveis demandam maior tempo de
treinamento
Para grande parte das aplicaes
Redes neurais back propagation com uma camada invisvel
o suficiente
Formofo do conjunfo de freino
Deve ter qualidade, refletir as informaes desejadas
Pode ser preparado seguindo uma dist. randmica
Ou seguindo uma mesma proporcionalidade para se
evitar o aprendizado preferencial
Preferncia para os padres mais freqentes
Deve ser completamente representativo das
entradas utilizadas para a rede
Sisfemos frodicionois X conexionisfos
Sistemas tradicionais
Problema de aquisio de conhecimento
RN
Necessita de uma boa quantidade de exemplos
No exige que se defina regras especficas
Desenvolve suas prprias regras
til quando no existem regras estabelecidas, ou elas so muito
complexas
Podem extrapolar fatos e gerar concluses
Sisfemos frodicionois X conexionisfos
RN
Habilidade em trabalhar com dados incompletos ou com
rudo (incerteza)
Requerem um nmero substancial de exemplos
No fcil obter uma explicao sobre os resultados
obtidos
Conhecimento na forma de pesos sinpticos
Explicaes sobre os resultados envolvem rdua tarefa de
anlise de sensibilidade