Escolar Documentos
Profissional Documentos
Cultura Documentos
CURITIBA
2003
Ministrio da Educao
Universidade Federal do Paran
PARECER
AGRADECIMENTOS
LISTA DE FIGURAS
SUMRIO
1 INTRODUO 1
1.1 Motivao 1
2 FUNDAMENTAO TERICA 10
3.1 Arquitetura 39
3.2 Raciocnio 42
3.3 Aprendizagem 45
4 RESULTADOS 47
5 CONCLUSES 80
REFERNCIAS BIBLIOGRFICAS 86
ANEXO 89
RESUMO
ABSTRACT
A model of an artificial neural network is proposed. The neural network has multiple
layers. Each network layer is formed by a quadrangular grid of neurons (on a toroidal
space). The synaptic connections that every neuron has are defined between tree
types: inter-layer excitatory, lateral intra-layer inhibitory and lateral intra-layer
excitatory. The spatial disposition of connections is of a Gaussian type and specific
for each type of synapse. Each neuron has a limited number of connections. The
model contributes to eliminate restrictions presented by other architectures in witch
connections are distributed to all of the neurons of each layer. The neuron model
presents an internal dynamic, working as a memory of its recent activity and having
important role in the learning process. The learning procedure is based on the
selection by consequences according to reinforcement learning principles.
Particularly the reinforcement learning approach used is of the classical type. The
experiments defined for the investigation and confirmation of the capacities of the
neural network consider a simulated environment that works according to the
Selection by Consequences model. The simulation results show that the model is
capable of reproducing several behavioral phenomena that are: acquisition of
respondent behavior, extinction of respondent behavior, acquisition of operant
behavior, extinction of operant behavior, stimulus generalization capacity, ability to
control the response intensity, capacity to control multiple responses and sensor
fusion. Besides that, the experiments also illustrate the important role of the lateral
inhibitory and lateral excitatory connections for a correct shaping of operant level
responses and neural groups. It is understood that the learning capacities that the
proposed neural network exhibits make it viable for the conception of intelligent
autonomous systems with potentialities superior to those already presented in the
specialized literature.
1 INTRODUO
1.1 Motivao
Autonomia
presses constantes no que diz respeito s demandas cada vez mais sofisticadas e
exigentes em desempenho. Entretanto tambm se nota uma forte preocupao dos
pesquisadores em tornar os sistemas inteligentes artificiais mais semelhantes aos
sistemas biolgicos sofisticadamente inteligentes. Observa-se que, em vista das
potencialidades demonstradas pelos sistemas biolgicos e artificiais, as
semelhanas que podem ser admitidas so pouco significativas. Desta forma,
argumenta-se que a insatisfao presente seja motivo suficiente para incrementar
pesquisas e reduzir as diferenas entre estes dois sistemas.
Assim, atualmente, de um lado observa-se a consolidao e origem
de teorias ousadas, tais como: sistemas imunolgicos artificiais (de Castro e Timmis,
2002), sistemas de inteligncia coletiva (Bonabeau, Dorigo e Theraulaz, 1999),
sistemas classificadores (Lanzi, 2000), e da evoluo de teorias mais tradicionais
relacionadas s redes neurais, sistemas nebulosos, computao evolutiva,
aprendizagem artificial (Vapnik, 1999)(Sutton e Barto, 1998), sistemas simblicos
inteligentes bem representados pelos agentes inteligentes (Russel e Norvig, 1995).
De outro lado ressurgem as reflexes em termos das limitaes dos
atuais sistemas inteligentes. As crticas podem ser resumidas no problema do "a
priori", abordado por vrios autores (Brooks, 1990)(Brooks, 1991)(Figueiredo, 1999)
eem especial porVerschure (Verschure, 1993)(Verschure, 1996).
O problema do "a priori" diz respeito ao fato de um sistema simblico
requerer uma representao do mundo em termos de smbolos discretos para
operar, que s pode ser fornecida pelos projetistas do sistema. Mesmo que o
sistema possua a capacidade de aprender por meio da incorporao de novos
smbolos e regras sua base de conhecimentos, necessrio um conjunto bsico
inicial que permita a operao do sistema. Esse conjunto inicial definido, portanto,
"a priori" e requer dos projetistas a definio da essncia do sistema. A partir deste
problema principal Vershure reuniu quatro outros tambm de grande importncia,
que sero vistos resumidamente a seguir:
Redes Neurais
Aprendizagem
formao dos grupos neurais. Os grupos neurais por sua vez formam a base para a
anlise da operao da rede.
Do ponto de vista das redes neurais artificiais o modelo contribui
apresentando uma soluo para o problema de atribuio de crdito que utiliza
aprendizagem por reforo.
1
Adaptado de: http://research.haifa.ac.il/~imjaffe/mind/lecnotes/week7.html. junho 2003
2
A termo "raciocnio" segundo essa interpretao refere-se aos processos internos de uma rede
neural, desencadeados por um estmulo, que evoluem at produzir uma resposta. De forma
simplificado o processamento da informao.
14
*"m .4 -Neurotransmissores
t
;
f
Neuroreceptores
2.1.2 Fundamentos
Modelos Clssicos
1
Adaptado de: http://research.haifa.ac.il/~imiaffe/mind/lecnotes/week7.html. junho 2003.
15
N
F x w
y = (J] i ~wo) o)
7=1
F(x)
1
F(x) =
1 + ex p ( - / ? x )
Arquiteturas Bsicas
Estratgias de Aprendizagem
Mapa de Kohonen
Rede de Hopfield
evoluo da rede neural, configurada com tais pesos, leva o sistema a estabilizar-se
em estados correspondentes soluo do problema de otimizao.
SD
2.3.1 Autonomia
incremental em que a previso de cada dia influi na do dia seguinte. Assim, uma
previso de, por exemplo, 75% de probabilidade de chuva na tera, influi na
probabilidade de que chova na quarta.
A tcnica de TD fundamentalmente visa avaliar os custos de uma
determinada poltica de aes (Ribeiro, 2002). No entanto, ela no aborda a questo
da aprendizagem dessas polticas. Uma tcnica que aborda tal aprendizagem,
inclusive bastante utilizada no desenvolvimento de robs autnomos, a chamada
Q-learning. Basicamente a aprendizagem consiste de um mtodo iterativo que se
baseia em avaliar a ao (Q) segundo seu valor (Q(x,a)) e que definido como o
desconto obtido no custo ao adotar-se a ao "a", quando no estado "x", seguindo
uma poltica ideal de ao (Ribeiro, 2002).
Obviamente, esses assuntos so extensos e abord-los mais a
fundo foge ao escopo deste trabalho. O objetivo aqui somente oferecer uma breve
sntese sobre a viso da IA sobre comportamento operante e, com isso, denunciar
as relaes entre as teorias da Anlise do Comportamento e a da Inteligncia
Artificial.
Fundamentos Neurobiolgicos
1
Adaptado de: Donahoe e Palmer (1994).
35
1
Fonte: Donahoe e Palmer (1994).
38
3.1 Arquitetura
Camada de Sada
Camadas Internas
Camada Sensorial
Conexes Cooperativas
(coordenadas na camada 1)
3.2 Raciocnio
e(T).
com,
m b ^ ^ a l i T y f i l e
i
(0.0, 0.5) um limiar de ativao sorteado para cada neurnio j a cada iterao T\
Kj a taxa de decaimento de atividade do neurnio j (trao de atividade); r ; (0,1)
limiar 0y. uma varivel aleatria com distribuio Gaussiana (mdia = 0.2, varincia
= 0.2) assumindo valores no intervalo [0.0 , 0.5]. O objetivo principal desse esquema
produzir variabilidade de comportamentos, criando na rede um padro de disparos
variante que busca refletir o que seria um comportamento de nvel operante. Tal
comportamento vital para o funcionamento da rede. De fato, possvel estabelecer
um paralelo deste com problemas de busca que so parte do desafio na operao
dos sistemas inteligentes (Haykin, 2001).
O processo de atualizao das atividades dos neurnios segue uma
seqncia distinta. O valor de atividade 0(7") de cada neurnio da rede neural
definido de acordo com o procedimento de atualizao da atividade, descrito em
seguida na forma de uma seqncia de passos:
3.3 Aprendizagem
a ^ d ^ p ^ r i T ) sed{T)>0
AWT) = (3)
- wAT - ]a{T)aT) sed(T)<0
dir) uma funo do estmulo US (ao longo do trabalho d(T) = US(T) a menos que
especificado o contrrio, diferentemente da proposto inicial de Donahoe, Burgos e
Palmer (1993) onde d(T) obtido segundo uma outra funo distinta);
n
ry{T)~ W(T) o termo de competio entre as sinapses;
i
/ ^ V?)* T - l) ,
pi{T) = e o termo de contribuio de cada sinapse (sinapses que
T, = 0 . 1 d{T) = US{T)
Inclinao da Sigmide = 0.1
Limiar da Sigmide = 0.3
1
Medido em posies na grade a partir do neurnio (Ex: raio de intervalo [1.5 , 3.0] significa que a
sinapse pode ser sorteada e efetuada com qualquer neurnio que esteja no mnimo a 1.5 posies de
distncia na grade e no mximo a 3.0). O sorteio feito segundo uma distribuio Gaussiana com
mdia = 0.0 e varincia = valor mdio do intervalo definido para o tipo da sinapse.
2
Varivel aleatria com distribuio uniforme no intervalo especificado.
49
Interpretando as Ilustraes
1 - Atividade - 0.0
2 - Atividade )0.0 , O.OS[
3 - Atividade (0.05 , LO(
4 - IruIiI:ador de Neurnios
Resposta
Definindo o Treinamento
ComodoO Comodo ,
Padro 1 Padro 2
Camada o Camada 1
C....daO C....da1
Camada 1 Camada 1
ComodoO Comodo 1
c........ o Camada 1
Comodo o Comodo ,
ComodoO Comodo 1
c........ O c........ 1
P erlod o de Aq utsio
Resultados e Contribuies
Trabalhos Futuros
Nessa mesma linha, existem trabalhos que modelam redes auto-organizadas com
comportamento oscilatorio, algo que provavelmente possui implicaes para uma
representao de comportamentos de nvel operante.
REFERNCIAS BIBLIOGRFICAS
Brooks, R., A., Elephants Don't Play Chess, Robotics and Autonomous
Systems, vol. 6, pp. 3-15, 1990.
Donahoe, J., W. e Palmer, D., C., Learning and Complex Behavior, Allyn
and Bacon, U.S.A, 1994.
Bonabeau, E., Dorigo, M., e Theraulaz, G., From Natural to Artificial Swarm
Intelligence, Oxford University Press, 1999.
Fernandes, F., Luft, C.P., Guimares, F.M., Dicionrio Brasileiro Globo, 18.
87
ed., So Paulo, Globo, 1991.
Krose, B., J., A., Learning From Delayed Rewards, Robotics and
Autonomous Systems, nQ 15, pp. 233-235, 1995.
Minsky, M L., S.A. Papert, Perceptrons, Cambridge, MA: MIT Press, 1969.
Penrose, R., A Nova Mente do Rei, Editora Campus, Rio de Janeiro, 1997.
Rolls, E., T., The Brain and Emotion, Oxford University Press", Oxford,
Inglaterra, 1999.
Vapnik, V., The Nature of Statistical Learning Theory, Springer, New York,
1999.
Selar t~ do NeuOOio::
~(t)...ta: II,.. J
I,,,....,,, O!J
Infonnaes Neuitis- - - - - -
ConeIl&!S ExtalriM ConeIlOeS Inbtri"s C~S COopel'lIIivas
.,
~ do v1cl' siMPtico
~~ Ati ..... Neural: 0,04592OB1
Ambiente:
Numero de Estmulos: [3
Atxir Salvar
Numero de Respostas: [
Estmulos-
Exibindo: Navegai Estmulo: 0
<* jstrmjtoi Indice: f " 8
r Respostas ,
- + 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 o
0 0 0 0 0 0
0 0 0 0 0
Atociar Resposta 1 1 o o o 1 1
Resposta Associada:jo 0 1 1 o o o 1 1
Propriedades do Estmulo:
0 0 0 0 0 o 0 0 0
Tempo de Durao: |0
0 0 0 0 o o o o o
Associai IIS
0 0 0 0 0 0 0 0 0
Valor US:
0 0 0 0 0 0 0 0 0
Durao US:
Incio US: [~