Estudo da inuncia das e Conexes Recorrentes em Modelos do o Sistema Visual

Luis Felipe SantAna

PROJETO

CENTRO DE MATEMATICA COMPUTACAO E COGNICAO

UNIVERSIDADE FEDERAL DO ABC

Orientador: Prof. Dr. Raphael Yokoingawa de Camargo

Palavras-Chave: Redes Neurais, VISNET2, Redes Recorrentes

Santo Andre, 28 de Abril de 2011

Introducao
O c rebro categoriza estmulos ecientemente, mas e como s o feitas estas e a

categorizacoes? Um dos modelos discutidos e o VisNet que simula est gios que o a estmulo atravessa at a geracao de um c digo que o representa no sistema visual. Ou e o tro interessente papel executado e o de como o c rebro realiza o armazenamento da e informacao. Neste projeto ser feito um modelo de categorizacao e armazenamento do a estmulo com interesse em realizar alteracoes nas conex es entre a rede VisNet que realiza o a categorizacao e a rede auto-associativa que executa o armazenamento do estmulo.

1.1

Redes Neurais Articiais

As redes neurais tiveram incio com McCulloch e Pitts em 1943 [1]. A id ia de e rede neural foi desenvolvida ao longo dos anos com os avancos permitidos pelo conhe cimento do c rebro. Das redes neurais biol gicas surgiram as redes neurais articiais e o (RNAs) [1, 2, 11]. As atuais redes neurais articiais se diferenciam bastante dos modelos desenvolvidos para a representacao das redes biol gicas encontradas no c rebro. o e Cada neur nio consegue realizar as principais funcoes booleanas, tais como AND, o OR, NOT, e outras funcoes derivadas, que s o funcoes que s o linearmente separ veis. a a a Os neur nios apresentam pesos sin pticos em suas arestas que armazenam o aprendizado o a da rede. Para as redes neurais h algoritmos de treinamento que s o algoritmos capazes a a de modicar estes pesos de forma que a rede seja capaz de realizar tarefas complexas. Cada neur nio faz uma pequena operacao de comparacao entre a entrada e o valor dos o seus pesos sin pticos. A sada de um unico neur nio e dado pela equacao a seguir: a o

 yj = x w onde e vetor de entrada e e vetor de pesos do neur nio j. x w o

(1)

Por ser um produto interno se estiverem sob mesma orientacao ter o valor m ximo, a a enquanto se forem ortogonais ter o valor zero. Como cada neur nio e a representacao a o desta funcao, um unico neur nio traca uma pequena reta no espaco de resposta, unindo o neur nios em uma camada haver a formacao de retas pelo espaco tornando este conjunto o a capaz de realizar tarefas linearmente separ veis [11], ou seja, tarefas capazes de se resola ver tracando uma reta. Adicionando camadas e com um algoritmo apropriado de ajuste de pesos, de forma que sejam ajustados conforme uma funcao de erro, e possvel resolver tarefas n o linearmente separ veis. a a As redes mais comuns e amplamente utilizadas s o as redes MLP(MultiLayer Pera ceptron) que s o as redes que uma camada est totalmente conectada com a posterior. a a Estas redes s o ecientemente empregadas para o reconhecimento de padr es [5], para a o isto se baseiam no aprendizado supervisionado, ou seja, os pesos s o ajustados conforme a a dist ncia a um vetor de resposta desejada. A cada interacao e apresentado um padr o e a a um vetor de resposta, ent o e calculado o erro entre a sada da rede e este vetor, calcula-se a o erro e este erro e propagado para as camadas anteriores [1].

1.2

VISNET

A VisNet [8, 13, 12] e uma rede que foi modelada para representar o sistema visual. Tenta-se comparar os resultados desta rede com os valores de redes reais, usando-se para tanto a teoria da informacao[8]. Esta rede apresenta duas vers es a Visnet [8] e a Vis o

net2 [13], onde a segunda apresenta diferenca quanto a funcao de ativacao dos neur nios. o Esta rede e hier rquica, onde a complexidade vai gradualmente diminuindo, at a e est gios de poucos neur nios, 1. a o

Figura 1: Estrutura hier rquica da rede VisNet2. [8] a

Esta rede se utiliza de diferentes regras de aprendizado, tanto o aprendizado Hebbiano que consiste na ideia de que se h ativacao pr e p s-sin ptica esta conex o deve ser a e o a a reforcada, e o aprendizado competitivo. A rede apresenta quatro camadas com n mero de u conex es vari vel dependendo de uma funcao gaussiana que determina quais neur nios o a o ter o conex o com a camada posterior e diferentes tamanhos de regi es de atuacao da a a o atualizacao dos pesos sin pticos. a O treinamento e dividido em duas etapas: a primeira consiste em apresentar o conjunto ` de treinamento para cada mapa separadamente, a seguir e apresentado as camadas unidas, ` ` ou seja, e apresentado a primeira camada e e o sinal e propagado camada a camada. A 3

primeira etapa tem como objetivo de formar regi es espaciais grosseiras que respondem o aos estmulos de forma n o muito precisa e a segunda etapa h um renamento da entrada a a onde agora poucos neur nios respondem aos estmulos. o As camadas correspondem respectivamente a uma aproximacao de V2, V4, c rtex o temporal posterior e c rtex temporal anterior. A distribuicao de conex es entre camadas e o o dado probabilisticamente por uma distribuicao gaussiana. Cada c lula recebe um n mero e u vari vel de conex es que depende da camada de uma grade de 32x32 c lulas da camada a o e anterior com 67% de chances de haver conex o das 4 c lulas centrais. Apresenta o moa e delo de neur nio, com inibicao lateral dado por uma funcao que leva em consideracao o as dist ncias dos neur nios e seus vizinhos. A competicao entre neur nios n o e do tipo a o o a WTA(Winner-Takes-All) onde apenas um neur nio e ativo, mas e uma competicao mais o leve que e relativo a ativacao do neur nios e seus vizinhos, ou seja, quanto mais ativo um o neur nio mais ele vai inibir neur nios pr ximos e com o aumentar da dist ncia diminui o o o a assim a acao deste sobre os outros vizinhos. A entrada para esta rede recebe um pr -processamento, que simula as c lulas do V1 e e que detectam barras na imagem, utilizando para tanto a diferenca de duas gaussianas com produto com uma terceira gaussiana ortogonal. A partir deste pr -processamento e s o selecionados pontos por uma funcao gaussiana que ser o entrada para a rede em si. a a Cada neur nio da camada apresenta um campo visual, que executa produto do peso com o a entrada selecionada, que determina assim sua taxa de ativacao. Com todas as taxas de ativacao calculadas, e aplicado inibicao que tem a funcao de diminuir a redund ncia de a informacao. Os passos s o repetidos variando par metros como a taxa de aprendizado a a que decai segundo um funcao seno, e a orientacao das barras na entrada. Assim a quarta camada apresenta um codicacao representando o padr o. a

 A entrada e uma matriz de 128x128, onde da matriz de entrada 64x64 dos pontos compreende a imagem. Isto se deve a possibilidade de deslocar a imagem de tal forma que seja possvel determinar a variacao de posicao. A regra de atualizacao dos pesos e denominada regra do traco, por apresentar sequ ncias de objetos, isto faz com que as e c lulas comecem a responder a um mesmo objeto independente da transformacao [8]. e Trabalhos mais recentes acrescentaram uma camada de neur nios correspondendo a o regi o hipocampal [12] relacionada a memorizacao do padr o. a a

1.3

Modelo de Rede Auto-Associativa: Hopeld

O modelo de Hopeld [1] consiste em um conjunto de neur nios, formando um siso tema de retroalimentacao. Esse modelo foi desenvolvido por John Hopeld no ano de 1982. A rede de Hopeld tem a capacidade de armazenar padr es nas sinapses entre as o conex es dos neur nios da rede. o o Considerando uma rede com os padr es armazenados. O funcionamento da mesma o seria da seguinte maneira: a rede recebe estmulos de entrada, na qual pode ser 0 e 1 ou 1 e -1, os mesmos ao serem multiplicados por cada padr o e posteriormente somadas, se a atingirem um limiar pr -determinado pela pr pria rede, haver um sinal de sada. Devido e o a a rede de hopeld ser auto-associativa, esse mesmo sinal de sada ser o sinal de entrada a quando acontecer o feed-back(realimentacao). No armazenamento de padr es, a rede de hopeld se baseia na lei de Hebb, na qual o postula que o padr o a ser armazenado e a multiplicacao entre o estmulo de entrada e a o sinal de sada. E o mesmo e biologicamente plausvel, devido isso ser um analogia ao fen meno do LTP. Para que esse fen meno ocorra e preciso que o neur nio pr sin ptico o o o e a esteja ativo ao mesmo tempo que o neur nio p s sin ptico. Ao acontecer esse fen meno, o o a o 5

 o peso associado a essa sinapse e aumentado. Como as conex es tem sentido bidirecional, aquele sinal de sada que foi produzido, o al m de ir para a sada da rede, o mesmo volta at o ponto de conex o entre o neur nio e e a o p s sinaptico e o neuronio pr sinaptico. Assim s o multiplicados o estmulo de entrada o e a e o sinal de sada, e como resultado temos o armazenamento de um peso nesta conex o a sin ptica. a A determinacao dos pesos sinapticos e dada pela f rmula abaixo: o

Wxy = XY Onde W e o peso sinaptico, Y e o valor de sada e o X o padr o de entrada. Sendo que o X a poderia ser um padr o incompleto sobre uma informacao a ser completado pela rede. No a caso do modelo de hopeld, Y que e uma sada vira uma outra entrada devido o feedback. Na recuperacao a rede se comporta da seguinte maneira: vindo um estmulo de entrada, esse estmulo e multiplicado pelos seus padr es armazenados e somados. Caso o valor o somado seja maior que um limiar estabelecido, o neur nio ser considerado ativo, caso o a contr rio n o. A determinacao da informacao que se quer recuperar e dada por: a a
N

Y =
i=1

Wi .X

Essa rede tem a capacidade de completar informacao a partir de padr es previamente o armazenados em suas sinapses. Assim tendo caractersticas de uma mem ria de longo o prazo. Por exemplo, uma pessoa que j tenha visto a foto de um c o, ap s apresentarem a a o a rede um padr o de entrada que est associado somente a uma parte da foto, a rede a a auto-associativa consegue recuperar o padr o associado a foto inteira que foi aprendida a 6

previamente.

Figura 2: Rede Hopeld As caractersticas dessa redes s o: a complementacao de padr o, como dito ante a a riormente, na apresentacao de um padr o incompleto, a rede consegue completar esse a padr o baseado no padr o j armazenado; a generalizacao, pois ao apresentar um padr o a a a a (estmulo de entrada) parecido com que a rede aprendeu previamente, a mesma consegue recuperar o resto. Por exemplo, a rede tem armazenada nela um padr o associado a a gura de uma cadeira, caso a rede receba o padr o de um cadeira com um furo, apesar a de o padr o n o ser exatamente o mesma, a rede consegue saber que aquilo e mesmo a a assim uma cadeira. E por ultima, a toler ncia a falhas, caso algum neur nio d problema a o e (biologicamente dizendo:morre), mesmo assim, caso a falha n o sendo discrepante a rede a consegue recuperar a informacaocorretamente [1].

1.4

Redes Recorrentes

Redes neurais recorrentes [2, 1] s o aquelas que apresentam ciclos nas suas conex es, a o isto e, a sada de neur nios de uma camada i s o entradas de neur nios de uma camada o a o i, j com j >= 0. Redes recorrentes possuem conex es de realimentacao que proporo cionam comportamento din mico. H dois tipos de redes recorrentes: aquelas em que a a o padr o de entrada e xo e a sada caminha, dinamicamente, para um estado est vel, e a a aquelas em que tanto a entrada quanto a sada variam com o tempo, estas ultimas s o mais a gerais e utilizadas com maior freq encia. H muitas variacoes de arquiteturas de redes u a recorrentes: algumas delas permitem o uso de algoritmos de treinamento mais simples ou adaptados para uma tarefa particular. As conex es em uma rede neural podem ser de ida (feedfoward) onde o sinal e propao ` gado da camada i a camada j, ou pode ser de volta (backward) onde o sinal e propagado da camada de sada as camadas de entrada. Estas conex es tem o papel tanto de propa ` o gar o sinal entre camadas para regi es de mais elevado grau de processamento, quanto o modular o sinal entre as camadas. As conex es de feedback que s o conex es de retorno o a o das camadas de sada para camadas anteriores s o utilizadas para modelos que tentam a simular a atencao [15, 19], mas n o s o muito utilizadas para modelos de reconhecimento a a de objetos [3, 5, 7, 10].

Objetivo
O objetivo do presente trabalho e estudar a import ncia do acr scimo de uma rede a e

auto-associativa ao t rmino do modelo Visnet2 para o armazenamento da codicacao e do estmulo apresentado. Al m disso, iremos analisar a inu ncia da utilizacao de co e e 8

nex es recorrentes da rede auto-associativa para a rede VisNet, tanto na categorizacao de o informacoes visuais quanto no seu armazenamento.

Plano de Trabalho
O plano de pesquisa ser dividido em v rias etapas, que dever o cumpridas pelo aluno a a a

para que o projeto seja concludo. O aluno est realizando atividades de pesquisa em redes a neurais, mais especicamente em modelos do sistema visual desde marco/2009. Deste modo, o projeto est adequado ao perl do aluno, que j possui experi ncias nas areas do a a e projeto.

Etapa 1: Implementacao do Modelo de Rede Auto-Associativa

Nesta etapa ser implementado o modelo de rede auto-associativa, que ser inserindo a a no m da rede VISNET2 para o armazenamento da codicacao dos estmulos. Avaliare mos quais as vantagens que podem ser obtidas com o uso simult neo das duas redes. a

Etapa 2: Revis o bibliogr ca sobre conex es recorrentes do hipoa a o campo para o c rtex o
Ser realizada uma revis o bibliogr ca de modelos e teorias sobre o papel das coa a a nex es recorrentes do hipocampo para o c rtex visual. O foco ser no uso destas conex es o o a o para o armazenamento de informacoes e o auxlio na classicacao de padr es visuais. o

Etapa 3: Implementacao das conex es recorrentes o

A partir da revis o bibliogr ca realizada na etapa 2, ser realizada a implementacao a a a das conex es entre da rede auto-associativa para as camadas anteriores. Ser o avaliadas o a diferentes propostas para o seu papel, com foco na categorizacao de entradas e armazena mento de informacao.

Cronograma
Agosto/11 a Novembro/11: Implementacao do modelo de rede auto-associativa. Dezembro/10 a Fevereiro/12: Revis o bibliogr ca de modelos e teorias sobre o a a papel das conex es recorrentes do hipocampo para o c rtex visual; o o Marco/12 a Julho/12: Implementacao das conex es recorrentes no modelo e o avaliacao do seu papel na categorizacao e armazenamento de padr es visuais; o

Metodologia
Utilizaremos a linguagem de programacao C e a linguagem R1 na plataforma Linux,

para a realizacao das simulacoes das redes neurais. A linguagem R e uma linguagem de prop sito geral, onde pode-se construir qualquer programa, com a facilidade de possuir o funcoes denidas que agilizam a implementacao. Na rede auto-associativa, avaliaremos se a rede auxilia na classicacao de padr es o de entrada, atrav s do armazenamento destes padr es e de suas caracterstica de autoe o complementacao de padr es parciais apresentados. o
1

Disponvel em www.r-project.org

10

` Com relacao as conex es recorrentes da rede de Hopeld as camadas de pro ` o cessamento visual, avaliaremos diferentes propostas para o seu papel, com foco na categorizacao de entradas e armazenamento de informacao. Em ambas as etapas, utilizaremos informacoes de artigos de neurosiologia de modo a tornar o modelo biologicamente plausvel.

Refer ncias e
[1] Haykin, Simon. Redes Neurais Prncipio e Pr tica. 2a ed. Ed Bookman, 2004. a [2] Braga, Ant nio. Carvalho, Andr . Ludermir, Teresa. Redes Neurais Articiais Teoria o e e Aplicacoes. 2a Ed. Ed LTC, 2007. [3] Fukushima, Kunihiko. Neocognitron: A Hierarchical Neural Network Capable of Visual Pattern Recognition. Neural Networks. Vol. 1, pp.119..130, 1988. [4] Bouvrie, Jake. Notes on Convolution Neural Networks. Massachusetts Institute of Technology, 2006. [5] Browne, Matthew & Ghidary, Saeed. Convolution neural networks for image processing: an application in robot vision. The 16th Australian Joint Conference on AI, 2003 [6] Hubel, D. & Wiesel, T. Receptive elds, binocular interaction and functional architecture in the cats visual cortex. Journal de Physiologie, 160(1). 106-154, 1962. [7] Lecun, Y. & et al. Gradiente-Based Learning Applied to Document Recognition. Proc. of the IEEE. November, 1998. 11

[8] Rolls, E. & Milward, T. A Model of Invariant Object Recognition in the Visual System: Learning Rules, Activation Functions, Lateral Inhibition, and Information-Based Performance Measures. Neural Computing, MIT.V.12 pp.2547..2572, 2000. [9] Ting, Christopher & Chuang, Keng-Chee. An Adaptive Algorithm for Neocognitron to Recognize Analog Images. Neural Networks. Vol. 6, pp. 285-299, 1993. [10] Fukushima, Kunihiko. Neocognitron capable of incremental learning. School of Media Science, Tokyo University of Technology, 2002. [11] Rojas, Raul. Neural Networks - A Systematic Introduction. Springer-Verlag, Berlin, New-York, 1996. [12] Rolls, Edmund & et al. Spatial scene representations formed by self-organizing learning in a hippocampal extension of ventral visual system. European Journal of Neuroscience, Vol. 28, pp. 2116-2127, 2008. [13] Rolls, E. & Milward, T. A Model of Invariant Object Recognition in the Visual System: Learning Rules, Activation Functions, Lateral Inhibition, and InformationBased Performance Measures. Neural Computing, MIT.V.12 pp.2547..2572, 2000. [14] Hubel, D. & Wiesel, T. Receptive elds, binocular interaction and functional architecture in the cats visual cortex. Journal de Physiologie, 160(1). 106-154, 1962. [15] Laurent Itti and Christof Koch. Computational Modelling of Visual Attention . Nature Reviews Neuroscience V. 2. February, 2001;

12

[16] S.M. Stringer, E.T. Rolls. Learning transform invariant object recognition in the visual system with multiple stimuli present during training. Neural Networks 21 888 at 903. 2008. [17] Edmund T. Rolls, Simon M. Stringer. Invariant visual object recognition: A model, with lighting invariance. Journal of Physiology - Paris 100 43 at 62, 2006. [18] Edmund T Rolls and Simon M Stringer. Invariant object recognition in the visual system with error correction and temporal difference learning. Network: Comput. Neural Syst. 12 111 at 129, 2001. [19] Gustavo Deco a, Edmund T. Rolls. A Neurodynamical cortical model of visual attention and invariant object recognition. Vision Research 44 621 at 642, 2004.

13