Machine Translated by Google
T. Alvager, Departamento de Física e Departamento de Ciências da Vida, Indiana
State University, Terre Haute, M 47809, EUA (E-mail: phalva@scifac.indstate.edu)
VA French, Departamento de Física, Indiana State University, Terre Haute, IN, EUA G.
Putman, Departamento de Física, Indiana State University, Terre Haute, IN, EUA
Abstrato
A compactação de dados envolve o empacotamento de
dados de maneira eficiente. É um fenômeno comum em
computadores feitos pelo homem. É razoável supor que
algo semelhante ocorre no cérebro . Propõe- se que a
evidência experimental para isso seja dada pelos dados
sobre a diminuição da densidade de conexões sinápticas
em cérebros com a idade. O efeito proposto é revisto em
relação a computações com modelos cerebrais simples na
forma de uma rede neural artificial específica.
1. Intr~dMção
A compressão de dados é uma técnica frequentemente
usada em computadores feitos pelo homem para aumentar a
eficiência do armazenamento e manuseio de informações. Em
geral, o método de escolha é baseado em medições de
frequência de ocorrência dos símbolos [l]. Uma técnica menos
utilizada , mas ainda assim poderosa, é baseada na aplicação
de redes neurais artificiais [2]. Embora este método seja
desenvolvido a partir de ideias sobre como as redes neurais
naturais funcionam, a técnica não é apenas capaz de modelar
funções cerebrais, mas também encontrou uso generalizado em
muitos campos fora de sua aplicação original [2,3].
Uma versão bem- sucedida de redes neurais artificiais
consiste em três camadas de neurônios artificiais com conexões
entre as unidades [2]. Além das camadas de entrada e saída,
existe a chamada camada oculta, cujas unidades corresponderiam
aos interneurônios do cérebro. Como será ilustrado a seguir, o
treinamento de uma rede neural geralmente resulta em uma
redução do número de unidades ocultas. Assim, a compressão
de dados é alcançada. Na linguagem das redes neurais naturais,
isso corresponderia a uma diminuição das conexões sinápticas
após um período de aprendizado .
É objetivo desta comunicação propor um mecanismo
específico, nomeadamente o da compressão de dados , como
razão de pelo menos parte das alterações da densidade sináptica
que ocorrem no cérebro. Na próxima seção, ilustraremos o
funcionamento de um sistema neural artifkid especial.
0-7803-4859-1/98 $ 10,0001998 IEEE
rede. O resultado será então discutido no contexto da diminuição
da densidade sináptica no cérebro.
2. Redes Neurais Artificiais com Feedback
A rede neural artificial (ANN) mais comum em uso é
provavelmente a chamada rede de retropropagação.
No entanto, este sistema pode não se adaptar facilmente à
função cerebral e não será considerado aqui. Em vez disso,
focaremos nossa atenção em uma RNA conhecida como recorrente [2].
Esta é uma rede não supervisionada. Inclui feedback como uma
parte importante do funcionamento. A principal propriedade
dessa rede é sua capacidade de servir como um sistema de
entrada-saída de um para um. É um sistema computacional de
três camadas.
A Figura 1 mostra parte da rede com uma entrada, uma
visível e duas unidades ocultas . Os sinais da unidade de
entrada são copiados para a unidade visível e alimentados para
as unidades ocultas após a aplicação apropriada dos fatores de
ponderação Wij. Novos sinais das unidades ocultas são
realimentados para a unidade visível após um novo conjunto de
fatores de ponderação ter sido aplicado. A saída da unidade
visível é então comparada com o sinal original e um erro é
estabelecido como a diferença entre os dois sinais.
As alterações dos fatores de ponderação são então calculadas
proporcionalmente ao erro. Este processo completo constitui um
período de ciclo de cálculos. Em geral, um grande número de
períodos de ciclagem é necessário para que o erro se aproxime
do nível zero. Obviamente , ocorrem situações em que esse
resultado não é possível de ser alcançado.
Na presente investigação, uma rede recorrente foi aplicada
e utilizada em um Macintosh, modelo Quadra 850 . Esta rede
está disponível comercialmente no pacote de software
Neuralware, Neuralworks Professional IVPlus [4] sob o nome de
rede recirculante [5].
O objetivo da rede neural é construir na camada oculta uma
representação interna dos dados apresentados na camada de
entrada. A compressão de dados é obtida se o número de
unidades na camada oculta for menor que o número de unidades
na camada de entrada. Para um determinado número de
unidades na camada de entrada, o número de unidades ocultas
é determinado por experimentação de computador.
1580
Machine Translated by Google
Em tais experimentos, o número de unidades ocultas é escolhido de
modo que o erro eventualmente se aproxime de zero. As ilustrações
são apresentadas na Fig. 2 e na Fig. 3.
A7
vocês Fora
escondido
visível
dentro
Figura 1. Diagrama esquemático de uma rede
recirculante com uma unidade de entrada e duas
unidades ocultas. Os sinais da unidade de
entrada são copiados para a unidade visível e
então alimentados para as unidades ocultas após
a aplicação dos fatores de ponderação. Novos
sinais das unidades ocultas são realimentados
para a unidade visível após um novo conjunto
de fatores de ponderação ter sido aplicado WI
Uma sequência de letras (A,B,C,D) consistindo na substring
arbitrária CDCCCCCAAABA repetida 15 vezes é apresentada às
unidades de entrada da rede neural. As letras são codificadas em
código binário com A,B,C e D definidas como 001.010.011 e 100,
respectivamente. A sequência é apresentada à RNA em seções de
três letras. Assim , são necessárias 9 unidades de entrada . A
sequência total de entrada, portanto, constitui uma matriz de 9 por
60 números binários . A RNA é então treinada nesta sequência . A
experiência total de aprendizado para a rede neural envolve um
grande número de ciclos de aprendizado , conforme discutido
anteriormente nesta seção. Em gene& 104 ciclos foram aplicados
nos cálculos aqui considerados. O erro, definido como a diferença
entre a saída e a entrada do sistema e mostrado nas figuras como
erro de reconstrução , é registrado aproximadamente a cada 300
ciclos. Um resultado é considerado bem- sucedido se o erro se
aproximar de zero dentro de 1 % em lo4 ciclos.
A Fig. 2 mostra alguns detalhes da rede neural de recirculação.
A arquitetura do diagrama de rede tem quatro camadas, das quais
apenas três são computacionais. A primeira camada é a camada
de entrada e constitui uma entrada
1581
amortecedor. O vetor de entrada para o ciclo de aprendizado atual
é armazenado aqui para comparação, para que o erro de
reconstrução entre a entrada original e a saída possa ser calculado.
A camada visível é , para todos os propósitos práticos , a
primeira camada da rede de recirculação . Essa camada recebe o
vetor de entrada exato que a camada bder de entrada recebe.
A camada de saída é a terceira camada computacional da rede de
recirculação. Os valores desta camada são comparados com os da
camada do buffer de entrada para o cálculo do erro de reconstrução .
O tamanho das caixas no diagrama corresponde ao valor do
sinal de saída daquele nó específico (unidade) com os quadrados
maior e menor correspondendo ao valor de saída 1 e 0,
respectivamente. Observe que os valores de entrada são , por
definição, um ou zero.
As linhas pontilhadas que interligam os nós da rede representam
o COM~OIU ponderado entre eles. A densidade dos pontos que
compõem essas linhas torna -se maior para fatores de ponderação
mais positivos.
O diagrama da Fig. 3 segue o mesmo esquema descrito na
Fig. 2 com o mesmo número de unidades de camada de entrada e
saída (nós), mas com apenas dois nós de camada oculta. Observe
a redução considerável na densidade das interconexões entre os
nós na figura.
Os cálculos mostram que o caso dado na Fig. 3 é o limite inferior
com resultados bem- sucedidos . Assim, uma compressão de
dados de 9/2 é obtida para a sequência testada.
Observe que apenas duas ou três das unidades ocultas na rede
neural da Figura 2 têm saídas grandes. Assim, o resultado do
cálculo com a rede na Fig.3 poderia ter sido antecipado até certo
ponto. Se ocorrer no cérebro um processo de compressão de
dados semelhante ao discutido neste trabalho , isso pode significar
que a redução da densidade sináptica se deve a uma redução no
uso de algumas sinapses semelhante ao fenômeno mostrado na
Fig. 2 e na Fig. 3 .
3. Possíveis Indicadores de Compressão de Dados
no Cérebro
Um efeito impressionante da compactação de dados conforme
ilustrado na Fig. 2 e na Fig. 3 é claramente a diminuição de
COM~OIU na camada oculta. Algo assim é detectável em um
cérebro real ? Vários estudos experimentais indicam que a
densidade de COM~OXE sináptica no córtex cerebral em humanos ,
bem como em outras espécies, muda com a idade [6]. Em humanos,
a densidade sináptica atinge um máximo em aproximadamente três
meses e depois diminui lentamente na velhice [7]. A diminuição das
conexões sinápticas em um indivíduo pode chegar a 30.000 co-
efeitos por segundo [61. A razão para esta diminuição não é clara.
Às vezes, afirma-se que a superprodução e posterior diminuição das
conexões sinápticas é causada por um mecanismo não especificado
que resulta em
Machine Translated by Google
a preservação das sinapses mais eficientes e/ou ativas 181.
Os resultados das computações com modelos cerebrais
simples apresentados na seção anterior indicam que a
diminuição das conexões sinápticas é uma consequência
natural da arquitetura de rede doscombinação
cérebros . com
Isso,aem
ideia
de que uma sinapse não utilizada em nenhum grau é
removida do sistema, causa uma redução na
5
Agradecimentos Er 1
Figura 2. Diagrama de rede neural de
recirculação com nove nós de entrada, oito
nós ocultos e nove nós de saída. O
tamanho das caixas no diagrama corresponde
ao valor do sinal de saída daquele nó específico
com os quadrados maior e menor correspondendo
ao valor de saída 1 e 0, respectivamente. As
linhas pontilhadas representam as conexões
ponderadas entre os nós. O gráfico mostra o
erro da rede neural calculado (erro de
reconstrução) em função do número de ciclos
de aprendizado. O ponto final do gráfico
corresponde a lo4 ciclos. Observe que as
conexões de entrada para os nós ocultos são
desenhadas separadamente das conexões de
saída desses nós para maior clareza de
visualização.
1582
.. ..
..
:::: ....,
Figura 3. Diagrama da rede neural de
recirculação com nove nós de entrada, dois nós
ocultos e nove nós de saída. Detalhes como
na Fig. 2. O erro de rede neural calculado se
aproxima de zero como na Fig. 2 , mas em uma
taxa mais lenta. Observe que as conexões de
entrada para os nós ocultos são desenhadas
separadamente das conexões de saída desses
nós para maior clareza de visualização.
conexões. Assim , a situação da Fig. 2 com duas unidades
ocultas dominantes (# 20 e # 22) se transformará na
situação da Fig. 3, com ambas as situações tendo zero
erro.
4. Discussão _
O modelo utilizado neste estudo é escolhido apenas
para fins ilustrativos e não é necessariamente fiel aos
circuitos detalhados do cérebro. No entanto, acredita -se
que a imagem geral do modelo de rede neural artificial seja
consistente com o funcionamento do cérebro. Assim , a
compressão de dados obtida com o método ANN deve
espelhar os eventos reais no cérebro em algum nível. Isso
pode estar no nível de entrada e a compressão de dados
pode ser considerada como um pré -processador para os
circuitos principais a jusante no cérebro. É bem possível ,
no entanto, que a compressão de dados também ocorra
em estágios posteriores para aumentar a eficiência da manipulação de dados no
Machine Translated by Google
Uma deficiência do modelo ilustrativo é claramente sua falta
de complexidade na forma de número de unidades de entrada .
Em um cérebro real , cada axônio de um neurônio pode formar
milhares de conexões com outros neurônios. A complexidade
do cérebro real é , portanto, consideravelmente mais avançada
do que os modelos de computador simples podem alcançar.
Este parece ser um problema geral que, em princípio, pode ser
enfrentado por sistemas mais avançados com capacidades de
processamento paralelo, como a implementação óptica de redes
neurais [9,10]. As redes neurais ópticas podem fornecer
oportunidades significativas para pesquisas futuras, pois oferecem
a vantagem de processamento paralelo e ampla largura de banda
para comunicação. Além disso, técnicas ópticas como, por
exemplo, hologramas de volume [ 101 têm o potencial de
armazenamento massivo de padrões de interconexão. Todas
essas características dão às redes neurais ideais o potencial de
simular o cérebro mais de perto do que as ANNs existentes .
Embora os resultados aqui apresentados constituam um
passo positivo para a compreensão da relação entre as mudanças
na densidade das conexões sinápticas com a idade e os
possíveis efeitos de compressão de dados que ocorrem à
medida que o cérebro amadurece, muitos aspectos desses
processos ainda não são compreendidos e continuam sendo
uma área importante de pesquisa. .
1553
Referências
[l] Rabbani, M. e Jones, P., Digital Image Commissioning
Techniques, SPIE Optical Engineering Press, Behngham,
WA, 1991.
[2] Haykin, S., Neuml Network, Macmillan College Publislung
Co., Nova York , NY, 1994.
[3] Alvager, T., Smith, T., Vijaj, F., "O uso de redes neurais
artificiais em tecnologias biomédicas", Biomed. Imtru.
& Tech., 28, 1994, p. 315-322.
[4] Neuralware, Inc., Technical Publications Group, Penn Center
West, Pittsburgh, PA, 1993.
[5] Hinton, G. e McClelland, J., “ Representações de
Aprendizagem por Recirculação” em Nwml Information Pm. Syst., (Ed. D.
Anderson), Instituto Americano de Física, Nova York, 1988,
pp. 358-366.
[6] Rakic, P., Bourgeois, JP., Goldman-Rakic, P.,
“Desenvolvimento sináptico do córtex cerebral'', Progress in
Bmin Research, 102, 1994, pp. 227-243. [q Huttenlwher, PR e
De Courten, C., “O desenvolvimento de sinapses no córtex
estriado do homem”, Hum. Neurobiol., 6, 1987, pp. 1-9.
[SI Greenough, WT, Hwang, HF, Gorman, C., "Evidência
para formação de sinapse ativa no córtex visual em ratos
criados em ambiente complexo", Proceedings of the National
Academy of Science, 82(7), 1985, pp. 4549452.
[9] Yu, FTS, “Redes Neurais Ópticas: Arquitetura, Design e
Modelos”, Progress in Optics XYXI 1, (Ed. E. Wolf)
Elsevier Science Publications BV, 1993, p. 61-144.
[lo] Yeh, P., “Optical Computing'', in Introduction to
Photoreactive Nonlinear Optics, Wiley & Sons, New York,
1993, pp. 320-351 . _