Redes neurais e sua aplicao em sistemas de

recuperao de informao
Edberto Ferneda
Professor doutor do curso de cincias da informao e
Documentao da Faculdade de Filosofia Cincias e Letras de
Ribeiro Preto USP
E-mail: ferneda@ffclrp.usp.br
Resumo
Redes neurais constituem um campo da cincia da
computao ligado inteligncia artificial, buscando
implementar modelos matemticos que se assemelhem s
estruturas neurais biolgicas. Nesse sentido, apresentam
capacidade de adaptar os seus parmetros como resultado
da interao com o meio externo, melhorando gradativamente
o seu desempenho na soluo de um determinado problema.
A utilizao de redes neurais em sistemas computacionais
de recuperao de informao permite atribuir um carter
dinmico a tais sistemas, dado que as representaes dos
documentos podem ser reavaliadas e alteradas de acordo
com a especificao de relevncia atribuda pelos usurios
aos documentos recuperados. O presente trabalho apresenta
as principais iniciativas de se aplicarem os conceitos de
redes neurais aos sistemas de recuperao de informao e
avalia sua aplicabilidade em grandes bases documentais,
como o caso da Web.
Palavras-chave
Redes neurais. Recuperao de informao. Sistemas
adaptativos.
Neural networks and its application in
information retrieval systems
INTRODUO
Sabe-se que o crebro composto de bilhes de
neurnios. Um neurnio uma clula formada por trs
sees com funes especficas e complementares: corpo,
dendritos e axnio. Os dendritos captam os estmulos
recebidos em um determinado perodo de tempo e os
transmitem ao corpo do neurnio, onde so processados.
Quando tais estmulos atingirem determinado limite, o
corpo da clula envia novo impulso que se propaga pelo
axnio e transmitido s clulas vizinhas por meio de
sinapses. Este processo pode se repetir em vrias camadas
de neurnios. Como resultado, a informao de entrada
processada, podendo levar o crebro a comandar reaes
fsicas. A figura 1 ilustra de forma simplificada as partes
de um neurnio.
A habilidade de um ser humano em realizar funes
complexas e principalmente a sua capacidade de aprender
advm do processamento paralelo e distribudo da rede
de neurnios do crebro. Os neurnios do crtex, a
camada externa do crebro, so responsveis pelo
processamento cognitivo. Um novo conhecimento ou
uma nova experincia pode levar a alteraes estruturais
no crebro. Tais alteraes so efetivadas por meio de um
rearranjo das redes de neurnios, reforando ou inibindo
algumas sinapses (HAYKIN, 2001, p.32-36).

Abstract A busca por um modelo computacional que simule o

funcionamento das clulas do crebro data dos anos 40,
Neural networks are a field of Computer Science related to
Artificial Intelligence. The field aims at implementing
mathematical models that are similar to biological neural FIGURA 1
structures. It is also capable of adapting its parameters as a
result of interactions with the external environment, gradually
Representao simplificada de um neurnio
improving their performance in the solution of a particular
task. By using neural networks in computer information
retrieval systems one can assign a dynamic character to
those systems by allowing the representation of documents to
be reevaluated and modified according to specifications of Axnio
relevance attributed by users to retrieved documents. This
work presents the main initiatives in applying neural networks
concepts to information retrieval systems and evaluates its Dendritos Corpo Terminais
applicability to large document databases as is the case of sinpticos
the Web.

Keywords

Neural networks. Information retrieval. Adaptive systems.

Ci. Inf., Braslia, v. 35, n. 1, p. 25-30, jan./abr. 2006 25

 Edberto Ferneda
c o m o t r a b a l h o d e M c C u l l o c h e P i t t s ( 1 9 4 3).
O entusiasmo pela pesquisa neste campo cresceu durante
os anos 50 e 60. Nesse perodo, Rosenblatt (1958) props
um mtodo inovador de aprendizagem para as redes
neurais artificiais denominado percepton. At 1969,
muitos trabalhos foram realizados utilizando o percepton
como modelo. No final dos anos 60, Minsky e Pappert
(1969) publicam um livro no qual apresentam importantes
limitaes do perceptron. As dificuldades metodolgicas e
tecnolgicas, juntamente com os ataques extremamente
pessimistas de Papert e Minsky, fizeram com que as
pesquisas arrefecessem nos anos seguintes. Durante os anos
70, a pesquisa contava apenas com um nmero nfimo de
cientistas. Porm, durante os anos 80, o entusiasmo
ressurge graas a avanos metodolgicos importantes e ao
aumento dos recursos computacionais disponveis.
O modelo de neurnio artificial da figura 2 uma
simplificao do modelo apresentado por Haykin (2001,
p. 36).
FIGURA 2
Modelo matemtico de um neurnio
Este modelo composto por trs elementos bsicos:
um conjunto de n conexes de entrada (x1, x2, ..., xn),
caracterizadas por pesos (p1, p2, ..., pn);
um somador (6) para acumular os sinais de entrada;
uma funo de ativao (M) que limita o intervalo
permissvel de amplitude do sinal de sada (y) a um valor
fixo.
O comportamento das conexes entre os neurnios
simulado por meio de seus pesos. Os valores de tais pesos
podem ser negativos ou positivos, dependendo de as
conexes serem inibitrias ou excitatrias. O efeito de
um sinal proveniente de um outro neurnio
determinado pela multiplicao do valor (intensidade)
do sinal recebido pelo peso da conexo correspondente
(xi pi). efetuada a soma dos valores xi pi de todas as
26
conexes, e o valor resultante enviado para a funo de
ativao, que define a sada (y) do neurnio.
Combinando diversos neurnios, forma-se uma rede
neural artificial. As redes neurais artificiais so modelos
que buscam simular o processamento de informao do
crebro humano. So compostas por unidades de
processamentos simples, os neurnios, que se unem por
meio de conexes sinpticas.
De uma forma simplificada, uma rede neural artificial
pode ser vista como um grafo onde os ns so os neurnios
e as ligaes fazem a funo das sinapses, como
exemplificado na figura 3.
FIGURA 3
Representao simplificada de uma rede neural artificial
As redes neurais artificiais se diferenciam pela sua
arquitetura e pela forma como os pesos associados s
conexes so ajustados durante o processo de aprendizado.
A arquitetura de uma rede neural restringe o tipo de
problema no qual a rede poder ser utilizada, e definida
pelo nmero de camadas (camada nica ou mltiplas
camadas), pelo nmero de ns em cada camada, pelo tipo
de conexo entre os ns (feedforward ou feedback) e por
sua topologia (HAYKIN, 2001, p. 46-49).
Uma das propriedades mais importantes de uma rede
neural artificial a capacidade de aprender por intermdio
de exemplos e fazer inferncias sobre o que aprendeu,
melhorando gradativamente o seu desempenho. As redes
neurais utilizam um algoritmo de aprendizagem cuja tarefa
ajustar os pesos de suas conexes (BRAGA;
CARVALHO; LUDEMIR, 2000, cap. 2).
Existem duas formas bsicas de aprendizado de redes
neurais: aprendizado supervisionado e aprendizado no-
supervisionado. No aprendizado supervisionado, um
agente externo (professor) apresenta rede neural alguns
conjuntos de padres de entrada e seus correspondentes
padres de sada. Portanto, necessrio ter um
Ci. Inf., Braslia, v. 35, n. 1, p. 25-30, jan./abr. 2006
 Redes neurais e sua aplicao em sistemas de recuperao de informao
conhecimento prvio do comportamento que se deseja
ou se espera da rede. Para cada entrada, o professor indica
explicitamente se a resposta calculada boa ou ruim.
A resposta fornecida pela rede neural comparada
resposta esperada. O erro verificado informado rede
para que sejam feitos ajustes a fim de melhorar suas futuras
respostas.
Na aprendizagem no supervisionada, ou aprendizado
auto-supervisionado, no existe um agente externo para
acompanhar o processo de aprendizado. Neste tipo de
aprendizagem, somente os padres de entrada esto
disponveis para a rede neural. A rede processa as entradas
e, detectando suas regularidades, tenta progressivamente
estabelecer representaes internas para codificar
caractersticas e classific-las automaticamente. Este tipo
de aprendizado s possvel quando existe redundncia
nos dados de entrada, para que se consiga encontrar
padres em tais dados.
REDES NEURAIS NA RECUPERAO DE
INFORMAO
De uma forma simplificada, a recuperao de informao
lida com documentos, termos de indexao e as
expresses de buscas dos usurios. Pode-se dizer que,
em um sistema de recuperao de informao, de um
lado esto as expresses de busca, do outro lado esto os
documentos e no centro esto os termos de indexao.
Essa estrutura pode ser vista como uma rede neural de
trs camadas: a camada de termos de busca seria a camada
de entrada da rede neural, a camada de documentos seria
a sada, e a camada de termos de indexao seria uma
camada central. A figura 4 mostra um exemplo genrico
da aplicao das redes neurais na recuperao de
informao.
FIGURA 4
Representao de rede neural aplicada recuperao
de informao
Ci. Inf., Braslia, v. 35, n. 1, p. 25-30, jan./abr. 2006
Os termos de busca (t1, t7, t3, t9) iniciam o processo de
inferncia mediante a ativao dos respectivos termos
de indexao. Alguns termos da expresso de busca
podem no fazer parte do conjunto de termos de
indexao, como o caso do termo t7 e t9. Nesse caso,
esses termos no ativaro nenhum termo de indexao
e, portanto, no sero considerados durante o processo
ativao da rede. Os termos de indexao ativados pelos
de termos de busca enviam sinais para os documentos.
Estes sinais sero multiplicados pelos pesos de cada
ligao (p1,1, p1,2, ..., pn,m ). Os documentos ativados enviam
sinais que so conduzidos de volta aos termos de
indexao. Ao receberem estes estmulos, os termos de
indexao enviam novos sinais aos documentos,
repetindo o processo. Os sinais tornam-se mais fracos a
cada iterao, e o processo de propagao eventualmente
pra. O resultado final de uma busca ser um conjunto
dos documentos que foram ativados, cada qual com um
nvel ativao que pode ser interpretado como o grau de
relevncia do documento em relao busca do usurio.
Entre os documentos resultantes, podem aparecer alguns
que no esto diretamente relacionados aos termos
utilizados na expresso de busca, mas que foram inferidos
durante a pesquisa e possuem certo grau de relacionamento
com a necessidade de informao do usurio. A ativao
do termo de indexao t1, por exemplo, ativou a conexo
com o documento d1. O documento d1, por sua vez, ativou
o termo t2, que no fazia parte do conjunto de termos de
busca. O termo t2 poder ativar o documento dm, que,
dependendo do seu grau de ativao, pode vir a fazer parte
do conjunto de documentos recuperados.
Mozer (1984) foi o pioneiro na utilizao de tcnicas de
redes neurais na recuperao de informao. Ele utilizou
uma arquitetura bastante simples que no empregava uma
das principais caractersticas das redes neurais, que a
capacidade de aprender. A figura 5 mostra um exemplo
apresentado por Ford (1991, p.108), que utiliza a
arquitetura de rede neural idealizada por Mozer.
FIGURA 5
Exemplo de rede neural utilizando arquitetura de Mozer
27

As linhas contnuas representam ligaes excitatrias
entre os termos de indexao e os documentos. As linhas
pontilhadas, que ligam pares de documentos,
representam ligaes inibitrias, isto , ligaes que
reduzem a fora de associao entre os ns. Os termos de
indexao ativam os documentos que so indexados por
eles e vice-versa. Um documento, ao ser ativado, reduz o
nvel de ativao dos demais documentos.
Utilizando uma expresso de busca que contm os termos
programao e lingstica, por exemplo, a rede neural
da figura 5 apresentar a seguinte seqncia de ativao:
1. Inicialmente sero ativados os ns correspondentes
aos termos de busca (programao e lingstica).
O termo programao ir ativar o documento d2, e o
termo lingstica ativar os documentos d4 e d5:
2. O documento d2 ativar todos os termos de indexao
usados para index-lo: programao e computadores.
Assim, o termo programao reforado, e o termo
computadores ativado pela primeira vez. Os
documentos d4 e d5 ativaro o termo linguagem e
reforaro a ativao do termo lingstica. O documento
d5 ativar tambm o termo cognio:
28
Edberto Ferneda
3. O termo computadores ativar os documentos
indexados por ele. Assim, o documento d2 reforado, e
o documento d1 ativado. O termo linguagem reforar
a ativao dos documentos d4 e d5 e tambm o documento
d1. O termo cognio ativar o documento d3.
Este processo se propagar at a estabilizao da rede
neural, quando cessam as ativaes entre seus ns.
O nvel de ativao de cada documento representar a
sua relevncia em relao expresso de busca. No
exemplo, os documentos d2, d4 e d5, que foram ativados
diretamente pelos termos de busca, tero um nvel de
ativao maior do que o documento d3, que indexado
por apenas um termo (cognio) e que foi indiretamente
ativado durante a busca.
Para que sejam apresentados resultados satisfatrios, os
parmetros da rede neural (pesos das conexes, funes
de ativao etc.) devem ser configurados de forma precisa.
Porm, o sistema pode compensar algumas
inconsistncias na indexao e at possveis imprecises
nas expresses de busca dos usurios. Mozer (1984)
enfatiza que a grande vantagem deste modelo a
habilidade em produzir resultados no esperados,
recuperando documentos que no possuem nenhum
termo em comum com a expresso de busca, mas, mesmo
assim, podem vir a ser relevantes para o usurio. No
exemplo apresentado, em resposta expresso de busca
contendo os termos programao e lingstica.
O documento d 1, que indexado pelos termos
computadores e linguagem, obteve tambm certo nvel
de ativao (FORD, 1991, p.109).
Na arquitetura proposta por Mozer, as ligaes entre os
documentos so inibitrias, isto , um documento,
quando ativado, reduz o nvel de ativao dos demais
documentos. Isso causa uma competio entre os
documentos, fazendo com que apenas os documentos
mais ativados durante o processo de busca sejam
efetivamente recuperados, reduzindo assim o nmero de
documentos resultantes.
Ci. Inf., Braslia, v. 35, n. 1, p. 25-30, jan./abr. 2006
 Redes neurais e sua aplicao em sistemas de recuperao de informao
Ao final do processo de pesquisa, o grau de ativao de
cada documento pode ser utilizado como critrio de
ordenamento dos itens resultantes. Os documentos com
maior nvel de ativao so geralmente aqueles que
possuem todos os termos utilizados na expresso de busca,
seguidos dos documentos que possuem somente alguns
dos termos de busca e dos que foram apenas inferidos
durante o processo de pesquisa.
Bein e Smolensky (1988) implementaram e testaram esse
modelo de rede neural proposta por Mozer utilizando
12.990 documentos e 6.832 termos de indexao. Eles
avaliaram os resultados apresentados como satisfatrios
e sugeriram novos testes utilizando bases de dados maiores
e com caractersticas diversas.
Como foi observado anteriormente, o modelo proposto
por Mozer no utiliza uma das caractersticas mais fortes
das redes neurais: a habilidade de aprender por meio da
alterao dos pesos associados s ligaes entre os ns.
Um sistema mais recente que explora tal habilidade das
redes neurais o sistema AIR.
Desenvolvido por Belew (1989), o sistema Adaptative
Information Retrieval (AIR) utiliza uma arquitetura de
rede neural composta de trs camadas que representam
os termos de indexao, os documentos e os seus autores.
As ligaes so feitas entre os documentos e seus autores
e entre documentos e seus termos de indexao, como
apresentado na figura 6.
FIGURA 6
Arquitetura de rede neural do sistema AIR
Uma busca pode ser expressa no apenas pela ativao
dos termos de indexao, mas por qualquer tipo de n
(autor documento ou termo de indexao), ou por alguma
combinao deles. Durante a pesquisa, feita a ativao
dos ns da rede e, quando o sistema se estabiliza, os ns e
as ligaes que foram inferidos so apresentados ao
usurio. O sistema AIR fornece uma interface apropriada
Ci. Inf., Braslia, v. 35, n. 1, p. 25-30, jan./abr. 2006
para que o usurio possa atribuir um grau de relevncia
para cada um dos itens recuperados. Este feedback
utilizado na aprendizagem da rede neural, que modifica
os pesos associados s conexes entre seus ns, buscando
adaptar a rede s necessidades de informao dos usurios.
Portanto, o sistema AIR (BELEW, 1989) permite uma
participao ativa de seus usurios por meio da atribuio
de relevncia aos resultados obtidos em suas buscas. Essa
interao responsvel por mudanas estruturais na rede
neural artificial utilizada pelo sistema e pode ser vista
como um processo contnuo de aprendizagem e adaptao
do sistema aos interesses de seus usurios, resultando
presumivelmente em melhoria progressiva de seu
desempenho.
Essa adaptabilidade, porm, permite inferir que este tipo
de aplicao das redes neurais s possvel em ambientes
nos quais os usurios possuam interesses comuns, para
que seja possvel ao sistema convergir para um
desempenho timo. Assim, em um ambiente tipicamente
heterogneo como a Web, esta forma de aplicao das
redes neurais s seria vivel em sistemas com domnio
bem especfico e restrito, como, por exemplo, uma
biblioteca digital especializada ou em sistemas de
recuperao de informao ligados a grupos de pesquisa
em determinadas reas do conhecimento.
Portanto, as idias apresentadas por Mozer (1984) e por
Belew (1989) sofrem algumas restries quando inseridas
no ambiente web. No entanto, existem outras formas de
aplicao desenvolvidas especificamente para o ambiente
web no qual tais restries inexistem, como ser
exemplificado na prxima seo.
REDES NEURAIS NO AMBIENTE WEB
A recuperao de informao no complexo ambiente da
Internet relativamente facilitada pelos mecanismos de
busca (search engines), que coletam e indexam uma parte
da imensa quantidade de pginas disponveis na Web.
Para facilitar a seleo dos itens recuperados, a maioria
dos mecanismos de busca realiza um ordenamento dos
resultados, utilizando algum algoritmo que tenta predizer
a relevncia de cada item para a necessidade de informao
do usurio. As primeiras referncias so presumivelmente
mais relevantes do que as ltimas.
Cada mecanismo de busca utiliza seu prprio algoritmo
para a coleta e indexao de pginas. Como decorrncia
desta diversidade, para uma mesma expresso de busca,
os resultados apresentados pelos diferentes mecanismos
podem variar consideravelmente. Pode-se supor, ento,
29
 Edberto Ferneda
que a combinao de vrios mecanismos de busca pode
aumentar a rea de cobertura da Web e,
conseqentemente, permitir obter resultados mais
completos do que um mecanismo de busca tomado
isoladamente. Esta combinao de vrios mecanismos
de busca denominada metabuscador (metasearch engine).
Um metabuscador obtm os resultados de diferentes
mecanismos de busca e, aps retirar as referncias
repetidas, apresenta as pginas ordenadas e em uma
interface adequada.
Os metabuscadores ampliam consideravelmente a
abrangncia das buscas na Web. Porm, como se apiam
nos recursos oferecidos por um conjunto de mecanismos
de busca, os metabuscadores herdam deles todas as suas
limitaes.
Com o objetivo de melhorar, na Web, a preciso das
buscas, Shu e Kak (1999) implementaram um
metabuscador que se apia em quatro mecanismos de
busca: Yahoo, Excite, Infoseek e WebCrawler. Aps a
execuo de uma busca, os resultados de cada um desses
mecanismos so ordenados utilizando um algoritmo de
classificao baseado em uma rede neural. Este algoritmo
o principal componente do metabuscador denominado
Anvish. Para o treinamento da rede neural, o Anvish
utiliza as duas primeiras pginas do resultado de cada
mecanismo de busca como exemplo de respostas
relevantes. As duas ltimas pginas so apresentadas
rede neural como exemplo de respostas no relevantes.
Uma vez terminado este processo de aprendizagem, o
Anvish apresenta as referncias em ordem decrescente
de relevncia, baseando-se no que foi aprendido.
Resultados experimentais mostraram que o Anvish
apresenta um desempenho significativamente superior
maioria dos metabuscadores que utilizam processos
estatsticos (SHU; KAK, 1999).
CONCLUSO
A utilizao das redes neurais artificiais em sistemas de
recuperao de informao permite atribuir a tais
sistemas um carter dinmico. Esta dinamicidade pode
ser implementada mediante a participao ativa dos
usurios em um processo contnuo de representao dos
documentos do corpus ou mediante a aprendizagem de
certas condies especficas no contexto de uma nica
busca, como o caso do metabuscador Anvish.
30
Assim como as redes neurais, diversas outras idias e
conceitos desenvolvidos pela cincia da computao
podem ser utilizados no tratamento e recuperao da
informao. Porm, desejvel que essas idias sejam
implementadas e avaliadas levando-se em conta os
avanos tericos e metodolgicos j realizados pelos
processos documentrios no mbito da cincia da
informao.
Os mtodos e tcnicas desenvolvidos pela cincia da
computao devem ser continuamente estudados e at
absorvidos pela cincia da informao. Porm, o
profissional da informao deve ter sempre em mente
que a cincia da informao no poder ser desenvolvida
no vazio cultural de um sistema de raciocnio algortmico.
Artigo submetido em 14/06/2006 e aceito em 10/07/2006.
REFERNCIAS
BEIN, J.; SMOLENSKY, P. Application of the interactive activation model
to document retrieval. Colorado: University of Colorado at Boulder,
Department of Computer Science, 1988. (Technical Report CU-CS-
405-88).
BELEW, R. K. Adaptive information retrieval. In: ANNUAL
INTERNATIONAL ACM SIGIR CONFERENCE ON RESEARCH
AND DEVELOPMENT IN INFORMATION RETRIEVAL, 12. , 1989,
Cambridge. Proceedings... Cambridge: ACM, 1989. p.11-20.
BRAGA, A. P.; CARVALHO, A. C. P. L. F.; LUDEMIR, T. B. Redes
neurais artificiais: teoria e aplicaes. Rio de Janeiro: LTC, 2000.
FORD, N. Expert systems and artificial intelligence: an information
managers guide. London: Library Association Publishing, 1991.
HAYKIN, S. Redes neurais: princpios e prtica. Porto Alegre: Bookman,
2001.
MCCULLOCH, W. S.; PITTS, W. H. A logical calculus of the ideas
immanent in nervous activity. Bulletin of Mathematical Biophysics, n. 5,
p.115-133, 1943.
MINSKY, M. L.; PAPPERT, S. Perceptron: an introduction to
computational geometry. Cambridge: MIT Press, 1969.
MOZER, M.C. Inductive information retrieval using parallel distributed
computation. San Diego: University of California, 1984. (ICS Technical
Report 8406).
ROSENBLATT, F. The perceptron: a probabilistic model for
information storage and retrieval in the brain. Psychological Review,
v. 65, p. 386-408, 1958.
SHU, B.; KAK, S. A neural network-based intelligent metasearch
engine. Information Sciences, v. 120, n. 1-4, p. 1-11, 1999.
Ci. Inf., Braslia, v. 35, n. 1, p. 25-30, jan./abr. 2006