5945851-1 Psicologia Conexionista Antonio Roque Aula 3

Do neurnio biolgico ao neurnio das redes neurais artificiais

O objetivo desta aula procurar justificar o modelo de neurnio usado pelas redes
neurais artificiais em termos das propriedades essenciais dos neurnios biolgicos
apresentadas na aula de reviso sobre neurnios.
Modelando um neurnio como um elemento que recebe uma entrada (a corrente) e
fornece uma sada (a freqncia de disparos), a funo F-I pode ser vista como a
funo de transferncia ou ganho do neurnio, que d a sua relao entrada-sada.

Numa situao experimental, in vitro, fcil injetar corrente em um neurnio para

medir sua resposta. Porm, numa situao real, in vivo, um neurnio est recebendo
estmulos de um grande nmero de outros neurnios (e, s vezes, at dele mesmo).
Como fazer para interpretar a noo de funo de transferncia de um neurnio numa
situao em que ele est inserido em uma rede?
Para isso, necessrio darmos uma olhada mais detalhada na maneira como um
neurnio afeta um outro, pela sinapse.
H dois tipos de sinapses, qumicas e eltricas. Vamos considerar apenas a sinapse
qumica, que considerada a mais importante segundo a viso padro que se tem
sobre o sistema nervoso.

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

Uma sinapse qumica padro conecta o axnio do neurnio que envia o estmulo,
chamado de neurnio pr-sinptico, a um dendrito do neurnio que recebe o
estmulo, chamado de neurnio ps-sinptico (veja a figura abaixo).

Quando um potencial de ao chega ao terminal do axnio do neurnio pr-sinptico,

uma srie de eventos acontece:
Canais de clcio na membrana do terminal pr-sinptico se abrem e ons de
Ca2+ entram na clula pr-sinptica;
Os ons de Ca2+ provocam a fuso de vesculas que contm neurotransmissores
com a membrana pr-sinptica, liberando esses neurotransmissores na fenda
sinptica;
Os neurotransmissores se difundem pela fenda sinptica e se ligam a receptores
na membrana do dendrito do neurnio ps-sinptico;
Dependendo do tipo de neurotransmissor, abrem-se canais inicos na
membrana do dendrito ps-sinptico que permitem a entrada de ons que, ou
provocam uma pequena despolarizao local na membrana, ou provocam uma
pequena hiperpolarizao local na membrana;

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

Uma despolarizao local na membrana chamada de potencial ps-sinptico

excitatrio e uma hiperpolarizao local chamada de potencial ps-sinptico
inibitrio;
Um neurnio pr-sinptico sempre libera o mesmo tipo de neurotransmissor: quando
ele provoca uma despolarizao local, o neurnio pr-sinptico chamado de
excitatrio e a sinapse dita excitatria; quando ele provoca uma hiperpolarizao
local, o neurnio pr-sinptico chamado de inibitrio e a sinapse dita inibitria.

Os potenciais ps-sinpticos (excitatrios ou inibitrios) tm duraes muito maiores

que a durao de um potencial de ao. Um potencial ps-sinptico tpico tem uma
fase de subida que leva de 1 a 2 ms e um tempo de decaimento mais lento, que leva
de 3 a 5 ms. A figura abaixo ilustra um potencial ps-sinptico tpico.

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

Um neurnio tpico recebe um grande nmero de sinapses de outros neurnios,

algumas excitatrias e outras inibitrias, atravs da sua arborizao dendrtica. Cada
uma delas gera um potencial ps-sinptico excitatrio ou inibitrio.
muito raro encontrar um potencial de ao gerado em um dendrito. Em geral, eles
so produzidos em uma estrutura denominada cone axnico, que uma regio de alta
densidade de canais de sdio onde o axnio se conecta ao corpo celular.
A cada instante de tempo, os diversos potenciais ps-sinpticos produzidos nos
diferentes pontos da ramificao dendrtica de um neurnio, causados pelas sinapses
que ele recebe de outros neurnios, propagam-se atravs da arborizao dendrtica
em direo ao corpo celular.
Como eles no so potenciais de ao, eles sofrem atenuaes ao longo da sua
propagao. Porm, quando dois potenciais ps-sinpticos excitatrios ou dois
potenciais ps-sinpticos inibitrios se encontram, eles podem se amplificar; j
quando um potencial ps-sinptico excitatrio se encontra com um inibitrio, eles
podem se cancelar.
A figura abaixo ilustra o processo de somao espao-temporal que ocorre na
arborizao dendrtica de um neurnio tpico.

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

Ao se propagar em direo ao soma, os potenciais ps-sinpticos se combinam de

diversas maneiras, gerando um potencial resultante no soma que pode ser visto como
um potencial filtrado a partir dos vrios potenciais ps-sinpticos recebidos num
dado instante de tempo.
Segundo o modelo padro de um neurnio, adotado pelas redes neurais artificiais,
esse potencial somtico resultante que funciona como entrada para o neurnio
produzir uma freqncia de disparos de potenciais de ao.
O Neurnio das Redes Neurais Artificiais
O modelo de neurnio usado pelas redes neurais artificiais est baseado na concepo
de neurnio biolgico apresentada acima: ele uma unidade que recebe muitas
entradas, integra-as segundo alguma regra e fornece uma sada que dada por uma
funo (de transferncia) do valor integrado.
O modelo de neurnio utilizado pelas redes neurais artificiais tem dois estgios de
operao, simbolizados pelo esquema abaixo.

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

No primeiro estgio, ele calcula o chamado nvel de ativao, u, que faz o papel do
potencial resultante no soma de um neurnio biolgico.
O nvel de ativao u dado por uma combinao linear dos sinais de entrada vindos
de outros neurnios, xi, i = 1, ... , n, (anlogos aos potenciais ps-sinpticos) cujos
coeficientes, wi, i = 1, ... , n, so os chamados pesos sinpticos. A esta combinao
linear somado um nmero b, positivo ou negativo, que chamado de limiar de
ativao ou vis (bias) do neurnio.
Os pesos sinpticos so nmeros, positivos ou negativos, dando a fora, ou eficcia,
do acoplamento sinptico entre um neurnio que envia o sinal e o neurnio que o
recebe. Quando o peso w de uma sinapse positivo, ela dita excitatria; quando ele
negativo, ela dita inibitria.
Matematicamente, o vis de um neurnio pode ser tratado como um peso sinptico
extra, w0 = b, que pondera uma entrada constante x0 = +1. Isto torna mais concisa e
simtrica a expresso para o clculo de u,
n

i =1

i =0

u = wi xi + b = wi xi .
No segundo estgio de operao, uma sada calculada em funo do nvel de
ativao u. Esta sada, que um nmero S, dada por uma funo f(u), onde f(x)
chamada de funo de ativao, ou de transferncia, do neurnio.
A converso que o neurnio das redes neurais artificiais faz do nvel de atividade u
para a sada S = f(u) anloga que o modelo padro de neurnio biolgico faz entre
o valor de voltagem local no soma e a sua freqncia de disparos de potenciais de
ao.
Os trs tipos bsicos de funo de ativao f(u) usados pelos modelos de redes
neurais artificiais so:
6

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

Funo degrau (funo de Heaviside):

Funo linear por partes:

Funo sigmoidal (o exemplo usa a chamada funo logstica):

Esses trs tipos de funo de ativao capturam detalhes observados em diferentes

tipos de curvas F-I de neurnios biolgicos. Dependendo do tipo de problema ou
aplicao, uma ou outra delas pode ser mais conveniente de ser usada.

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

Em geral, as curvas F-I dos neurnios biolgicos so no-lineares saturantes e o uso

de uma funo de transferncia sigmoidal o mais recomendado. Do ponto de vista
das aplicaes, o uso de unidades cujas sadas sejam funes no-lineares das suas
entradas (e diferenciveis, como no caso da funo logstica) traz grandes vantagens,
como veremos ao longo do curso.
Porm, para muitas faixas de valores experimentais a resposta em freqncia F de um
neurnio aproximadamente uma funo linear do estmulo I. Nestes casos, uma
funo linear por partes pode ser usada. Ademais, em muitas aplicaes prticas as
unidades lineares funcionam muito bem e so mais simples de serem tratadas
matematicamente.
J uma funo do tipo degrau, embora seja a menos realista das trs, enfatiza o fato
de que a funo de transferncia de um neurnio no-linear. Ela a mais radical
das funes no-lineares, levando a freqncia de disparos de um neurnio
instantaneamente do valor zero para o valor mximo. O seu uso assume que um
neurnio s tem dois estados de disparo possveis: (1) ausncia de disparos, ou (2)
disparando com a freqncia mxima. O uso de um modelo de unidade binria
facilita bastante a anlise matemtica do sistema e permite muitas analogias entre as
redes neurais artificiais e sistemas fsicos.
Por motivos histricos (lembre-se da aula 2), um neurnio cuja funo de ativao
do tipo degrau chamado de neurnio de McCulloch-Pitts.

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

As Redes Neurais Artificiais

A partir do modelo de um neurnio artificial pode-se pensar em construir uma rede
neural artificial (ou simplesmente rede neural, pois a diferena entre ela e um modelo
para redes de neurnios biolgicos est bvia agora). A figura abaixo d um exemplo
de uma rede neural.

As setas indicam as conexes sinpticas entre os neurnios. A cada conexo atribuise um peso sinptico w.
Quando uma rede como a do desenho recebe um padro de entrada, cada um dos
neurnios de entrada recebe uma pequena parte desse padro. Portanto, o padro
apresentado na entrada representado de maneira distribuda pelas unidades de
entrada. Em geral, os neurnios de entrada no executam nenhum tipo de
processamento sobre os sinais que recebem, apenas passando-os adiante.
Cada neurnio de entrada envia sinais para alguns neurnios chamados de escondidos
(ou ocultos). Eles so assim chamados porque so inspirados nos interneurnios do
crebro, aqueles que no esto diretamente conectados com o mundo exterior (nem
pela entrada, nem pela sada). Eles esto escondidos do mundo exterior rede neural.

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

O conjunto dos neurnios escondidos tambm recebe todo o padro de entrada, s

que agora ele est modificado pelos pesos que multiplicam os sinais vindos dos
neurnios de entrada.
Isto faz com que o conjunto dos neurnios escondidos construa uma representao do
padro de entrada diferente da feita pelos neurnios de entrada. Essa representao
codificada pelos nveis de ativao (os valores dos us) dos neurnios escondidos.
As sadas dos neurnios escondidos, que so transformaes (lineares ou nolineares, dependendo das suas funes de transferncia) dos seus nveis de ativao,
so enviadas para os neurnios de sada e tambm multiplicadas por pesos.
Os neurnios de sada combinam toda a informao fornecida pelos neurnios
escondidos e fornecem sadas que, como um todo, correspondem a algum tipo de
operao feita pela rede neural: por exemplo, controlar um movimento, reconhecer ou
classificar um padro, prever o estado futuro de um sistema dado o estado atual, etc.
A maneira com os neurnios de uma rede neural esto conectados entre si chamada
de arquitetura da rede neural. De maneira geral, h dois tipos de arquitetura para uma
rede neural.
1. Com alimentao para frente (feedforward): a caracterstica bsica desse tipo de
rede que ela no apresenta realimentao (feedback). Comeando a partir de
qualquer unidade da rede e seguindo as direes das conexes sinpticas chega-se
a uma das unidades de sada, e esta no est conectada a outra unidade da rede. A
rede neural do exemplo dado anteriormente uma rede desse tipo.
2. Recorrente: a caracterstica bsica deste tipo de rede que pelo menos um dos
neurnios tem um lao de realimentao em que um dos caminhos sinpticos a
partir da sua sada leva de volta a ele. Um exemplo de rede recorrente dado a
seguir.
10

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

Uma classe importante de redes neurais a das que tm arquitetura em camadas. Elas
podem ser do tipo feedforward ou do tipo recorrente (veja abaixo).

Note que a camada dos neurnios de entrada no contada como uma das camadas
da rede. Isto porque os neurnios de entrada no executam qualquer operao sobre o
padro de entrada que apresentado rede. Eles apenas o representam de uma
maneira distribuda. A operao propriamente dita de uma rede neural comea na
camada seguinte de entrada, quando os sinais de entrada so multiplicados por
pesos e somados para gerar os nveis de ativao dos neurnios dessa camada.
Dada uma rede neural, com uma certa arquitetura e formada por neurnios lineares
ou no-lineares, o seu objetivo est em executar uma determinada funo, como, por
exemplo, reconhecer padres, modelar uma ao etc.

11

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

Uma rede neural biolgica (o nosso crebro, por exemplo) no nasce sabendo
executar todas as funes que ela tem potencial para executar. necessrio um
perodo de aprendizado para tal.
Em geral, as redes neurais biolgicas aprendem a partir de exemplos: vrios
exemplos vo sendo apresentados rede biolgica at que, em algum momento, ela
consegue generalizar e aprender a regra que est por trs deles.
Acredita-se que um dos mecanismos responsveis pelo aprendizado biolgico esteja
associado a modificaes nas eficcias das sinapses ocorrendo durante o processo de
aprendizagem (lembre-se da aula 2). Essas modificaes se manifestariam, por
exemplo, em termos de um nmero maior ou menor de vesculas que se fundiriam
com a membrana neuronal pr-sinptica, ou em termos de um aumento ou diminuio
no nmero de canais inicos na membrana ps-sinptica.
O nome que se d a uma modificao na eficcia de uma sinapse plasticidade
sinptica.
No caso das redes neurais artificiais, as eficcias sinpticas so representadas pelos
pesos wij conectando os neurnios entre si.
A maneira como se faz para que uma rede neural artificial execute uma dada tarefa
com um desempenho satisfatrio , por analogia com o mecanismo biolgico, atravs
de um perodo de aprendizado a partir de exemplos. Durante esse perodo de
aprendizado, os pesos sinpticos wij so modificados de acordo com alguma regra
(um algoritmo) visando o aprimoramento do desempenho da rede neural na execuo
da tarefa.

12

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

H basicamente dois tipos de aprendizado em redes neurais: supervisionado e nosupervisionado. A figura a seguir ilustra estes dois tipos de aprendizado.

No aprendizado supervisionado, h um perodo de treinamento ou aprendizado em

que padres retirados de uma base de treinamento so apresentados rede neural,
um por vez. Existe tambm um professor, que recebe os mesmos padres que a
rede neural. O professor conhece as respostas corretas para cada padro de entrada,
chamadas de sadas desejadas da rede neural. Para cada padro apresentado em sua
entrada, a rede neural fornece uma resposta na sada. Essa resposta comparada com
a resposta desejada fornecida pelo professor. Se as duas forem iguais, nada feito e
passa-se para o prximo padro. Porm, se houver diferena entre a resposta desejada
e a sada da rede, um sinal de erro enviado rede neural e os seus pesos sinpticos
so modificados em funo desse sinal de erro.
Este processo repetido para cada um dos padres da base de treinamento. Quando
todos os padres da base de treinamento tiverem sido apresentados rede neural,
dizemos que uma poca de treinamento foi concluda.
Em geral, vrias pocas de treinamento so necessrias para que a rede neural
aprenda a fornecer as respostas corretas para os padres de treinamento.

13

5945851-1 Psicologia Conexionista Antonio Roque Aula 3

Com o processo de aprendizado supervisionado, podemos dizer que a rede neural cria
um modelo para reproduzir as regras de associao entre padres de entrada e
desejados ensinadas pelo professor. A rede cria um modelo do professor. Como
esse modelo aprendido a partir dos casos existentes na base de treinamento, ele ser
tanto melhor quanto mais representativos do ambiente forem os casos escolhidos.
Sob este ponto de vista, uma rede neural pode ser vista como uma ferramenta
estatstica para o aprendizado das regras de associao entre os padres de entrada do
ambiente e as respostas desejadas propostas pelo professor.
Por outro lado, no aprendizado no-supervisionado a rede neural no tem um
professor para lhe forar a dar as respostas que ele considera desejveis. Na ausncia
de um modelo a seguir, a rede vai alterando os seus pesos sinpticos segundo regras
pr-estabelecidas que se baseiam apenas nos padres de entrada e nos valores dos
seus pesos. Dizemos que a rede neural se auto-organiza. Um exemplo de regra de
aprendizado no-supervisionado a regra de Hebb, vista na aula 2.
No caso no-supervisionado, a auto-organizao da rede neural pode lev-la ou no a
fornecer respostas adequadas aos padres de entrada vindos do ambiente. Como uma
rede neural , em geral, vista como uma ferramenta para gerar respostas teis para o
ser humano, a adequao das respostas da rede ser medida pela utilidade delas em
alguma tarefa especfica.
Pode-se tambm estar interessado em estudar as respostas de uma rede neural
treinada de uma maneira no-supervisionada para ver se elas so similares s
observadas em experimentos de aprendizado com animais e humanos. Neste caso,
no se estar dando tanta importncia utilidade prtica das respostas, mas sim
capacidade das regras de auto-organizao da rede em capturar elementos das regras
de

aprendizado

existentes

nos

seres

vivos

(por

exemplo,

pr-definidas

geneticamente).
14