Rna C2 PDF

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica
Redes Neurais Artificiais

Fernando Csar C. de Castro e Maria Cristina F. de Castro
Captulo 2
Processos de Aprendizado
A propriedade mais significativa de uma Rede Neural Artificial certamente a
habilidade de aprender a partir do seu ambiente e melhorar seu desempenho atravs do
aprendizado.
A melhora no desempenho de uma RNA ocorre ao longo do aprendizado, de acordo
com critrios especficos adotados para atingir tal propsito.
O problema do aprendizado em RNAs simplesmente o problema de encontrar,
atravs de um processo interativo (relativo a uma aplicao na qual cada entrada provoca
uma resposta) e iterativo (reiterado) um conjunto de parmetros livres que possibilite rede
o desempenho desejado. Visto de uma forma ideal, o conhecimento de uma RNA sobre o
ambiente em que est inserida deve aumentar a cada iterao do processo de aprendizagem.
Uma interessante definio de aprendizado no contexto de redes neurais
apresentada por Haykin em [3]:
Aprendizagem um processo pelo qual os parmetros livres de uma

RNA so adaptados atravs de um processo de estimulao do ambiente no
qual a rede est inserida. O tipo de aprendizagem determinado pela forma
atravs da qual efetuada a mudana nos parmetros.
Esta definio implica nos seguintes eventos seqenciais:
1. A rede estimulada pelo ambiente;
2. A rede sofre mudanas nos seus parmetros livres como
resultado deste estmulo;
3. A rede responde de uma forma nova ao ambiente devido s
mudanas que ocorreram em sua estrutura interna.
-1-

Um algoritmo de aprendizagem um conjunto de regras definidas para a soluo do

problema de aprendizado. Vrios algoritmos de aprendizagem so utilizados no projeto de
RNAs, cada um deles possuindo caractersticas e vantagens especficas.
As duas formas bsicas de aprendizagem (referidas na literatura especfica de RNAs
como paradigmas de aprendizagem) so: o aprendizado atravs de um tutor (aprendizado
supervisionado) e o aprendizado sem um tutor (aprendizado no-supervisionado). H ainda
uma terceira forma de aprendizagem que utiliza um crtico (ou juiz) e chamada
aprendizagem por reforo.
2.1 Aprendizado Supervisionado

O aprendizado supervisionado o aprendizado obtido por meio de um tutor. A
Figura 2.1 apresenta o diagrama de blocos representativo deste tipo de aprendizado. O tutor
detm o conhecimento do ambiente, o qual a rede neural desconhece. Um conjunto de
exemplos entrada/sada representa este conhecimento.
Figura 2.1: Diagrama de Blocos representativo do aprendizado por meio de um tutor.
-2-

No processo de construo do conhecimento, a RNA exposta a um vetor de treino

extrado do ambiente e o tutor prov rede uma resposta desejada para este especfico vetor
de treino.
A resposta desejada , portanto, o resultado timo que a rede deveria apresentar para
aquele determinado vetor do conjunto de treino.
Os parmetros da rede so ajustados de forma iterativa, passo a passo, atravs da
influncia combinada do vetor de treino e do sinal de erro. O sinal de erro definido como
a diferena entre a resposta desejada e a resposta efetivamente obtida da rede. Desta forma,
o quanto possvel do conhecimento do ambiente disponvel ao tutor transferido para a
RNA, durante o treinamento. Quando esta condio atingida, o tutor dispensado e a rede
passa a lidar com o ambiente por si s.
O processo acima descrito define o Aprendizado por Correo do Erro que iremos
tratar na Seo 2.1.2 deste Captulo. O sistema possui um elo fechado de realimentao
(closed-loop feedback), mas o ambiente desconhecido no faz parte do elo.
Como forma de avaliar o desempenho de tal sistema pode-se considerar o erro
mdio quadrtico (MSE: Mean Square Error) ou a soma dos erros quadrticos sobre o
conjunto de treino, definida como uma funo dos parmetros livres do sistema.
2.1.1 Superfcies de Erro

A funo dos parmetros livres do sistema utilizada para avaliar sua performance
pode ser vista como uma superfcie de desempenho de erro multidimensional (denominada
simplesmente Superfcie de Erro), tendo os parmetros livres como coordenadas. A
superfcie de erro, na verdade, uma superfcie mdia sobre todos os possveis exemplos
entrada/sada.
Qualquer operao do sistema sob a superviso do tutor representada como um
ponto sobre a superfcie de erro.
Para que o sistema melhore seu desempenho ao longo do tempo e, portanto, aprenda
a partir do tutor, o ponto de operao tem que se mover sucessivamente em direo ao
ponto de mnimo da superfcie de erro.
-3-

Uma caracterstica extremamente importante a observar que este ponto de mnimo

pode ser um ponto de mnimo local ou um ponto de mnimo global, conforme ilustrado na
Figura 2.2.
Figura 2.2: Superfcie de Erro apresentando um ponto de mnimo local e um ponto de

mnimo global.
Na elaborao de algoritmos para treinamento de RNAs necessrio que sejam
tomados alguns cuidados para que o ponto de operao no fique preso em um mnimo
local. Tal fato ir comprometer o desempenho do algoritmo, pois mascara o resultado,
fazendo parecer que foi encontrado o desejado mnimo global. Artifcios para escapar desta
armadilha sero comentados ao longo dos prximos captulos.
Um sistema de aprendizado supervisionado executa esta operao (descer em
direo ao ponto de mnimo) a partir da informao do gradiente da superfcie de erro
associada ao comportamento do sistema. O gradiente de uma superfcie de erro em
qualquer ponto o vetor que, partindo deste ponto, aponta na direo de descida mais
ngreme (steepest descent).
Existindo um algoritmo adequadamente projetado para minimizar a funo de
custo, um apropriado conjunto de exemplos entrada/sada e tempo suficiente para o
-4-

treinamento, um sistema supervisionado de aprendizado usualmente capaz de

desempenhar tarefas como classificao de padres e aproximao de funes.
2.1.2 Aprendizado por Correo do Erro

Consideremos o caso simples de um neurnio k constituindo o nico n
computacional na camada de sada de uma RNA progressiva, conforme mostrado na Figura
2.3 (a).
Figura 2.3: Aprendizado por correo de erro.

O neurnio k estimulado por um vetor de sinais x(n ) produzido por uma ou mais
camadas de neurnios escondidos, que so, por sua vez, estimuladas por um vetor de
entrada aplicado aos ns fonte da camada de entrada da RNA. O argumento n denota tempo
-5-

discreto, ou seja, o passo temporal de um processo iterativo envolvido em ajustar os pesos

sinpticos do neurnio k. O sinal de sada do neurnio k denotado por y k (n ) . Este sinal
de sada (representando a nica sada da RNA) comparado a uma "resposta desejada" ou
"sada alvo", denotada por d k (n ) . Conseqentemente, um sinal de erro, denotado por
e k (n ) , produzido. Assim, teremos,
e k (n ) = d k (n ) y k (n )
(2.1)
O sinal de erro e k (n ) aciona um "mecanismo de controle" cujo propsito aplicar

uma seqncia de ajustes corretivos aos pesos sinpticos do neurnio k. Os ajustes
corretivos so projetados para aproximar, passo a passo, o sinal de sada y k (n ) da resposta
desejada d k (n ) . Este objetivo atingido atravs da minimizao de uma "funo de custo"
tambm chamada "'ndice de desempenho", J (n ) , definida em termos do sinal de erro e k (n )
como:
J (n ) =
1 2
e k (n )
2
(2.2)
Observando-se a Equao (2.2) pode-se dizer que J (n ) o valor instantneo da

energia do erro.
Os ajustes passo a passo dos pesos sinpticos do neurnio k continuam at que o
sistema tenha atingido um estado estvel, ou seja, os pesos sinpticos tenham estabilizado.
Neste momento o processo de aprendizagem est concludo.
A minimizao da funo de custo J (n ) conduz a uma regra de aprendizagem
comumente referida como Regra Delta ou Regra de Widrow-Hoff. Seja wkj (n ) o valor do
peso sinptico wkj do neurnio k excitado pelo elemento x j (n ) do vetor de sinais x(n ) no
instante de tempo n. De acordo com a Regra Delta, o ajuste wkj (n ) a ser aplicado ao peso
sinptico wkj no instante de tempo n definido por
wkj (n ) = e k (n ) x j (n )
-6-
(2.3)

onde o parmetro uma constante positiva que determina a razo de aprendizado

medida que evolvemos de um passo a outro no processo de aprendizagem.
A Regra Delta pode ser assim expressa:
O ajuste feito a um peso sinptico de um neurnio proporcional ao

produto do sinal de erro pelo sinal de entrada da sinapse em questo.
A Regra Delta presume que o sinal de erro seja diretamente mensurvel, ou seja,
necessrio que tenhamos uma forma de suprir a resposta desejada, a partir de alguma fonte
externa, que tenha acesso direto ao neurnio k (conforme pode ser observado na Figura
2.3(a)). A partir da mesma figura tambm se pode observar que o aprendizado por correo
de erro , por natureza, local. Ou seja, os ajustes sinpticos feitos pela Regra Delta so
localizados ao redor do neurnio k.
Tendo computado o ajuste sinptico wkj (n ) , o valor atualizado do peso sinptico
wkj determinado por
wkj (n +1) = wkj (n ) + wkj (n )
(2.4)
onde wkj (n ) e wkj (n + 1) podem ser vistos, respectivamente, como o valor antigo e o valor
novo (atualizado) do peso sinptico wkj .
A Figura 2.3(b) mostra o grafo de fluxo de sinal representativo do processo de
aprendizado por correo de erro, focando a atividade ao redor do neurnio k. O sinal de
entrada x j e o potencial de ativao v k do neurnio k so chamados, respectivamente, de
sinais pr-sinptico e ps-sinptico da j-sima sinapse do neurnio k.
Ainda observando a Figura 2.3(b) pode-se verificar que o processo de aprendizado
por correo de erro um exemplo de um sistema realimentado de elo fechado (closed-loop
feedback) e, portanto, a estabilidade de tal sistema determinada pelos parmetros que
constituem os elos de realimentao do sistema. No nico elo fechado de realimentao
existente no processo, um parmetro de particular interesse o parmetro razo de
-7-

aprendizagem . Portanto, para que seja atingida a estabilidade ou convergncia do

processo de aprendizagem iterativo preciso garantir que seja cuidadosamente
selecionado. Na prtica, o parmetro representa um papel importante na determinao do
desempenho do processo de aprendizagem por correo de erro. Em captulos posteriores
teremos a oportunidade de abordar critrios para a escolha adequada do parmetro razo de
aprendizado.
2.2 Aprendizado por Reforo.

Consideremos agora um tipo de aprendizado em que no utilizado um tutor, como
no aprendizado supervisionado, mas sim um crtico (ou juiz). Neste tipo de aprendizado
(denominado aprendizado por reforo), o aprendizado de um mapeamento entrada/sada
desempenhado atravs da interao continuada com o ambiente buscando minimizar um
ndice escalar de desempenho.
A Figura 2.4 mostra o diagrama de blocos de uma forma de sistema de
aprendizagem por reforo, construdo em torno de um crtico que converte um sinal de
reforo primrio recebido do ambiente em um sinal de reforo de maior qualidade chamado
"sinal de reforo heurstico", ambos escalares.
Figura 2.4: Diagrama de blocos do aprendizado por reforo.
-8-

Basicamente, o sistema projetado para aprender a partir de um reforo atrasado, o

que significa que o sistema observa uma seqncia temporal de estmulos (tambm
recebida do ambiente), a qual pode resultar na generalizao do sinal de reforo heurstico.
Em conseqncia, busca-se minimizar uma funo de custo que dada pelo valor esperado
do custo cumulativo das aes tomadas sobre uma seqncia de passos, ao invs de
simplesmente minimizar o custo imediato.
A importncia do aprendizado por reforo que ele prov as bases para o sistema
interagir com o ambiente e, por meio disso, desenvolver a habilidade de aprender a
desempenhar uma tarefa prescrita, somente com base nas sadas da sua prpria experincia,
resultante da interao.
2.3 Aprendizado No-Supervisionado.

Em algoritmos de aprendizado no-supervisionado ou auto-organizado (como so
freqentemente referidos na literatura de RNAs) no h um tutor externo ou crtico para
supervisionar o processo de aprendizado, como indica o diagrama de blocos mostrado na
Figura 2.5. Dito de outra forma, algoritmos de aprendizado no-supervisionado no
requerem o conhecimento de sadas desejadas, ou seja, no so utilizados exemplos
entrada/sada a serem aprendidos pela rede.
Figura 2.5: Diagrama de blocos do aprendizado no-supervisionado.

Durante o treinamento, somente padres de entrada so apresentados RNA at que
a rede se torne "sintonizada" s regularidades estatsticas dos dados de entrada. A partir
-9-

desta condio, a rede desenvolve a habilidade de formar representaes internas para

codificar caractersticas da entrada (por exemplo, adaptar os pesos de suas conexes para
representar os padres de entrada) e, por meio disto, agrupar os padres de entrada em
grupos com caractersticas similares ou criar novos grupos automaticamente.
2.3.1 Aprendizado Baseado em Memria

No aprendizado baseado em memria, todas (ou a maior parte) das experincias
passadas so explicitamente armazenadas em uma grande memria de exemplos
entrada/sada corretamente classificados:
{(x i , d i )}iN=1 , onde
x i denota um vetor de entrada
e d i denota a correspondente resposta desejada (a resposta desejada foi considerada

escalar, podendo, no entanto, ser vetorial).
Por exemplo, em um problema de classificao de padres binrio h duas classes
ou hipteses, denotadas por C1 e C 2 , a serem consideradas. Neste exemplo, a resposta
desejada d i assume o valor zero (ou -1) para a classe C1 e o valor 1 para a classe C 2 .
Quando desejarmos classificar um vetor teste x teste nunca antes conhecido, o algoritmo ir
responder recuperando e analisando os dados de treino em uma vizinhana local de x teste .
Todos os algoritmos de aprendizagem baseados em memria envolvem dois
ingredientes essenciais:
Um critrio usado para definir a vizinhana local do vetor de teste x teste .
Uma regra de aprendizagem aplicada aos exemplos de treino na vizinhana
local de x teste .
Os algoritmos de aprendizado diferem na maneira pela qual estes dois ingredientes
so definidos. A seguir so descritas duas heursticas de aprendizagem baseadas em
memria: a regra do vizinho mais prximo (nearest neighbor rule) e uma variante desta
regra chamada classificador dos k-vizinhos mais prximos (k-nearest neighbor classifier).
- 10 -

i) Classificador pela regra do vizinho mais prximo

(nearest neighbor rule):
A vizinhana local definida como o exemplo de treino que est localizado na
vizinhana imediata do vetor de teste x teste . Em sua definio matemtica, a regra pode ser
escrita como: o vetor
x N {x 1 , x 2 , ! , x N }
(2.5)
'
dito estar na vizinhana mais prxima de x teste se
min d (x i , x teste ) = d x 'N , x teste

i
(2.6)
onde d (x i , x teste ) a distncia Euclidiana entre os vetores x i e x teste . A classe associada

com a distncia mnima, ou seja, o vetor x 'N , reportado como a classificao de x teste .
Esta regra independente da distribuio subjacente responsvel pela gerao dos
exemplos de treino.
ii) Classificador pela regra dos k-vizinhos mais prximos

(k-nearest neighbor classifier):
Uma variante do classificador pela regra do vizinho mais prximo (nearest neighbor
rule) o classificador dos k-vizinhos mais prximos (k-nearest neighbor classifier), cujo
procedimento assim definido:
Identificar os k padres classificados que estejam mais proximamente
localizados ao vetor teste x teste para algum inteiro k.
Atribuir x
teste classe (hiptese) que mais freqentemente representada
nos k vizinhos mais prximos a x teste (isto , a classificao feita pelo
"voto da maioria").
Assim, o classificador dos k-vizinhos mais prximos atua como um "dispositivo que
calcula a mdia". Em particular, o classificador discrimina contra um elemento "estranho"
presente na vizinhana, conforme ilustrado na Figura 2.6 para k = 3 . Um elemento
- 11 -

"estranho" uma observao que improvavelmente grande para um modelo nominal de

interesse.
Figura 2.6: A rea dentro do crculo tracejado inclui dois pontos pertencentes classe 1 e
um ponto "estranho" pertencente classe 0. O ponto d corresponde ao vetor de teste x teste .
Com k = 3 , o classificador dos 3-vizinhos mais prximos atribui classe 1 ao ponto d
embora ele esteja mais prximo do elemento "estranho" (a maioria vence).
Um interessante e muito importante exemplo de classificador baseado em memria
a rede neural do tipo Radial-Basis Function, que ser estudada em captulo posterior.
2.3.2 Aprendizado Hebbiano

O postulado de aprendizado de Hebb a mais velha e mais famosa de todas as
regras de aprendizagem:
Quando um axnio de uma clula A est prximo o suficiente para
excitar uma clula B e repetidamente ou persistentemente participa de sua
ativao, algum processo de crescimento ou alterao metablica acontece
em uma ou ambas as clulas, tal que a eficincia de A como uma das clulas
que ativa B aumentada.
- 12 -

Esta afirmao feita por Hebb no contexto da neurobiologia, como uma base do
aprendizado associativo a nvel celular. O aprendizado associativo pode resultar em uma
modificao duradoura no padro de atividade de um conjunto de clulas nervosas
espacialmente distribudo.
Expandindo o postulado de Hebb em duas regras:
1.
Se dois neurnios em cada um dos lados da sinapse (conexo) so ativados

simultaneamente (isto , sincronamente), ento a fora daquela sinapse
seletivamente aumentada.
2.
Se dois neurnios em cada um dos lados da sinapse so ativados de forma

assncrona, ento aquela sinapse seletivamente enfraquecida ou
eliminada.
Uma sinapse com tais caractersticas chamada de sinapse Hebbiana. Mais
precisamente, uma sinapse Hebbiana definida como uma sinapse que usa um mecanismo
dependente do tempo, altamente localizado, e fortemente interativo para aumentar a
eficincia sinptica como uma funo da correlao entre as atividades pr-sinpticas e pssinpticas. A partir desta definio pode-se deduzir as quatro propriedades principais que
caracterizam uma sinapse Hebbiana:
1.
Mecanismo dependente do tempo:

As modificaes em uma sinapse Hebbiana dependem do tempo exato da ocorrncia
dos sinais pr-sinpticos e ps-sinpticos.
2.
Mecanismo localizado:
Pela sua natureza, uma sinapse o local de transmisso onde os sinais de informao
que chegam (representando atividade nas unidades pr-sinpticas e ps-sinpticas)
esto em contiguidade espao-temporal. Esta informao localmente disponvel
usada por uma sinapse Hebbiana para produzir uma modificao sinptica local.
- 13 -

3.
Mecanismo Interativo:
A ocorrncia de uma mudana em uma sinapse Hebbiana depende dos sinais em
ambos os lados da sinapse, ou seja, entre sinais pr-sinpticos e ps-sinpticos.
Sinais pr-sinpticos e ps-sinpticos
no coincidentes produzem depresso
sinptica.
4.
Mecanismo Conjuncional ou Correlacional:

A co-ocorrncia de sinais pr-sinpticos e ps-sinpticos dentro de um curto
intervalo de tempo suficiente para produzir a modificao sinptica. Por esta razo
a sinapse Hebbiana algumas vezes referida como uma sinapse conjuncional.
A sinapse Hebbiana tambm pode ser caracterizada em termos estatsticos. Em
particular, a correlao temporal entre sinais pr-sinpticos e ps-sinpticos vista
como sendo responsvel pela mudana sinptica. Por isso, a sinapse Hebbiana
tambm referida como uma sinapse correlacional.
Fortalecimento Sinptico:
Atividade positivamente correlacionada produz reforo na sinapse.
Depresso Sinptica:
Atividade no correlacionada ou negativamente correlacionada produz enfraquecimento na sinapse.
Para formular o aprendizado Hebbiano em termos matemticos, consideremos um

peso sinptico wkj do neurnio k com sinais pr-sinpticos e ps-sinpticos denotados por
x j e y k , respectivamente. O ajuste aplicado ao peso sinptico wkj no intervalo de tempo n
expresso na forma geral
wkj (n ) = F y k (n ), x j (n )
(2.7)
onde F (,) uma funo de ambos sinais pr-sinpticos e ps-sinpticos. (Os sinais x j (n )
e y k (n ) so freqentemente tratados como adimensionais.)
A seguir apresentaremos duas formas (ambas Hebbianas) para a Expresso (2.7). A
primeira delas baseada na hiptese de Hebb e a segunda, na hiptese da covarincia.
- 14 -

a) Hiptese de Hebb
A forma mais simples de aprendizado Hebbiano descrita por
wkj (n ) = y k (n ) x j (n )
(2.8)
onde o parmetro uma constante positiva que determina a razo de aprendizado. A

Equao (2.8) enfatiza a natureza correlacional da sinapse Hebbiana.
A curva superior da Figura 2.7 mostra uma representao grfica da Equao (2.8)
com a mudana no peso wkj (n ) plotada versus o sinal de sada (atividade ps-sinptica)
y k . Pode ser observado que a aplicao repetida do sinal de entrada (atividade prsinptica) x j leva a um aumento em y k e, portanto, a um crescimento exponencial que
leva a conexo sinptica saturao, ponto em que nenhuma informao ser armazenada
na sinapse e a seletividade perdida.
Figura 2.7: Ilustrao da hiptese de Hebb e da hiptese da covarincia.
- 15 -

b) Hiptese da Covarincia
Uma forma de superar a limitao da hiptese de Hebb utilizar a hiptese da
Covarincia, em que os sinais pr-sinpticos e ps-sinpticos na Equao (2.8) so
substitudos pelos sinais pr-sinpticos e ps-sinpticos dos quais foram retirados seus
respectivos valores mdios sobre um determinado intervalo de tempo. Sejam x e y os
valores mdios referidos dos sinais pr-sinpticos e ps-sinpticos
xj
yk ,
respectivamente. De acordo com a hiptese da covarincia, o ajuste aplicado ao peso

sinptico wkj definido por
)(
wkj = x j x y k y
(2.9)
onde o parmetro razo de aprendizado. Os valores mdios x e y constituem limiares

pr-sinpticos e ps-sinpticos, os quais determinam o sinal da modificao sinptica.
A Figura 2.7 ilustra a diferena entre a hiptese de Hebb e a hiptese da
covarincia. Em ambos os casos, a dependncia de wkj sobre y k linear; entretanto, a
intercepo com o eixo y k na hiptese de Hebb na origem, enquanto que na hiptese da
covarincia em y k = y .
A partir da Equao (2.9) podem ser feitas observaes importantes:
1.
Pesos sinpticos wkj so fortalecidos se h nveis suficientes de atividade

pr-sinptica e ps-sinptica; ou seja, as condies x j > x e y k > y so
ambas satisfeitas.
2.
Pesos sinpticos wkj so deprimidos se h:

uma ativao pr-sinptica (isto , x j > x ) na ausncia de suficiente
ativao ps-sinptica (isto , y k < y ), ou
uma ativao ps-sinptica (isto , y k > y ) na ausncia de suficiente
ativao pr-sinptica (isto , x j < x ).
- 16 -

2.3.3 Aprendizado Competitivo

Nesta forma de aprendizado os neurnios da camada de sada de uma RNA
competem entre si para serem ativados. Enquanto em uma RNA baseada em aprendizado
Hebbiano vrios neurnios de sada podem estar ativados simultaneamente, em uma RNA
baseada em aprendizado competitivo somente um nico neurnio ativo a qualquer tempo.
Esta caracterstica torna o aprendizado competitivo altamente apropriado para descobrir
caractersticas estatisticamente salientes que podem ser usadas para classificar um conjunto
de padres de entrada.
H trs elementos bsicos para uma regra de aprendizado competitivo:
1.
Um conjunto de neurnios que so todos iguais exceto por alguns pesos sinpticos
aleatoriamente distribudos, e que, portanto, respondem de forma diferente a um
dado conjunto de padres de entrada.
2.
Um limite imposto na "fora" de cada neurnio.
3.
Um mecanismo que permite aos neurnios competirem pelo direito de responder a

um dado subconjunto de entradas, tal que apenas um neurnio de sada, ou somente
um neurnio por grupo est ativo, de cada vez. O neurnio que vence a competio
chamado neurnio winner-takes-all.
Os neurnios individuais da RNA se tornam detectores de caractersticas para
diferentes classes de padres de entrada, pois aprendem a se especializar em conjuntos de

padres similares.
Na forma mais simples de aprendizado competitivo, a rede tem uma nica camada
de neurnios de sada, cada um deles completamente conectado aos ns de entrada. A RNA
pode incluir conexes de realimentao entre os neurnios, como mostra a Figura 2.8. No
exemplo mostrado na figura, as conexes de realimentao desempenham inibio lateral,
em que cada neurnio tende a inibir o neurnio ao qual est lateralmente conectado. Em
contraste, as conexes sinpticas progressivas na rede da mesma figura so todas
excitatrias.
- 17 -

Figura 2.8: Arquitetura de uma rede sob aprendizado competitivo simples com conexes
progressivas excitatrias partindo dos ns fonte para os neurnios, e conexes laterais
inibitrias entre os neurnios.
Para um neurnio k ser o neurnio vencedor, seu potencial de ativao v k para um
especfico padro de entrada x deve ser o maior dentre todos os neurnios na rede. O sinal
de sada y k do neurnio vencedor k feito igual a um; os sinais de sada de todos os
outros neurnios que perdem a competio so feitos iguais a zero. Pode-se ento escrever
que
1
yk =
0
se v k > v j para todo j , j k

em caso contrrio
(2.10)
onde o potencial de ativao v k representa a ao combinada de todas as entradas

progressivas e realimentadas para o neurnio k.
Seja wkj o peso sinptico que conecta o n de entrada j ao neurnio k. Como os
neurnios iro competir uns com os outros justo inicializar os pesos sinpticos
excitatrios com valores positivos e tais que a soma dos pesos para o neurnio k seja igual
a 1, isto ,
- 18 -

wkj = 1
para todo k
(2.11)
De acordo com a regra padro de aprendizagem competitiva, a mudana wkj

aplicada ao peso sinptico wkj definida por
x wkj
wkj = j
0
se o neurnio k vence a competio

se o neurnio k perde a competio
(2.12)
onde o parmetro razo de aprendizado. Esta regra tem o efeito global de mover o
vetor de pesos sinpticos w k do neurnio vencedor k na direo do padro de entrada x .
Os pesos sinpticos inibitrios (quando existem), em geral, apresentam valores
constantes.
2.4 Tarefas de Aprendizagem

Nas Sees anteriores discutimos diversos algoritmos supervisionados e nosupervisionados. A escolha de um particular algoritmo de aprendizado motivada pela
tarefa que se deseja que a RNA desempenhe. Esta Seo tem o propsito de apresentar
alguns exemplos de tarefas de aprendizagem:
2.4.1. Associao de Padres (Memria Associativa).

Descrio:
Autoassociao de Padres: Nesta tarefa de aprendizagem a RNA deve "armazenar" um
conjunto de padres (vetores), atravs da apresentao repetida destes padres rede.
Posteriormente apresentado RNA uma descrio parcial ou distorcida (ruidosa) de um
padro original nela armazenado e a tarefa requerida da rede recuperar este particular
padro.
Heteroassociao de Padres: Heteroassociao difere da Autooassociao no sentido de
que um conjunto arbitrrio de padres de entrada associado a outro conjunto arbitrrio de
padres de entrada. Posteriormente apresentada RNA um particular padro para que a
rede recupere o padro associado.
Paradigma de aprendizagem envolvido: Aprendizado no-supervisionado.
- 19 -

2.4.2. Reconhecimento de Padres.

Descrio:
o processo atravs do qual um padro (ou sinal) recebido associado a alguma classe,
dentro de um pr-determinado nmero de classes.
A RNA submetida primeiramente a uma seo de treino, durante a qual lhe so
repetidamente apresentados um conjunto de padres de entrada, cada um deles associado
categoria particular a que pertence.
Posteriormente, um padro desconhecido apresentado rede, mas que pertena mesma
populao de padres usados para treinar a rede.
A rede poder identificar a que classe de padres este novo padro pertence, devido
informao extrada do conjunto de treino.
Paradigma de aprendizagem envolvido: Dependendo da aplicao de interesse, podem ser
considerados dois casos:
Caso 1: A RNA dividida em duas partes, uma delas submetida a aprendizado nosupervisionado para extrao de caractersticas e a outra submetida a aprendizado
supervisionado para classificao.
Caso 2: A RNA do tipo progressiva multicamadas, utilizando algoritmo de aprendizagem
supervisionado. A extrao de caractersticas realizada pelas unidades da(s) camada(s)
escondida(s).
2.4.3. Aproximao de Funes.

Descrio:
Processo atravs do qual a RNA apresenta uma soluo para o mapeamento entrada /sada
de interesse d = f (x ) , cuja funo f () que o descreve tem sua expresso analtica
desconhecida.
- 20 -

A rede projetada deve aproximar a funo desconhecida, de tal forma que o mapeamento
entrada/sada efetivamente realizado pela rede aproxime f () para todas as entradas.
Para construir o conhecimento sobre o mapeamento entrada/sada, a rede provida de um
conjunto de exemplos representativos deste mapeamento.
Desde que o tamanho do conjunto de treino seja suficientemente grande e a rede disponha
de um nmero adequado de parmetros livres, o erro de aproximao obtido ser
suficientemente pequeno para a tarefa proposta.
Paradigma de aprendizagem envolvido: Aprendizado Supervisionado.
2.4.4. Controle de Processos.

Descrio:
O controle de um processo (ou parte crtica de um sistema) atravs de uma RNA pode ser
descrito conforme segue:
O sistema envolve o uso de um elo de realimentao (feedback loop) no processo a ser
controlado; ou seja, a sada do processo alimentada de volta para a entrada.
A sada do processo , ento, subtrada de um sinal de referncia provido por uma fonte
externa.
O sinal de erro assim produzido aplicado a um controlador neural com o propsito de
ajustar seus parmetros livres.
O principal objetivo do controlador prover entradas apropriadas ao processo para que a
sada acompanhe o sinal de referncia.
O controlador, na verdade, deve inverter o comportamento entrada/sada do processo.
- 21 -

2.4.5. Filtragem Espacial (Antenas Adaptativas).

Descrio:
A Filtragem Espacial uma forma de filtragem usada para distinguir entre as propriedades
espaciais de um sinal alvo e do rudo de fundo. um processo usado em sistemas de radar e
sonar, onde a tarefa principal detectar e rastrear um alvo de interesse na presena
combinada de rudo de recepo e sinais de interferncia.
O sinal alvo se origina de uma direo desconhecida e no h informao disponvel a
priori sobre os sinais causadores da interferncia. Uma forma de enfrentar situaes deste
tipo usar um cancelador de lobo lateral generalizado. O sistema consiste de: (1) Um
conjunto de antenas, o qual prov uma forma de amostrar o sinal observado em pontos
discretos no espao; (2) Um combinador linear definido por um conjunto de pesos fixos,
cuja sada a resposta desejada e que atua como um filtro espacial, caracterizado por um
padro de radiao (um grfico polar da amplitude da sada da antena o ngulo incidente
do sinal que recebido). O lobo principal deste padro de radiao apontado ao longo de
uma direo prescrita, para a qual o cancelador de lobo lateral generalizado constrito a
produzir uma resposta sem distoro. A sada do combinador linear prov uma resposta
desejada para o dispositivo usado na filtragem espacial. (3) Uma matriz bloqueadora de
sinal, cuja funo cancelar interferncia que se disperse pelos lobos laterais do padro de
radiao do filtro espacial representando o combinador linear. (4) Uma RNA com
parmetros ajustveis, a qual tem a tarefa de acomodar variaes estatsticas nos sinais de
interferncia. Os ajustes nos parmetros livres da rede so obtidos atravs de um algoritmo
de aprendizagem por correo de erro que opera sobre o sinal de erro definido como a
diferena entre a sada do combinador linear e a sada efetiva da RNA. O cancelador de
lobo lateral generalizado opera sob a superviso do combinador linear que assume o papel
de um tutor.
- 22 -

2.5 Referncias Bibliogrficas do Captulo 2:

[1] M. H. Hassoun, Fundamentals of Artificial Neural Networks, MIT Press,
Massachusetts, 1995.
[2] S. Haykin, Adaptive Filter Theory, 3rd ed., Prentice Hall, Upper Saddle River, New
Jersey, 1996.
[3] S. Haykin, Neural Networks, 2nd ed., Prentice Hall, Upper Saddle River, New Jersey,
1999.
[4]
Z.L.Kovcs, Redes Neurais Artificiais, Editora Acadmica So Paulo, So Paulo,

1996.
- 23 -

Rna C2 PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Rna C2 PDF

Enviado por

Direitos autorais:

Formatos disponíveis

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

Aprendizagem um processo pelo qual os parmetros livres de uma

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

Um algoritmo de aprendizagem um conjunto de regras definidas para a soluo do

2.1 Aprendizado Supervisionado

Figura 2.1: Diagrama de Blocos representativo do aprendizado por meio de um tutor.

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

No processo de construo do conhecimento, a RNA exposta a um vetor de treino

2.1.1 Superfcies de Erro

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

Uma caracterstica extremamente importante a observar que este ponto de mnimo

Figura 2.2: Superfcie de Erro apresentando um ponto de mnimo local e um ponto de

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

treinamento, um sistema supervisionado de aprendizado usualmente capaz de

2.1.2 Aprendizado por Correo do Erro

Figura 2.3: Aprendizado por correo de erro.

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

discreto, ou seja, o passo temporal de um processo iterativo envolvido em ajustar os pesos

O sinal de erro e k (n ) aciona um "mecanismo de controle" cujo propsito aplicar

Observando-se a Equao (2.2) pode-se dizer que J (n ) o valor instantneo da

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

onde o parmetro uma constante positiva que determina a razo de aprendizado

O ajuste feito a um peso sinptico de um neurnio proporcional ao

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

aprendizagem . Portanto, para que seja atingida a estabilidade ou convergncia do

2.2 Aprendizado por Reforo.

Figura 2.4: Diagrama de blocos do aprendizado por reforo.

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

Basicamente, o sistema projetado para aprender a partir de um reforo atrasado, o

2.3 Aprendizado No-Supervisionado.

Figura 2.5: Diagrama de blocos do aprendizado no-supervisionado.

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

desta condio, a rede desenvolve a habilidade de formar representaes internas para

2.3.1 Aprendizado Baseado em Memria

{(x i , d i )}iN=1 , onde

x i denota um vetor de entrada

e d i denota a correspondente resposta desejada (a resposta desejada foi considerada

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

i) Classificador pela regra do vizinho mais prximo

dito estar na vizinhana mais prxima de x teste se

min d (x i , x teste ) = d x 'N , x teste

onde d (x i , x teste ) a distncia Euclidiana entre os vetores x i e x teste . A classe associada

ii) Classificador pela regra dos k-vizinhos mais prximos

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

"estranho" uma observao que improvavelmente grande para um modelo nominal de

2.3.2 Aprendizado Hebbiano

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

Se dois neurnios em cada um dos lados da sinapse (conexo) so ativados

Se dois neurnios em cada um dos lados da sinapse so ativados de forma

Mecanismo dependente do tempo: