Cap 1 - Introdução

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica
Redes Neurais Artificiais

Fernando Csar C. de Castro e Maria Cristina F. de Castro
- 1 -
Captulo 1
Introduo
As Redes Neurais Artificiais (RNAs), objeto de nosso estudo, tm a analogia
neurobiolgica como fonte de inspirao.
Uma Rede Neural Artificial (RNA) uma estrutura
computacional projetada para mimetizar a maneira pela qual o
crebro desempenha uma particular tarefa de seu interesse.
O crebro opera de uma forma altamente complexa, no-linear e paralela. O sistema
nervoso humano pode ser visto como um sistema de trs estgios, conforme descrito no
diagrama mostrado na Figura 1. No centro do sistema est o crebro, representado pela
rede neural, o qual recebe continuamente informaes, as percebe (compreende) e toma
decises apropriadas.
Figura 1: Representao do sistema nervoso em diagrama de blocos.
Na Figura 1, as setas apontando da esquerda para a direita indicam transmisso
progressiva de sinais de informao externos, atravs do sistema. As setas apontando da
direita para a esquerda significam a presena de realimentao no sistema. Os receptores
convertem o estmulo vindo do corpo humano ou do ambiente externo em impulsos
eltricos que conduzem informao para a rede neural, ou seja, o crebro. Os atuadores
convertem os impulsos eltricos gerados pela rede neural em respostas discernveis como
sadas do sistema.
Receptores
Rede
Neural
Cerebral
Atuadores
Estmulo
Resposta
- 2 -
Desde o pioneiro trabalho de Ramn y Cajl, em 1911, os neurnio so
considerados as estruturas que constituem o crebro. O crebro tem a capacidade de
organizar seus componentes estruturais de forma a desempenhar certas operaes, tais
como reconhecimento de padres, controle de movimento, etc... muitas vezes mais rpido
do que o mais rpido computador digital existente. Os neurnios so cinco a seis ordens de
grandeza mais lentos do que as portas lgicas de silcio; os eventos em um chip de silcio
acontecem na ordem de nanosegundos (
9
10
s), enquanto eventos neurais acontecem na

ordem de milisegundos (
3
10
s). Entretanto, o crebro compensa a taxa de operao

relativamente lenta de um neurnio atravs de um inacreditavelmente grande nmero de
neurnios, com densas interconexes entre eles. Estima-se em aproximadamente 10 bilhes
de neurnios no crtex humano, e 60 trilhes de sinapses ou conexes. O crebro uma
estrutura extremamente eficiente (a eficincia energtica do crebro aproximadamente
16
10
J/operao/s, enquanto que o valor correspondente para o melhor computador

existente de aproximadamente
6
10
J/operao/s!).
Como qualquer clula biolgica, o neurnio delimitado por uma fina membrana
celular que possui determinadas propriedades essenciais para o funcionamento eltrico da
clula nervosa. A partir do corpo celular (ou soma), que o centro dos processos
metablicos da clula nervosa, projetam-se extenses filamentares, que so os dendritos, e
o axnio, conforme pode ser visto na Figura 2. Os dendritos freqentemente cobrem um
volume muitas vezes maior do que o prprio corpo celular e formam uma rvore dendrital.
A outra projeo filamentar do corpo celular, o axnio, tambm referido como fibra
nervosa, serve para conectar a clula nervosa a outras do sistema nervoso. Os axinios so
linhas de transmisso e os dendritos, zonas receptivas. O neurnio possui geralmente um
nico axnio, embora este possa apresentar algumas ramificaes.
- 3 -
Figura 2: Neurnios do sistema nervoso central dos vertebrados: (a) Neurnio motor da
clula espinhal; (b) Clula de Purkinje encontrada no cerebelo. Esta clula notvel pela
extensa ramificao da sua rvore dendrital, da qual apenas uma pequena parte mostrada
na figura, podendo ultrapassar vrias dezenas de vezes as dimenses do corpo celular.
O neurnio biolgico basicamente o dispositivo computacional elementar do
sistema nervoso, que possui entradas - muitas entradas - e uma sada. As entradas ocorrem
atravs das conexes sinpticas, que conectam a rvore dendrital aos axnios de outras
clulas nervosas. Os sinais que chegam dos axnios de outras clulas nervosas so pulsos
eltricos conhecidos como impulsos nervosos ou potenciais de ao e constituem a
informao que o neurnio processar de alguma forma para produzir como sada um
impulso nervoso no seu axnio. As sinapses so regies eletroquimicamente ativas,
compreendidas entre duas membranas celulares: a membrana pr-sinptica (por onde chega
um estmulo proveniente de uma outra clula) e a membrana ps-sinptica (que a do
dendrito). Nesta regio intersinptica, o estmulo nervoso que chega sinapse transferido
membrana dendrital atravs de susbstncias conhecidas como neurotransmissores. O
resultado desta transferncia uma alterao no potencial eltrico da membrana ps-
sinptica. Dependendo do tipo de neurotransmissor, a conexo sinptica ser excitatria ou
inibitria. Uma conexo excitatria provoca uma alterao no potencial da membrana que
contribui para a formao de um impulso nervoso no axnio de sada, enquanto que uma
- 4 -
conexo inibitria age no sentido oposto. Uma sinapse pode impor excitao ou inibio
(uma ou outra) sobre o neurnio receptivo.
A maioria dos neurnios codifica suas sadas como uma srie de breves pulsos de
tenso. Esses pulsos, conhecidos como potenciais de ativao, originam-se no prprio
corpo celular do neurnio (ou prximo a ele) e ento se propagam atravs dos neurnios
individuais velocidade e amplitude constantes.
No crebro h organizaes anatmicas em pequena escala e grande escala, e
diferentes funes acontecem em nveis inferiores e superiores. A Figura 3 mostra tais
nveis entrelaados de organizao. As sinapses representam o nvel mais fundamental,
dependendo de molculas e ons para sua atuao. Nos prximos nveis temos
microcircuitos neurais, rvores de dendritos e, ento, neurnios. Um microcircuito neural se
refere a um agrupamento de sinapses organizadas em padres de conectividade para
produzir uma operao funcional de interesse. Um microcircuito neural pode ser
comparado a um chip de silcio feito do agrupamento de transstores. Os microcircuitos
neurais so agrupados para formar subunidades dendrticas dentro das rvores dendrticas
de neurnios individuais. O neurnio contm vrias subunidades dendrticas. No prximo
nvel de complexidade temos os circuitos locais feitos de neurnios com propriedades
similares ou diferentes; estes agrupamentos de neurnios desempenham operaes
caractersticas de uma regio localizada no crebro. Isto seguido pelos circuitos
interregionais feitos de caminhos, colunas e mapas topogrficos, que envolvem regies
localizadas em diferentes partes do crebro. Estes mapas topogrficos so organizados para
responder a informaes sensoriais que chegam. Estes mapas so freqentemente
arranjados em placas que so empilhadas em camadas adjacentes, de forma que estmulos
vindos de pontos correspondentes no espao esto acima ou abaixo de outros (exemplo:
mapas visuais e auditivos esto empilhados em camadas adjacentes). No nvel final de
complexidade, os mapas topogrficos e outros circuitos interregionais mediam especficos
tipos de comportamento no sistema nervoso central.
- 5 -
Figura 3: Organizao estrutural de nveis no crebro.
Uma rede cerebral , portanto, um dispositivo geral de processamento. A funo que
a rede cerebral computa determinada pelo padro das conexes, ou seja, o anlogo de um
programa de computador baseado em algoritmos totalmente desconhecidos, que so
naturalmente implementados no crebro. Alm disto, importante reconhecer que os
neurnios artificiais que usamos para construir nossas RNAs so muito primitivos, se
comparados aos neurnios encontrados no crebro, e as RNAs que somos capazes de
projetar atualmente so primitivas se comparadas aos circuitos locais e circuitos
interregionais do crebro. No entanto, com a profuso de novas teorias, tanto no estudo das
redes neurais artificiais, quanto no estudo da fisiologia cerebral, espera-se que nos
prximos anos este ramo da cincia seja um estudo muito mais sofisticado do que
atualmente.
- 6 -
Um exemplo de tarefa de processamento de informao realizada pelo crebro o
sistema visual. funo do sistema visual prover uma representao do ambiente que nos
cerca e, mais importante ainda, suprir a informao de que necessitamos para interagir com
o ambiente. O crebro rotineiramente realiza tarefas de reconhecimento perceptivo (por
exemplo, o reconhecimento de um rosto familiar em meio a uma cena no-familiar) em
aproximadamente 100 a 200 ms, enquanto que tarefas de complexidade muito menor
podem levar dias em um computador convencional. A questo : como o crebro humano
executa tais tarefas?
No nascimento, um crebro tem uma grande estrutura e a habilidade de construir
suas prprias regras atravs da experimentao continuada. A experincia construda ao
longo do tempo, com o desenvolvimento mais dramtico do crebro humano ocorrendo
durante os dois primeiros anos a partir dos nascimento, mas o desenvolvimento continua
muito alm daquele estgio. Neurnios em desenvolvimento so sinnimos de um crebro
"plstico". Esta capacidade "plstica" permite ao sistema nervoso em desenvolvimento se
adaptar ao ambiente que o cerca. Em um crebro adulto, esta "plasticidade" pode ser
responsvel por dois mecanismos: a criao de novas conexes sinpticas entre neurnios,
e a modificao de sinapses existentes.
Esta mesma "plasticidade" essencial ao funcionamento dos neurnios do crebro
humano como unidades de processamento de informao utilizada pelas RNAs e seus
neurnios artificiais. Assim, podemos afirmar que as RNAs assemelham-se ao crebro
humano em dois aspectos:
1. O conhecimento adquirido pela RNA atravs de um processo de aprendizado.
2. As transmitncias das conexes inter-neurnios, conhecidas como pesos
sinpticos, s quais est submetido o fluxo de informaes atravs da rede, so
utilizadas para armazenar o conhecimento.
Uma RNA nada mais , portanto, do que uma mquina projetada para modelar a
maneira pela qual o crebro desempenha funes de interesse.
- 7 -
A exemplo das "redes neurais naturais", as redes artificiais consistem da
interconexo de um grande nmero de unidades de processamento chamadas neurnios.
As conexes entre as unidades computacionais (ou neurnios) so chamadas sinapses ou
pesos sinpticos.
A Figura 4 apresenta a arquitetura de uma rede neural artificial composta de uma
camada de entrada e duas camadas de unidades de processamento, ou neurnios.
A camada de entrada, que conecta a rede ao ambiente externo, composta por
elementos chamados ns de entrada ou ns fonte da rede.
A segunda camada de neurnios ou camada escondida de neurnios conectada
camada de ns de entrada e camada de neurnios de sada por um conjunto de
interconexes chamadas sinapses ou pesos sinpticos.
Tal rede, conforme mostrada na Figura 4, normalmente referida na literatura como
uma RNA de duas camadas (a camada de ns de entrada no conta como camada de
unidades processadoras ou neurnios), ou simplesmente referida como uma RNA que
apresenta apenas uma camada escondida (ficando naturalmente implcitas as camadas de
ns de entrada e de neurnios de sada).
Conforme j sabemos, as RNAs tm a capacidade de obter conhecimento a partir de
seu ambiente atravs de um processo de aprendizado. O conhecimento obtido pelas RNAs
armazenado nos parmetros livres da rede, que so os pesos sinpticos e os parmetros que
definem a funo de transferncia das unidades computacionais ou neurnios.
O procedimento utilizado para o processo de aprendizado chamado Algoritmo de
Aprendizagem e tem por funo modificar de forma adaptativa os parmetros livres da rede
para atingir um objetivo desejado. Em outras palavras, da mesma forma que em um filtro
linear adaptativo convencional, as redes neurais artificiais tm a capacidade de, atravs da
informao de uma resposta desejada, tentar aproximar um sinal alvo durante o processo de
aprendizagem.
- 8 -
Figura 4: Exemplo de arquitetura de uma Rede Neural Artificial.
Esta aproximao obtida atravs do ajuste, de forma sistemtica, de um conjunto
de parmetros livres, caracterstico de cada rede neural. Na verdade, o conjunto de
parmetros livres prov um mecanismo para armazenar o contedo de informao
subjacente presente nos dados que so apresentados rede na fase de treinamento.
1.1 Caractersticas Relevantes das RNAs
O poder computacional de uma RNA devido basicamente a dois fatores: sua
estrutura paralela pesadamente distribuda e sua habilidade de aprender e,
conseqentemente, generalizar.
Algumas caractersticas relevantes das Redes Neurais Artificiais so descritas por
Simon Haykin em Adaptive Filter Theory e Neural Networks e aqui citadas:
- 9 -
Possibilidade de considerar o comportamento no-linear dos fenmenos fsicos

responsveis pela gerao dos dados de entrada.
Um neurnio artificial pode ser linear ou no-linear. Uma RNA constituda de
interconexes de neurnios no-lineares uma rede no-linear. importante observar
que a no-linearidade de uma RNA distribuda por toda a rede. No-linearidade
uma propriedade altamente importante, particularmente se o mecanismo fsico
subjacente responsvel pela gerao do sinal de entrada inerentemente no-linear,
como o caso, por exemplo, dos sinais de voz.
Necessidade de pouco conhecimento estatstico sobre o ambiente no qual a rede est

inserida.
Outra caracterstica extremamente importante das RNAs que, diferentemente da
anlise estatstica tradicional, as redes neurais no requerem prvio conhecimento
sobre a distribuio dos dados, para analis-los. Desde que haja uma relao subjacente
entre os dados, mesmo que desconhecida sua representao analtica e/ou estatstica, as
RNAs podem apresentar um melhor desempenho do que os mtodos estatsticos
tradicionais. Esta caracterstica as torna de grande utilidade pois, em muitos casos de
interesse cientfico e/ou tecnolgico comum se estar tratando com processos sobre os
quais muito pouco ou nada se conhece de seu comportamento estatstico.
Capacidade de aprendizagem, a qual atingida atravs de uma sesso de treinamento

com exemplos entrada/sada que sejam representativos do ambiente.
O aprendizado supervisionado, ou aprendizado obtido por meio de um tutor, envolve a
modificao dos pesos sinpticos da RNA atravs da aplicao de um conjunto de
amostras de treino, para as quais se conhece previamente a sada desejada da rede: cada
exemplo consiste de um nico sinal de entrada e uma correspondente resposta
desejada. Um exemplo tomado aleatoriamente do conjunto de treino apresentado
rede e os pesos sinpticos da rede (parmetros livres) so modificados de forma a
minimizar a diferena entre a resposta desejada e a resposta atual da rede, produzida
- 10 -
pelo sinal de entrada, de acordo com algum critrio estatstico apropriado. O
treinamento da rede repetido para muitos exemplos do conjunto de treino at que a
rede atinja um estado onde no haja mais mudanas significativas nos pesos sinpticos.
Os mesmos exemplos do conjunto de treino podem ser reaplicados durante o processo
de treinamento da rede, desde que em outra ordem de apresentao.
Habilidade de aproximar qualquer mapeamento entrada/sada de natureza contnua.

Devido capacidade de aprendizado, uma RNA tem a possibilidade de encontrar
qualquer mapeamento entrada/sada, desde que os dados sejam adequadamente
representativos do processo que esteja sendo tratado, e desde que sejam
adequadamente escolhidos a arquitetura da rede e seu algoritmo de treinamento.
Adaptatividade.
As RNAs so ferramentas extremamente flexveis em um ambiente dinmico. Elas tm
a capacidade de aprender rapidamente padres complexos e tendncias presentes nos
dados e de se adaptar rapidamente s mudanas, caractersticas estas que so
extremamente desejveis em uma ampla gama de aplicaes. As RNAs tm a
capacidade de adaptar seus pesos sinpticos a mudanas no ambiente em que est
inserida. Uma RNA treinada para operar em um ambiente especfico pode ser
facilmente retreinada para tratar com pequenas mudanas nas condies operacionais
do ambiente. Quando operando em um ambiente no-estacionrio (onde a estatstica do
processo muda com o tempo) uma RNA pode ser projetada para mudar seus pesos
sinpticos em tempo real.
Generalizao.
Capacidade que permite s RNAs um desempenho satisfatrio (produzir sadas
adequadas) em resposta a dados desconhecidos (no pertencentes ao conjunto de
treino, mas que estejam em sua vizinhana).
- 11 -
Tolerncia a falhas.
Caracterstica que permite rede continuar a apresentar resultados aceitveis no caso
de falha de alguns neurnios (unidades computacionais bsicas das redes neurais
artificiais). O projeto de uma RNA motivado pela analogia com o crebro, que a
prova viva de que a tolerncia a falhas no processamento paralelo no apenas
fisicamente possvel, quanto rpida e poderosa. (Neurobiologistas utilizam RNAs como
ferramentas de pesquisa para a interpretao de fenmenos neurobiolgicos e
engenheiros estudam neurobiologia em busca de novas idias para resolver problemas
complexos).
Informao contextual.
O conhecimento representado pela prpria estrutura da RNA e pelo seu estado de
ativao. Cada neurnio da rede potencialmente afetado pela atividade global de
todos os outros neurnios na rede. Conseqentemente, informao contextual tratada
com naturalidade pelas RNAs.
Possibilidade da implementao em VLSI.

Esta caracterstica permite considerar elevado grau de paralelismo no projeto da rede.
A natureza fortemente paralela das RNAs as tornam potencialmente rpidas para
computar determinadas tarefas. Esta mesma caracterstica possibilita que sejam
implementadas usando tecnologia VLSI (very-large-scale-integrated).
1.2 Modelo de um Neurnio
O diagrama de blocos mostrado na Figura 5 apresenta o modelo bsico de um neurnio
utilizado no projeto de Redes Neurais Artificiais. O modelo consiste de:
- 12 -
Figura 5: Modelo no-linear de um neurnio.
1. Um conjunto de sinapses, cada uma delas caracterizada por um peso caracterstico.
Especificamente, um sinal
j
x na entrada da sinapse j conectada ao neurnio k
multiplicado pelo peso sinptico
kj
w . Diferentemente de uma sinapse no crebro, o
peso sinptico de um neurnio artificial pode assumir valores positivos e negativos;
2. Um combinador linear para somar os sinais de entrada, ponderados pela respectiva
sinapse do neurnio;
3. Uma funo de ativao para limitar a amplitude da sada do neurnio. A funo de
ativao limita a faixa de amplitude permitida do sinal de sada a algum valor finito.
Tipicamente, a excurso da amplitude normalizada da sada de um neurnio restrita ao
intervalo unitrio fechado [ ] 1 , 0 ou, alternativamente [ ] 1 , 1 .
O modelo neural da Figura 5 inclui uma polarizao externa (bias), denotada por
k
b . A
polarizao
k
b tem o efeito de aumentar ou diminuir o argumento da funo de ativao,
caso seja positivo ou negativo, respectivamente.
- 13 -
Em termos matemticos, um neurnio k pode ser descrito pelas equaes
=
=
m
j
j
x
kj
w
k
u
1
(1.1)
e
( )
k
b
k
u
k
y + =
(1.2)
onde:
m
x x x ,..., ,
2 1
so os sinais de entrada;
km k k
w w w ,..., ,
2 1
so os pesos sinpticos do neurnio k;
k
u a sada do combinador linear devida aos sinais de entrada;
k
b a polarizao ou bias;
( ) a funo de ativao e
k
y o sinal de sada do neurnio.
O uso da polarizao ou bias tem o efeito de aplicar uma transformao sada
k
u
do combinador linear, conforme
k k k
b u v + =
(1.3)
Dependendo do valor da polarizao
k
b ser positivo ou negativo, a relao entre o
potencial de ativao
k
v do neurnio k e a sada do combinador linear
k
u conforme
mostrada na Figura 6. Observe que, como resultado da transformao, o grfico de
k k
u v
no passa mais pela origem.
- 14 -
Figura 6: Transformao produzida pela polarizao ou bias (
k k
b v = para 0 =
k
u ).
A polarizao um parmetro externo do neurnio artificial k, conforme expressa a
Equao (1.2). Uma outra forma de expressar a presena da polarizao atravs da
combinao das Equaes (1.1) e Equao (1.3),
=
=
m
j
j
x
kj
w v
k
0
(1.4)
e
( )
k
v
k
y =
(1.5)
Na realidade, adicionamos uma nova sinapse na Equao (1.4), cuja entrada
1
0
+ = x e cujo peso
k k
b w =
0
. O modelo do neurnio reformulado de acordo com as
Equaes (1.4) e (1.5) mostrado na Figura 7. Embora os modelos paream diferentes, so
matematicamente equivalentes.
- 15 -
Figura 7: Outro modelo no-linear de um neurnio.
1.3 Tipos de Funo de Ativao
Conforme vimos na Seo 1.2, a funo de ativao ( ) v define a sada do neurnio em
termos do potencial de ativao v. A Figura 8 apresenta trs tipos de funo de ativao, a
Funo Threshold, a Funo Piecewise-linear e a Funo Sigmoide.
(a) Funo Threshold (Funo Limiar):
Este tipo de funo de ativao, mostrado na Figura 8 (a) descrito por
( )
<
=
0 0
0 1
v se
v se
v
(1.6)
Correspondentemente, a sada do neurnio k, empregando tal funo Threshold
expressa por
<
=
0 0
0 1
k
v se
k
v se
k
y
(1.7)
onde
k
v o potencial de ativao do neurnio, dado por
- 16 -
k
j kj
b
m
j
x w v
k
+
=
=
1
(1.8)
Um neurnio assim definido conhecido como o modelo de McCulloch-Pitts. Neste
modelo, a sada do neurnio assume o valor 1 se o potencial de ativao do neurnio no-
negativo e zero em caso contrrio.
Figura 8: (a) Funo Threshold, (b) Funo Piecewise-linear, (c) Funo Sigmoide.
- 17 -
(b) Funo Piecewise-linear (Linear por Partes):
Este tipo de funo de ativao, mostrado na Figura 8 (b) descrito por
( )

> > +
+
=
2
1
0
2
1
2
1

2
1
1
v se
v se v
v se
v
(1.9)
onde o fator de amplificao dentro a regio linear de operao assumido unitrio. Esta
funo de ativao pode ser vista como uma aproximao de uma amplificao no-linear.
Duas situaes podem ser vistas como formas especiais da funo Piecewise-linear:
Um combinador linear (se a regio linear de operao no saturar);
A funo Piecewise-linear se reduz a uma funo Threshold se o fator de amplificao da
regio linear for feito infinitamente grande.
(c) Funo Sigmoide
Este tipo de funo de ativao cujo grfico se assemelha a uma curva em "S", a
forma de funo de ativao mais utilizada na construo de RNAs. A funo, mostrada na
Figura 8 (c), definida como uma funo estritamente crescente que exibe um interessante
balano entre o comportamento linear e o comportamento no-linear. Um exemplo de
funo sigmoidal a funo logstica, definida por
( )
( ) av
v
+
=
exp 1
1
(1.10)
onde a o parmetro declividade da funo sigmoidal. Atravs da variao do parmetro a
so obtidas funes sigmoidais de diferentes declividades, conforme pode ser observado na
Figura 8 (c). Na verdade, a declividade na origem igual a 4 a . No limite, quando o
parmetro declividade se aproxima do infinito, a funo sigmoidal se torna simplesmente
em uma funo Threshold. Enquanto a funo Threshold assume o valor 0 ou 1, uma
funo sigmoidal assume um intervalo contnuo de valores de 0 a 1. importante notar que
a funo sigmoidal diferencivel, enquanto que a funo Threshold no o .
- 18 -
As funes de ativao Threshold, Piecewise-linear e Sigmoide so definidas no
intervalo de 0 a 1. Algumas vezes desejvel funes de ativao definidas no intervalo de
-1 a +1, caso em que a funo de ativao assume uma forma anti-simtrica com respeito
origem; ou seja, a funo de ativao uma funo mpar do potencial de ativao.
Especificamente, a funo Threshold agora definida por
( )
<
=
>
=
0 1
0 0
0 1
v se
v se
v se
v
(1.11)
que comumente referida como funo Signum.
Para permitir que a funo de ativao do tipo sigmoidal assuma valores negativos,
utiliza-se a forma correspondente da funo sigmoidal, a funo tangente hiperblica,
definida por
( ) ( ) v v tanh = (1.12)
1.4 RNAs vistas como Grafos de Fluxo de Sinal
Os diagramas de blocos das Figuras 5 e 7 apresentam uma descrio funcional dos
vrios elementos que constituem o modelo de um neurnio artificial. A idia de introduzir
os grafos de fluxo de sinal objetiva simplificar a aparncia dos modelos, sem perder
qualquer detalhe funcional.
Um grafo de fluxo de sinal uma rede de ramos orientados (com sentido) que so
interconectados a certos pontos chamados ns. Um n tpico j tem um sinal de n associado
j
x . Um tpico ramo direcionado se origina no n j e termina no n k; e tem uma funo de
transferncia associada (ou transmitncia) que especifica a maneira pela qual o sinal
k
y no
n k depende do sinal
j
x no n j. O fluxo de sinais nas vrias partes do grafo regido por
trs regras bsicas:
1. Um sinal flui ao longo de um ramo somente na direo definida pela seta. Dois tipos de
ramos podem ser definidos: ramos sinpticos, governados por uma relao linear
- 19 -
entrada/sada, em que o sinal no n
j
x multiplicado pelo peso sinptico
kj
w para
produzir o sinal no n
k
y e ramos de ativao, governados, em geral, por uma relao
no-linear entrada-sada.
2. Um sinal em um n igual soma algbrica de todos os sinais que entram no n,
atravs dos ramos que chegam ao n.
3. O sinal no n transmitido para cada ramo de sada originado no n, com a transmisso
sendo inteiramente independente das funes de transferncia dos ramos que saem do
n.
A Figura 9 mostra o grafo de fluxo de sinal construdo a partir das regras descritas
para o modelo de neurnio correspondente ao diagrama de blocos mostrado na Figura 7.
Figura 9: Representao do modelo de neurnio mostrado na Figura 7 sob a forma de grafo
de fluxo de sinal.
A partir do grafo de fluxo de sinal mostrado na Figura 9, pode-se apresentar a
seguinte definio matemtica de uma rede neural:
- 20 -
Uma rede neural um grafo de fluxo de sinal orientado, consistindo de ns com
interconexes sinpticas e ramos de ativao, caracterizado por quatro propriedades:
1. Cada neurnio representado por um conjunto de ramos sinpticos lineares, uma
polarizao externa aplicada, e um possvel ramo no-linear de ativao. A polarizao
representada por um ramo sinptico conectado a uma entrada fixa em +1.
2. Os ramos sinpticos de um neurnio ponderam seus respectivos sinais de entrada.
3. A soma ponderada dos sinais de entrada define o potencial de ativao do neurnio em
questo.
4. O ramo de ativao limita o potencial de ativao do neurnio para produzir uma sada.
1.5 Arquiteturas de Redes
O projeto de uma rede neural, ou seja, a maneira pela qual os neurnios da rede so
estruturados, est intimamente relacionada ao algoritmo de aprendizagem usado para
treinar a rede (conforme poderemos comprovar nos captulos seguintes). Em geral,
podemos identificar trs diferentes classes fundamentais de arquiteturas de redes:
Redes Single-Layer Feedforward:
As redes single-layer feedforward podem ser referidas como "redes progressivas de
uma nica camada". Esta arquitetura de RNAs a forma mais simples de redes layered, em
que os neurnios so organizados em forma de camadas. Na rede progressiva de uma nica
camada, temos uma arquitetura com uma camada de entrada de ns fontes conectada a uma
camada de sada constituda de neurnios (ns computacionais), conforme mostrado na
Figura 10.
Esta rede estritamente progressiva, no sentido de que no h conexes no sentido
camada de sada camada de ns fontes (no h elos de realimentao entre as camadas).
Conforme j comentamos na introduo deste captulo, a rede mostrada na Figura 10
referida na literatura como uma RNA de uma nica camada (single-layered network), pois a
- 21 -
camada de ns de entrada no contada, j que no formada por unidades processadoras,
ou neurnios.
Figura 10: Rede progressiva formada por uma nica camada de neurnios (representada
com quatro ns na camada de entrada e quatro neurnios na camada de sada).
Redes Multilayer Feedforward:
A segunda classe de redes progressivas (redes neurais progressivas multicamadas)
tem por caracterstica possuir uma ou mais camadas escondidas, cujos ns computacionais
ou neurnios so correspondentemente chamados de neurnios escondidos ou unidades
escondidas. A funo dos neurnios escondidos intervir entre a camada externa de entrada
e a sada da rede de alguma forma til. Adicionando uma ou mais camadas escondidas, a
rede pode extrair estatsticas de ordem superior. Pode-se dizer que a rede adquire uma
perspectiva global apesar de sua conectividade local, devida ao conjunto extra de conexes
sinpticas e dimenso extra de interaes neurais.
- 22 -
Os ns fonte na camada de entrada da rede provem os vetores de entrada, que
constituem os sinais de entrada aplicados aos neurnios da segunda camada (primeira
camada escondida). Os sinais de sada da segunda camada so usados como entradas para a
terceira camada, e, assim, sucessivamente, para o resto da rede. O conjunto de sinais de
sada dos neurnios da camada de sada da rede constituem a resposta global da rede ao
padro de ativao provido pelos ns fonte na camada de entrada.
A Figura 11 ilustra uma rede neural progressiva multicamadas, para o caso de uma
nica camada escondida, em que cada n de cada camada da rede conectado a cada outro
n da camada adjacente. Neste caso, a rede dita completamente conectada. Se, no entanto,
algumas das conexes sinpticas estiverem faltando, a rede dita parcialmente conectada.
Figura 11: Rede progressiva multicamadas completamente conectada, formada por uma
nica camada escondida de neurnios e uma nica camada de sada (representada com 10
ns fonte na camada de entrada, 4 neurnios escondidos e 2 neurnios na camada de sada).
- 23 -
Redes Recorrentes:
Uma rede neural recorrente difere de uma rede neural progressiva (feedforward),
pelo fato de possuir pelo menos um loop de realimentao (feedback loop).
Por exemplo, uma rede recorrente pode consistir de uma nica camada de
neurnios, em que cada neurnio alimenta seu sinal de sada de volta para as entradas de
todos os outros neurnios, conforme ilustra a Figura 12.
J a Figura 13 ilustra uma rede recorrente em que h uma camada de neurnios
escondidos e em que as conexes de realimetao so originadas tantos dos neurnios
escondidos, quanto dos neurnios de sada.
A presena de loops de realimentao em estruturas recorrentes tem um grande impacto
na capacidade de aprendizagem da rede e em seu desempenho.
Figura 12: Rede recorrente em que no h loops auto-realimentados, nem neurnos
escondidos.
- 24 -
Figura 13: Rede recorrente com neurnios escondidos e loops auto-realimentados.
1.6 Referncias Bibliogrficas do Captulo 1:
[1] S. Haykin, Adaptive Filter Theory, 3
rd
ed., Prentice Hall, Upper Saddle River, New
Jersey, 1996.
[2] S. Haykin, Neural Networks, 2
nd
ed., Prentice Hall, Upper Saddle River, New Jersey,
1999.
[3] [3] Z.L.Kovcs, Redes Neurais Artificiais, Editora Acadmica So Paulo, So Paulo,
1996.

Cap 1 - Introdução

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Cap 1 - Introdução

Enviado por

Direitos autorais:

Formatos disponíveis

PUCRS - FENG - DEE - Mestrado em Engenharia Eltrica

Redes Neurais Artificiais

s), enquanto eventos neurais acontecem na

s). Entretanto, o crebro compensa a taxa de operao

J/operao/s, enquanto que o valor correspondente para o melhor computador

Possibilidade de considerar o comportamento no-linear dos fenmenos fsicos

Necessidade de pouco conhecimento estatstico sobre o ambiente no qual a rede est

Capacidade de aprendizagem, a qual atingida atravs de uma sesso de treinamento

Habilidade de aproximar qualquer mapeamento entrada/sada de natureza contnua.

Possibilidade da implementao em VLSI.

Você também pode gostar