Redes Neurais Artificiais

Introduo Introduo
Captulos 1 e 2 p
Redes Neurais Artificiais (RNA)
So modelos computacionais inspirados nos So modelos computacionais inspirados nos
mecanismos de aprendizagem do crebro
humano humano.
So modelos computacionais que tentam emular So modelos computacionais que tentam emular
a forma com que o crebro resolve problemas.
RNA RNA
Inspirao no crebro humano
O processamento de informaes no crebro O processamento de informaes no crebro
humano altamente complexo, no-linear e
paralelo.
O crebro constitudo por aproximadamente 100
bilhes de neurnios (10
11
)
Cada neurnio interligado em mdia com outros
6.000 neurnios (60 trilhes de sinapses).
Nmero de neurnios equivale quantidade de
estrelas de via Lctea.
um dos sistemas mais complexos que atualmente
conhecido pelo ser humano
RNA RNA
Comparao entre o computador e o crebro p p
Computador Crebro
Tipo de Sequencial (serial) Paralelo p
processamento
q ( )
Quantidade e
l id d
Um ou poucos
d
10
10
neurnios;
10
~
complexidade processadores 10
10
conexes/neurnio.
Velocidade de 10
-9
segundos 10
-6
segundos ~
~
~
processamento
g g
Eficincia energtica 10
-16
Joules (por
/ d )
10
-6
Joules (por
/ d )
~ ~
operao/segundo) operao/segundo)
RNA: Principais caractersticas RNA: Principais caractersticas
Adaptao por experincia Adaptao por experincia
Parmetros internos da rede, tipicamente seus pesos sinpticos, so
ajustados a partir da apresentao sucessiva de exemplos (amostras e
medidas) relacionados ao comportamento do processo
Capacidade de Aprendizado
Aplicao de mtodo de treinamento possibilita a rede extrair o
relacionamento existente entre variveis que compem a aplicao. relacionamento existente entre variveis que compem a aplicao.
Habilidade de generalizao
Aps o processo de treinamento, a rede capaz de generalizar o
h i d i id ibili d i d l conhecimento adquirido, possibilitando a estimao de solues que
eram at ento desconhecidas.
Organizao de dados Organizao de dados
Baseada em caractersticas marcantes de um conjunto de dados a
respeito do processo, a rede capaz de realizar sua organizao interna
para agrupamento de amostras que so similares/comuns.
RNA: Principais caractersticas
Tolerncia a falhas
d l d l d f Devido ao elevado nvel de interconexes entre neurnios artificiais, a
rede torna-se um sistema tolerante a falhas quando parte de sua
estrutura interna for sensivelmente corrompida.
Armazenamento distribudo
O conhecimento dentro da rede realizado de forma distribuda entre as
sinapses dos neurnios artificiais, permitindo-se ento robustez frente a
i i i eventuais neurnios que se tornaram inoperantes.
Facilidade de Prototipagem
A i l t d i i d it t i d A implementao da maioria das arquiteturas neurais pode ser
facilmente prototipadas em hardware ou em software
Aps o processo de treinamento, os seus resultados so normalmente
obtidos por algumas operaes matemticas elementares. p g p
Histrico das RNA Histrico das RNA
1943 McCulloch e Pitts 1943 McCulloch e Pitts
Primeiro modelamento matemtico inspirado
no neurnio biolgico
1949 Hebb
Primeiro mtodo de treinamento para redes
neurais artificiais (regra de aprendizado de neurais artificiais (regra de aprendizado de
Hebb)
Baseada emhipteses e observaes de carter
neurofisiolgico
1957-1958 Frank Rosenblatt
Desenvolvimento do primeiro p
neurocomputador: Mark I Perceptron
o modelo Perceptron despertou interesse devido
sua capacidade emreconhecer padres
simples simples
Histrico das RNA Histrico das RNA
1960 Widrow & Hoff 1960 Widrow & Hoff
Rede Adaline (ADAptive LI Near Element)
Madaline
Adaline mltipla, que uma rede cujo aprendizado
fundamentado na regra Delta ou LMS (least mean square)
1969 Publicao do livro Perceptron (Minsky & Papert)
Limitao de RNA constitudas por apenas uma nica camada em
d l i t t t d d d f aprender o relacionamento entre as entradas e sadas de funes
lgicas bem simples como o XOR (ou-exclusivo).
Impossibilidade das RNAs realizarem a correta classificao de p
padres para classes no lineamente separveis.
Histrico das RNA
De 1970 a 1986 97 9
Trabalhos de Werbos (gradiente reverso), Grossberg(ART),
Kohonen (mapas auto-organizveis), Hopfield (redes recorrentes
baseadas emfunes de energia) baseadas emfunes de energia)
1986 livro de Rumelhart, Hinton e Williams
Processamento paralelo distribudo
Resolvia o problema do XOR
Algoritmo Backpropagation Algoritmo Backpropagation
Potenciais reas de aplicaes de RNA
Aproximador unirversal de funes p
Mapeiam o relacionamento entre variveis de um sistema a partir
de um conjunto conhecido de seus valores representativos
Envolvem normalmente o mapeamento de processos cuja Envolvem normalmente o mapeamento de processos cuja
modelagem por tcnicas convencionais so de difcil obteno
Necessitam de domnio especfico para variveis de entrada
Controle de processos
Consistem em identificar aes de controle que permitam o Consistem em identificar aes de controle que permitam o
alcance dos requisitos de qualidade, de eficincia e de segurana
do processo.
E l li d b i l d Ex: controles aplicados em robtica, aeronaves, elevadores,
eletrodomsticos, satlites, etc.
Potenciais reas de aplicaes de RNA
Classificao de Padres
Associar um padro de entrada (amostra) para uma das
classes previamente definidas.
O problema pode ser tratado possui um conjunto discreto e p p p j
conhecido das possveis sadas desejadas.
Ex: reconhecimento de imagens, voz, escrita, etc.
Agrupamento de dados (clusterizao)
Identificao e deteco de similaridades e particularidades
entre os diversos padres de entrada a fimde possibilitar entre os diversos padres de entrada a fimde possibilitar
seu agrupamento.
Ex: identificao automtica de classes (como em
problemas de diagnstico mdico) compresso de dados e problemas de diagnstico mdico), compresso de dados e
minerao de dados (data mining)
Potenciais reas de aplicaes de RNA
Sistemas de Previso
Estimar valores futuros de um processo levando-se em
considerao diversas medidas prvias observadas em
seu domnio. seu domnio.
Ex: previso de sries temporais, mercados
financeiros, climticas, etc.
Otimizao de Sistemas
Minimizar ou maximizar uma funo custo (objetivo) ( j )
obedecendo tambmeventuais restries que so
impostas para o correto mapeamento do problema.
Ex: problemas de otmizao restrita, otimizao Ex: problemas de otmizao restrita, otimizao
combinatorial, programao dinmica, etc.
Potenciais reas de aplicaes de RNA
Memrias Associativas Memrias Associativas
Recuperar padres corretos mesmo se os seus
elementos constituintes foremapresentados de elementos constituintes foremapresentados de
forma incerta ou imprecisa.
Ex: processamento de imagens, transmisso de Ex: processamento de imagens, transmisso de
sinais, identificao de caracteres manuscritos,
etc.
Neurnio biolgico Neurnio biolgico
Caractersticas da clula nervosa
O processamento de informaes no crebro humano regido por
elementos processadores bolgicos que operamemparalelo
T bj ti d d i d d Tem como objetivo a produo de aes apropriadas para cada uma
de suas funcionalidades, como o pensar e o memorizar.
Neurnio biolgico g
Caractersticas da clula nervosa
Neurnio biolgico Neurnio biolgico
Caractersticas da clula nervosa
Neurnio biolgico g
Variao do potencial de ao do neurnio
Etapas de variao (potencial de ao): Etapas de variao (potencial de ao):
Caracterstica Dimenso
Massa do crebro 1,5 kg ,5 g
Energia consumida 20%
Comprimento do neurnio 100m
Potencial de repouso -70 mV
Potencial de ativao -55 mV
Potencial de ao (mximo) 35 mV
Representao do neurnio artificial Representao do neurnio artificial
Modelo matemtico do neurnio artificial Modelo matemtico do neurnio artificial
Sinais de entrada: {x
1
, x
2
, ,
x } x
n
}
Pesos sinpticos: {w
1
, w
2
, ,
w
n
}
bi d li { }

x w u
n
u
Combinador linear: {}
Limiar de ativao: {}
Potencial de ativao: {u}

=
=

=
) (
1
u g y
x w u
i
i i
u
Potencial de ativao: {u}
Funo de ativao: {g}
Sinal de sada: {y}

) (u g y
Neurnio artificial resumo do Neurnio artificial resumo do
funcionamento
1. Apresentao de um conjunto de valores que representam as
variveis de entrada do neurnio;
2 Multiplicao de cada entrada do neurnio pelo seu respectivo 2. Multiplicao de cada entrada do neurnio pelo seu respectivo
peso sinptico
3. Obteno do potencial de ativao produzido pela soma ponderada
d i i d d b i d li i d i dos sinais de entrada, subtraindo-se o limiar de ativao
4. Aplicao de uma funo de ativao apropriada, tendo-se como
objetivo limitar a sada do neurnio obje o a a sa da do eu o
5. Compilao da sada a partir da aplicao da funo de ativao
neural em relao ao seu potencial de ativao

=1
x w u
n
i
i i
u

=
=
) (
1
u g y
i
Funes de ativao neural parcialmente
diferenciveis
So aquelas que possuempontos cujas derivadas de q q p p j
primeira ordemso inexistentes.
a) Funo degrau (heavyside)
b) F d bi l f i l b) Funo degrau bipolar ou funo sinal
Classifcao de padres
Funes de ativao neural parcialmente Funes de ativao neural parcialmente
diferenciveis
c) Funo rampa simtrica
Os valores retornados so iguais aos prprios valores dos Os valores retornados so iguais aos prprios valores dos
potenciais de ativao quando estes esto definidos no
intervalo [-a,a], restingindo-se aos valores limites em [ , ], g
caso contrrio.
Funes de ativao neural totalmente
diferenciveis
So aquelas cujas derivadas de primeira ordem So aquelas cujas derivadas de primeira ordem
existeme so conhecidas emtodos os pontos de
seu domnio de definio seu domnio de definio
So quatro as principais funes So quatro as principais funes.
Funes de ativao neural totalmente
diferenciveis
a) Funo logstica ) g
Sada: valores entre 0 e 1.
uma constante real associada ao nvel de inclinao da funo
logstica frente ao seu ponto de inflexo
Formato geomtrico tende a ser similar ao da funo degrau quando
for muito elevado (tender ao infinito)
Funes de ativao neural totalmente
diferenciveis
b) F t t hi bli b) Funo tangente hiperblica
Sada: valores reais entre -1 e 1 Sada: valores reais entre 1 e 1
tambmest associado ao nvel de inclinao da funo emrelao ao
seu ponto de inflexo
Formato geomtrico tende a ser similar ao da funo degrau bipolar
quando for muito elevado (tender ao infinito).
Funes de ativao neural totalmente
diferenciveis
c) Funo gaussiana
d) Funo linear
c) Funo gaussiana
d) Funo linear
(identidade)
c define o centro
(mdia) da funo
ifi i i
Produz resultados
idnticos aos valores do

2
especifica a varincia
(espalhamento)
idnticos aos valores do
potencial de ativao {u}
Arquiteturas de RNAs q
Arquitetura de RNAs
Define a forma como os seus diversos neurnios esto arranjados, ou
dispostos, uns em relao aos outros.
Os arranjos so estruturados atravs do direcionamento do fluxo
sinptico. p
Topologia de RNAs
D fi dif f d i i d Define as diferentes formas de composies estruturais que uma rede
pode assumir, dada uma determinada arquitetura.
Ex: dada uma determinada arquitetura, uma das redes pode ser composta por 10
neurnios e a outra por 20 neurnios
Processo de treinamento Processo de treinamento
Consiste na aplicao de um conjunto de passos ordenados com o intuito de
ajustar os pesos e os limiares de seus neurnios.
Visa sintonizar a rede para que as suas respostas estejamprximas dos valores Visa sintonizar a rede para que as suas respostas estejamprximas dos valores
desejados.
Conhecido como algoritmo de aprendizagem
Partes da RNA Partes da RNA
Camada de entrada Camada de entrada
Responsvel pelo recebimento de informaes (dados) advindas
do meio externo
Entradas so normalizadas emrelao aos valores limites
produzidos pelas funes de ativao
Camadas escondidas, intermedirias, ocultas ou invisveis
Compostas de neurnios que possuema responsabilidade de
extrair as caractersticas associadas ao processo ou sistema a ser extrair as caractersticas associadas ao processo ou sistema a ser
inferido.
Camada de sada
Tambm constituida de neurnios, sendo responsvel por
produzir/apresentar os resultados finais da rede produzir/apresentar os resultados finais da rede
Arquiteturas
As principais arquiteturas consideram As principais arquiteturas, consideram
Disposio de seus neurnios
Formas de interligao entre os neurnios
Constituio de suas camadas
1. Arquitetura feedforward (alimentao
frente)
Camada simples Camada simples
Constituda de uma camada de
entrada e nica camada de
neurnios, que a prpria sada.
Fluxo de informaes segue Fluxo de informaes segue
sempre numa nica direo
(unidirecional).
Ex: Perceptron, Adaline
Aplicaes: classificao de
padres, filtragemlinear
2. Arquitetura feedforward (alimentao q f f (
frente)
C d l i l Camadas mltiplas
Presena de uma ou mais camadas
neurais escondidas neurais escondidas
Quantidade de camadas escondidas
e de neurnios dependem e de neurnios dependem,
sobreturo, do tipo e complexidade
do problema.
Ex: Perceptron multicamadas,
redes de base radial (RBF).
Aplicaes: aproximao de
funes, classificao de padres,
controle de processos otimizao controle de processos, otimizao,
etc.
3 Arquitetura recorrente 3. Arquitetura recorrente
d d i Sadas dos neurnios so
realimentadas como sinais de
entrada para outros neurnios.
Realimentao as qualificam
para processamento dinmico
de informaes.
Ex: Hopfield, Perceptron p , p
multicamadas com
realimentao
Aplicaes sistemas de
previso, otimizao, controle
de processos, etc. p ,
4 Arq itet ra retic lada 4. Arquitetura reticulada
Levam emconsiderao a
forma emque a disposio
espacial dos neurnios est
organizada organizada.
Visa propsitos de extrao de
i caractersticas.
Ex: Kohonen. Ex: Kohonen.
Aplicaes: problemas de
t l ifi d
Rede de Kohonen emque os
agrupamento, classificao de
padres, otimizao de
sistemas, etc.
Rede de Kohonen emque os
neurnios esto dispostos no
espao bidimensional
Processos de treinamento
Aprender a partir da
t d t
Exprimemo comportamento do sistema
apresentao de amostras
(padres)
Exprimemo comportamento do sistema
Generalizar solues Produzir uma sada prxima da esperada
Processos de treinamento Processos de treinamento
Processo de treinamento Processo de treinamento
Consiste da aplicao de passos ordenados a fim
de ajustar (sintonizar) os parmetros livre (pesos de ajustar (sintonizar) os parmetros livre (pesos
sinpticos e limiares) dos neurnios.
Objetivo final: generalizao de solues (as quais
no eramconhecidas) no eramconhecidas)
Diviso das amostras
Representa todos os dados disponveis sobre o
d d
Conjunto total de
amostras
comportamento do processo a ser mapeado.
amostras
60 a 90% 10 a 40%
Subconjunto de
treinamento
Subconjunto de
teste treinamento teste
Usado para o processo de
aprendizado da rede
Usado para verificar se a
li d l t d
aprendizado da rede.
generalizao de solues por parte da
rede j est empatamares aceitveis.
No participam do treinamento
da rede da rede
Treinamento supervisionado
Consiste emse ter disponvel considerando cada amostra dos sinais Consiste emse ter disponvel, considerando cada amostra dos sinais
de entrada, as respectivas sadas desejadas.
Cada amostra de treinamento ento composta pelos sinais de
entradas e suas correpondentes sadas.
Comporta como se houvesse um professor ensinando para a rede
qual seria a resposta correta para cada amostra apresentada
Passos do treinamento supervisionado
1. Apresente uma amostra de treinamento.
2 Calcule a sada produzida pela rede 2. Calcule a sada produzida pela rede.
3. Compare com a sada desejada.
4. Se estiver dentro de valores aceitveis:
E T i d di d Ento Termine o processo de aprendizado
Seno Ajuste os pesos sinpticos e limiares
dos neurnios e volte ao passo 1 dos neurnios e volte ao passo 1.
Treinamento no supervisionado Treinamento no-supervisionado
Diferentemente do supervisionado, as respectivas
sadas desejadas so inexistentes sadas desejadas so inexistentes.
A rede deve se auto-organizar emrelao s
particularidades existentes entre os elementos do
conjunto total de amostras, identificado subconjuntos
(clusters) que contenhamsimilaridades. ( ) q
Passos do treinamento no supervisionado:
1 A t t d t d t i t 1. Apresente todas as amostras de treinamento.
2. Obtenha as caractersticas que marcamas amostras
de treinamento.
3. Agrupe todas as amostras com caractersticas em
comum.
4 Coloque as amostras comuns emclasses 4. Coloque as amostras comuns emclasses.
Aprendizagem off-line e on-line
Off-line (usando lote de padres)
Os ajustes efetuados nos pesos e limiares dos neurnios s so Os ajustes efetuados nos pesos e limiares dos neurnios s so
efetivados aps a apresentao de todo o conjunto de
treinamento.
Cada passo de ajuste leva emconsiderao o total de desvios
observados nas amostras de treinamento frentes aos respectivos
valores desejados para as usas sadas.
On-line (usando padro-por-padro)
l d f d Os ajustes nos pesos e limiares dos neurnios so efetuados aps
a apresentao de cada amostra de treinamento.
l t tili d d t t d i t normalmente utilizada quando o comportamento do sistema a
ser mapeado varia de forma bastante rpida.
Exerccios
P 43-44; 54-55 P. 43 44; 54 55
Bibliografia
Livro: Redes Neurais Artificiais: para engenharia Livro: Redes Neurais Artificiais: para engenharia
e cincias aplicadas curso prtico
Autores: Ivan Nunes da Silva Autores: Ivan Nunes da Silva
Danilo Hernane Spatti
Rogrio Andrade Fla ino Rogrio Andrade Flauzino
Artliber: 2010.