Introduo s Redes

Neurais Artificiais
Eduardo Simas
(eduardo.simas@ufba.br)

Sumrio
O que so as Redes Neurais Artificiais ?
Para que servem ?
Processamento da Informao
Tipos de Redes Neurais

Modos de Treinamento
Supervisionado X No-supervisionado

Aplicaes

Introduo s RNA

Eduardo Simas

INTRODUO

Introduo s RNA

Eduardo Simas

O que so as Redes Neurais Artificiais ?

Rede neural artificial um modelo matemtico composto a partir da
conexo de blocos bsicos denominados neurnios artificiais.
Principais Caractersticas:
Foram desenvolvidas a partir de uma analogia com o
funcionamento do crebro humano;
So capazes de:
Aprender (a partir de amostras de treinamento);
Generalizar (a partir do conhecimento adquirido);
Se adaptar (ajustando-se a uma nova realidade).
Produzem um mapeamento no-linear das entradas p/ as sadas;
Realizam processamento paralelo da informao.
Introduo s RNA

Eduardo Simas

Modelos de Neurnios
Modelo de um neurnio biolgico:

Fluxo de informao
Introduo s RNA

Eduardo Simas

Modelos de Neurnios
Modelo de um neurnio biolgico:

Sinais em cada
conexo sinptica

Sada ativada

O estmulo se propaga
atravs do neurnio
quando a soma dos
estmulos de entrada
supera um valor limiar
(threshold).
Somatrio
Introduo s RNA

Eduardo Simas

Modelos de Neurnios
Modelo matemtico do neurnio:

Sendo:
xi sinais de entrada
b desvio (bias)
y sinal de sada

Na forma matricial:

Introduo s RNA

Eduardo Simas

Funes de ativao tpicas

Degrau (ou limiar):

Sigmoidal:

Linear:

Tangente hiperblica:

Introduo s RNA

Eduardo Simas

Perspectiva Histrica

1943 primeiro modelo matemtico do neurnio (McCulloch & Pitts);

1949 primeiras regras de aprendizado dos neurnios artificiais (Hebb);

1958 proposto o modelo do perceptron (Rosenblatt);

1958 a 1969 o sucesso inicial obtido com implementaes do perceptron (em

circuitos eletrnicos) motiva estudos sobre o tema;

1969 provado matematicamente que o perceptron de uma nica camada

incapaz de solucionar problemas matemticos simples (como o XOR);

1969 a 1980 poucos trabalhos desenvolvidos na rea;

Dcada de 1980 so propostos algoritmos de treinamento para redes de

mltiplas camadas de neurnios (aproximadores universais);

Atualmente as redes neurais so utilizadas com sucesso em diversas

aplicaes.
Introduo s RNA

Eduardo Simas

Para que servem as RNA ?

As redes neurais so modelos
matemticos capazes de realizar
mapeamentos no lineares de RN RK.
possvel demonstrar que com uma
quantidade suficiente de camadas de
neurnios no-lineares as redes neurais
so aproximadores universais.

Rede neural treinada (de modo

supervisionado) para aproximar
um mapeamento no-linear
desconhecido:

As redes neurais so teis sempre que

deseja-se estimar um mapeamento
entrada-sada para o qual a expresso
matemtica exata no conhecida.
Ex: Classificao, identificao de
sistemas, etc.

Introduo s RNA

Eduardo Simas

10

Processamento da Informao
Entradas:
as entradas da rede correspondem a atributos ou caractersticas;
as redes neurais processam valores numricos;

quando existem atributos qualitativos, precisam ser convertidos em

valores numricos:
Ex: alto=1 e baixo=-1

para o treinamento recomendado que os sinais sejam prprocessados de modo que os atributos de entrada tenham a
mesma faixa de excurso:
Remoo da mdia e normalizao.

Introduo s RNA

Eduardo Simas

11

Processamento da Informao
Sadas
Representam a soluo encontrada pela rede neural para a
entrada apresentada.
Sadas alvo
Valores utilizados durante o treinamento supervisionado como
referncias a serem alcanadas.
Ex: uma rede treinada como classificador para identificar duas
classes pode utilizar como sada alvo:

o valor 1 para a classe 1;

o valor -1 para a classe 2.

Introduo s RNA

Eduardo Simas

12

Processamento da Informao
Pesos Sinpticos:
Guardam, de modo codificado e de difcil interpretao, as
informaes aprendidas durante o treinamento.
So ajustados durante o processo de treinamento visando:
minimizar o erro na sada erro = sada alvo sada (no
caso de treinamento supervisionado).
atender a um critrio pr-estabelecido para as sadas (no
caso do treinamento no-supervisionado).

Introduo s RNA

Eduardo Simas

13

Modos de Treinamento
Supervisionado

No-Supervisionado

O treinamento realizado
utilizado pares entrada sada alvo;
Os pesos sinpticos so
ajustados visando minimizar
o erro entre a sada alvo e a
sada real da rede

Introduo s RNA

Eduardo Simas

No existe sada alvo para o

problema;
O treinamento busca obter
uma nova representao
dos padres de entrada
segundo algum critrio prestabelecido.

14

Conjuntos de Treinamento
Para o treinamento indicado que o conjunto de dados disponvel seja
dividido em trs grupos:

Conjunto de Treino:
Utilizado para o treinamento propriamente dito (aprendizado);
Conjunto de Validao:
Utilizado para verificar, durante o treinamento como evolui o erro da
rede para sinais desconhecidos, evitando o sobre-aprendizado
(quando a rede se especializa excessivamente no conjunto de treino
e perde capacidade de generalizar);
Conjunto de Teste:
Utilizado para verificar o desempenho da rede para amostras
desconhecidas.
Introduo s RNA

Eduardo Simas

15

Conjuntos de Treinamento
Curvas de erro de treinamento:

Treinamento normal

Treinamento com
sobre-aprendizagem
Introduo s RNA

Eduardo Simas

16

Conjuntos de Treinamento
Quando h uma grande quantidade de amostras disponveis para o
treinamento:

33,33% Treino // 33,33% Validao // 33,33% Teste

Quando o nmero de amostras reduzido pode-se diminuir a
proporo dos conjuntos de Validao e Teste:

Exemplo: 50% Treino // 25% Validao // 25% Teste

Em casos extremos pode-se fazer:
Conjunto de Validao = Conjunto de Teste

Introduo s RNA

Eduardo Simas

17

TIPOS MAIS COMUNS DE RNA

Introduo s RNA

Eduardo Simas

18

Tipos de Redes Neurais

Diferentes tipos (arquiteturas) de redes neurais so obtidas
variando-se:
o tipo de neurnio utilizado;
a funo de ativao dos neurnios;
o modo de conexo entre os diversos neurnios;
etc.

Entre as principais arquiteturas existentes pode-se mencionar:

Perceptron
Perceptron de mltiplas camadas;
Rede de funo de base radial;
Mapa auto-organizvel (Rede de Kohonen).

Introduo s RNA

Eduardo Simas

19

Perceptron
Apenas um neurnio.
Funes de ativao:
sigmoidal;
tangente hiperblica;
linear.

Capacidade limitada;
Num problema de classificao
capaz de produzir uma nica
superfcie de separao:

Introduo s RNA

Eduardo Simas

20

Perceptron
Como resolver um problema deste tipo ?

Introduo s RNA

Eduardo Simas

21

Perceptron
So necessrias duas curvas de separao dois neurnios.
Neste caso necessrio uma rede com duas camadas de neurnios.

Introduo s RNA

Eduardo Simas

22

Perceptron de Mltiplas Camadas

MLP Multi-layer Perceptrons

Fluxo da informao

Diversos neurnios so dispostos

em camadas sequenciais.
O fluxo de processamento da
informao em apenas um
sentido (da entrada para a sada).
So redes alimentadas adiante
(feed-forward); no existem
conexes de realimentao.

Introduo s RNA

Eduardo Simas

23

Redes de Funo de Base Radial

Estrutura semelhante a do MLP (uma
camada oculta e uma de sada).

A funo de ativao dos neurnios da

camada oculta gaussiana:

Radial Basis Function (RBF)

A camada de sada utiliza neurnios

lineares.

Comparando:
Redes MLP: aproximao global

Funo de Ativao

Redes RBF: aproximao local

Introduo s RNA

Eduardo Simas

24

Mapas Auto-Organizveis

Treinamento no supervisionado.
Propostos por Kohonen em 1982:
mapas (ou redes) de Kohonen.

Aprendizagem competitiva.

Cada entrada conectada a todos

os neurnios da grade

O neurnio vencedor (ativo)

aquele que possui o conjunto de
pesos mais parecido com o sinal
de entrada.

O ajuste dos pesos (treinamento)

feito visando reforar a resposta do
neurnio vencedor (e seus vizinhos)
ao padro de entrada.

Aps o treinamento, as relaes

topolgicas so preservadas.

Introduo s RNA

Eduardo Simas

25

TREINAMENTO

Introduo s RNA

Eduardo Simas

26

Treinamento Supervisionado
Selecione o par entradasada da n-sima iterao
Calcule a sada de rede

Calcule o erro entre a sada

alvo e a sada atual
Ajuste os pesos de
modo a minimizar o erro
Erro est num
nvel aceitvel?
Sim

No

n=n+1

Fim do treinamento !
Introduo s RNA

Eduardo Simas

27

Treinamento No-Supervisionado
Selecione a entrada da
n-sima iterao
Calcule a sada de rede

Ajuste os pesos de
modo a obter a um
comportamento prestabelecido para as
sadas
O critrio utilizado est
num nvel aceitvel?
Sim

No

n=n+1

Fim do treinamento !
Introduo s RNA

Eduardo Simas

28

Algoritmos de Treinamento
Supervisionado:
Algoritmo de treinamento do Perceptron
Algoritmo de Retro-propagao do Erro (para perceptrons de
mltiplas camadas MLP)
No-supervisionado
Algoritmo de treinamento do Mapa Auto-organizvel (Rede de
Kohonen ou SOM)

Introduo s RNA

Eduardo Simas

29

Treinamento do Perceptron
A partir da minimizao do erro chega-se regra de aprendizagem
do perceptron:

O vetor de pesos sinpticos ajustado na direo da correo do

erro:
Sendo:
sada alvo
sada da rede

taxa de aprendizagem (0> >1)

Introduo s RNA

Eduardo Simas

30

Algoritmo de Retro-Propagao do Erro

Considerando que:

o erro calculado para a camada de sada;

uma rede MLP possui camadas ocultas;
Como obter a regra de atualizao dos pesos das camadas ocultas?

Introduo s RNA

Eduardo Simas

31

Algoritmo de Retro-Propagao do Erro

O algoritmo de retro-propagao do erro (error back-propagation)
solucionou este problema definido o conceito de gradiente local:

Para a camada de sada

Para camadas
intermedirias (ocultas)
Sendo:

O ajuste dos pesos realizado atravs de:

sendo a taxa de aprendizagem.

Introduo s RNA

Eduardo Simas

32

Algoritmo de Retro-Propagao do Erro

Propagao do sinal para frente:

Introduo s RNA

Eduardo Simas

33

Algoritmo de Retro-Propagao do Erro

Retro-propagao do erro:

Introduo s RNA

Eduardo Simas

34

Treinamento do Mapa Auto-Organizvel

No SOM o treinamento no-supervisionado.

Quando uma entrada x apresentada para a rede, a sada de cada

neurnio j calculada por:

O neurnio i com a maior sada denominado neurnio vencedor.

Os pesos so ajustados de modo a reforar a sada do neurnio

vencedor i (e seus vizinhos):

Sendo

Introduo s RNA

a funo de vizinhana que pode ser por exemplo:

Eduardo Simas

35

Treinamento do Mapa Auto-Organizvel

Curva de vizinhana gaussiana num mapa bi-dimensional:

Introduo s RNA

Eduardo Simas

36

Treinamento do Mapa Auto-Organizvel

O SOM capaz de produzir um agrupamento topolgico.
Assinaturas com caractersticas semelhantes so mapeadas em
reas adjacentes do mapa:

Exemplo de mapeamento produzido por um SOM 10 x 10 aps o treinamento

Introduo s RNA

Eduardo Simas

37

Consideraes sobre o treinamento

O algoritmo de treinamento
ajusta os pesos (W) na direo
da minimizao do erro.

Quando a superfcie do erro

mono-modal (apresenta
apenas um mnimo), o erro
mnimo alcanado.

A depender do ponto de incio

da busca, o tempo de
convergncia do treinamento
pode variar

Introduo s RNA

Curva do Erro

Eduardo Simas

38

Consideraes sobre o treinamento

Superfcie de erro multimodal:

Convergncia para o
mnimo global
depende do ponto de
incio do treinamento.
Solues:
iniciar diversas vezes
o treinamento;
utilizar um algoritmo
de busca global.

Introduo s RNA

Eduardo Simas

39

Limitaes das Redes Neurais

A arquitetura (nmero de camadas e neurnios ocultos) precisa ser
escolhida experimentalmente;

A eficincia obtida aps o treinamento depende da estatstica

(quantidade e variedade) disponvel nas amostras utilizadas;
Em alguns casos o treinamento pode ser lento:

Nmero de caractersticas de entrada;

Quantidade de neurnios.
Se houver um modelo matemtico exato para o problema este deve
ser utilizado ao invs de uma rede neural;

Introduo s RNA

Eduardo Simas

40

APLICAES

Introduo s RNA

Eduardo Simas

41

Aplicaes - I
Inspeo de Equipamentos por Ultrassom:

- O ensaio por ultrassom permite a deteco da ocorrncia de descontinuidades;

- Porm, a classificao do tipo de defeito existente uma tarefa mais difcil.
Introduo s RNA

Eduardo Simas

42

Aplicaes - I
Inspeo de Equipamentos por Ultrassom:
Exemplos de Aplicaes de
Redes Neurais:
Classificao de
descontinuidades em
compostos Laminados
Fibra-Metal.

Dimensionamento de
pites de corroso em ao
inoxidvel.

Introduo s RNA

Eduardo Simas

43

Aplicaes - I
Classificao de descontinuidades em compostos Laminados
Fibra-Metal (LFM):
- Os LFM so compostos de camadas
sobrepostas de diferentes materiais;
- Existem mltiplos meios de propagao
e interfaces de reflexo para o sinal
ultrassnico
- A identificao dos defeitos mais
difcil
Sistema proposto:
Classes analisadas:

Sinal
Medido

Transf.
de
Fourier

Classific.
Neural

Indicao da
Integridade

Sem defeito (SD)

Delaminao (D)
Fratura de fibra (F)

Introduo s RNA

Eduardo Simas

44

Aplicaes - I
Classificao de descontinuidades em compostos Laminados
Fibra-Metal:
Determinao do nmero de
neurnios ocultos

Caractersticas utilizadas

Matriz de confuso (%)

Os padres dos sinais sem defeito e com

delaminao so parecidos !
Introduo s RNA

Eduardo Simas

SD

SD

100

1,04

98,96

100
45

Aplicaes - I
Dimensionamento de pites de corroso em ao inoxidvel:
Corpo
de prova

Sensor
ultrassnico

Mesa posicionadora xy de acrlico

e nylon desenvolvida para o ensaio
Corpo de prova padro
Profundidade dos furos: p1 = 0,5 mm,
p2 = 1,0 mm, p3 = 2,0 mm;
Dimetro dos furos: 1 = 0,6 mm; 2 = 0,8 mm
Distncia entre furos: x = y = 16,0 mm
Introduo s RNA

Eduardo Simas

46

Aplicaes - I
Dimensionamento de pites de corroso em ao inoxidvel:
Sinal
Medido

Transf.
de
Fourier

Classific.
Neural

Deteco
do Pite

Eficincia de classificao

Acerto
FURO

95,54%

SD

87,10%

Eficincia em funo do tamanho do furo

DIMETRO (mm)
FURO
Introduo s RNA

0,8

0,6

0,4

97,32%

96,00%

93,32%

Eduardo Simas

47

Aplicaes - II
Filtragem inversa num sistema de medio
Filmes finos de VO2 so utilizados em sensores de temperatura.
interessante sua operao na regio de histerese (alta dR/dT).

Introduo s RNA

Eduardo Simas

48

Aplicaes - II
Filtragem inversa num sistema de medio
- O processo de medio:
alta taxa de variao da
temperatura curva distorcida.
- Medio da curva quase-esttica:
realizado com uma lenta variao da
temperatura; no vivel a realizao
para um conjunto grande de filmes

A rede neural aproxima a funo de

transferncia inversa do sistema de medio.
Introduo s RNA

Eduardo Simas

49

Aplicaes - II
Filtragem inversa num sistema de medio

EQM - Erro Quadrtico Mdio

MEQ - Mximo Erro Quadrtico

Introduo s RNA

Eduardo Simas

50

Aplicaes - III
Agrupamento no-supervisionado de assinaturas acsticas de
contatos eltricos:

Transformador OLTC
Introduo s RNA

Eduardo Simas

51

Aplicaes - III
Agrupamento no-supervisionado de assinaturas acsticas de
contatos eltricos:
Assinaturas
Acsticas

Introduo s RNA

Transformada
Wavelet

SOM

Eduardo Simas

Agrupamento

52

Aplicaes - III
Agrupamento no-supervisionado de assinaturas acsticas de
contatos eltricos:

Probabilidade

Contatos novos
Cont. desgastados

Agrupamentos 3 e 4:
Contatos usados com
pouco desgaste

Agrupamentos 5 e 6:

Contatos usados com

maior desgaste

Agrupamento

Introduo s RNA

Eduardo Simas

53

Aplicaes - IV
Reconhecimento do locutor:

Caractersticas utilizadas:
Frequncia fundamental (pitch);
Coeficientes cepstrais.

Estimativa dos coeficientes cepstrais:

Introduo s RNA

Eduardo Simas

54

Aplicaes - IV
Reconhecimento do locutor:

Experimento 1:
Todos os indivduos da base
de dados (17 mulheres e 18
homens)
PD (%)

PF (%)

Experimento 1

90

Experimento 2

83

21

Introduo s RNA

Experimento 2:
Indivduos com padres
vocais semelhantes
(irmos).

Eduardo Simas

55

Aplicaes - V
Classificao em Fsica de Altas Energias:

Calormetros: medidores de energia.

Introduo s RNA

Eduardo Simas

56

Aplicaes - V
Classificao em Fsica de Altas Energias:
Sadas alvo:
Eltron 1
~ 1000 sensores

Jato -1
100 anis

Classificador Neural

Introduo s RNA

Classificador Linear

Eduardo Simas

57

Aplicaes - V
Classificao em Fsica de Altas Energias:

Para identificao correta de ~97% dos eltrons:

Erro na identificao de jatos:
Rede neural ~7%

Classificador linear ~20%

Na operao do detector ~25.000 jatos sero produzidos por
segundo.

- 13% - 3250 eventos no relevantes armazenados em mdia

permanente

Introduo s RNA

Eduardo Simas

58

Aplicaes - VI
Identificao Automtica do Gnero Musical:

Caractersticas estimadas:
- Frequncia Fundamental;
- Coef. Cepstrais;
- Freq. Fundamental;
- Histograma rtmico;
- Concentrao espectral da energia;
- Sonoridade.

Introduo s RNA

Eduardo Simas

59

Aplicaes - VI
Identificao Automtica do Gnero Musical:
Gneros musicais e sadas alvo:

Rede Neural Utilizada:

- Blues Y=[1, -1, -1, -1, -1]T

- MPB Y=[-1, 1, -1, -1, -1]T
- Reggae Y=[-1, -1, 1, -1, -1]T
- Rock Y=[-1, -1, -1, 1, -1]T

- Samba Y=[-1, -1, -1, -1, 1]T

Introduo s RNA

Eduardo Simas

60

Aplicaes - VI
Identificao Automtica do Gnero Musical:
Variao da eficincia mdia com o nmero de neurnios ocultos

Matriz de Confuso

Percebe-se que os maiores

erros ocorrem entre ritmos
com caractersticas
semelhantes:
MPB x Samba
MPB x Reggae
Blues x Rock

Introduo s RNA

Eduardo Simas

61

CONCLUINDO...

Introduo s RNA

Eduardo Simas

62

Concluses

Ao longo de algumas dcadas de utilizao, as redes neurais artificiais

mostraram-se ferramentas bastante teis em diversas aplicaes.

Vantagens:
Alto poder computacional
Processamento paralelo
Robusta a rudos e dados incompletos
Capaz de estimar mapeamentos no-lineares desconhecidos

Desvantagens:
Arquitetura tima precisa ser determinada experimentalmente
Difcil interpretao do modelo obtido
Eficincia depende do processo de treinamento

Introduo s RNA

Eduardo Simas

63

Mais informaes...
IEEE-INNS International Joint Conference on Neural Networks,
promovido em conjunto pela IEEE Computational Intelligence Society
(www.ieee-cis.org) e pela International Neural Network Society
(www.inns.org)
Congresso Brasileiro de Inteligncia Computacional CBIC (antigo
Cong. Bras. de Redes Neurais CBRN - http://cbrn-cbic2011.org/ ),
promovido pela Sociedade Brasileira de Redes Neurais
(www.sbrn.org.br).
Simpsio Brasileiro de Redes Neurais SBRN, promovido pela
Sociedade Brasileira de Computao (www.sbc.org.br).
Revista Learning and Nonlinear Models (www.deti.ufc.br/~lnlm).
...
Introduo s RNA

Eduardo Simas

64

Referncias Bibliogrficas

Livros Texto:

Haykin, S., Redes Neurais, Princpios e Prtica, Bookman, 2001.

Wasserman, P. D., Neural Computing, Theory and Practice, VNR, 1989.

Calba, L. P., Notas de Aulas, COPPE / UFRJ, 2006.

Aplicaes:

Simas Filho, E. F. Analise No-Linear de Componentes Independentes para uma Filtragem Online
Baseada em Calorimetria de Alta Energia e com Fina Segmentao, Doutorado em Engenharia
Eltrica COPPE / UFRJ, 2010.

Simas Filho, E. F.; Almeida, L. A. L., Filtragem Inversa de Medies de Histerese Trmica
Utilizando Redes Neurais. Cong. Bras. de Automtica, 2006, Salvador-BA.

Simas Filho, E. F.; Almeida, L. A. L. . Self-Organized Classification of On-Load Tap Changers

Acoustic Signatures. In: IEEE Intern.Instrumentation and Measurement Technology Conf., 2008

Santos, L. T., Simas Filho, E. F., Sistema de Reconhecimento Automtico do Locutor Utilizando
um Classificador Neural. Seminrio Nacional de Controle e Automao, 2009, Salvador.

Borges Jr, E. A. T, et al., Classificao do Gnero Musical Utilizando Redes Neurais Artificiais.
In: CONNEPI, 2010, Macei - AL.

Lopes, D. B. P., et al., Utilizao de Redes Neurais Artificiais como Ferramenta de Auxlio na
Deteco de Dimensionamento de Pites em Corroso de Aos Inoxidveis In: Congresso
Nacional de Ensaios No-Destrutivos e Inspeo, 2010, Santos-SP.

Introduo s RNA

Eduardo Simas

65

DVIDAS ??

CONTATO: eduardo.simas@ufba.br

Introduo s RNA

Eduardo Simas

66