REDES NEURAIS

A arquitetura da rede RBF

e seu treinamento
TÓPICOS

1. Introdução e Histórico

2. Arquitetura da rede RBF

3. O neurônio de base radial

4. Treinamento
A REDE RBF
 De forma similar à rede MLP, a RBF possui múltiplas
camadas, porém, utiliza funções de bases radiais
nas unidades ocultas

 O campo local induzido é calculado a partir da

distância da RBF ao padrão

 São utilizadas como ferramentas de interpolação,

aproximação de funções e classificação

 As unidades ocultas representam campos

receptivos locais

 Assim como as redes MLP, as RBF são

aproximadores universais
HISTÓRICO

IDEIA CENTRAL: CONSTRUIR FUNÇÕES

COMPLEXAS A PARTIR DA COMBINAÇÃO DE
FUNÇÕES SIMPLES

1. Os trabalhos com funções de base radial tiveram

início na década de 60 [Medgassy, 1961]

2. Diversos trabalhos, ao longo das décadas de 70 e

80, utilizaram as RBFs para a tarefa de
interpolação e aproximação de funções [Duda &
Hart, 1973, Powell, 1987, Poggio & Girosi, 1989]

Fonte: https://neuron.eng.wayne.edu/tarek/MITbook/chap6/6_1.html
HISTÓRICO

3. Redes RBF foram propostas, independentemente,

por diversos autores: [Broomhead & Lowe, 1988,
Lee & Kil, 1988, Niranjan & Fallside, 1988, Moody
& Darken, 1989].

Fonte: https://neuron.eng.wayne.edu/tarek/MITbook/chap6/6_1.html
ARQUITETURA
1. Comumente, com duas camadas ajustáveis:

1. Oculta: Neurônios de bases radiais

2. Saída: Neurônios lineares

Camada de
Entrada Camada Saída
Escondida
FUNÇÕES DE BASES RADIAIS

1. Multiquadráticas

2. Multiquadráticas Inversas

3. Funções Gaussianas
FUNÇÕES DE BASES RADIAIS

1. Camadas de Saída:

Camada de
Entrada Camada Saída
Escondida
FUNÇÕES DE BASES RADIAIS

• As funções de base radial representam campos

receptivos ancorados em seu centro de massa

• Neurônios respondem de forma ativa a exemplos

próximos aos centros (controlados pela abertura
da função)

• A precisão do modelo depende do número de

funções de base consideradas, das posições dos
centros e da largura do campo receptivo
FUNÇÃO GAUSSIANA
TREINAMENTO

1. O TREINAMENTO DEVE GARANTIR QUE O ERRO

DE SAÍDA SEJA REDUZIDO AO CONFIGURAR OS
PARÂMETROS DA REDE:

1. Parâmetros das funções de base radial

2. Pesos da camada linear de saída

TREINAMENTO

 HÁ TRÊS FORMAS PRINCIPAIS PARA

TREINAMENTO DA REDE RBF:

1. Centros fixos selecionados ao acaso

2. Seleção auto-organizada dos centros

3. Ajuste supervisionado dos centros

• Os pesos da camada de saída são ajustados

via regra delta (treinamento supervisionado)
CENTROS FIXOS

1. Os centros das funções de base radial

são fixados em exemplos do conjunto de
treinamento
• Todo o conjunto (interpolação)

• Subconjunto selecionado aleatoriamente

CENTROS FIXOS

1. As aberturas são configuradas utilizando a

1. Distância média entre os centros

2. Distância entre os centros e as entradas

3. Distância média entre as entradas, etc.

2. dmedia representa a distância média entre

os exemplos e max a máxima, M é o
número de centros
ILUSTRAÇÃO DE INTERPOLAÇÃO

1. Para M=N e sigma=2dmedia

Fonte: Neural
Networks for Pattern
Recognition, C. Bishop,
Oxford University
Press, 1996
ILUSTRAÇÃO DE INTERPOLAÇÃO

1. Para M<<N e sigma<<2dmedia

Fonte: Neural
Networks for Pattern
Recognition, C. Bishop,
Oxford University
Press, 1996
ILUSTRAÇÃO DE INTERPOLAÇÃO

1. Para M<<N e sigma>>2dmedia

Fonte: Neural
Networks for Pattern
Recognition, C. Bishop,
Oxford University
Press, 1996
ILUSTRAÇÃO DE INTERPOLAÇÃO

1. Para M<<N e sigma=2dmedia

Fonte: Neural
Networks for Pattern
Recognition, C. Bishop,
Oxford University
Press, 1996
VIA AGRUPAMENTO DE
DADOS

 Ao invés de selecionarmos os
centros ao acaso, podemos
usar um método de
agrupamento para selecioná-los
• i.e. K-Means

• Fase não-supervisionada

• Seleção de centros mais

representativos
Fonte: https://en.wikipedia.org/wiki/K-means_clustering
K-MEANS
 O K-Means consiste em 3
passos básicos:
1. Definir o número de centros K
(centroides)

2. Obter a associação entre os

exemplos e os centroides

3. Reposicionar cada centroide

considerando a média (centro
de massa) dos exemplos
associados a ele
Fonte: https://en.wikipedia.org/wiki/K-means_clustering
OTIMIZAÇÃO SUPERVISIONADA

1. Semelhante à rede MLP via gradiente descendente

RBF VERSUS MLP

1. Normalmente a MLP pode conter diversas

camadas ocultas, a RBF apenas uma

2. Os neurônios ocultos da RBF usam funções de

base radial (distância entre entradas e o centro).
Os neurônios da MLP usam um combinador
linear (produto interno entre pesos e entradas)

3. As MLP constroem aproximações globais ao

mapear a entrada-saída, as RBF aproximações
locais
O QUE VIMOS?

• Conhecemos a arquitetura e o
processo de treinamento das redes de
Funções de Bases Radiais (RBF)
PRÓXIMA VIDEOAULA

• Conheceremos um modelo de rede

competitivo não-supervisionado
denominado SOM (Self-Organizing Maps)

ATÉ A PRÓXIMA!!