Modelos de Redes Neurais

Construtivas para Classificao e

Verificao de Padres

Juliana Neiva de Gouva Ribeiro
Orientador: Germano Crispim Vasconcelos
Departamento de Informtica - UFPE

Recife, 23 de Abril de 1999

Motivaes
Redes Feedforward tm sido bastante utilizadas
em aplicaes de Reconhecimento de Padres

Problemas apresentados pelas redes MLP e RBF

Redes Construtivas X Arquiteturas Fixas

Redes construtivas pouco investigadas na teoria e
na prtica
Objetivos
Investigao dos modelos de Redes Construtivas
Aplicaes prticas de Classificao e Verificao de
Padres
Identificar propriedades, vantagens e deficincias
Investigao comparativa com redes tradicionais

Identificao de modificaes nos modelos

Avaliao da soluo proposta

Problemas das Redes de
Topologia Fixa

Dilema de definio a priori do nmero de
camadas e unidades intermedirias necessrias
para a soluo de um dado problema

Lentido de processo de treinamento
Redes Neurais Construtivas
Constrem gradualmente suas prprias estruturas
at atingirem uma soluo satisfatria

Configurao inicial mnima

Adotam estratgias de insero e treinamento
distintas

Treinam, em geral, mais rpido
Cascade-Correlation
Entradas
+1
Sadas
X
X
X
X
X
X
X
X
X X
X X
Unidade
Escondida 2
Unidade
Escondida 1
C = S
o
|S
p
(y
po
- y
o
)(e
po
- e
o
)|
Caractersticas da Cascor
Rede razoavelmente pequena construda

Aprendizagem rpida (problema fixo X dana
complexa )

Detectores de caractersticas de alta ordem (redes
profundas)


A Arquitetura Tower
Constri uma torre de TLUs

Cada nova camada adicionada rede recebe
estmulos da camada de entrada e da camada
imediatamente abaixo dela

O algoritmo utilizado do tipo perceptron
( pocket with ratchet)

Camada Intermediria 1 Camada Intermediria 2
A Arquitetura Tower
Camada de Sada Camada de Entrada
A Arquitetura Pyramid
Constri uma rede de forma similar rede Tower

Cada nova camada recebe estmulos tanto da
camada de entrada como de todas as camadas
previamente inseridas na rede

A diferena chave em relao Cascor a forma
de treinamento das novas unidades
A Rede Upstart
As unidades so inseridas em uma nica camada

Unidades filhas wrongly-on ou wrongly-off
corrigem erros das unidades ascendentes que
cometeram mais erros

Algoritmo de treinamento tipo perceptron
(Barycentric Correction Procedure - BCP)
A Rede Upstart
...
...
Camada de Sada
Camada de Entrada
Camada Intermediria
Unidade Filha Atual
Filhas Previamente Inseridas
CONEXO INDIVIDUAL ENTRE 2 UNIDADES
CONEXO EM BLOCO
...
A Rede Tiling
Constri uma rede em camadas contendo unidades
TLUs atravs de algoritmos do tipo perceptron

Unidades mestres so inseridas na rede de modo
a classificar corretamente mais padres que as
unidades mestres das camadas anteriores

Unidades auxiliares so inseridas nas camadas
para se atingir uma representao fiel do problema


A Rede Tiling
Camada Intermediria 1
Unidades auxiliares
Camada Intermediria 2
Camada de Sada
Camada de Entrada
A Rede Perceptron-Cascade
Baseia-se na estratgia da rede Upstart e constri
uma rede com topologia similar Cascor

Utiliza algoritmo do tipo perceptron (Thermal
Perceptron)

Convergncia robusta, incluindo unidades de
forma bastante otimizada

A Rede Perceptron-Cascade
Camada
Intermediria 2
Camada
Intermediria 1
.

.

.

Camada de Sada
Conexes em Grupo
Conexes Individuais
Camada de Entrada
.
.
.
A Rede DistAl
Utiliza TLUs esfricas definindo clusters

Calcula distncia entre pares de padres,
utilizando vrias mtricas de distncia

Tenta classificar o maior nmero de padres
possvel com a insero de cada unidade

Treinamento do tipo one-shot
Problemas Prticos de
Classificao


Anlise de crdito ao consumidor - CARD

Diagnstico de problemas cardacos - HEART

Reconhecimento de caracteres manuscritos
Problema Prtico de Verificao
Investigado

Verificao de Assinaturas
Classificao de Padres
( Estrutura Experimental)
Foram investigados sete modelos construtivos

Experimentos preliminares para ajuste de
parmetros

Esquema extensivo de investigao experimental

Repeties das melhores simulaes para extrao
de estatsticas como mdias e desvios-padro

Classificao de Padres
( Estrutura Experimental)

Os resultados relativos MLP so extrados do
PROBEN1

Foram realizadas simulaes com as redes RBF
seguindo o mesmo esquema experimental
Classificao de Padres
( Estrutura Experimental)

Investigao comparativa entre modelos
construtivos e arquiteturas convencionais

Propriedades de generalizao, convergncia,
tamanhos de redes geradas e tempo de treinamento
Anlise Comparativa dos Modelos
(Classificao de Padres)
Cascor
Tower
Pyramid
DistAl
PercCasc
Upstart
Tiling
MLP
RBF
REDE UNID. INTERM DESEMPENHO DP
Anlise de Crdito - CARD1
8
96
96
27
10
6
63
8
10
84.00%
84.88%
86.05%
84.35%
87.58%
90.70%
80.23%
86.00%
88.00%
2.48
2.41
1.87
2.32
2.12
2.03
2.74
1.03
0.67
Anlise Comparativa dos Modelos
(Classificao de Padres)
Cascor
Tower
Pyramid
DistAl
PercCasc
Upstart
Tiling
MLP
RBF
REDE UNID. INTERM DESEMPENHO DP
Anlise de Crdito - CARD2
8
84
60
27
10
7
51
4
40
79.00%
78.49%
79.07%
84.06%
86.80%
86.05%
79.05%
81.00%
82.00%
1.87
2.91
2.97
4.10
2.97
1.96
2.48
0.86
0.70
Anlise Comparativa dos Modelos
(Classificao de Padres)
Cascor
Tower
Pyramid
DistAl
PercCasc
Upstart
Tiling
MLP
RBF
REDE UNID. INTERM DESEMPENHO DP
Anlise de Crdito - CARD3
8
96
60
27
10
7
71
24
20
82.00%
79.65%
79.07%
82.90%
84.07%
83.72%
79.07%
81.00%
83.00%
1.97
2.26
3.45
3.54
2.11
2.53
2.08
1.19
0.70
Anlise Comparativa dos Modelos
(Classificao de Padres)
Cascor
Tower
Pyramid
DistAl
PercCasc
Upstart
Tiling
MLP
RBF
REDE UNID. INTERM DESEMPENHO DP
Deteco de Problemas Cardacos -HEART1
8
96
96
40
12
9
129
8
10
82.00%
78.70%
79.57%
79.13%
82.72%
84.05%
76.52%
80.00%
82.00%
1.96
2.73
2.93
4.03
2.64
2.48
1.98
0.96
1.20
Anlise Comparativa dos Modelos
(Classificao de Padres)
Cascor
Tower
Pyramid
DistAl
PercCasc
Upstart
Tiling
MLP
RBF
REDE UNID. INTERM DESEMPENHO DP
Deteco de Problemas Cardacos - HEART2
8
60
96
38
12
9
101
4
20
80.00%
78.26%
78.26%
80.87%
82.56%
81.45%
71.74%
82.00%
82.00%
1.66
3.11
2.69
2.92
3.03
2.06
2.02
1.14
1.72
Anlise Comparativa dos Modelos
(Classificao de Padres)
Cascor
Tower
Pyramid
DistAl
PercCasc
Upstart
Tiling
MLP
RBF
REDE UNID. INTERM DESEMPENHO DP
Deteco de Problemas Cardacos - HEART3
8
96
96
37
12
9
128
24
60
74.00%
70.87%
76.09%
82.61%
80.96%
80.78%
77.39%
76.00%
79.00%
1.97
3.36
2.38
2.71
2.02
2.65
2.18
1.12
0.48
Anlise Comparativa dos Modelos
(Classificao de Padres)
Reconhecimento de Caracteres
Cascor MLP RBF Cascor MLP RBF
Taxa de Reconhecimento Taxa de Erro
NC
0
0.15
0.25
0.35
0.45
0.55
0.65
8.0%
5.3%
5.3%
3.7%
2.6%
3.0%
1.7%
92.0%
89.4%
88.2%
84.4%
80.8%
81.3%
72.9%
91.1%
85.7%
80.3%
74.9%
66.7%
55.8%
-
8.8%
4.5%
3.7%
3.4%
3.0%
2.6%
2.2%
91.1%
84.7%
83.2%
81.4%
80.3%
79.1%
77.8%
8.8%
3.4%
1.4%
0.5%
0.4%
0.2%
-
Grfico Comparativo
(Nmero de pocas Mdio)
0
200
400
600
800
1000
1200
M
L
P
R
B
F
C
a
s
c
o
r
P
e
r
c
C
a
s
c
U
p
s
t
a
r
t

T
i
l
i
n
g

T
o
w
e
r
P
y
r
a
m
i
d
Redes Investigadas
N

m
e
r
o

d
e

p
o
c
a
s
Consideraes sobre Classificao
Destaque das redes Perceptron-Cascade, Upstart,
DistAl e Cascor

As redes Tower e Pyramid consideram um fator de
rejeio, tornando seus resultados mais robustos

As redes construtivas apresentam desvios-padro
muito altos
Problema Prtico de Verificao
de Padres
Reconhecimento de Assinaturas

Base de dados contendo imagens de assinaturas
juntamente com suas caractersticas extradas

Exemplos de assinaturas genunas, falsas
habilidosas e falsas simples

21 classes foram consideradas
Exemplo de uma Classe de
Assinaturas
Assinatura Genuna
Assinatura Falsa Habilidosa
Assinatura Falsa Simples
Modelos Autoassociativos
Sadas so obrigadas a reproduzirem as entradas

Geram superfcies de separao fechadas cobrindo
os dados de treinamento

Poucas unidades intermedirias, filtrando as
informaes mais relevantes

A verificao estabelecida atravs da distncia
entre os vetores de entrada e sada (maxerr)


Arquiteturas Investigadas
Cascor autoassociativa

MLP autoassociativa

Tower-autoassociativa

Pyramid-autoassociativa
Extrao de Caractersticas
Das imagens de esqueleto, bordas e regies de alta
presso so extradas 12 caractersticas atravs da
tcnica de Momentos

Para efeito comparativo, foi aplicada a tcnica de
Anlise dos Componentes Principais (PCA)
Modificaes Propostas
Tower e Pyramid originais no adequadas ao
paradigma autoassociativo

Modificaes nos mecanismos de treinamento

Tower-autoassociativa e Pyramid-autoassociativa
Anlise Comparativa dos Modelos
(Verificao de Padres)
MLP autoassociativa
Cascor autoassociativa
Tower
Pyramid
60%
70%
100%
100%
Rede Unidades I II III
10
8
12
24
100%
100%
25%
50%
100%
100%
100%
75%
Desempenhos relativos classe 0
Anlise Comparativa dos Modelos
(Verificao de Padres)
MLP autoassociativa
Cascor autoassociativa
Tower
Pyramid
90%
70%
100%
100%
Rede Unidades I II III
10
5
24
24
75%
50%
0%
25%
100%
100%
50%
50%
Desempenhos relativos classe 5
Anlise Comparativa dos Modelos
(Verificao de Padres)
MLP autoassociativa
Cascor autoassociativa
Tower
Pyramid
80%
70%
100%
90%
Rede Unidades I II III
10
8
12
12
75%
75%
25%
25%
100%
100%
75%
75%
Desempenhos relativos classe 20
Anlise Comparativa dos Modelos
(Verificao de Padres)
MLP autoassociativa
Cascor autoassociativa
Tower-autoassociativa
Pyramid-autoassociativa
60%
70%
100%
100%
Rede Unidades I II III
10
8
6
12
100%
100%
50%
75%
100%
100%
100%
100%
Desempenhos relativos classe 0
Anlise Comparativa dos Modelos
(Verificao de Padres)
MLP autoassociativa
Cascor autoassociativa
Tower-autoassociativa
Pyramid-autoassociativa
90%
70%
100%
80%
Rede Unidades I II III
10
5
12
12
75%
50%
75%
75%
100%
100%
100%
75%
Desempenhos relativos classe 5
Anlise Comparativa dos Modelos
(Verificao de Padres)
MLP autoassociativa
Cascor autoassociativa
Tower-autoassociativa
Pyramid-autoassociativa
80%
70%
90%
90%
Rede Unidades I II III
10
8
12
12
75%
75%
75%
75%
100%
100%
100%
75%
Desempenhos relativos classe 20
Nmero de pocas

Os nmero de pocas mdios para as redes MLP,
Cascor, Tower-autoassociativa e Pyramid-
autoassociativa foram 100, 100, 1500 e 1500
pocas, respectivamente


Anlise Comparativa de Tcnicas
de Extrao de Caractersticas
MLP autoassociativa
Cascor autoassociativa
MLP com PCA
Cascor com PCA
60%
70%
70%
80%
Rede Unidades I II III
10
8
10
8
100%
100%
50%
75%
100%
100%
100%
100%
Desempenhos relativos classe 0
Anlise Comparativa de Tcnicas
de Extrao de Caractersticas
MLP autoassociativa
Cascor autoassociativa
MLP com PCA
Cascor com PCA
90%
70%
60%
70%
Rede Unidades I II III
10
5
10
8
75%
50%
50%
50%
100%
100%
50%
75%
Desempenhos relativos classe 5
Concluses
Para os problemas de Classificao de Padres, as
redes construtivas se mostraram bastante eficientes

Os melhores resultados foram apresentados pelas
redes Perceptron-Cascade, Upstart, DistAl e
Cascor

Os resultados foram muito prximos e muitas
vezes superiores aos obtidos com a MLP e a RBF
Concluses
Tower e Pyramid originais no so apropriadas
verificao de padres sob a autoassociao

Foi realizada uma adaptao destes modelos ao
paradigma autoassociao

Em relao taxa de reconhecimento de
assinaturas genunas, as redes construtivas
obtiveram, em geral, resultados melhores que a
rede MLP autoassociativa (70% a 100%)



Concluses
A rede Pyramid-autoassociativa obteve os
melhores resultados

Em relao s taxas de rejeio de assinaturas
falsas simples, as redes apresentaram resultados
bastante satisfatrios e semelhantes aos da MLP
(entre 75% e 100%)


Concluses
Os resultados relativos rejeio de falsas
habilidosas foram aqum do desejado para os
dois modelos de redes (s vezes chegando a 50%)

Os ndices alcanados com a aplicao da tcnica
de PCA foram inferiores aos obtidos com a tcnica
de Momentos, porm considerados satisfatrios





Concluses

Atravs dos resultados obtidos, conclui-se
seguramente que os modelos construtivos
podem ser considerados como uma
alternativa aos modelos mais tradicionais de
redes feedforward
Contribuies
Avaliao dos modelos tradicionais MLP e RBF
nas tarefas prticas investigadas

Investigao comparativa dos modelos
construtivos Cascade-Correlation, Tower,
Pyramid, DistAl, Upstart, Tiling e Perceptron-
Cascade em problemas reais de classificao de
padres
Contribuies
Investigao comparativa dos modelos
construtivos Cascade-Correlation, Tower e
Pyramid, sob a abordagem autoassociativa, em um
problema real de verificao de padres

Modificao dos algoritmos Tower e Pyramid,
adequando-os aplicao de verificao de
padres
Trabalhos Futuros
Investigar todos os demais modelos construtivos
na tarefa de verificao de padres

Investigar os modelos utilizando um conjunto
ainda mais extenso de problemas prticos de
classificao, devido ao patamar incipiente das
pesquisas

Trabalhos Futuros
Investigar os modelos construtivos em outros tipos
de problemas: previso, otimizao, controle e
aproximao de funes

Investigar outros modelos de redes construtivas
como o RBF-DDA

Investigar a adequabilidade das redes construtivas
ao paradigma de aprendizagem recorrente
Publicaes Geradas
1. An Experimental Evaluation of the Cascade-Correlation
Network in Pattern Recognition Problems. Fourth
International Conference on Neural Information
Processing - ICONIP'97, New Zealand, Springer Verlag
Singapore, 1133-1136, 1997
2. Verificao Off-line de Assinaturas Baseada em uma
Arquitetura Cascade-Correlation Autoassociativa. V
Simpsio Brasileiro de Redes Neurais, 305-310, 1998
3. A Comparative Study of the Cascade-Correlation
Architecture in Pattern recognition Applications . IEEE
Computer Society, IV th Brazilian Symposium on
Neural Networks, (1):31- 40,1997
Publicaes Geradas
4. Off-Line Signature Verification using an Autoassociator
Cascade-Correlation Architecture. A ser publicado nos
anais da IJCNN99 (International Joint Conference on
Neural Networks), Washington, 10-16 de julho de 1999
5. Redes Neurais Construtivas para Classificao de
Padres, submetido ao ENIA99
6. Constructive Neural Networks for Pattern Classification
and Verification, submetido ao ICONIP99
7. Arquiteturas Autoassociativas Construtivas para
Verificao Automtica de Assinaturas, submetido ao
CBRN99
No chegar ao FIM ao que a tua grandeza...
Goethe