1

Aprendizado de Mquina: Uma Aprendizado de Mquina: Uma

Viso Geral Viso Geral
Fernando J. Von Zuben & Clodoaldo A. Moraes Lima
DEPARTAMENTO DE ENGENHARIA DE
COMPUTAO E AUTOMAO
INDUSTRIAL
FACULDADE DE ENGENHARIA
ELTRICA E DE COMPUTAO
CAMPINAS - BRASIL
http://www.lbic.fee.unicamp.br
UNICAMP
2
Aprendizado de Mquina Aprendizado de Mquina
Mquinas de Vetores Mquinas de Vetores- -Suporte Suporte
Agrupamento de Mquinas Agrupamento de Mquinas
Ensemble Ensemble
Mistura de Especialistas Mistura de Especialistas
Sumrio Sumrio
3
Aprendizado de Mquina Aprendizado de Mquina
Mquinas de Vetores Mquinas de Vetores- -Suporte Suporte
Agrupamento de Mquinas Agrupamento de Mquinas
Ensemble Ensemble
Mistura de Especialistas Mistura de Especialistas
Sumrio Sumrio
4
Aprendizado de Mquina Aprendizado de Mquina
O objetivo de aprendizado de mquina construir
modelos computacionais que podem adaptar-se e
aprender a partir da experincia (Tom Dietterich)
Algoritmos de Aprendizado de Mquina tm como
objetivo descobrir o relacionamento entre as
variveis de um sistema (entrada/sada) a partir de
dados amostrados.
Estes algoritmos se originam de muitos campos:
Estatstica, matemtica, fsica, engenharia,
neurocincia, etc.
5
Quando os algoritmos de Aprendizado Quando os algoritmos de Aprendizado
de Mquina no so necessrios? de Mquina no so necessrios?
Quando os relacionamentos entre todas as
variveis do problema (entrada/sada) so
completamente compreendidos.
Este no o caso de muitos dos problemas reais
com os quais iremos nos defrontar em nosso dia-
a-dia.
6
Os Sub Os Sub- -Campos de Aprendizado de Mquina Campos de Aprendizado de Mquina
Aprendizado Supervisionado
Aprendizado por Reforo
Aprendizado No-Supervisionado
2
7
Aprendizado a partir de dados
Sntese de mapeamentos no-lineares com
garantia de aproximao universal
Problema: como calibrar devidamente a
flexibilidade do modelo de aproximao?
Aprendizado Supervisionado Aprendizado Supervisionado
8
Dados de Treinamento
Exemplos de entrada/sada
Refletem o mapeamento funcional da entrada para
a sada
Espao de Hipteses
Um conjunto particular ou uma classe de funes
candidatas
Algoritmo de Aprendizado
Recebe os dados de treinamento como argumento
Seleciona a hiptese a partir do espao de
hipteses
Aprendizado Supervisionado Aprendizado Supervisionado
9
Metodologias Metodologias
Principal Suposio:
Soma ponderada dos atributos de
entrada
Dados so linearmente separveis
Espao de Hipteses
Restrito (paramtrico) : potencial
de modelagem limitado
Modelos Lineares Modelos Lineares
10
Principal Suposio
Muitas unidades simples, combinadas em
camadas, produzindo modelos efetivos
Capacidade de Aproximao Universal
Espao de hipteses
Pouco restrito (no-paramtrico): pode
modelar um amplo espectro de funes.
Redes Neurais Artificiais Redes Neurais Artificiais
11
Alguns Problemas com aprendizado a
partir de dados
Ineficincia (por exemplo, no caso de
mnimo local)
O tamanho do espao de hipteses pode se
mostrar muito grande e de busca muito
custosa
Sobre-ajuste
Geralmente envolve um nmero grande de
parmetros
12
Algumas questes
Como evitar sobre-
ajuste?
Como evitar sobre-
ajuste?
Como tratar o
problema de mnimo
local?
Como tratar o
problema de mnimo
local?
Como melhorar o
desempenho de
ferramentas
tradicionais?
Como melhorar o
desempenho de
ferramentas
tradicionais?
Uma possvel soluo seria utilizar agrupamento de mquinas.
Outra possibilidade seria utilizar ferramentas que conseguem controlar a complexidade
mantendo boa capacidade de generalizao (SVM)
3
13
Aprendizado de Mquina Aprendizado de Mquina
Mquinas de Vetores Mquinas de Vetores- -Suporte Suporte
Agrupamento de Mquinas Agrupamento de Mquinas
Ensemble Ensemble
Mistura de Especialistas Mistura de Especialistas
Sumrio Sumrio
14
Mquinas de Vetores Mquinas de Vetores- -Suporte (SVM Suporte (SVM Support Support
Vector Vector Machines Machines) )
Mquinas de Vetores-Suporte
Usam espao de hipteses de funes lineares no espao de
caractersticas de alta dimensionalidade, treinadas com um
algoritmo baseado na teoria de otimizao que implementa a
teoria de aprendizado estatstico.
Palavras-chave
Mquinas de Aprendizado Linear
Funes de kernel
Usadas para definir o espao de caractersticas implcito,
no qual a mquina de aprendizado linear opera.
Responsvel pelo uso eficiente do espao de caractersticas
de alta dimensionalidade.
Teoria de Otimizao Representao Compacta
15
x
x
x
x
x
x
x
x
x
x
o
o
o
o
o
o
(x)

(x)
(x)
(x)
(x)
(x) (x)
(x)
(x)
(x)
(o)
(o)
(o)
(o)
(o)
(o)
Dimenso = m Dimenso = M >> m
x
x
x
x
x
x
x
x
x
x
o
o
o
o
o
o
(x)

(x)
(x)
(x)
(x)
(x) (x)
(x)
(x)
(x)
(o)
(o)
(o)
(o)
(o)
(o)
Dimenso = m Dimenso = M >> m
Mudana de Paradigma
16
SVM supera dois problemas
1) Problema conceitual
Como controlar a complexidade do espao de hipteses?
Funes lineares em alta dimenso, com restries e critrios de
desempenho que visam proporcionar boa capacidade de
generalizao no espao original
2) Problema Computacional
Como realizar otimizao numrica em espao de alta
dimenso?
Usar uma representao kernel dual de funes lineares
17
H infinitas retas que tm erro
de treinamento zero
Qual delas devemos escolher?
Classificadores lineares para problemas
linearmente separveis
18
vetores X
i
rtulos y
i
= 1
Hiperplano de separao de margem tima
(Vapnik)
4
19
) ( sign b y + = X w
w
1
1 ) ( + b y
i i
wX
w
w
: min
Hiperplano de separao de margem tima
(Vapnik)
20
) ( sign b y + = X w
1 ) ( + b y
i i
X w
w
w
: min
S i b y
i i
= + , 1 ) ( X w

=
S i
i i i
y X w
vetores X
i
rtulos y
i
= 1
Vetores-suporte:
Vetores-Suporte
21
vetores X
i
rtulos y
i
= 1
Vetores-suporte:
) ( sign b y + = X w
1 ) ( + b y
i i
X w
w
w
: min
,b
S i b y
i i
= + , 1 ) ( X w

=
S i
i i i
y X w ) ( sign b y y
S i
i i i
+ =

X X
Mquina de Vetores-Suporte (SVM)
22
vetores X
i
rtulos y
i
= 1
Vetores-suporte:
(vetores da margem e
vetores de erro)
) ( sign b y + = X w
S i b y
i i
+ , 1 ) ( X w

=
S i
i i i
y X w
) ( sign b y y
S i
i i i
+ =

X X
Hiperplano de separao com margem
suave
23
x
X
) (
) (
) (
x X
x X
=
=
i i
) , ( K ) , ( ) ( ) ( x x x x
i i
K =
) ) , ( ( sign b K y y
S i
i i i
+ =

x x
) ) ( ) ( ( sign b y y
S i
i i i
+ =

x x
) ( ) ( x x X X =
i i
Condio de Mercer
( sign b y y
S i
i i i
+ =

X X
Kernels
24
Tipos de Kernel
i. Linear
ii. Polinomial
iii. Funo Gaussiana de Base
Radial
iv. Funo Exponencial Base
Radial
y x y x K = ) , (
d
y x y x K ) 1 ( ) , ( + =
|
|
.
|

\
|
=
2
2
2
) (
exp ) , (

y x
y x K
v. Tangente
vi. Sries de Fourier
vii. Linear Splines
viii. Bn-splines
|
|
.
|

\
|
=
2
2
exp ) , (

y x
y x K
) ) ( tanh( ) , ( c y x b y x K + =
( ) ) (
) )( (
) , (
2
1
2
1
y x sin
y x N sin
y x K

+
=
( )
( )
3
2
) , max(
3
1
) , min(
2
) (
) , min( 1 ) , (
y x
y x
y x
y x xy xy y x K
+
+
+ + =
) ( ) , (
1 2
y x B y x K
n
=
+
5
25

=
+ =
N
i
i
F C w w
1
2
) (
2
1
) , (
Problema Primal
Sujeito a
N i b y
i i i
, , 1 , 1 ] ) [( K = + x w
Formulao do SVM para classificao
26

27
Problema dual
Sujeito a
Frmula Usual em Otimizao

= = =
=
N
i
i
N
i
N
j
j i j i j i
K y y W
1 1 1
) , (
2
1
) ( min

x x
N i C
i
, , 1 , 0 K =

=
=
N
i
i i
y
1
0

T T
c H W + =
2
1
) ( min
N i C
i
, , 1 , 0 K =
b A =
Formulao do SVM para classificao
28
0
0
0
0
0
2
1
) (
4
3
2
1
4 3 2
4
1
1
4
1 ,
4 3 2 1

= + =
+ + + =

=
=

i
i i
j i
ij j i j i
y sujeito
h y y L
(
(
(
(

=
9 1 1 1
1 9 1 1
1 1 9 1
1 1 1 9
K

= =
+ = =
n
i i
i i i i
y H y f
1
4
1
2 *
] 1 ) . [( ) 125 . 0 ( ) , ( ) ( x x x x x
Problema dual
Utilizando o kernel polinomial de ordem 2
Funo

1
x
2
x
y

Exemplo Ou Exclusivo
29
Um contra todos
Um contra um
DAGSVM
Mtodo proposto por Weston & Watkins
Mtodo proposto por Crammer & Singer
Problema com Mltiplas Classes
30
Um contra Um contra todos todos
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
Eixo 1
Eixo 2
Classe I
Classe II
Classe III
6
31
Um contra um Um contra um
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
Eixo 1
Eixo 2
Classe I
Classe II
Classe III
32
No ALL B-cell
AML vs. ALL T-cell
ALL B-cell vs. ALL T-cell AML vs. ALL B-cell
No AML
No ALL B-cell No ALL T-cell No AML
ALL T-cell ALL B-cell AML
No ALL T-cell
AML vs. ALL T-cell
ALL B-cell vs. ALL T-cell
ALL B-cell
DDAGSVM
33
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
Eixo 1
Eixo 2
Mtodo proposto por Mtodo proposto por Weston Weston & & Watkins Watkins e por e por Crammer Crammer
& Singer & Singer. .
Classe I
Classe II
Classe III
34
Desenvolvido por Vapnik (1995)
Modelo: Dado um conjunto de amostras estimar a funo:
Minimizando

b x w x f + = )) ( ( ) (
) (
2
1
) , (
1
2

=
+ =
l
i
i
F C w w
R y R x y x y x
n
l l
, ), , ( , ), , (
1 1
K
Problema de Regresso Problema de Regresso
35
Classificao Regresso
) (
) (
) (
x z
x z
=
=
i i
36
Problema Primal
Sujeito a
0
0
, , 1 , ) (
, , 1 , ) (
*
*

= + +
= +
i
i
i i i
i i i
N i y b x w
N i b x w y

K
K
|
.
|

\
|
+ + =

= =
N
i
i
N
i
C w w w
1
*
1
*
) (
2
1
) , , (
Formulao do SVM para Regresso
7
37
Funes de penalidade para regresso
-insensvel
-0.5 -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4 0.5
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
e-Insentive
-0.5 -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4 0.5
0
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
0.18
e-Quadratica
-0.5 -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4 0.5
0
0.01
0.02
0.03
0.04
0.05
0.06
0.07
0.08
Huber
-quadrtica
38
Formulao do SVM para Regresso
N i C
i
, , 1 , 0
*
K =
Problema dual
Sujeito a
Frmula Usual em Otimizao

= = = =
+ + =
N
i
i i i
N
i
i i i
N
i
N
j
j i j i j i
y K W
1
*
1
*
1 1
* *
) ( ) ( ) )( , ( ) (
2
1
) ( min

x x
N i C
i
, , 1 , 0 K =

T T
c H W + =
2
1
) ( min
N i C
i
, , 1 , 0 K =
b A =
N i
N
i
N
i
i i
, , 1 ,
1 1
*
K = =

= =

39
Exemplo
(b) (a)
40
(d) (c)
Figura Aproximao com diferentes nveis de preciso requer um nmero diferente de vetores-
suporte: 32 SV para =0.01, (b) 12 SV para = 0.05, (c) 10 SV para = 0.1, (d) 6 SV para
= 0.2 para funo de perda norma - insensvel.
41
Aprendizado de Mquina Aprendizado de Mquina
Mquinas de Vetores Mquinas de Vetores- -Suporte Suporte
Agrupamento de Mquinas Agrupamento de Mquinas
Ensemble Ensemble
Mistura de Especialistas Mistura de Especialistas
Sumrio Sumrio
42
Agrupamento de Mquinas
Agrupamento de mquinas
Mtodo de aprendizado supervisionado ou no-
supervisionado cujo objetivo aumentar a capacidade de
generalizao de estimadores
Categorias de Agrupamento de Mquinas
Estrutura esttica
ensemble
Estrutura dinmica
Mistura de especialistas (ME)
Mistura hierrquica de especialistas (HME)
8
43
Estrutura de um Ensemble
Componente 1
Componente 2
Componente m
M
x
Combinador
y
44
Estrutura de uma Mistura de Especialistas

Rede
Gating

g
1
x
g
2
g
m
Especialista
1
Especialista
2
. . .
Especialista
m
...

2

m
45
Aprendizado de Mquina Aprendizado de Mquina
Mquinas de Vetores Mquinas de Vetores- -Suporte Suporte
Agrupamento de Mquinas Agrupamento de Mquinas
Ensemble Ensemble
Mistura de Especialistas Mistura de Especialistas
Sumrio Sumrio
46
Ensemble
Conceito de ensemble
Cada componente compartilha a mesma entrada
Os componentes devem ter bom desempenho e ser
diversos
A sada deles combinada para produzir a sada global
Motivao
Evitar sobre-ajuste dos dados
Expectativa
Cada especialista converge para um mnimo local
diferente
Melhora o desempenho global do sistema
47
Estrutura tpica de uma ensemble
Componente 1
Componente 2
Componente m
M
x
Combinador
y
48
Ensemble
Proporcionar uma soluo para a mesma tarefa (redundncia)
Generalizao e diversidade
Os componentes devero generalizar diferentemente
A ensemble dever ser tolerante a falhas
Eficincia dependente do nvel de descorrelao dos componentes, alm de
sua performance individual
Vantagens
Evita a perda de informao
Usualmente produz melhor resultado que um nico componente
Envolve: gerao, seleo, combinao.
9
49
Trs motivaes

H
f
3
h
2
h
1
h
4
h

H
f
3
h
2
h
1
h
4
h

H
f
3
h
2
h
1
h
4
h
Estatstica Computacional
Representacional
50
Gerando Membros de um Ensemble usando
Redes Neurais Artificiais
Variando o conjunto de pesos iniciais
Variando a topologia
Variando o algoritmo de treinamento
Variando os dados de treinamento
Amostragem
Bagging
Conjunto de dados disjuntos
Amostragem sem repetio
Boosting
Diferentes fontes de dados
Pr-processamento
51
Bagging
O treinamento pode ser em paralelo.
52
Boosting
Obs: Amostra 1 de difcil tratamento.
O treinamento deve ser seqencial.
53
Por que selecionar?
Nmero de falhas coincidentes
Como selecionar ?
Algoritmo de Perrone & Cooper
Diferena no MSE quando ns passamos de um estimador (mdia
simples) com uma populao de K elementos para um estimador com
populao de K+1
O novo membro dever ser adicionado se satisfizer o critrio de
Perrone & Cooper
Seleo
54
Mtodos de seleo para Classificao
A sada da ensemble para a j-sima instncia
vai ser:
Abordagem construtiva
Abordagem de poda
0 ) ) ((
} 1 | || {
1
+

=
N
soma j j
j
j kj j
j
d f soma sign
0 ) ) ((
} 1 | || {
1

=
N
soma j j
j
j kj j
j
d f soma sign
) (

j j
soma sign f =

=
=
m
i
ij j
f soma
1
10
55
Mtodos de seleo para Regresso
Considere a matriz de correlao
Abordagem construtiva
Abordagem de poda
( )( )

= dx x p x d x f x d x f C
j i ij
) ( ) ( ) ( ) ( ) (
( )
2
) ( ) ( ) ( x d x f x E
i i
=
k
N
k i
i
ik
N
i
N
j
ij
E N C N C N
2
1
2
1 1
2 ) 1 2 ( +

= = =
k
N
k i
i
ik
N
i
N
j
ij
E N C N C N
2
1
2
1 1
2 ) 1 2 ( + +

= = =
56
Combinando Membros da Ensemble
Classificao
Mdia simples
Mdia Ponderada
Votao
Unanimidade Todos aceitam
Unanimidade modificada Todos aceitam ou rejeitam
Majoritrio (Ponderado ou no) Mais que a metade concorda
Pluralidade limitada A maioria concorda
Mtodo Bayesiano
Ex: Especialista
Mtodo BKS No faz suposio sobre o dados
57
Combinando Membros da Ensemble
Regresso
Mdia simples
Mdia Ponderada (MSE-OLS)
MSE-OLS irrestrito com um termo constante
MSE-OLS irrestrito sem um termo constante
MSE-OLS restrito com um termo constante
MSE-OLS restrito sem um termo constante
58
Dados com rudo
Comparao do desempenho do ensemble com o desempenho dos componentes SVM (os quais
apresentam kernel distinto) variando-se C. O ensemble mostra um desempenho superior ao
melhor componente para todos os valores de C considerados, indicando robustez da
metodologia.
0 5 10 15 20 25
-2
-1.8
-1.6
-1.4
-1.2
-1
-0.8
-0.6
log10(C)
lo
g
1
0
(
M
S
E
)
Comparative Results
Bspline
ERBF
RBF
Best Ensemble
59
Aprendizado de Mquina Aprendizado de Mquina
Mquinas de Vetores Mquinas de Vetores- -Suporte Suporte
Agrupamento de Mquinas Agrupamento de Mquinas
Ensemble Ensemble
Mistura de Especialistas Mistura de Especialistas
Sumrio Sumrio
60
Caractersticas de uma Mistura de
Especialistas
Caractersticas
Estrutura Modular
Segue princpio Dividir-e-Conquistar
Permite uma interpretao probabilstica
Otimizao ou estimao dos modelos dos parmetros
pode ser obtida usando o algoritmo de Maximizao da
Esperana
Motivao associada ao ME
Decomposio no-linear do espao de entrada
Modelos ME tem produzido bons resultados quando
aplicado em classificao e regresso.
11
61
Variaes de mistura de especialistas
Mistura tradicional (ME)
Introduzida por Jacobs et al. (1991)
Tanto os especialistas quanto a rede gating so modelos lineares, com
exceo de que a rede gating possui funo de ativao softmax
Mistura de Especialistas Gated (GE)
Introduzida por Weigend et al. (1995)
Emprega especialistas no-lineares
Rede gating: perceptron multicamadas
Mistura de Especialistas Localizados (LME)
Introduzida por Xu et al. (1995)
Usa kernel gaussiano normalizado para a rede gating
Especialistas so modelos lineares ou no-lineares
62
A funo de ativao para a sada da rede gating
(conhecida como soft-max) dada por:
A funo de ativao para a sada da rede gating
(conhecida como soft-max) dada por (LME):

=
m
i
j j i
j j j
j
m x P
m x P
x g
1
) , | (
) , | (
) (

=
=
m
i
i
j
j
x z
x z
x g
1
)) ( exp(
)) ( exp(
) (
) ( ) ( ) 2 ( ) , , (
1
2
1
2 1
2
j j
T
j j
n
j j
m x m x e m x P =

Tipos de Rede Gating

63
Funo-objetivo
Aplicando o algoritmo EM
Logo

=
l i
i
t t t
x y P v x i P l ) , | ( ) , | ( log ) , (
) ( ) ( ) (

+ =
t i
t
i
t
i
t
i
k
y P g h Q )} ( log {log ) , (
) ( ) ( ) ( ) (

=
+
t l
t
l
t
l
v
k
i
g h v
i
) ( ) ( 1
log max arg

=
+
t l
t
i
t
i
k
i
y P h
i
) ( log max arg
) ( ) ( 1

Treinamento
64
Estrutura de uma Mistura de Especialistas

Rede
Gating

g
1
x
g
2
g
m
Especialista
1
Especialista
2
. . .
Especialista
m
...

2

m
65
Experimento # 1
) (
) ( 1
) (
) 1 (
3
2
k u
k y
k y
k y +
+
= +
)] ( ), ( [ ) 1 ( k u k y N k y = +
( ) ( ) 30 2 25 2 ) ( k sin k sin k u + =
0 10 20 30 40 50 60 70 80 90 100
-8
-6
-4
-2
0
2
4
6
8
Output MEs
Output plant
0 10 20 30 40 50 60 70 80 90 100
-10
0
10
0 10 20 30 40 50 60 70 80 90 100
0
0.5
1
0 10 20 30 40 50 60 70 80 90 100
0
0.5
1
Data
Gate 1
Gate 2
0 10 20 30 40 50 60 70 80 90 100
-10
0
10
0 10 20 30 40 50 60 70 80 90 100
-10
0
10
0 10 20 30 40 50 60 70 80 90 100
-10
0
10
0 10 20 30 40 50 60 70 80 90 100
-0.1
0
0.1
Expert 1
Expert 2
Output
Errors
66
Comparao entre variaes de ME e uma nica MLP.
Melhores resultados so enfatizados.
EQM
Abordagens m h Trainamento Teste
nica
NN
Mlp 5 0.022750 0.027032
10 0.024882 0.030676
15 0.020760 0.026027
LMEs Linear 2 0.759738 0.494344
3 0.153603 0.149417
5 0.112203 0.104603
10 0.051083 0.030911
No
linear
2 3 0.025556 0.023278
2 5 0.003130 0.002473
GEs No
linear
2 3 0.026901 0.024088
2 5 0.001284 0.001111
12
67
Chaveamento entre processos
1 ) ) ( 1 ( * 2
2 ) ( ) 1 (
=
+ t t
x x
, se chaveamento = 1
) 1 . 0 , 0 ( ~ ); * 2 . 1 tanh(
) 1 ( ) ( ) 1 (
N x x
t t t
+ =
+ +
, se chaveamento =0
200 220 240 260 280 300 320 340 360 380 400
-1
-0.5
0
0.5
1
P
ro
c
e
s
s
o
2000 220 240 260 280 300 320 340 360 380 400
0
0.2
0.4
0.6
0.8
1
C
h
a
v
e
a
m
e
n
to
68
1650 1700 1750 1800
-1
0
1
E
s
p
e
c
ia
lis
ta
1
1650 1700 1750 1800
-2
0
2
E
s
p
e
c
ia
lis
ta
2
1650 1700 1750 1800
-1
0
1
S
a
id
a
M
E
10 20 30 40 50 60 70 80 90 100
0.035
0.04
0.045
0.05
0.055
0.06
Nmero de Iteraes
E
rro
Q
u
a
d
r
tic
o
M

d
io
Erro de Treinamento
Erro de Validao
Erro de Teste
69
0 10 20 30 40 50 60 70 80 90 100
0
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
0.18
V
a
ri
n
c
iaEspecialista 2
Especialista 1
Nmero de Iteraes
1500 1550 1600 1650 1700 1750 1800 1850 1900 1950 2000
-1
0
1
C
o
n
j. D
a
d
o
s
1500 1550 1600 1650 1700 1750 1800 1850 1900 1950 2000
0
0.5
1
C
h
a
v
e
a
m
e
n
to
1500 1550 1600 1650 1700 1750 1800 1850 1900 1950 2000
0
0.5
1
G
a
tin
g
1
1500 1550 1600 1650 1700 1750 1800 1850 1900 1950 2000
0
0.5
1
G
a
tin
g
2
Conjunto de Teste
70
Classificao binria
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
-1
-0.5
0
0.5
1
1.5
2
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
LS-SVMcom kernel RBF LS-SVM com Kernel Linear
Mistura de LS-SVMs com kernel Linear
71
Two spirals
Rede Neural
72
13
73 74
Classificao com vrias classes
0 0.2 0.4 0.6 0.8 1
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1

5 10 15 20 25 30
-0.45
-0.4
-0.35
-0.3
-0.25
Iterao
M

d
ia
d
a
V
e
ro
s
s
im
ilh
a
n

a

Conj. Treinamento
Conj. Teste
75
dominant classes
0 0.5 1
0
0.2
0.4
0.6
0.8
1
class 1 posterior
0 0.5 1
0
0.2
0.4
0.6
0.8
1
class 2 posterior
0 0.5 1
0
0.2
0.4
0.6
0.8
1
class 3 posterior
0 0.5 1
0
0.2
0.4
0.6
0.8
1
76
gate 1 (level=1)
0 0.5 1
0
0.2
0.4
0.6
0.8
1
gate 2 (level=1)
0 0.5 1
0
0.2
0.4
0.6
0.8
1
0
0.2
0.4
0.6
0.8
1
0
0.2
0.4
0.6
0.8
1
0
0.2
0.4
0.6
0.8
1
gate 1 (level=1)
1 2
0
0. 1
0. 2
0. 3
0. 4
0. 5
0. 6
0. 7
0. 8
0. 9
1
dat a s plit level 2
fra
ctio
n
of d
a
ta
ex pert
m ax
s um