Explorar E-books
Categorias
Explorar Audiolivros
Categorias
Explorar Revistas
Categorias
Explorar Documentos
Categorias
Avaliação de Classificadores 2
João Gama
– Que algoritmo tem menor erro na população ? – Qual será o verdadeiro erro E ?
• Estimar o erro dos dois algoritmos – Não podemos calcular E, mas podemos obter um intervalo que
– Usando uma estratégia de amostragem. enquadra E com probabilidade p.
– Para cada algoritmo é estimado um erro. • Uma solução simplificada: (ver “Error based pruning”)
• São os dois erros estatisticamente diferentes ? – O desvio padrão teórico de uma distribuição de binomial:
e * (1 − e )
σ =
• Exemplo: N
– O intervalo de confiança é: [e − ασ ; e + ασ ]
– Usando 10-validação cruzada:
• Exemplo
– Com um grau de confiança de 95%, (α/2=0.025)
E situa-se no intervalo: [e − 1.96σ ; e + 1.96σ ]
Avaliação de Classificadores 12 Avaliação de Classificadores 11
João Gama João Gama
Student paired t-test Teste de Hipóteses
• Para decidir se duas médias são estatisticamente diferentes: • Hipótese nula:
– Calcular di = xi – yi – Ambos os algoritmos têm a mesma performance.
d
– Calcular t = σ / k
2
d
• Como verificar a hipótese nula ?
– Escolher um nível de confiança – “paired tests” são mais apropriados.
• Usual 5% ou 1% • Eliminar a variabilidade devida a factores externos.
• Usar a tabela da distribuição de t para calculo de z • Ambos os algoritmos devem:
– k-1 graus de liberdade – Aprender nos mesmos conjuntos de treino.
– Se t > z ou t < -z então as médias são significativamente diferentes – Os modelos devem ser avaliados nos mesmos conjuntos de teste
• Para o nível de confiança escolhido. – Teste para 2 caudas
– X >> Y ou Y >> X
(9 df)
Avaliação de Classificadores 14 Avaliação de Classificadores 13
João Gama João Gama
Critica Exemplo
• A utilização de t-tests não é pacífica.
– Elevada probabilidade de sugerir diferenças onde elas não existem
• Type 1 error.
• Problemas:
– Na validação cruzada:
• Os conjuntos de treino não são independentes.
– Assume a distribuição normal
• Alguns autores sugerem:
– 10*10-Validação cruzada usando diferentes permutações do
conjunto de dados.
– Wilcoxon matched-pairs signed-ranks test
Bias + σ Variância
Custo de Erros
• O problema das classes não balanceadas: o problema do “mail”
– Algoritmo 1: Algoritmo 2:
Taxa de Erro = 5% Taxa de Erro = 51.25%
Sim Não Sim Não
Sim 0 200 Sim 150 50
Não 0 3800 Não 2000 1800
Classificadores sensíveis ao custo de erros
– A caracterização das classes minoritárias é a mais interessante
• No algoritmo 1 a classe “Sim” não é caracterizada
João Gama
– Diferentes erros têm custos diferentes.
• Custo(predição = não, observado= sim) = 1000 Jgama@ncc.up.pt
• Custo(predição = sim, observado = não) = 1
– Custo de cada Algoritmo:
• Algoritmo 1: 200.000
• Algoritmo 2: 52.000
Avaliação de Classificadores 24
João Gama
Classificadores Sensíveis ao Custo Tipos de Erros e Medidas de Performance
Predito
• Matrizes de Custos: + - • Medidas de Performance
Observado + 0 C(-,+) – Taxa de Erro = (Fn+Fp) /(Tp+Tn+Fn+Fp)
- C(+,-) 0
– Sensibilidade = Tp/(Tp+Fn)
– Taxa de erro corresponde a uma matriz de custos: – Especificidade = Tn/(Tn+Fp)
• diagonal principal: 0 – Taxa de Positivos = Tp/(Fp+Tp)
• Custo de erros : 1 – Taxa de Negativos = Tn/(Fn+Tn)
• Classificadores que associam probabilidades às predições: Predito
– P(sim|exemplo) = 0.9 e P(não|exemplo) = 0.1 Yes No
• O conceito de risco condicional Yes Verdadeiros Falsos Negativos
– Risco(Classi|exemplo) = Sumj(P(Classj|exemplo)*Custos(i,j)) Positivos (Tp) (Fn)
• Custo(i,j) é o custo de predizer a classe i quando o exemplo é da classe j. Observado
– Escolhe a classe que minimiza o risco. No Falsos Positivos Verdadeiros Negativos
• argmini Risco(Classi|exemplo) (Fp) (Tn)
R ( + | x ) = P ( + | x ) * C ( + ,+ ) + P ( − | x ) * C ( +, −)
R (− | x) = P(+ | x) * C (−,+) + P(− | x) * C (−,−)
P ( + | x ) * C ( + , − ) > P ( − | x ) * C ( −, + )
P ( + | x ) C ( +, −)
>
P(− | x) C (−,+)
ROC Curve
1
0,9
0,8
0,7
True Positives
0,6
0,5
0,4
0,3
0,2
0,1
0
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
False Positives
Avaliação de Classificadores 41
João Gama