Ciência de dados e as suas etapas

preparação
dos dados

validação análise
do modelo exploratória

ajuste do escolha do
modelo modelo
Avaliando métodos e modelos
Avaliando métodos e modelos
Uma vez que o método ou modelo tenha sido escolhido, precisamos
saber o quão eficaz ele é.
A eficácia do método está associada ao tipo de problema:
Descritivo:
 Os grupos encontrados realmente compreendem objetos
semelhantes?
 Os atributos extraídos representam, de fato, o conjunto de
interesse?
Preditivo:
 Os valores preditos estão de acordo com o esperado?
 A classificação dos objetos está correta?
Avaliando métodos e modelos
Abordagens para avaliar a eficácia de métodos descritivos são,
em geral, bastante diferentes das empregadas na avaliação de
métodos preditivos.
A eficácia de um método preditivo pode ser avaliada utilizando-
se o próprio conjunto de treinamento, isto é, pode-se dividir o
conjunto de treinamento em duas partes; uma para ajustar o
modelo e outra para medir o seu desempenho.
Métodos descritivos são não supervisionados. Não possuem,
portanto, dados de treinamento, demandando abordagens de
avaliação diferentes das empregadas para métodos preditivos.
Avaliando métodos e modelos
Avaliando métodos descritivos
Suponha que tenhamos escolhido um método M para agrupar
objetos semelhantes em um conjunto de dados.
Para que o método M possa ser empregado, precisamos,
primeiro, definir uma medida para a semelhança (ou
similaridade) entre objetos.
Existem muitas medidas de similaridade (ou de dissimilaridade)
que podem ser empregadas, as quais dependem do tipo de dado
e do problema de interesse.
Avaliando métodos e modelos
Avaliando métodos descritivos
O resultado da aplicação do método M ao conjunto de dados é
um rótulo associado a cada objeto do conjunto.

M
Avaliando métodos e modelos
Avaliando métodos descritivos
Uma das medidas de desempenho para métodos de agrupamento é a
soma da média das distâncias entre objetos de um grupo e o
centroide do grupo.

Essa é uma medida de eficácia, mas, por si só,

não permite dizer se o agrupamento é bom ou
ruim.
Para assegurar que o agrupamento seja de
boa qualidade, precisamos comparar a medida
obtida a partir de diferentes agrupamentos.
Quanto menor for o valor da métrica, melhor
será a qualidade do agrupamento.
Avaliando métodos e modelos
Avaliando métodos descritivos
Considere dois agrupamentos
distintos:

Calculando a qualidade (soma da média das distâncias) de ambos

os agrupamentos:

qualidade = 0.89 qualidade = 1.10

melhor qualidade
 Avaliando métodos e modelos
Avaliando métodos preditivos
Métodos preditivos são supervisionados, portanto, possuem um
conjunto de treinamento que pode ser utilizado também para
avaliar a qualidade do modelo.

valor = a * atributo
Calculando a, temos o modelo linear
(reta) que representa os dados.
O erro do modelo é a diferença entre
o valor dado no treinamento (pontos
azuis) e o valor predito pelo modelo
(ponto sobre a reta).
Avaliando métodos e modelos
Avaliando métodos preditivos
O modelo gerado pode apresentar overfitting.
Nesse caso, o erro de predição estimado a partir do dado de
treinamento pode ser “enganosamente’’ pequeno.
Não devem ser utilizados os mesmos dados para treinamento
e avaliação do modelo.
A avaliação de um método preditivo deve ser
feita dividindo o dado de treinamento em duas
partes:
 uma de treinamento de fato e
 outra para avaliação do modelo.
 Avaliando métodos e modelos
dados treinamento modelo gerado
Devido ao overfitting, o
modelo se ajusta
perfeitamente aos dados
de treinamento.
O erro nos dados de
treinamento é zero.
modelo gerado no
dados treinamento e teste
dado treinamento O modelo se ajusta
perfeitamente aos dados
de treinamento, mas não
aos dados de teste.
O erro do modelo nos
dados de teste não é zero.
Avaliando métodos e modelos
Avaliando métodos preditivos

conjunto de treinamento teste

conjunto de dados
Em métodos supervisionados, os dados de
treinamento são utilizados para teste, mas são
divididos em treino e teste para contornar a
questão do overfitting.
TODOS OS DIREITOS RESERVADOS.