Apostila Aula 3 - Profissão Cientista de Dados

PROJETO PRÁTICO DE CIÊNCIA DE DADOS
“mas eu não estou em uma empresa,

como conseguir provar meu
conhecimento e criar um portfólio?”

Flight Price
Prediction
Flight Price
Prediction
Flight Price BOTÃO DIREITO

Prediction DO MOUSE
Flight Price
Prediction
Entendimento
do negócio
Preparação / Entendimento
Visualização dos dados
Preparação
Validação
dos dados
Análise /
Modelagem
Entendimento
do negócio
Preparação
Validação
dos dados
Análise /
Modelagem
Flight Price
Prediction
Flight Price
Prediction
Flight Price
Prediction
Entendimento
do negócio
Preparação
Validação
dos dados
Análise /
Modelagem
Flight Price
Prediction
horario_embarque horario_chegada
empresa_aerea voo origem paradas destino classe duração dias_antes

preço
empresa_aerea voo origem horario_embarque paradas horario_chegada destino classe duração dias_antes preço
Nossa, mas deve ser super difícil

escrever os códigos pra fazer isso
empresa_aerea voo origem horario_embarque paradas horario_chegada destino classe duração dias_antes preço
Nossa, mas deve ser super difícil

escrever os códigos pra fazer isso
Conseguimos fazer tudo isso

com uma única linha de código!
Navegável
Navegável
Quantidade de valores vazios Temos 8 variáveis categóricas

e 3 variáveis numéricas
Número de linhas
duplicadas (iguais)
Navegável
Principais informações da base

Podemos entender cada uma das

variáveis de forma detalhada,


42,6% dos voos são

feitos pela Vistara

analisar a relação entre elas
de forma visual,


analisar a relação entre elas
de forma visual,
Existe uma relação entre a classe

Principais informações da base (econômica ou executiva) e a empresa aérea
Entendimento
do negócio
Preparação
Validação
dos dados
Análise /
Modelagem
voo
No pandas profiling também

visualizamos que a coluna
“flight” possui alta cardinalidade

visualizamos que a coluna
“flight” possui alta cardinalidade
Podemos entender melhor

essa coluna e, caso não ajude
no nosso projeto, eliminá-la

visualizamos que a coluna Verificando a quantidade
“flight” possui alta cardinalidade Visualizando os valores
de valores distintos de
da coluna “flight”
cada coluna
Podemos entender melhor

essa coluna e, caso não ajude
no nosso projeto, eliminá-la
Eu preciso fazer todos os
tratamentos de uma única vez?
Entendimento
Eu preciso fazer todos os do negócio
tratamentos de uma única vez?
NÃO
N
Preparação
Validação
dos dados
Análise /
Modelagem
Entendimento
do negócio
N
Preparação
Validação
dos dados
Análise /
Modelagem
empresa_aerea média mínimo máximo
Vistara e Air_India são as

empresas com maiores preços


preço
empresa_aerea


preço
Será que essas empresas só fazem voos
executivos e por isso essa diferença?
empresa_aerea


preço
Será que essas empresas só fazem voos
executivos e por isso essa diferença?
empresa_aerea
o s ?
s d ad
m seu
ar co
cont
u e r
vo c êq
stó ria
l h i
Qu a
contagem de registros
preço
Grupo 1
preço
Grupo 1
Grupo 2
preço
classe
Econômica
Executiva
preço
preço
classe
Econômica
Executiva
preço
classe média mínimo máximo

preço
preço
empresa_aerea
SEPARANDO AS EMPRESAS POR CLASSE

(ECONÔMICA X EXECUTIVA)
Econômica
Executiva
preço
preço
empresa_aerea
empresa_aerea

Econômica
Executiva
preço
preço
empresa_aerea
empresa_aerea

Econômica
empresa_aerea classe média mínimo máximo
Executiva
preço
empresa_aerea

Econômica
empresa_aerea classe média mínimo máximo
Executiva
preço
Mesmo na classe econômica, Vistara e
empresa_aerea
Air_India são empresas mais caras
dias_antes preço
dias_antes preço
preço
dias_antes
dias_antes preço
preço
dias_antes
dias_antes preço
Isso vale tanto para a classe

econômica quanto para a executiva?
preço
dias_antes
preço
dias_antes
preço
dias_antes
preço
preço
dias_antes
preço
dias_antes
preço
preço
dias_antes
PREÇO X HORÁRIO DE PARTIDA

preço
horario_embarque
PREÇO X HORÁRIO DE PARTIDA

horario_embarque classe média mínimo máximo contagem mediana
preço
horario_embarque
PREÇO X HORÁRIO DE PARTIDA PREÇO X HORÁRIO DE PARTIDA
Econômica Executiva
de manhã cedo de manhã depois do almoço de tarde de noite tarde da noite de manhã cedo de manhã depois do almoço de tarde de noite tarde da noite
PREÇO X HORÁRIO DE PARTIDA PREÇO X HORÁRIO DE PARTIDA
Econômica Executiva
de manhã cedo de manhã depois do almoço de tarde de noite tarde da noite de manhã cedo de manhã depois do almoço de tarde de noite tarde da noite
Sair tarde da noite parece ser uma boa opção para reduzir o preço das passagens
Parabéns, ótima análise! Será que conseguimos prever
qual será o gasto com passagem do próximo ano?
Entendimento
do negócio
N
Preparação
Validação
dos dados
Análise /
Modelagem
Eu não consigo entender variáveis de texto L
Entendimento
do negócio
N
Preparação
Validação
dos dados
Análise /
Modelagem
empresa_aerea origem horario_embarque paradas horario_chegada destino classe duração dias_antes preço
Somente essas colunas

não estão como texto
Entendimento
do negócio
N
Preparação
Validação
dos dados
Análise /
Modelagem
empresa_aerea origem horario_embarque paradas horario_chegada destino duração dias_antes preço



empresa_aerea origem horario_embarque horario_chegada destino duração dias_antes preço horario_chegada_nr

horario_chegada horario_chegada_nr
mais cedo
mais tarde
mais cedo
mais tarde
Entendimento
do negócio
N
Preparação
Validação
dos dados
Análise /
Modelagem
Para prevermos esse preço, vamos precisar criar o nosso modelo de Machine Learning
O que é um modelo?
O que é um modelo?
Vamos em
uma festa?
O que é um modelo?
Vamos em
uma festa?
O que é um modelo?
Vamos em
uma festa?
O que é um modelo?
Vamos em
uma festa?
O que é um modelo?
Vamos em
uma festa?
O que é um modelo?
Vamos em
uma festa?
O que é um modelo?
Vamos em
uma festa?
O que é um modelo?
Vamos em
uma festa?
O que é um modelo?
Vamos em
uma festa?
O que é um modelo?
Vamos em
uma festa?
O que é um modelo?
Vamos em
uma festa?
Tenho compromisso
no dia?
S N
O que é um modelo?
Não vou! Vou estar
na cidade?
S N
Tenho Não vou!

dinheiro?
S N
Vamos em
uma festa? Está É perto?
chovendo?
S N S N
Não vou! Eu vou! Eu vou! Não vou!

duração dias_antes preço horario_chegada_nr horario_partida_nr

E as outras colunas?
empresa_aerea origem destino duração dias_antes preço horario_chegada_nr horario_partida_nr

Não podemos utilizar essas colunas

E as outras colunas?
pois elas ainda estão como texto
empresa_aerea origem destino duração dias_antes preço horario_chegada_nr horario_partida_nr


duração dias_antes horario_chegada_nr horario_partida_nr

Sim – Classe Executiva

economica <= 0,5
Não – Classe Econômica
Sim – Classe Executiva Não – Classe Econômica











Como o erro é menor para a árvore de
decisão, vamos utilizar esse modelo!
Entendimento
do negócio
N
Preparação
Validação
dos dados
Análise /
Modelagem
Entendimento
do negócio
N
Preparação
Validação
dos dados
Análise /
Modelagem

Flight Price
Prediction
Flight Price
Prediction
Flight Price
Prediction
Flight Price
Prediction

Apostila Aula 3 - Profissão Cientista de Dados

Enviado por

Dados do documento

Descrição original:

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Apostila Aula 3 - Profissão Cientista de Dados

Enviado por

Direitos autorais:

Formatos disponíveis

PROJETO PRÁTICO DE CIÊNCIA DE DADOS

“mas eu não estou em uma empresa,

“mas eu não estou em uma empresa,

Flight Price BOTÃO DIREITO

empresa_aerea voo origem paradas destino classe duração dias_antes

Nossa, mas deve ser super difícil

Nossa, mas deve ser super difícil

Conseguimos fazer tudo isso

Quantidade de valores vazios Temos 8 variáveis categóricas

Principais informações da base

Podemos entender cada uma das

Principais informações da base

Podemos entender cada uma das

Principais informações da base

42,6% dos voos são

Podemos entender cada uma das

Principais informações da base

Podemos entender cada uma das

Existe uma relação entre a classe

No pandas profiling também

No pandas profiling também

Podemos entender melhor

No pandas profiling também

Podemos entender melhor

Vistara e Air_India são as

Vistara e Air_India são as

Vistara e Air_India são as

Vistara e Air_India são as

Vistara e Air_India são as

Vistara e Air_India são as

Vistara e Air_India são as

classe média mínimo máximo

SEPARANDO AS EMPRESAS POR CLASSE

SEPARANDO AS EMPRESAS POR CLASSE

SEPARANDO AS EMPRESAS POR CLASSE

SEPARANDO AS EMPRESAS POR CLASSE

Isso vale tanto para a classe

PREÇO X HORÁRIO DE PARTIDA

PREÇO X HORÁRIO DE PARTIDA

PREÇO X HORÁRIO DE PARTIDA PREÇO X HORÁRIO DE PARTIDA

PREÇO X HORÁRIO DE PARTIDA PREÇO X HORÁRIO DE PARTIDA

Somente essas colunas

empresa_aerea origem horario_embarque paradas horario_chegada destino duração dias_antes preço

empresa_aerea origem horario_embarque paradas horario_chegada destino duração dias_antes preço

empresa_aerea origem horario_embarque paradas horario_chegada destino duração dias_antes preço

empresa_aerea origem horario_embarque horario_chegada destino duração dias_antes preço horario_chegada_nr

empresa_aerea origem horario_embarque horario_chegada destino duração dias_antes preço horario_chegada_nr

empresa_aerea origem horario_embarque horario_chegada destino duração dias_antes preço horario_chegada_nr

empresa_aerea origem horario_embarque horario_chegada destino duração dias_antes preço horario_chegada_nr

empresa_aerea origem horario_embarque horario_chegada destino duração dias_antes preço horario_chegada_nr

Tenho Não vou!

Não vou! Eu vou! Eu vou! Não vou!

duração dias_antes preço horario_chegada_nr horario_partida_nr

duração dias_antes preço horario_chegada_nr horario_partida_nr

empresa_aerea origem destino duração dias_antes preço horario_chegada_nr horario_partida_nr

duração dias_antes preço horario_chegada_nr horario_partida_nr

Não podemos utilizar essas colunas

empresa_aerea origem destino duração dias_antes preço horario_chegada_nr horario_partida_nr

duração dias_antes preço horario_chegada_nr horario_partida_nr

duração dias_antes horario_chegada_nr horario_partida_nr

duração dias_antes horario_chegada_nr horario_partida_nr

Sim – Classe Executiva

Sim – Classe Executiva Não – Classe Econômica