Uma caminhada em direção aos dados

SDA
 ● Pai do Kaleb;

● Cientista de Dados @ Segware;

● Em busca de cert. ML Engineer @ Google;

● Formado em Sistemas de Informação;

● Experiência no setor de Educação, Publicidade e Propaganda e

Marketing com DS;

● Experiência em vendas / empresa familiar;

● Aspirante-a-oficial R/2

Uma caminhada em direção aos dados | Gabriel Pehls

 ● Empresa de software de monitoramento;

● Recebe milhares de eventos por minuto;

● Diversos aplicativos;

● Desafio de começar uma área de BI/DS;

● “Entrar dentro dos dados”;

● Trazer um “big data” de uma forma palpável;

“Empresa”
● Equipe formada por um especialista AWS, um DBA (migrações de
dados, foco no MySQL) e um Cientista de dados (no momento);

● Liberdade dentro da empresa

Uma caminhada em direção aos dados | Gabriel Pehls

 ● Precisamos, primeiro, entender, “pensar o passado”;

● Assim, compreenderemos o presente,

● e poderemos idealizar o futuro

“Visão”

Uma caminhada em direção aos dados | Gabriel Pehls

 ● 300 milhões de documentos

● 350 gb de dados

● 3 últimos meses

● 1,7 bilhões de itens (parquet

“Big Data” ● + de 700 gb de dados

● até 5 anos de dados

Uma caminhada em direção aos dados | Gabriel Pehls

 ● Dados auxiliares

● Códigos únicos, características

“Dimensões”

Uma caminhada em direção aos dados | Gabriel Pehls

 ● Processamento clusterizado

● Velocidade

“Transformação”

Uma caminhada em direção aos dados | Gabriel Pehls

 ● Compatibilidade, velocidade
● Fácil manipulação com Python
● “Redundância dos dados”

“Armazenamento”

Uma caminhada em direção aos dados | Gabriel Pehls

 ● Segurança
● Precificação
● Ferramenta dominada pela equipe
● Integração com tecnologias empregadas

“Visualização”

Uma caminhada em direção aos dados | Gabriel Pehls

Stack Atual

Uma caminhada em direção aos dados | Gabriel Pehls

 ● Ouvir
● Adaptar-se
● Antecipar necessidades
● Construir empatia com o cliente
● Compartilhar conhecimento
● Motivar
● Melhorar a experiência do usuário

Uma caminhada em direção aos dados | Gabriel Pehls

 ● Ouvir
● Antecipar necessidades
● Construir empatia com o cliente
● Compartilhar conhecimento
● Melhorar a experiência do usuário
● Cliente opina e participa
● Começamos com “operadores” para passar até a “diretoria”

“Abordagem bottom-up”

Uma caminhada em direção aos dados | Gabriel Pehls

 ● Ouvir as opiniões internas
● Unifica as abordagens
● Compartilhar conhecimento
● Motivar

“Abordagem top-down”

Uma caminhada em direção aos dados | Gabriel Pehls

 ● Partiremos de insights adquiridos com BI, como:
○ Relações entre os dados;
○ “Sazonalidade” e efeitos
● Mas, antes, precisamos de:
○ Estudos exploratórios dos dados;
○ Enriquecimento dos dados
● Para que possamos aplicar, com maior aproveitamento,
iniciativas de DS, como:
○ Pré-classificação de ocorrências;
○ Priorização de ocorrências/Eventos;
“O que irá acontecer?” ○
○
Tratamentos automáticos
Predição de ocorrências de Alarme Confirmado

Uma caminhada em direção aos dados | Gabriel Pehls