1

Liguem a câmera
(se possível)
FORMAÇÃO EM ANALYTICS ENGINEERING

TURMA AE2021-10
AULA 14 - GESTÃO DE PROJETOS DE DADOS

4
 ● Analytics engineering
● 5 Vs
● Banco de dados/SQL
● DW
Gestão de Projetos de Dados
● ETL
● Visualização de dados/BI
● Gestão de Projetos de
Dados

5
ETAPAS DA GESTÃO

6
ETAPAS
PROJETO DE DADOS
Gestão de projeto

DESENVOLVIMENTO ÁGIL

8
PLANEJAMENTO

9
PLANEJAMENTO
REQUISITOS E RECURSOS
- Objetivos do Projeto: o que se espera do projeto?
- Orçamento: quais recursos financeiros estão disponíveis?
Prazos
- Ferramentas: quais ferramentas estão disponíveis? Quais as
restrições?
Complexidade vs Facilidade de
- Equipe interna: qual a equipe a ser disponibilizada? Qual a
Implementação
maturidade técnica da equipe?
Robustez vs Custo
- Usuários de negócio: quem será responsável por fornecer
informações sobre as regras de negócio?
Cloud vs On-premises
- Patrocinadores: quem são os patrocinadores do projeto? Qual
o seu nível de decisão? Especialista vs Generalista
Sucesso vs Fracasso
PLANEJAMENTO
DEFINIR EQUIPE

Engenheiro de Dados Analista de Cientista de Dados

(DE) Negócio/Dados (DA) (DS)

Engenheira de Administradora de
Gestor de Projetos
Analytics (AE) Banco de Dados/ TI
(GP)
(DBA)
PLANEJAMENTO
DEFINIR EQUIPE
DBA

AE/DA

DS
DE/AE
AE

DE

GP
PLANEJAMENTO
KICKOFF
- Definição do escopo do projeto.

- Necessária a participação dos patrocinadores e equipe.

- Identificar as fontes de dados principais - ERP, CRM, Bancos de dados etc.

- Identificar as fontes de informação sobre o negócio, documentos, catálogos de dados.

- Construção do Backlog de tarefas - foco em macroetapas.

Reforçar a importância do projeto e o patrocínio da alta gerência!

DESIGN

14
DESIGN
CONVERSAS
1. Objetivos
a. Entendimento dos processos de negócio e como são medidos.
b. Entendimento das fontes de dados disponíveis
2. Deve ser individual ou pequenos grupos.
3. Buscar obter gráficos, relatórios e planilhas atualmente utilizadas.
4. Ter paciência e fazer perguntas abertas, não direcionar. Usar os 5 Porquês.
5. Não querer ensinar o entrevistado!
6. As conversas com analistas de negócio podem acontecer em qualquer etapa do projeto,
sempre que existir dúvidas sobre a modelagem, regras e testes.
7. Ideal que o GP organize junto com o cliente.
DESIGN
ACESSO ÀS FONTES DE DADOS
1. Identificar as fontes de dados necessárias.
2. Requisitar aos administradores e “donos” as credenciais de acesso.
3. Testar o acesso às fontes.
4. Identificar possíveis gargalos:
a. Risco de derrubar o sistema
b. Velocidade de transmissão de dados
c. Volume de dados armazenados
d. Volumes de dados gerados por dia
e. Tipos de conexão (API, ODBC, JDBC etc.)
f. Dados apagados/alterados
g. Pode ser terceirizado
h. Documentação
i. Necessidade de construir integrações novas
DESIGN
MODELO DIMENSIONAL
1. Descrever os processos
2. Definir o grão da tabela fato
3. Listar os fatos e medidas
4. Identificar as dimensões

Exemplo

1. Realizar pedidos
2. Realizar chamadas de vendas
3. Entregar pedidos
4. Pagar comissões
DESIGN
DIMENSÕES CONFORMADAS
DESIGN
DIMENSÕES CONFORMADAS
Dimensões

Área de Negócio Fato Medidas Dia Produto Cliente Matéria-Prima Fornecedor

Comercial Pedidos qtde_vendida, preço, X X X

valor_total, desconto

Produção Ordens de qtde_a_produzir, X X X

Produção qtde_produzida,
tempo_medio

Suprimentos Compras quantidade_comprada, X X X

de MP preço_compra,
tempo_entrega
DESIGN
DECISÕES
Na prática, outros requisitos de negócio vão impactar na necessidade de modelos mais complexos,
como dimensões de alteração lenta, snapshots, tabelas bridge etc. Antes de construir esses
modelos precisamos identificar:

- Custo de desenvolvimento e manutenção

- Maturidade técnica da equipe
- Valor entregue

Mais simples > Mais complexo

DESIGN
DASHBOARDS Entrevistas!!

Quantas vendas por cidade?

Dashboard Qual o ticket por cliente e

produto?

- Fato vendas
- Dim Cliente Quais as vendas por mês?
- Dim Cidade
- Dim Data
- Dim Produto
IMPLEMENTAÇÃO

22
IMPLEMENTAÇÃO
ETL
IMPLEMENTAÇÃO
ETAPAS
1. Ingestão de dados
4. Documentação
- Novas fontes
- Novas tabelas - Automática (DBT)

- Novas colunas - Geral (slides)

5. Testes
2. Modelagem de dados
6. Abertura de PR (pull-request)
- Novas tabela fato e dimensão
- Validação pelo líder técnico do projeto
- Novas regras de negócio

3. BI
- Novos dashboards
- Novas perguntas
- Novos filtros
DEPLOY

25
DEPLOY
ETAPAS
1. Validação do PR: geralmente automática através dos pipelines CI/CD, garante que os testes
estejam funcionando e atualiza os pipelines para produção.

2. Reunião de validação
DEPLOY
REUNIÃO DE VALIDAÇÃO
● Validação do sprint anterior + planejamento do novo sprint.
● Devem estar presentes gestores de projeto e áreas afetadas pelo sprint (ex.: vendas).
● Inicia-se um novo ciclo de desenvolvimento.
CONSIDERAÇÕES FINAIS
AGORA
É A SUA VEZ
No desafio final, vamos construir a infraestrutura
moderna de analytics da Adventure Works.

Entregas

1. Planejamento
2. Modelo conceitual
3. DW (Big Query)
4. Extract-Load (Kondado)
5. Transformação (DBT)
6. BI (Data Studio/PowerBI)

A entrega final é um vídeo em que você apresentará

todo o pipeline de dados criado.

Obs: informações detalhadas na plataforma do curso.

Prazo final: 22/01
ATIVIDADE
Qual a aplicação prática do conhecimento adquirido neste curso no trabalho/carreira
de vocês? Qual tema foi o mais interessante?

● Discutir via Fórum.

PROGRAMA
DE INDICAÇÃO
Nós adoramos tê-los conosco neste curso. Se vocês
também gostaram, gostaríamos que indicassem a
Indicium Academy para amigos/colegas que possam ter
interesse.

Dia 26/10 vai iniciar mais uma turma da Formação em

Engenharia de Analytics.
MANTENHA

CONTATO
COMUNIDADE

SUPERANALYTICS
Comunidade sobre analytics em
português:
- Analytics
- DBT
- Ingestão
- Excel
- BI

Link
QUER

TRABALHAR CONOSCO?

https://indicium.tech/carreiras
35