Desenvolvendo uma

metodologia gil para

Projetos de BI

Marco Garcia
mgarcia@cetax.com.br
www.cetax.com.br
Quem somos Cetax Consultoria

Empresa especializada em BI
Consultoria e Treinamento
Fundada em 2001
Mais de 30 projetos bem sucedidos, executados
por seus colaboradores.
 Quem sou Marco Antonio Garcia
Formado pela FATEC, MBA pela FGV
21 anos em TI, 15 em BI/DW.
Mais de 35 projetos executados.
Especialista em finanas, marketing e vendas.
Em 1999 abandonei a carreira de Desenvolvedor
para especializao em DW/BI
2005 Cursos Kimball nos EUA
2011/2013 - Cursos TDWI nos EUA
Hadoop/Big Data nos EUA
Projetos de Inteligncia

So essencialmente projetos de negcios !

Mas apoiados por tecnologia !

 O que se espera de um projeto ?
Assertividade cumpra os requisitos.
Performance seja rpido.
Custo no exceda as expectativas de custo
Etc..etc..
Resolva todos os problemas, mesmo aqueles que no
conhecemos.
 Para Atingir o resultado esperado
Busca-se uma metodologia.

Know-how de quem j fez.

Experincias em outros projetos.

Experincias na mesma indstria.

Busca por uma metodologia,
Todos querem um Livro Santo !

1998 900 pginas

2008 636 pginas
Busca por uma metodologia
Ciclo de Vida Kimball

1
4
 Pontos de Falha no Ciclo
1-ESPERA-SE QUE TODOS OS REQUISITOS SEJAM
COLETADOS EM UMA NICA FASE

2-ESCOLHA DOS SOFTWARES FEITA SOMENTE NA

4A ETAPA

3-O PROCESSO DE CARGA DE DADOS INICIA

SOMENTE NA 5A ETAPA

4-A INTERAO DOS USUARIOS COM AS

FERRAMENTAS SAO FEITAS SOMENTE NA 5A ETAPA
Metodologia gil = Entrega Contnua
- DIMINUIR CICLOS DE DESENVOLVIMENTO

- GERAR PROTTIPOS VIVEIS PARA ANLISE

- CRIAR FASES INCREMENTAIS

- FOCO NO DESENVOLVIMENTO DO PRODUTO FINAL

Como construir um projeto do ZERO
Negcios

Controles Modelo

Prottipo

Arquitetura Dados

Regras
Construo
Definitiva
Negcios
- Comece sempre pelas sadas
- Relatrios
- Vises
- Consultas

- No deixe de entender as principais regras de negcios

- Clculos, De-Paras, Agrupamentos, Formatao
Negcios separe os relatrios
- Agrupe por Departamentos e Processos de Negcios

FINANAS
CONTAS A PAGAR
CONTAS A RECEBER
INADIMPLNCIA
FLUXO DE CAIXA
VENDAS
EMISSO NOTAS FISCAIS
ENTREGAS
 Para cada grupo de relatrios
Pense nos 4 passos Kimball (base montagem dos relatrios)

1) Processo de Negcio qual processo ser atendido

Ex.: Financeiro Contas a Pagar

2) Granularidade Nvel de Detalhe do Processo

Ex.: 1 registro por titulo,data,fornecedor e parcela

3) Dimenses Entidades Descritivas

Ex.: Datas (Cad,Vencto,Pagto), Departamento,
Fornecedor, MeioPagto, ContaCorrente, Funcionrio.

4) Mtricas mtricas bsicas do processo

Ex.: Vlr Ttulo, Vl Multa, Vl Juros
 Importante !
- Tenha certeza que os relatrios mapeados estejam sendo
atendidos pelos 4 Passos Kimball.
- Sempre modele suas tabelas no nvel mais granular,
sempre mais fcil agregar do que abrir os dados.
- Localize as entidades bases, so aquelas tabelas que do
origens principais aos dados.
- Pense na Desnormalizao ( Data Warehouse Toolkit 3 ).
- Corra para criar um prottipo funcional o mais rpido
possvel !
 Modelo e Dados
- Aps mapear o negcio, precisamos mapear os dados
- Precisamos de ajuda : DBA, AD, Desenvolvedor.
- Localize as entidades bases.
- MOVIMENTAES OU SALDOS = FATOS
- CADASTROS PRINCIPAIS = DIMENSES
 Modelo e Dados : DATA PROFILING
- Examinar os dados da origem para ter certeza que
suportam as anlises de negcio.
- Busquem por :
- PK,FK e UK
- Colunas vazias
- Dominios e padres
- De-Paras
 Modelo e Dados : DATA PROFILING
- Qualquer falha nos dados :
- AVISE A TODOS IMEDIATAMENTE
- 3 CAMINHOS
- Buscar por uma nova fonte de dados
- Criar uma regra, clculo ou de-para
- Assumir um valor default ou abandonar a coluna
 REGRAS e CLCULOS
- Os processos de transformao dos dados da origem para
a viso esperada no sistema de BI, ser feita atravs das
regras de transformao de dados.
- Regras de qualidade garantem o tratamento dos dados
- Regras de DE-PARA garantem a padronizao
- Regras de clculos garantem os dados previamente
calculados.
 ARQUITETURA
- Softwares
- Banco de dados ( Armazenamento )
- Integrao ( ETL )
- Apresentao ( Front-End )
- Arquitetura DW
- Kimball ou Inmon
- Controles ( em fase de prottipo no criamos os controles )
 ARQUITETURA - softwares
Banco de dados ( Armazenamento )
- MySql, PostgreSQL,Oracle, SqlServer
- Hadoop ( HDFS, HBASE )
- NoSql ( Cassandra, MongoDB, etc )
Integrao ( ETL )
- PDI, TalendETL ( OpenSource )
- SSIS, OWB (Database Component)
- PowerCenter, DataStage, BO DI ( Independent )
- Apresentao ( Front-End )
- Arquitetura DW
 ARQUITETURA - softwares
- Apresentao ( Front-End )
- Excel, PowerPivot,PowerBI
- Pentaho, Jasper, Spago
- Tableau, Qlikview, Tibco Spotfire
- Oracle BIEE, SAP BO, IBM Cognos
 ARQUITETURA DATA WAREHOUSE?
- Construir ou no o data warehouse ?
- Se possuir mais de 1 fonte de dados
- Necessidade de integrao de dados
- Padronizao, limpeza, qualidade de dados
- Deseja tornar o armazenamento independente do front-
end ?
SE AS RESPOSTAS FOREM = SIM
CRIE O DATA WAREHOUSE ou DATA MART
ARQUITETURA KIMBALL
ARQUITETURA INMON
 PROTTIPO
- Escolha junto aos usurios de negcio uma massa de
dados para o prottipo, ex.: Maro/2015.
- Crie o prottipo o mais rpido possvel.
- CREATE TABLE AS SELECT - pode ser uma boa
soluo.
- Mas sempre respeite a modelagem dimensional
- Deixe o prottipo o mais funcional possvel.
- Coloque a ferramenta de BI para acessar o prottipo.
 PROTTIPO
- Faa junto com os usurios sesses de validao:
- Montando relatrios
- Anlises
- Consultas
- Os itens divergentes ou correes, se tornam atividades de
desenvolvimento do projeto.
PROTTIPO alteraes viram CARDS
DEFINA OS CONTROLES DE ETL
Sub s y s te m 6 - D ime ns o Aud ito ria Sub s y s te m 4 - D a ta Qua lity
DimAuditoria CTRL_Regras_Eventos_Carga
skAudit cdRegraDados
dsMapaCarga dsRegraDados
dsTabelaPrincipal idCargaDados
qtRegistrosOrigem dsTabelaPrincipal
qtRegistrosCarga
qtRegistrosErros
dthrInicioCarga
dthrFimCarga
stGeralCarga
Stg_Estatitscas_Cargas
CTRL_Mapas
CTRL_Erros_Eventos_Carga
cdMapa cdMapa (FK)
skAudit (FK)
dsMapaCarga
skAudit (FK) dtReferencia
dsTabelaPrincipal
cdRegraDados (FK) qtRegistroCarregados
dsEtapaCarga
cdMapa (FK) qtRegistrosErros
dtParIniCarga
dthrErroCarga qtRegistrosLidos
dtParFimCarga
dsFiltroCarga_1 dsRegistroOrigem
dsFiltroCarga_2 dsErroCarga
dsFiltroCarga_3 cdErroCarga
Sub s y s te m 5 - Co ntro le Ev e nto s
Erro s
Aps aprovao Prottipo
Pense na construo definitiva
ETLs
Automao
Carga
Teste
Disponibilizao aos usurios
ITENS IMPORTANTES !
Construo incremental
Entregas semanais
Acompanhamento constante dos usurios
Crie Templates
Modelos de Dados
ETLs
Controles
Obrigado !
Para dvidas:
mgarcia@cetax.com.br

* Importante ! Prxima semana

Treinamento de modelagem
dimensional desconto para todos
que esto aqui
Contato@cetax.com.br Pentaho Day