Escolar Documentos
Profissional Documentos
Cultura Documentos
Intelligence
Cludio Lcio
Business Intelligence
Apresentao
Cludio Lcio
Cludio Lcio
Pg.: 1
Business Intelligence
Agenda
Conceitos de DW e Modelagem
Cludio Lcio
Business Intelligence
Avaliaes e Frequncia
Chamadas;
Cludio Lcio
Pg.: 2
Business Intelligence
Avaliaes e Frequncia
Cludio Lcio
Business Intelligence
Avaliaes e Frequncia
RE-Resumo de entendimento:
Cludio Lcio
Pg.: 3
Business Intelligence
Recomendaes de Bibliografia - Barbieri
Ver artigos no CD-distribudo:
Artigos de MDM
Artigo de BI aplicado em GP
Cludio Lcio
Business Intelligence
Recomendaes de Bibliografia - Barbieri
Livros de cabeceira:
Numerati-Stephen Baker-Ed.ARX
Fala sobre as diversas tcnicas em desenvolvimento, visando mapear os perfis,
atitudes, grupos, recursos humanos, clientes,etc atravs da anlise do
comportamento digital(internet) da sociedade
Final Jeopardy-Man versus Machine- Stephen Baker-Ed. HMH-ingls
Sistema desenvolvido pela IBM para reteno de informaes gerais e que
concorreu no programa de QUEST de maior audincia nos EUA (e venceu).
CLICK-Bill Tancer-Editora Globo
O que milhes de pessoas esto fazendo on-line e por que isso importante. O
comportamento do mundo na internet. Os dados e seus tratamentos
Livros tcnicos
Business Intelligence-Um enfoque gerencial para a inteligncia de negciosEfraim Turban,Ramesh Sharda,Jay Aronson e David King-Editora bookman
Data Quality-The Accuracy Dimension-Jack Olson (ingls)
Data Warehouse Design-Modern Principles and Methodologies-Matteo Golfarelli e
Stefano Rizzi(ingls)
Brandwashed-Martin Lindstrom, editora Crown Publishing Group, 2011
Cludio Lcio
Pg.: 4
Business Intelligence
Recomendaes de Bibliografia - Barbieri
Referncias
Prova ICCP-CDMP/DAMA/TDWI
Institute for Certification of Computing Professionals
Dama-Data Management Association
TDWI-The Data Warehousing Institue
Livros:
Improving Data Warehouse and Business Information Quality-Larry
English-Editora Wiley Publishing,1999
Management Information Systems for the Information Age-Stephen Haag
e Maeve Cummings, Editora McGraw Hill, 2010
A Managers Guide to Data Warehousing, Laura Reeves, Editora Wiley
Publishing, 2009
The New Era of Enterprise Business Intelligence, Mike Beere, Editora
IBM Press, 2011
The Dama Guide to Data Management Body of Knowledge(Dama
DMBOK Guide)
Modern Systems Analysis and Design, Jeffrey Hoffer,Joey George e Joe
Valacich-Pearson Education Inc, 2011
Cludio Lcio
Business Intelligence
Recomendaes de Bibliografia - Barbieri
Referncias
Novas tendncias BI
Livros:
BI2-Business Intelligence-Modelagem e Qualidade-Carlos
Barbieri-Editora Elsevier,2011
Agile Data Warehouse Design-Lawrence Corr e Jim StagnittoEditora Decision Press-2011
Agile DataWarehousing Project Management-BI systems using
Scrum-Ralph Hughes-Morgan Kauffman-2013
Agile DataWarehousing-Ralph Hughes-Editora iUniverse Inc,
2008
Agile Analytics-Ken Collier-Editora Addison Wesley, 2012
Star Schema- The complete reference-Christopher AdamsonEditora McGraw Hill, 2010
Cludio Lcio
10
Pg.: 5
Business Intelligence
Recomendaes de Bibliografia - Barbieri
Referncias
Novas tendncias BI
Livros:
BI2-Business Intelligence-Modelagem e Qualidade-Carlos
Barbieri-Editora Elsevier,2011
Agile Data Warehouse Design-Lawrence Corr e Jim StagnittoEditora Decision Press-2011
Agile DataWarehousing Project Management-BI systems using
Scrum-Ralph Hughes-Morgan Kauffman-2013
Agile DataWarehousing-Ralph Hughes-Editora iUniverse Inc,
2008
Agile Analytics-Ken Collier-Editora Addison Wesley, 2012
Star Schema- The complete reference-Christopher AdamsonEditora McGraw Hill, 2010
Cludio Lcio
11
Business Intelligence
Recomendaes de Bibliografia - Barbieri
Carlos Barbieri:
Blog do Barbi (Carlos Barbieri)
http://blogdobarbi.blogspot.com/
Twitter: CarlosBarbieri
FB:Carlos Barbieri
Cludio Lcio
12
Pg.: 6
Business Intelligence
Recomendaes de Bibliografia
Modelagem de dados, ETL e OLAP
Barbieri, Carlos. BI2-Business Intelligence, Modelagem e Qualidade. 2011.Ed.: Elsevier. Pag.:416.
Kimball, Ralph; Ross, Margy. Data Warehouse Toolkit (The): Guia Completo para Modelagem Dimensional;
2002; Ed.: Campus; ISBN:85-352-1129-2.
Metodologia para DW
Kimball, Ralph. The Data Warehouse Lifecycle Toolkit. Ed.: John Wiley & Sons. ISBN: 9780470149775; Pg.:
636.
Textos complemmentares do TDWI;
BI e Competitividade das empresas
Davenport, Thomas; Harris, Jeanne; Morison, Robert. Analytics at Work: Smarter Decisions, Better Results.
2010; Ed.: Harvard Business Press; ISBN: 978-1422177693; Pg.: 240;
Data Mining /Estatstica e Otimizao
Berthold, Michael; Borgelt, Christian; Hppner, Frank; Klawonn, Frank. Guide to Intelligent Data Analysis:
How to Intelligently Make Sense of Real Data. 2010. Ed.: Springer;ISBN: 978-1-84882-259-7. Pg. 398.
Pesquisa Operacional: 170 Aplicaes em Estratgia, Finanas, Logstica, Produo, Marketing e Vendas.
2007; Ed. LTC; ISBN: 139788521615590; Pg.:528.
Stevenson, William. Estatstica Aplicada a Administrao. 1997. Ed.:HARBRA.Pg.:498.
Cludio Lcio
13
Pg.: 7
Business
Intelligence
Introduo: conceitos
e definies
Cludio Lcio
Contexto do BI
Aplicao do BI
Utilizaes e Tecnologia
Cludio Lcio
Pg.: 8
Introduo:conceitos
e definies
Contexto BI
Cludio Lcio
Cludio Lcio
Pg.: 9
100%
80%
Transformao e
preparao dos
dados
60%
40%
20%
0%
Cludio Lcio
Pg.: 10
Cludio Lcio
Cludio Lcio
Pg.: 11
100%
80%
Transformao e
preparao dos
dados
60%
40%
20%
0%
Cludio Lcio
Business Intelligence
Permitir a identificao de
fatos desconhecidos
Abrangncia restrita
Abrangncia ampla
Informao disponvel a
poucos usurios
Informao democratizada
Cludio Lcio
10
Pg.: 12
Introduo:conceitos
e definies
Aplicao do BI
Cludio Lcio
11
Aplicao do BI
- O contexto do negcio determina a natureza da aplicao do
BI.
- O contexto do negcio orienta sobre as formas de alinhar
resultados de um projeto de BI com os objetivos empresariais:
Cludio Lcio
12
Pg.: 13
Aplicao do BI
Cludio Lcio
13
Aplicao do BI
Diretrizes
Diretrizes
Objetivos
Estratgia
Resultados
Atuao de foras
que demandam
aes empresariais
Resultados
desejados a partir
de aes
Plano de aes
para alcanar os
objetivos
Resultados
obtidos com as
aes adotadas
Valor
Agregado
ao Negcio
Objetivo da Aplicao do BI
Diretrizes
Dados
Atuao
de foras
Descritivo,
que
demandam
qualitativo
ou
aes
empresariais
quantitativo.
Informao
Fatos e
medies
Conhecimento
Ao
Novas crenas,
experincias e
evidncias
Deciso,
Inovao,
insight
Cludio Lcio
14
Pg.: 14
Aplicao do BI
Mtricas de negcios e indicadores
Mtricas:
Refere-se uma medida numrica que representa um processo
ou assunto do negcio.
Normalmente visto em vrias ticas ou dimenses.
Indicadores:
Pode ser considerado uma mtrica com caractersticas
particulares (obrigatrias para um indicador);
Estas caractersticas so: meta e faixa de valores;
Outras caractersticas: forma de visualizao, tendncia e
alertas;
Vrios tipos, como: quanto maior melhor, quanto menor
melhor, intervalos dentre outros;
15
Aplicao do BI
Gerenciamento baseado em mtricas - Aplicao direta de BI
Alguns processos ou mtodos de gerenciamentos so aplicaes
diretas do uso de indicadores e mtricas. Este ambiente propcio
para o BI:
SCM (Supply Chain Management) = modelo de gesto que
utiliza medidas internas e externas de processos envolvendo
clientes e fornecedores.
EX.:
taxa de ocupao de mquina,qualidade do produto, qualidade
do material, previso de demanda, taxa de entrega, taxa de
devoluo.
16
Pg.: 15
Aplicao do BI
Gerenciamento baseado em mtricas - Aplicao direta de BI
CRM (Customer Relantionship Management) = modelo de
gesto que utiliza mtricas externas especficas para clientes
EX.:
Cludio Lcio
17
Introduo:conceitos
e definies
Utilizaes e
Tecnologia
Cludio Lcio
18
Pg.: 16
Utilizaes e Tecnologia
Utilizaes
Utilizao
Descrio
Inteligncia aplicada em
clientes
Inteligncia aplicada em
Mercado
Inteligncia aplicada em
Vendas
Inteligncia aplicada na
cadeia de suprimentos
Inteligncia aplicada em
sistemas de e-commerce
Inteligncia aplicada
sistemas produtivos
Cludio Lcio
19
Utilizaes e Tecnologia
Tecnologias
Tecnologia -Termos
Descrio
ETC Extrao
transformao e carga
Minerao de dados
Otimizao
20
Pg.: 17
Utilizaes e Tecnologia
21
Introduo:conceitos
e definies
Componentes
tpicos de uma
soluo BI
Cludio Lcio
22
Pg.: 18
Fonte: TDWI
Cludio Lcio
23
Fonte: TDWI
Cludio Lcio
24
Pg.: 19
Descrio
Processos ETL
Data Warehouse
Data mart
Anlises/OLAP/Dashboard
/Indicadores
Portal Corporativo
Modelos Mining
Cludio Lcio
25
Pg.: 20
Cludio Lcio
28
Pg.: 21
41%
17%
CONFIA EM DADOS DE
TERCEIROS
Cludio Lcio
29
30
Pg.: 22
EXEMPLO;
COMPRA DE UMA LATA DE MASSA DE TOMATE EM
QUALQUER LOJA DO WAL-MART(INCLUSIVE AS 21 DO BR)
INFORMAO VIAJA 13.000 KM PARA O DB DE
ARKANSAS(BENTONVILLE)
ENVIO DE INFORMAO PARA O CENTRO DE
DISTRIBUIO EM SP-REPOSIO DAQUELE LATA
Cludio Lcio
31
EXEMPLO;
COMPRA DE UMA LATA DE MASSA DE TOMATE EM
QUALQUER LOJA DO WAL-MART(INCLUSIVE AS 21 DO BR)
INFORMAO VIAJA 13.000 KM PARA O DB DE
ARKANSAS(BENTONVILLE)
ENVIO DE INFORMAO PARA O CENTRO DE
DISTRIBUIO EM SP-REPOSIO DAQUELE LATA
Cludio Lcio
32
Pg.: 23
INFORMAES GERENCIAIS
PERFIL DE CONSUMIDOR-SAMS CLUBE
DIAS MAIS PROPCIOS PARA COMPRA DE PRODUTO X POR
CONSUMIDOR TIPO Y
33
Em setembro de 2004 , o
furaco Frances se
aproximava das costas da
Flrida
Verificaram que
havia tido um
consumo
extraordinrio de
E -m ails,
cerveja (fase
pr-Twitter, chamadas
telef n icas etc, DEFINEM
tufo) e deSUAS
tortaREDES
de
SOCIAIS
OUTLOOK(DE QUEM ,
morango(strawberry
PARA QUEM, CPIA
tarts, naOCULTA?,
fase ps NATUREZA DO
VNCULO
tufo. Essa tinha
sido consumida 7 x
mais que a mdia
A equipe de BI do Wal Ma rt
CV, anlises
especialista em
DOCUM ENT OS
preditivas a tpicas:
Quais
DE PROJET
OS, seriam
os produtosMOSTRAM
de ma ior SEUS
consumo e
PERFS DE
que mereceriam
cuidado E
da rea
HABILIDADES
EXPERINCIAS
de logstica
da empresa , nas
regies atingidas?
Poder da Informao
VIA
CEL UL ARES E
NOTE BOOKS
Verificaram
que o
CAPTURAM
SEUS
perfil de consumo
MOVIMENTOS
durante o furaco
DE
COMUNICAO
anterior(Charley)
EMPRESARIAL
apontava para dados
no bvios. No era
lanterna,
pregos,reforo de
portas e janelas,etc
Cludio Lcio
AS AGENDAS
ON-LINE
M OSTRANDO AS
Analisaram
os
SUAS
ATIVIDADES
dados de
PROFISSIONAIS
consumos,
E COM
QUEM SE
REUNEM no DW,
registrados
relativo passagem
do outro FuracoCharley, em agosto
de 2004
34
Pg.: 24
Atividade
1- Leitura do CASE FIAT
Reflexo
Existe diferena entre sistemas operacionais e um sistema que apoia a
tomada de decises?
possvel compreender o que Business Intelligence?
possvel compreender as vantagens de uma soluo de Business
Intelligence?
possvel compreender e decidir quando aplicar uma soluo de Business
Intelligence?
Cludio Lcio
35
Pg.: 25
Business
Intelligence
Conceitos de DW
Cludio Lcio
Conceitos de DW
Agenda
Contexto do DW
Conceitos sobre DW
Componentes DW
Cludio Lcio
Pg.: 26
Introduo:conceitos
e definies
Contexto do DW
Cludio Lcio
Contexto do DW
Suporte a deciso 'Soluo comum adotada pelas empresas'
Forte acoplamento entre sistemas do nvel operacional e gerencial
Cludio Lcio
Pg.: 27
Contexto do DW
Suporte a deciso 'Soluo comum adotada pelas empresas'
Fatos comumente observados:
Dados no esto adequados para suporte
deciso;
Sistemas de suporte deciso
desenvolvidos ad-hoc;
Longo tempo de espera;
No apresentam histrico necessrio
(para analisar sazonalidades, por exemplo,
ou mesmo histrico de clientes);
Cludio Lcio
Contexto do DW
Ambiente de Aplicaes
Operacionais: Do suporte s funes associadas execuo
do negcio da empresa, como por exemplo:
- Sistemas ERPs;
- Sistemas supervisrios para aquisio de dados- SCADA;
- Sistemas de execuo de manufatura - MES
Fazem a roda dos negcios girar
Cludio Lcio
Pg.: 28
Contexto do DW
Ambiente Operacional (Transacional)
Tipo de processamento: OLTP (On Line Transaction
Processing)
Baseado em transaes;
Voltado para velocidade e automao de funes
operativas. Ex.: Emitir notas fiscais, Faturar cliente,
Retirar material da expedio, dentre outros;
No prioridade mantes informaes histricas;
Atualizaes e consultas em grande nmero;
Trabalha com baixo nvel de detalhe(granularidade);
Cludio Lcio
Contexto do DW
Ambiente de Suporte Deciso (Analtico)
Cludio Lcio
Pg.: 29
Contexto do DW
Requisitos de ambientes operacionais e analtico
OLTP
- Tempo de Resposta;
- ACID (Atomicidade, Consistncia, Isolamento e Durabilidade);
- Recuperao de Falhas;
- Muitos usurios concorrentes;
OLAP
- Consultas complexas, no antecipadas;
- Gerenciamento de 'enormes' volumes de dados;
- Necessidade de examinar o dado em diferentes nveis de
detalhe;
- Necessidade de acesso a dados de fontes de dados diversas;
- Flexibilidade, facilidade de navegao
Cludio Lcio
Contexto do DW
OLAP x OLTP
Cludio Lcio
10
Pg.: 30
Contexto do DW
Porque um ambiente de Data Warehouse?
Integrar dados de mltiplas fontes;
Facilitar o processo de anlise sem gerar impactos para o
ambiente de dados operacionais;
Melhor desempenho (tempo de resposta) para consultas e
anlises
Obter dados com qualidade e estrutura propcia para o
processo de anlise;
Atender diferentes tipos de necessidades dos usurios;
Flexibilidade e agilidade para atender novas anlises;
Reteno de dados histricos permitindo anlises
temporais (explorao de sazonalidade);
Cludio Lcio
11
Introduo:conceitos
e definies
Conceitos sobre DW
Cludio Lcio
12
Pg.: 31
Conceitos sobre DW
Conceito: Data Warehouse
O Data Warehouse uma estrutura de dados que
otimizada para a distribuio. uma coleo de
dados integrados e histricos oriundas de mltiplas
sistemas operacionais. Tambm prov acesso para
os usurios finais para suportar uma viso
corporativas de dados.
TDWI
Cludio Lcio
13
Conceitos sobre DW
Conceito: Data Warehouse
Um data warehouse uma coleo de dados
orientada por assunto, integrada, varivel no tempo,
e no-voltil, usada no apoio aos processos de
tomada de deciso gerenciais.
W.H. Inmon
Cludio Lcio
14
Pg.: 32
Conceitos sobre DW
Conceito: Data Warehouse
Orientada por assunto: organizada em torno dos principais
assuntos (temas, entidades) do negcio, tais como financeiro,
suprimentos, vendas, etc;
Integrada: construda a partir de mltiplas fontes, potencialmente
Heterogneas;
Varivel no tempo:o tempo sempre uma dimenso importante
para o DW, que geralmente acumula dados de um perodo histrico
mais longo;
No voltil: os dados no DW no sofrem atualizaes constantes.
Via de regra, dados carregados no DW no so (constantemente)
alterados.
Cludio Lcio
15
Conceitos sobre DW
Pragmaticamente: Data Warehouse
Banco de dados com informaes gerenciais;
Carregado a partir de bancos de dados transacionais, fontes de
dados externas e/ou no estruturadas;
Dividido por assunto;
Modelado de uma nova maneira, objetivando facilitar a
elaborao de consultas;
No consiste apenas em dados, mas tambm em um conjunto de
ferramentas para consultar, analisar e apresentar informaes;
Geralmente utiliza o perodo da noite como janela de carga;
Cludio Lcio
16
Pg.: 33
Conceitos sobre DW
Data Mart
um sub-conjunto de dados de um Data Warehouse, referentes a
um assunto em especial ou diferentes nveis de sumarizao que
focalizam uma ou mais reas especficas.
O Data Warehouse no nada mais do que a unio dos data marts
que o constituem.
Ralph Kimball et al.
Cludio Lcio
17
Conceitos sobre DW
Data Warehouse Diferenas conceituais
Fonte: TDWI
Cludio Lcio
18
Pg.: 34
Conceitos sobre DW
Data Warehouse Abordagens para construo
- Top-down: criao de um DW contendo todos os dados
corporativos e, posteriormente, feita a segmentao do
DW em reas menores por assunto, gerando assim os Data
Marts.
- Botton-up: inicia-se a construo por uma rea, ou Data
Mart. A partir da visualizao dos primeiros resultados,
parte para outra rea e assim sucessivamente, at resultar
em um Data Warehouse.
- Planejar corporativamente e construo incremental;
Cludio Lcio
19
Introduo:conceitos
e definies
Componentes DW
Cludio Lcio
20
Pg.: 35
Conceitos sobre DW
Staging Area - Conceito
- rea onde os dados so colocados aps a extrao a partir
dos sistemas de origem;
- Mantm apenas uma foto parcial, temporria ou
permanente dos dados dos sistemas fontes;
- Dedicada para a integrao de dados e no disponvel para
os usurios finais do DW;
- Isolamento de dados brutos que so extrados das fontes e
so acessveis para o processo de extrao ou talvez para
analistas de negcios;
Cludio Lcio
22
Pg.: 36
Conceitos sobre DW
Staging Area - Motivaes para uso
- Reduzir a sobrecarga de acessos aos sistemas fontes.
Acesso ao sistema fonte pode ser feito uma nica vez, as
leituras necessrias para o armazenamento dos dados do
DW so realizadas a partir da Staging Area;
- Recuperao de falhas sem reiniciar todo processo. Aps a
gravao dos dados na Staging Area no necessrio
acessar o sistema fonte novamente no caso de falha.
- Os dados da Staging Area so teis para validar a
integridade da informao do DW quando o sistema fonte
sobrescreve o histrico.
Cludio Lcio
23
Conceitos sobre DW
Operational Data Store ODS - Conceito
- Base de dados que integra dados de mltiplas fontes,para
facilitar anlises e relatrios. Ou mesmo para facilitar a
integrao entre sistemas legados;
- ODS semelhante ao DW: ambos so orientados por
assunto e integrados;
- Pode ser uma base separada do DW ou pode ser um
componente do mesmo.
Cludio Lcio
24
Pg.: 37
Conceitos sobre DW
Operational Data Store ODS - Diferenas DW
Volatilidade
Transaes no sistema transacional so replicados no ODS.
ODS voltil prpria para o conceito near real time;
Frequncia da informao
O ODS possui dados correntes, que no ultrapassem as ltimas
24 horas ou 1 ms, por exemplo;
25
Conceitos sobre DW
ODS - Motivaes de uso
- Necessidade de uma base para consultas em tempo
quase real;
- Necessidade de uma base acessvel no ambiente
organizacional que no orientada para aplicaes e
possui aspecto relativo a integrao;
- Necessidade de relatrios para decises tticas que
envolvem diferentes bases de dados e que devem ser
near real time ;
Cludio Lcio
26
Pg.: 38
Introduo:conceitos
e definies
Modelagem
Multidimensional
de dados
Cludio Lcio
27
Modelagem de dados
Cludio Lcio
28
Pg.: 39
Cludio Lcio
29
Cludio Lcio
30
Pg.: 40
31
Cludio Lcio
32
Pg.: 41
33
34
Pg.: 42
Cludio Lcio
35
36
Pg.: 43
Cludio Lcio
37
38
Pg.: 44
Cludio Lcio
39
Cludio Lcio
40
Pg.: 45
Cludio Lcio
41
Cludio Lcio
42
Pg.: 46
Caso do Supermercado
- Cadeia de mais de 300 lojas espalhadas por 5 estados;
- Os produtos esto agrupados por Departamento;
- Nmero mdio de Itens expostos nas prateleiras por loja: 60.000;
- Os produtos esto identificados por Cdigo de Barra e os Caixas
possuem leitores para eles;
- Promoes de Produtos podem ser feitas atravs de cupons,
anncio nas gndolas, etc.
Cludio Lcio
43
2 - Identificar as Dimenses;
.
Dimenso DATA
Dimenso Loja
Dimenso Promoo
Dimenso Produto
Cludio Lcio
44
Pg.: 47
Cludio Lcio
45
Cludio Lcio
46
Pg.: 48
Business
Intelligence
Comentrios e
recomendaes sobre
projetos de DW
Cludio Lcio
47
48
Pg.: 49
Cludio Lcio
49
Cludio Lcio
50
Pg.: 50
51
52
Pg.: 51
Falha em GPR
Recursos Financeiros
Falha em GRE
Reqtos de BI: KPI,Indicadores, aspectos analticos,etc
Dados
Incorretos
incompletos
Oramento
inadequado
Falha GD/DQ
Falha em GRE
Baixa participao do FN de Reqtos
Falha em GPR
Recursos de HDW
Falha em GPR
Documentao
Baixo
envolvimento
dos
Usurios finais
Projeto de
Hardware
inadequado
Resultados
tardios
Falha na
documentao
Projetos monolticos
Resultados somente no final
Falha em GRE
54
Requisitos NFC
No funcionais
Aderncia e
privacidade
negligenciados
Gerncia de
Mudanas
falha
Falha em GPR
Gerncia de Riscos (GRI)
Adaptado de
Dez razes mais frequentes para o fracasso do BI
Manuel de Pino-IB Ibria
CIO-28/06/11-cio.uol.com.br/gesto
54
Pg.: 52
Pg.: 53
Pg.: 54
Atividade
1- Entrega de trabalho
Reflexo
Os componentes de um DW so uma forma para estruturar os dados de um
projeto de BI?
possvel compreender os componentes de um DW?
A modelagem dimensional uma representao mais simples para o
processo de extrao de informao por parte do usurio?
Cludio Lcio
60
Pg.: 55
Business
Intelligence
Processos ETL e
OLAP
Cludio Lcio
ETL
Introduo
Projeto ETL
Documentao ETL
OLAP
Introduo
Cludio Lcio
Pg.: 56
Processos ETL
Introduo
Cludio Lcio
Introduo
- Um dos desafios da implantao de um DW a integrao
dos dados de fontes heterogneas e complexas, padronizando
informaes, mantendo sua consistncia;
- A maioria dos projetos gasta a maior parte do tempo e dos
esforos nessa fase (cerca de 70% do tempo);
- O sucesso do DW depende, em grande parte, da eficincia e
eficcia do processo de ETL;
- Tipicamente os processos ETL mantm e possuem regras de
negcio -> implicam na confiabilidade e assertividade dos
dados no DW ou BI;
Cludio Lcio
Pg.: 57
Introduo
ETL ou ETC Extrair, transformar e carregar
- Processo em Data Warehouse que involve:
- Extrair dados de fontes externas;
- Transform-los para adequar s necessidades do negcio
ou implementar as regras do negcio;
- Carreg-los para dentro do Data Warehouse;
Cludio Lcio
Introduo
ETC - Extrao
- A primeira parte do processo ETL extrair os dados dos
sistemas origem;
- muito comum que o processo de extrao leia os dados
do sistema fonte e grave na Staging Area;
- Na grande maioria existem diferentes fontes de
informao. Exemplo: SAP-ECC, ORACLE, DB2, SQL SERVER,
XML, dentre outros;
- Fontes comuns so bases de dados relacionais, flat-files
(arquivos textos contendo os dados das tabelas) ou at
mesmo planilhas eletrnicas;
Cludio Lcio
Pg.: 58
Introduo
ETC - Transformao
- A fase de transformao consiste em aplicar uma srie de
regras ou funes sobre os dados extrados.
- Pode acontecer de no ser necessrio a realizao de
transformaes a partir de uma fonte de dados.
- Exemplo de transformaes:
- Traduzir valores codificados (ex: M para Masculino e F para Feminino e
no DW ser 1 para Masculino e 2 para Feminino);
- Criar um novo valor calculado (ex. Valor_venda = qtd * preo_unitrio);
- Realizar joins cruzando dados de mltiplas origens (lookup, merge, etc);
- Sumarizando mltiplas linhas de dados (ex. total de vendas para cada
regio);
- Pivot: transformar mltiplas colunas em mltiplas linhas ou vice versa;
Cludio Lcio
Introduo
ETC - Carga
- Nesta fase os dados so gravados no Data Warehouse.
- Pode-se carregar os dados no DW, utilizando a forma de
atualizao mais adequada:
Inicial carga de histrico at chegar no perodo atual;
Incremental acontece de acordo com a periodicidade de
atualizao (granularidade) diariamente, semanalmente,
hora em hora;
Completa acontece somente uma vez;
Cludio Lcio
Pg.: 59
Processos ETL
Projeto ETL
Cludio Lcio
Projeto ETL
Processamento de dimenses
- Ocorre antes da carga das tabelas de fatos, uma vez que
estas so dependentes ;
- Algumas dimenses so carregadas simplesmente
sobrescrevendo os dados antigos com dados atuais;
- Dimenses mais complexas podem necessitar da gesto de
histricos, bem como ter um rastreamento de todas das
alteraes que os dados sofreram;
- Somente alguns tipos especiais de dimenses necessitam
de tratamento para grandes volumes de dados;
Cludio Lcio
10
Pg.: 60
Projeto ETL
Processamento de fatos
- So mais demoradas devido ao volume de dados;
- Exigem programas de carga mais eficientes: projeto
orientado para estrutura de arquivos correta;
- Recuperam os dados das dimenses para consistncia
de chaves primrias;
- Ocorre depois da carga das tabelas de dimenses das
quais depende;
- Na maioria das vezes sofrem insero. Operaes de
update so usadas para acertos e devem ser evitadas na
medida do possvel;
Cludio Lcio
11
Projeto ETL
Dicas Projeto ETL
- Analisar os dados fontes;
- Identificar os mapeamentos de dados;
- Especificar as rotinas de ETL determinando a lgica de
converso dos dados;
- Determinar o melhor caminho para o transporte dos dados
fontes para o DW antes de iniciar a construo das rotinas
de ETL .Possibilitar maior produtividade, evitando atrasos e
retrabalho;
Cludio Lcio
12
Pg.: 61
Processos ETL
Documentao ETL
Cludio Lcio
13
Documentao ETL
ETL Disponibilizao dos dados
- Para a aumentar a chance de sucesso do processo ETL,
documentao extremamente recomendvel;
- O mapa de carga o documento que congrega as
transformaes que sero implementadas e as regras de
negcio utilizadas nas cargas dos dados;
- Outra documentao importante a estratgia de carga
que alm de descrever especificidades de cada processo,
tambm auxilia na encadeamento lgico dos vrios
processos de carga;
Cludio Lcio
14
Pg.: 62
Documentao ETL
Mapa de carga
Cludio Lcio
15
Documentao ETL
Mapa de carga
Cludio Lcio
16
Pg.: 63
Processos ETL
Ferramentas de ETL e
suas caractersticas
Cludio Lcio
17
18
Pg.: 64
19
20
Pg.: 65
21
22
Pg.: 66
Cludio Lcio
23
24
Pg.: 67
Atividade
1- Entrega de trabalho
Reflexo
Quais pontos so importantes para considerar na escolha de uma ferramenta
ETL?
Qual a importncia da documentao em um projeto ETL?
Performance em um projeto ETL, pode ser um fator preponderante para o
sucesso? Imagine um projeto de carga com atualizaes de 15 em 15
minutos;
Qualidade de dados importante?
Cludio Lcio
25
Business
Intelligence
OLAP Acesso a
dados
Cludio Lcio
26
Pg.: 68
Introduo
Cludio Lcio
27
OLAP Acesso a
dados
Introduo
Cludio Lcio
28
Pg.: 69
Introduo
Definio
- OLAP (OnLine Analytical Processing) uma categoria de
tecnologia de software que possibilita a visualizao dos dados
armazenados, segundo um grande nmero de pontos de vista,
atravs de acessos rpidos, consistentes e interativos;
- Processa os dados de um DW ou DM fornecendo respostas
rpidas para consultas analticas complexas;
- A ferramenta OLAP, ou de acesso a dados, o que realmente
d vida ao DW. Outras ferramentas: Business Discovery,Query e
Reporting;
Cludio Lcio
29
Introduo
OLAP
- O DW a base para os servios OLAP;
- OLAP transforma os dados de um DW em estruturas multidimensionais
30
Pg.: 70
Introduo
Cubos
- Cubos so estruturas multidimensionais que armazenam
dados para componente OLAP;
- Uma variedade de cruzamentos dimensionais, clculos e
agregaes so possveis com os cubos, e as dimenses so
utilizadas para o 'pivot' dos relatrios;
Cludio Lcio
31
Introduo
Cubos
- Uma das vantagens do modelo OLAP o uso 'abusivo' de
agregaes;
- Denomina-se agregao ao processo de pr-calcular os
dados atravs dos nveis das hierarquias para diminuir os
tempos de resposta nos processos de busca de
informao;
- Em resumo: As agregaes so resumos de dados prcalculados que melhoram o tempo de resposta pelo
simples motivo de ter as respostas prontas antes de
receber as perguntas.
Cludio Lcio
32
Pg.: 71
Introduo
Cubos
- A porcentagem de agregao determina a proporo ou
profundidade at onde so realizados os pr-clculos;
Cludio Lcio
33
Introduo
Cubos
- Caractersticas das agregaes:
- As agregaes permitem melhorar os tempos de resposta
- Requerem armazenamento adicional
- Caso no forem controladas podem provocar uma
exploso nos requisitos de armazenamento
Cludio Lcio
34
Pg.: 72
OLAP Acesso a
dados
Funcionalidades e
facilidades OLAP
Cludio Lcio
35
Cludio Lcio
36
Pg.: 73
Cludio Lcio
37
38
Pg.: 74
39
Cludio Lcio
40
Pg.: 75
Cludio Lcio
41
OLAP Acesso a
dados
Ferramentas OLAP e
suas caractersticas
Cludio Lcio
42
Pg.: 76
Cludio Lcio
43
44
Pg.: 77
Cludio Lcio
45
46
Pg.: 78
Cludio Lcio
47
Cludio Lcio
48
Pg.: 79
SAP-BO
IBM - Cognos
MS Reporting Services e
Analysis Services
Cludio Lcio
49
Cludio Lcio
50
Pg.: 80
Business
Intelligence
Business Analytics Minerao de dados
e Otimizao
Cludio Lcio
Data Mining
Agenda
Definies
Otimizao
Cludio Lcio
Pg.: 81
Definies
Processo de KDD (Knowledge Discovery in Databases)
Cludio Lcio
Pg.: 82
Definies
Data Mining
- Explorao de dados de quaisquer naturezas por meio de
tcnicas quantitativas em busca de padres e/ou regras
significativas.
Cludio Lcio
Definies
Data Mining
- Encontrar regras (modelos) para prever o comportamento
futuro ;
- Baseado no comportamento passado (histrico, fatores/
variveis que influenciam);
- As regras so aplicadas sobre novos dados (scoring).
Cludio Lcio
Pg.: 83
Definies
Etapas do processo de Data Mining
Cludio Lcio
Pg.: 84
10
Pg.: 85
11
12
Pg.: 86
13
14
Pg.: 87
15
Cludio Lcio
16
Pg.: 88
Cludio Lcio
17
Cludio Lcio
18
Pg.: 89
Cludio Lcio
19
RapidMiner
Cludio Lcio
20
Pg.: 90
40
30
20
10
0
10
20
30
40
meses
Cludio Lcio
21
Cludio Lcio
22
Pg.: 91
Cludio Lcio
23
Cludio Lcio
24
Pg.: 92
Cludio Lcio
25
RapidMiner
Cludio Lcio
26
Pg.: 93
27
28
Pg.: 94
Cludio Lcio
29
Fonte:
http://www.kdnuggets.c
om/polls/2011/toolsanalytics-datamining.html
Cludio Lcio
30
Pg.: 95
31
Histria da PO
Exemplos da utilizao
Classes de problemas
Cludio Lcio
32
Pg.: 96
Segundo o INFORMS
Em outras palavras
Cludio Lcio
33
Cludio Lcio
34
Pg.: 97
Na Inglaterra:
Nos EUA:
Logstica do exrcito
Escalonagem de treinamentos
Cludio Lcio
35
Boom econmico
Surgimento do computador
Cludio Lcio
36
Pg.: 98
Servio de entrega
Servio de manuteno
Cludio Lcio
37
Requisitos da soluo:
Minimizar custos
Cludio Lcio
38
Pg.: 99
Entrega de mercadorias?
Entrega de carros?
Entrega de containers?
Rede de dados?
Transporte pblico?
Cadeia de suprimentos?
Cludio Lcio
39
Um ponto de venda ?
Agncias de carros ?
Centros de distribuio ?
Cludio Lcio
40
Pg.: 100
Teoria da deciso
Modelos de competio;
Modelos de filas;
Tcnicas de simulao;
Mtodos heursticos.
Cludio Lcio
41
Formular o problema
Observar o sistema
Cludio Lcio
42
Pg.: 101
Variveis de deciso
Objetivo
Restries
43
Existem 4000 unidades de material que podem ser alocados s quatro fbricas;
Um acordo trabalhista assinado requer que pelo menos 250 carros sejam produzidas
na fbrica 3
Cludio Lcio
44
Pg.: 102
Existem 4000 unidades de material que podem ser alocados s quatro fbricas;
Um acordo trabalhista assinado requer que pelo menos 250 carros sejam produzidas na fbrica
3;
Este modelo pode ser resolvido no Excel - SOLVER
Solver Excel
Cludio Lcio
45
Pg.: 103
Business
Intelligence
Novas Tendncias
Cludio Lcio
Novas Tendncias
Agenda
Big Data
Cincia de dados
No SQL/New SQL
BIRT (Barbieri)
MDM (Barbieri)
Cludio Lcio
Pg.: 104
Novas Tendncias
Big Data
Cludio Lcio
Big Data
BigData:
Cludio Lcio
Pg.: 105
Big Data
BigData:
Cludio Lcio
Big Data
BigData:
Cludio Lcio
Pg.: 106
Big Data
Big Data, valor agregado para os negcios:
Cludio Lcio
Big Data
Big Data, valor agregado para os negcios:
McKinsey, Maio de 2011. Artigo: Big Data: The next frontier for innovation, competition, and productivity. Fonte:
http://www.mckinsey.com/insights/mgi/research/technology_and_innovation/big_data_the_next_frontier_for_innovation
Cludio Lcio
Pg.: 107
Big Data
Big Data Desafios - Negcios:
Mudana de cultura
Cludio Lcio
Big Data
Big Data Desafios - Tcnico:
Cludio Lcio
10
Pg.: 108
Big Data
McKinsey, Maio de 2011. Artigo: Big Data: The next frontier for innovation, competition, and productivity. Fonte:
http://www.mckinsey.com/insights/mgi/research/technology_and_innovation/big_data_the_next_frontier_for_innovation
Cludio Lcio
11
12
Pg.: 109
Cludio Lcio
13
Cludio Lcio
14
Pg.: 110
Cludio Lcio
15
Caractersticas DFS:
16
Pg.: 111
Caractersticas DFS:
Cludio Lcio
17
Caractersticas DFS:
Cludio Lcio
18
Pg.: 112
Caractersticas DFS:
Cludio Lcio
19
Origens:
Map:
20
Pg.: 113
Origens:
Reduce:
Cludio Lcio
21
Origens:
De forma geral:
Cludio Lcio
22
Pg.: 114
Detalhes de funcionamento:
Execuo paralela;
Cludio Lcio
23
Detalhes de funcionamento:
Cludio Lcio
24
Pg.: 115
Novas Tendncias
NoSQL/ NewSQL
Cludio Lcio
25
NoSQL/NewSQL
Alto desempenho;
Cludio Lcio
26
Pg.: 116
NoSQL/NewSQL
Bancos de dados NoSQL
NoSQL - Definio:
Cludio Lcio
27
NoSQL/NewSQL
NoSQL
Cludio Lcio
28
Pg.: 117
Novas Tendncias
Cincia de dados
Cludio Lcio
29
Cincia de dados
Definio
Cludio Lcio
30
Pg.: 118
Cincia de dados
Fonte: http://en.wikipedia.org/wiki/Data_science
Acesso em: 27/02/2013
Cludio Lcio
31
Cincia de dados
Cludio Lcio
32
Pg.: 119
Cincia de dados
Definio
Cludio Lcio
33
Cincia de dados
Fonte: http://emcbigdataschool.nce.ufrj.br/index.php/speakers-and-schedule/slides.html
Acesso em: 27/02/2013
Cludio Lcio
34
Pg.: 120
Cincia de dados
A certificao da EMC2
Tpicos:
Cludio Lcio
35
Cincia de dados
A certificao da EMC2
Tpicos
Cludio Lcio
36
Pg.: 121
Cincia de dados
Resumo:
Cludio Lcio
37
Novas Tendncias
BIRT (Barbieri)
Cludio Lcio
38
Pg.: 122
BIRT (Barbieri)
BIRT
Nova tendncia de anlise de streams de
dados
Produo de big data e necessidade de anlise
em tempo real
Pedgios, Controle de trnsito, controles de
movimentao de mercadorias por RFID
Aplicado tambm na indstria de telecom,
mercado financeiro(bolsas), Sade,etc
Cludio Lcio
39
Pg.: 123
Novas Tendncias
MDM (Barbieri)
Cludio Lcio
42
Pg.: 124
MDM (Barbieri)
MDM
Planeja
r
Agir
correti
vament
e
GD
Execut
ar
Verific
ar
43
MDM (Barbieri)
MDM-Conceito
Aplicativo 1
Aplicativo 2
D1
D1
Cenrio 1: Redundncia:
a)Vrios aplicativos lem e atualizam o Dado
Mestre 1 redundado nos seus domnios
b)Ambiente sem controle e gerncia de DM e sem
poltica de GD
c)Sabor de redundncia de antigamente
Cludio Lcio
44
Pg.: 125
MDM (Barbieri)
Planeja
r
MDM-Arquiteturas
Consolidao
Da do n o m estre
Aplicativo 1
Aplicativo 2
Aplicativo 3
DM1
DM1
DM1
Agir
correti
vament
e
GD
Execut
ar
Verific
ar
Consolidao
Arquitetura:
a)Faz importao batch para um ambiente integrador
b)Realiza a consolid ao e integrao
c)Exporta batch para ambientes d esejados(targets)
d)No envolve replicao(subscrio)
e)Normalmente usado para BI(sabor ETC,ETL)
Importao
Ambiente Integrador
Consolid ao e
Integrao
DM1
Viso consolidad a
Cludio Lcio
45
MDM (Barbieri)
MDM-Arquiteturas
Diretrio/Registry
Aplicativo 1
Aplicativo
Mantenedor do
diretrio
Aplicativo 2
Diretrio
Arquitetura: Diretrio/Registry:
a)Um diretrio contm informaes das Entidades e atributos do
DM nas diversas fontes
b)No diretrio existem apontadores globais para cada DM, com servios de
pesquisa e busca
c)Permite a criao de uma viso virtual dinamicamente montada e normalmente
read-only, realizada via consulta federada(sabor EII-Enterprise Information
Integration)
Cludio Lcio
46
Pg.: 126
MDM (Barbieri)
MDM-Arquiteturas
Coexistncia
Aplicativo 1
DM1
Aplicativo 2
Aplicativo 3
DM2
DM3
Arquitetura :Coexistncia
a) Cada Sistema mantm os seus dados
b) Permite referncia cruzadas entre eles e possibilita
a pesquisa e busca de outros dados mestres em outras fontes,
atravs de SOA-servios
c)No caso o aplicativo 1, l e atualiza os seus DM e pode
buscar outro DM em outro aplicativo(x)
d)Vulnervel se houver redundncia no controlada entre os DM
e)Funciona se tiver sabor de BD particionados
Aplicativo x
DMx
Cludio Lcio
47
MDM (Barbieri)
MDM-Arquiteturas
Centralizao/Transao
Aplicativo 1
Aplicativo 2
Aplicativo 3
Arquitetura:
Aplicativo x
mantened or
Centralizao/Transao:
DM1
Cludio Lcio
48
Pg.: 127
MDM (Barbieri)
MDM
Termos,classificao de domnio,
relacionamentos entre
Termos,owners-gestores de info(DG),
Busca de metadados por palavras,pedaos,etc
Rastreabilidade(Data Lineage)
FONTES-MDM-DADOS OPERACIONAIS
ERP
Servidor MDM
EXTRAO
Transformao:
Profiling: Limpeza, Combinao, Classificao, Acerto
Banco de Regras, Padronizao, Regras probabilsticas,
analisadores fonticos
Clericals,Zona cinzenta
Catlogo
Governana
Metadados
Glossrio
CARGA
Distribuio
Relatrios
ETL d o BI(Dim)
MDM
DATA
Golden Records
MART
Cludio Lcio
49
MDM (Barbieri)
DADOS OPERACIONAIS
EXTRAO
REA DE STAGING
MDM
ODS
Modelo relacional
Transformao:
Limpeza
Combinao
Classificao
Acerto
CARGA
Mining
DW-Corporativo
Assunto1
Assunto3
Assunto2
ESTOQUE
FINANCEIRO
DATA
Data
Mart
MART
DATA
Data
Mart
MART
VENDAS
Data Mart
Modelo dim ensiona l
Modelo dimensiona l
Modelo dimensiona l
QUERY/REPORT
OLAP;
MINING
FERRAMENTAS
TRABALHAM NOS
DMARTS
DataWarehouse Corporativo
50
Pg.: 128