01 ArquiteturaDW

Arquitetura de Data Warehouse
Viso Geral
Profa. Kelli de Faria Cordeiro
kelli.faria@gmail.com
22/10/2011 Business Intelligence
Ementa

Principais arquiteturas de suporte deciso Abordagem de Inmon x Kimball Componentes de um Data Warehouse Vantagens e desvantagens das arquiteturas Data Warehouse x Datamart Data Marts Dependentes x Independentes Abordagem de implementao Top-down e botton-up
22/10/2011
Business Intelligence
Principais Referncias
R. Kimball, L. Reeves, M. Ross, W. Thornthwaite, The Data Warehouse Lifecycle Toolkit: Expert Methods for Designing, Developing, and Deploying Data Warehouses, Wiley, 1998 R Kimball; M. Ross; W. Thornthwaite; Joy. Mundy; B. Becker The Data Warehouse Lifecycle Toolkit: Practical Techniques for Building Data Warehouse and Business Intelligence Systems., Wiley, 2008 R. Kimball, R. Merz, Data Webhouse, Willey, 2000.
22/10/2011
Principais Referncias

W.H. Inmon, Claudia Imhoff, Ryan Sousa, Corporate Information Factory, Prentice Hall, 2000. W.H. Inmon, D. Strauss, G. Neushloss, DW 2.0, Morgan Kaufmann, 2008. F.N.Machado, Tecnologia e Projeto de Data Warehouse, Ed. rica, 2008.
22/10/2011
Avaliao
Trabalhos individual ou em grupo

PPT:

Desenhar a arquitetura de um ambiente de DW
Lgica e Fsica 5 min por aluno
DOC:
Inmon x Kimball
Tudo sobre eles e as suas respectivas propostas de arquitetura Comparaes Entre 10 e 15 pginas
22/10/2011
Prova individual no ltimo dia de aula

Reviso
EVOLUO DOS AMBIENTES DE SUPORTE DECISO

Sistemas de Suporte Deciso

Componentes desta abordagem:
Problemas desta abordagem:

Solues:
Relatrios desenvolvidos sob demanda Alto tempo de resposta Pouca capacidade de anlise Impacto de desempenho do ambiente de produo
22/10/2011

Componentes desta abordagem:
Problemas desta abordagem: Baixa credibilidade nas informaes Baixa produtividade Inabilidade de transformar dado em informao
Solues:
22/10/2011

Problemas desta abordagem:
Esforo Duplicado Mltiplas Tecnologias Relatrios Obsoletos Nenhum metadado Problemas com Qualidade do Dado no Processamento de Extrao Base de Tempo no comum Algoritmos de clculo diferentes Nveis de extrao diferentes Nveis de granularidade diferentes Nomes de campos diferentes Significados de campos diferentes Informao faltante Nenhuma regra de correo
Componentes:
Solues:
22/10/2011
Qual o estgio do SSD da sua empresa?
Arquitetura
Fornece planejamento, estrutura e padronizao necessrios para garantir integrao de vrios componentes, projetos e processos ao longo do tempo Estabelece framework, padres e procedimentos para o Data Warehouse num nvel corporativo The Data Warehousing Institute
22/10/2011
Componentes Tpicos de DW
22/10/2011
Referncias
ARQUITETURAS DE DW
22/10/2011
Ralph Kimball (2002)

Elementos bsicos
22/10/2011

Back and Front Room
22/10/2011

Microsoft BI Toolset
22/10/2011
Bill Inmon (2001)

Corporate Information Factory
22/10/2011
Bill Inmon
Corporate Information Factory and the Web
22/10/2011
Data Marts Independentes
22/10/2011
Data Marts Dependentes
22/10/2011
10
Abordagens de Implementao
Top-down Botton-up Combinada/Hbrida
22/10/2011
Data Webhouse
22/10/2011
11
Precursores
KIMBALL X INMON
22/10/2011
Componentes da Arquitetura
Bill Inmon considera:

Ralph Kimball considera:

Camada de transformao e integrao Data warehouse corporativo ODS Data Mart Exploration DW Dados usados com menos freqncia, arquivados Metadado
Data staging area Coleo de DMs = DW ODS Data Mart Star schema usado para tudo Dados arquivados Metadado
24
12
Onde Inmon e Kimball concordam

necessria uma arquitetura Dimenses compartilhadas e medidas definidas atravs de todas as reas da empresa O esquema estrela til para apresentar informaes aos usurios Construir o DW iterativamente Metadado fundamental Implementao de processo de ETL automtico
25
ODS
OPERATIONAL DATA STORE
22/10/2011
13
ODS (Inmon)
Uma estrutura hbrida projetada para apoiar tanto processamento operacional transacional quanto processamento analtico. Base de dados integrados, voltil, retrato instantneo do negcio. Estrutura til para relaes de um-para-um entre o setor de marketing e cliente, e para reas onde apenas as transaes mais recentes so importantes.
Just as the data warehouse is the central point of integration for business intelligence, the operational data store becomes the central point of data integration for tactical decision making. It is a perfect complement to the strategic decision-making processes provided through the data warehouse/data mart constructs. 27
ODS (Kimball)
Depsito de dados histrico, frequentemente alimentado, de dados detalhados e integrados, constituindo-se no nvel atmico do ambiente de DW.
Arquitetura Original
Arquitetura Proposta
14
Arquiteturas de DW
OUTRAS
22/10/2011
DW Federado
Prov uma interface que torna o DW Federado semelhante a um grande DW, mas que na realidade, apenas adiciona camadas sobre os DWs existentes, possibilitando a execuo de consultas sobre um grande Data Warehouse virtual (Huber et. al. 2001). Ambientes federados favorecem a integrao de informaes em ambientes heterogneos, autnomos e distribudos, caractersticos de situaes que envolvem diversas organizaes autnomas, com objetivos comuns.
22/10/2011
15
DW Federado Anand(1997)
Esquema materializado
22/10/2011
DW Federado Mangisengi e Ruber (2001)
Esquema no materializado
22/10/2011
16
Data Warehouses Distribudos
Tipos:
Distribudos
geograficamente tecnologicamente
Com DW locais e globais

Fisicamente so vrios, mas logicamente apenas um
Distribudos
Evoluo
independente
Vrios DW cresceram sem coordenao, por motivos polticos ou diferenas organizacionais

22/10/2011
Data Warehouses Distribudos
22/10/2011
17
DW 2.0 (Inmon, 2008)

Principais caractersticas:
Patenteado! Ciclo de vida do dado Contempla dados noestruturados Metadado faz parte da arquitetura
22/10/2011
Arquiteturas de DW
OUTROS ASPECTOS
22/10/2011
18
Nveis de dados da arquitetura do CIF (Inmon)
Conseqncia das diferenas entre os dados primitivos e derivados.
22/10/2011
Nveis de dados da arquitetura do CIF (Inmon)
22/10/2011
19
Mais componentes de um Ambiente de DW

1. Repositrio de Metadados 2. Ferramentas de Projeto CASE
3. Ferramentas de Extrao, Transformao e Carga (ETL)

4. Ferramentas para Qualidade e Limpeza 5. Ferramentas para Replicao 6. Provedores de Interfaces de BD ODBC/OLE 7. Ferramentas de Gateway para BD Legados 8. Bancos de Dados Relacionais 9. (Bancos de Dados No-Relacionais Legados) 10. Bancos de Dados Multidimensionais
39
Mais componentes de um Ambiente de DW

11. Ferramentas OLAP 12. Ferramentas de Relatrio e Consulta 13. Ferramentas de Data Mining 14. Cross-Platform Batch Schedulers 15. Ferramentas de Monitoramento e Controle 16. Pacotes de Aplicao para Data Warehouse
Todos estes componentes manipulam/ geram metadados
40
20

01 ArquiteturaDW

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

01 ArquiteturaDW

Enviado por

Direitos autorais:

Formatos disponíveis

Arquitetura de Data Warehouse

Trabalhos individual ou em grupo

Desenhar a arquitetura de um ambiente de DW

Lgica e Fsica 5 min por aluno

Prova individual no ltimo dia de aula

EVOLUO DOS AMBIENTES DE SUPORTE DECISO

Sistemas de Suporte Deciso

Problemas desta abordagem:

Sistemas de Suporte Deciso

Sistemas de Suporte Deciso

Qual o estgio do SSD da sua empresa?

Ralph Kimball (2002)

Ralph Kimball (2005)

Ralph Kimball (2006)

Bill Inmon (2001)

Data Marts Independentes

Data Marts Dependentes

Ralph Kimball considera:

Onde Inmon e Kimball concordam

OPERATIONAL DATA STORE

DW Federado Mangisengi e Ruber (2001)

Data Warehouses Distribudos

Com DW locais e globais

Vrios DW cresceram sem coordenao, por motivos polticos ou diferenas organizacionais

Data Warehouses Distribudos

DW 2.0 (Inmon, 2008)

Nveis de dados da arquitetura do CIF (Inmon)

Conseqncia das diferenas entre os dados primitivos e derivados.

Nveis de dados da arquitetura do CIF (Inmon)

Mais componentes de um Ambiente de DW

3. Ferramentas de Extrao, Transformao e Carga (ETL)

Mais componentes de um Ambiente de DW

Você também pode gostar