Arquitetura de dados

Legado/ Data Marts

Aplicativos
operacionais
Data Warehouse
Corporativo

Exploração

Integração Armazenamentos
Camada de Para usos raros
Transformação “near-line”

1
 Arquitetura de dados

Ambiente do Aplicativo Operacional / legado:

•É no Ambiente Operacional onde os aplicativos e os

Consumidores têm interação direta com sistemas
de negócios.

•O ambiente de aplicativo operacional é chamado assim

porque está relacionado com as operações diárias da
Corporação

Aplicativos operacionais/transacionais bem conhecidos:

Bancos 24horas, passagens aéreas etc.

•Em muitos ambientes operacionais, estes aplicativos

não estão muito bem integrados

2
 Arquitetura de dados

Camada de Integração e de Transformação:

•Dados não integrados de aplicativos legados são

convertidos para uma estrutura integrada, compatível
com os dados que vêm de outros aplicativos legados.

120cm, IMS

98 pol, DB2
Centímetros
2 pés, ADABAS
Oracle

2960 Milhas

3
 Arquitetura de dados

Data Warehouse Corporativo:

•O Data Warehouse Corporativo, também as vezes é só

chamado de Data Warehouse, e contem os dados
granulares integrados que formam a fundação de todo o
ambiente Corporativo.

Dados Integrados
Dados Normalizados
Armazena e Gerencia Dados
Dados Históricos

4
 Arquitetura de dados

Data Marts:

•Estruturas moldadas que são encontradas no Data

Warehouse Corporativo.
•Os Data Marts pertencem aos departamentos
específicos dentro de uma empresa.

Finanças Vendas
Marketing
Contabilidade

Data Warehouse
Corporativo

5
 Arquitetura de dados

Exploração:

•Estruturas ideal quando existe a necessidade de

alguma análise pesada a ser feita, pois contem um
amplo array de dados detalhados e históricos
recuperados do DW Corporativo.

Data Warehouse
Corporativo

Exploração

6
 Arquitetura de dados

Near-Line:

•Complementa a armazenagem em disco no DW

alojando dados raramente acessados. Dessa maneira
poderão ser acessados em um ritmo mais lento sem
prejudicar a performance do sisitema.

Data Warehouse
Corporativo

Armazenamentos
Para usos raros
“near-line”

7
 Data Warehouse

 Introdução
 Primeiramente

Um BD realizava todas as operações
 Foco nas atividades operacionais e transacionais
 Últimos anos
 O BD foi dividido em 2 BDs
 Destinados a operações distintas
 Um atende as atividades operacionais (OLTP – On-line
Transaction Processing)
 Outro atende as atividades analíticas (OLAP – On-line
Analitical Processing)

8
 Data Warehouse

 Introdução
 Últimos anos
 Ou seja, um atende as necessidades transacionais
 Responsável pelo processo de funcionamento das
organizações
 E outro as necessidades informacionais
 Fornecendo informações para a tomada de decisão
 Data Warehouse surgiu

Para o armazenamento de informações
 O processamento analítico

Com o objetivo de suprir sistemas de apoio a
decisão de informações confiáveis e precisas

9
 Data Warehouse

 Ambiente
 Data Warehouse

Concentra informações integradas de todas as
bases operacionais

Possui facilidade de uso
 É a base para o processamento de SADs

Analistas de Sistema de Apoio a Decisão (SAD)
que usam esse ambiente conseguem o que
necessitam de forma rápida
 O que não acontece utilizando o ambiente
operacional onde é difícil encontrar os dados
necessários

10
 Data Warehouse

 Ambiente
 Representação do ambiente Data Warehouse
e a forma como os dados são integrados

11
 Data Warehouse

 Ambiente
 Algumas diferenças entre dados operacionais
e dados analíticos ou dados para SAD

Dados Primitivos/Dados Dados Derivados/Dados

Operacionais SAD
- detalhados - resumidos ou refinados
- voltados para transações - voltados para análise
- atendem a comunidade - atendem a comunidade
funcional gerencial
- acessados uma unidade por - acessados um conjunto por
vez vez
- podem ser atualizados - não são atualizados
12
 Data Warehouse

 Ambiente
 Dados derivados
 São dados resumidos ou calculados p/
atender as necessidades gerenciais da
empresa
 Dificilmente são atualizados e são
históricos
 Servem p/ operações heurísticas e não
repetitivas

13
 Data Warehouse

 Ambiente
 Dados Primitivos
 São dados detalhados usados nas
operações diárias da empresa
 São atualizados e seus valore refletem
somente o momento presente
 São manipulados por sistemas que
executam operações repetitivas

14
 Data Warehouse

 Características
 Orientado por assunto
 Sistemas operacionais ou de produção
 São baseados nos processos realizados na
empresa
 Data Warehouse
 É projetado segundo os assuntos ou negócios
realizados na empresa
 Filtrando dados das bases operacionais

15
 Data Warehouse

 Características
 Integrado
 Dados do Data Warehouse
 Originários de diferentes bases operacionais
 Referentes aos setores ou áreas de negócio da
empresa
 Causando duplicação de dados assim como

a não uniformidade destes

16
 Data Warehouse

 Características
 Integrado

Processo de passagem de dados dos diversos
ambientes operacionais p/ o Data Warehouse
 Deve ser feito eliminando possíveis inconsistências
de dados
 Os dados devem ser convertidos a medida q/ forem
passando p/ o Data Warehouse
 A figura a seguir mostra a integração dos dados
quando eles passam do ambiente operacional
para o Data Warehouse

17
Data Warehouse

18
 Data Warehouse

 Características
 Histórico

Variável em relação ao tempo
 Armazena dados históricos

Possui horizonte de tempo bem maior que os
dados operacionais
 Os ambientes operacionais guardam dados de
60 a 90 dias
 O Data Warehouse armazena dados de 5 a 10
anos
 No Data Warehouse sempre existe uma
estrutura que serve como identificado temporal

19
 Data Warehouse

 Granularidade

Refere-se ao grau de detalhamento ou de resumo
dos dados contidos no Data Warehouse

É inversamente proporcional ao nível de
detalhamento
 Quanto maior o grau de detalhamento menor o
grau de granularidade e vice-versa

Afeta profundamente o volume de dados que
residem no Data Warehouse
 Da mesma forma que afeta o tipo de consulta que
poderá ser realizada

20
 Data Warehouse
 Granularidade
 O balanceamento do volume dos dados contidos
no Data Warehouse diz respeito ao nível de
detalhe de uma consulta

Quando é aplicado alto nível de granularidade
(baixo detalhamento)
 Menor espaço físico é utilizado p/ armazenar os
dados e um número menor de índices
 Menor força de processamento necessária para
acesso aos dados

Exerce
 Profundo efeito sobre as perguntas que podem ser
respondidas
 Sobre os recursos necessários para responder uma
pergunta

21
 Data Warehouse

 Particionamento
 Conceitos
 É a repartição dos dados em unidades
físicas separadas que podem ser tratadas
separadamente
 Da mesma forma que existe o
particionamento físico também existe o
particionamento dos dados
 Consiste em dividir os dados em unidades
menores usando alguns critérios
 Por data, áreas de negócios e geográficas, etc

22
 Data Warehouse

 Monitoramento
 O monitoramento dos dados
existentes no Data Warehouse é
essencial
 Traz benefícios e melhorias ao ambiente
do Data Warehouse
 Identificação do crescimento

Onde está ocorrendo e em q/ proporção
 Quais dados estão sendo utilizados

23
 Data Warehouse

 Eliminação dos dados

 Near-line
 Os dados são efetivamente eliminados do
sistema
 Sendo transferidos
 De um nível de arquitetura para outro

como do nível operacional para o do

Data Warehouse

24
 Data Warehouse

 EIS e Data Warehouse

 Data Warehouse
 Plenamente desenvolvido e abastecido de
informações
 É um aliado para os analistas de EIS
 Possibilita q/ os analistas tenham acesso
 Dados organizados e integrados prontos para
análise

25
 Data Warehouse

 Conclusão
 Data Warehouse
 Banco de dados de um banco de dados
 Capaz de trazer todas as informações da
empresa juntas em um banco de dados
gigantesco que pode conter trilhões de
registros

26