Data Warehouse

Debora Marrach
Renata Miwa Tsuruda
 Data Warehouse

Agenda
 Introdução

 Contexto corporativo

 Ambiente
 Data Warehouse

Agenda
 Introdução

 Contexto corporativo

 Ambiente
 Data Warehouse
Introdução

O conceito de Data Warehouse surgiu da

necessidade de integrar dados
corporativos espalhados em diferentes
máquinas e sistemas operacionais, para
torná-los acessíveis a todos os usuários
dos níveis decisórios.
 Data Warehouse
Introdução

Com o surgimento do conceito de

Sistemas de Apoio à Decisão (DSS),
o Data Warehouse surge como uma
solução para suprir as necessidades de
informações para o
usuário de nível decisório.
 Data Warehouse

Agenda
 Introdução

 Contexto corporativo

 Ambiente
 Data Warehouse
Contexto Corporativo

Os sistemas de informação operacionais

foram concebidos e implantados para
agilizar procedimentos administrativos
das organizações,
sendo mantidos por áreas estanques e
independentes.
 Data Warehouse
Contexto Corporativo

Atualmente, a
maioria dos usuários conhece
suas necessidades de informação
através da aprendizagem adquirida
nas três últimas décadas de utilização de
utilitários e aplicativos.
 Data Warehouse
Contexto Corporativo

Os níveis gerencial e estratégico

passaram a requerer
informações mais trabalhadas.
 Data Warehouse
Contexto Corporativo

O perfil para o fornecimento de informações é

identificado por características essenciais:
Ser flexível

 Favorecer a autonomia dos usuários e auxiliá-

los nas funções gerenciais;
 Surge uma nova demanda em complementação
às listagens e telas características dos sistemas
operacionais.
 Data Warehouse
Contexto Corporativo

O perfil para o fornecimento de informações é

identificado por características essenciais:
Ser integrado

 Os bancos de dados devem ser interligados

interna e externamente à organização.
 Data Warehouse
Contexto Corporativo

O perfil para o fornecimento de informações é

identificado por características essenciais:
Ser útil

 Para a mudança de comportamento da

organização e para torná-la mais competitiva.
 Data Warehouse
Contexto Corporativo

O perfil para o fornecimento de informações é

identificado por características essenciais:

 Participação mais ativa do usuário final;

 Ser mais ágil para atender à necessidade de
informações na hora certa.
 Data Warehouse
Contexto Corporativo

Um possível impacto
desta demanda por informações
nos processos da área de TI
é o crescimento sem controle,
do número de programas e de dados,
resultando em mais manutenção.
 Data Warehouse
Contexto Corporativo

Possível impacto da demanda por flexibilidade na

área de TI

Baixa Produtividade

 A busca de dados em várias fontes consome

tempo.
 Data Warehouse
Contexto Corporativo

Possível impacto da demanda por flexibilidade na

área de TI

Falta de integração entre os dados

 Os formatos dos dados e suas semânticas nem

sempre são coerentes entre bases diferentes.
 Data Warehouse
Contexto Corporativo

Possível impacto da demanda por flexibilidade na

área de TI

Flexibilidade restrita

 As mudanças não foram previstas nos

requisitos dos negócios.
 Data Warehouse
Contexto Corporativo

Diferenças entre
Sistemas Operacionais e de Suporte á Decisão
Tópico ou Função Nível Operacional Nível de Suporte á Decisão
Conteúdo dos Dados Valores correntes Dados históricos,
consolidados e trabalhados
Organização dos dados Orientada á aplicação Orientada á organização
Natureza dos dados Dinâmica Estática
Dados normalizados Dados não normalizados
Estrutura e formato dos Complexos, desejáveis para Simples desejáveis para
dados computação operacional análise de negócios
Possibilidade de acesso Alta Moderada á baixa
Atualização Contínua Periódica
Aplicação Estruturada, com Não estruturada, com
processamento repetitivo processamento analítico
Tempo de resposta entre 2 e 30 segundos Segundos á minutos
 Data Warehouse
Contexto Corporativo

Diferenças entre
Sistemas Operacionais e de Suporte á Decisão

Cada tipo de sistema necessita de um

projeto de banco de dados
com características próprias.
 Data Warehouse
Contexto Corporativo

Data Warehouse

A solução para o atendimento a essas necessidades

converge para a integração das diversas bases
existentes, para o aperfeiçoamento dos métodos
e técnicas de tratamento, e para a
agregação de dados e disponibilização de
informações.
 Data Warehouse
Contexto Corporativo

Exemplo

As informações sobre cada cliente de um banco

estão espalhadas pelos diferentes sistemas e
áreas (Conta-Corrente, Poupança, Cartão de
Crédito, Aplicações Financeiras etc).
Dessa forma,
traçar um perfil do cliente é muito difícil,
devido à necessidade de acesso a essas diferentes
"ilhas" de informação.
 Data Warehouse
Contexto Corporativo

Exemplo

Em um ambiente de Data Warehouse os dados

estariam orientados para o perfil de seus clientes.
Integrar os dados dos diferentes sistemas
operacionais em uma visão consolidada capacita
ao usuário a observar o perfil de todas as
atividades de um cliente,
analisando seu portfólio de um ponto de vista
histórico, de forma a lhe oferecer melhores
serviços.
Data Warehouse
Base Teórica
 Data Warehouse

Agenda
 Introdução

 Contexto corporativo

 Ambiente
Data Warehouse
Ambiente
 Data Warehouse
Ambiente

Toda implementação de um DW envolve trabalho em

quatro áreas essenciais:

 Análise das fontes dos dados

 Definição da transformação e da integração para
aqueles dados (ETL)
 Construção do DW propriamente dito
 Disponibilização das ferramentas para acessar o
DW e extrair as informações
Data Warehouse
Ambiente
 Data Warehouse
Ambiente

 Sistemas de origem
 Data Staging Area
 Área de apresentação dos dados
 Data Mart
 Partição em tempo real
 Barramento
 ODS – Operational Data System
 Ferramenta de acesso aos dados
 Data Warehouse
Ambiente

Sistemas de origem

Sistemas que controlam os processos de negócio,

dos quais se extrai os dados para carga no DW.
 Data Warehouse
Ambiente

Sistemas de origem
 Data Warehouse
Ambiente

Data Staging Area

Área de trabalho para as operações ETL.

Estas operações compreendem a armazenagem
dos dados extraídos dos sistemas de origem e as
operações de verificação e limpeza para garantia
da consistência do dado á ser armazenado no DW.
 Data Warehouse
Ambiente

Data Staging Area

 Data Warehouse
Ambiente

Data Staging Area

O principal requisito da data staging area é que ela

não esteja acessível aos usuários e que não
forneça serviços de consulta e nem de
apresentação.
 Data Warehouse
Ambiente

Data Staging Area

(Suporte á operação de ETL)

Área de trabalho para:

 Extração dos dados dimensionais dos sistemas fonte

operacionais acompanhado de estatística de auditoria
 Limpeza dos valores dos atributos
Validação de nomes e endereços, tratamento para valores
descritivos inconsistentes, decodificações faltando,
códigos sobrecarregados com significados múltiplos no
tempo, dados inválidos, dados faltando.
 Data Warehouse
Ambiente

Data Staging Area

(Suporte á operação de ETL)

Área de trabalho para:

 Gerenciar atribuições de chaves surrogate

Deve ser mantida uma tabela mestre de correspondência
para entre a chave surrogate do DW e a chave operacional.
 Data Warehouse
Ambiente

Área de apresentação dos dados

É o local em que os dados ficam organizados,

armazenados e tornam-se disponíveis para serem
consultados diretamente pelos usuários.
 Data Warehouse
Ambiente

Área de apresentação dos dados

 Data Warehouse
Ambiente

Data Mart

Em sua forma mais simples,

um Data Mart representa
um único processo de negócio.
Ou seja,
é um DW para um único processo de negócio.
 Data Warehouse
Ambiente

Data Mart
 Data Warehouse
Ambiente

Partição em tempo real

(Casos específicos)

No ambiente de Data Warehouse, os dados

consistem de um snapshot (retrato no tempo) e
abrangem períodos de até 10 anos, sendo
atualizados periodicamente e não em tempo real.
 Data Warehouse
Ambiente

Partição em tempo real

(Casos específicos)

A partição em tempo real é uma tabela separada

sujeita a regras especiais de
atualização e consulta.
Contém toda a atividade que ocorreu desde
a última atualização do DW estático.
 Data Warehouse
Ambiente

Partição em tempo real

(Casos específicos)

Consulta
=
Tabela de fatos estática
+
Tabela de fatos da partição
 Data Warehouse
Ambiente

Barramento

Compartilhamento de uma arquitetura uniforme de

dimensões e fatos em conformidade
que permitirá que eles sejam sincronizados em um
todo integrado.
 Data Warehouse
Ambiente

Matriz de barramento

Matriz de relação cruzada entre os processos de

negócio e suas dimensões, possibilitando
visualizar aquelas dimensões que são
compartilhadas entre os vários processos de
negócio.
 Data Warehouse
Ambiente

Matriz de barramento
 Data Warehouse
Ambiente

ODS - Operational data Store

(Casos específicos)

São cópias bastante integradas e frequentemente

atualizadas de dados operacionais.

É implementado para produzir relatórios

operacionais principalmente quando os sistemas
operacionais não fornecem os relatórios
adequados.
 Data Warehouse
Ambiente

ODS - Operational data Store

(Casos específicos)

É um terceiro sistema físico

localizado entre os
sistemas operacionais e o data warehouse
ou uma partição automática
especialmente administrada do
DW propriamente dito.
 Data Warehouse
Ambiente

ODS - Operational data Store

(Casos específicos)

Evidentemente, você não deve alocar recursos

para construir um terceiro sistema físico
a menos que suas necessidades corporativas
não possam ser atendidas pelo
sistema de coleta de dados operacional
nem pelo DW.
 Data Warehouse
Ambiente

Ferramentas de acesso aos dados

Ferramentas OLAP, Geradores de relatórios etc...

As ferramentas OLAP permitem a geração de

relatórios, a análise de um grande volume de
dados e a obtenção de informações estratégicas
que podem facilitar a tomada de decisão.
 Data Warehouse
Ambiente

OLAP

São aplicações que os usuários finais têm acesso

para extraírem os dados de suas bases e construir
os relatórios capazes de responder as suas
questões gerenciais.
 Data Warehouse
Ambiente

Características OLAP - CUBO

As informações são armazenadas em

cubos multidimensionais,
que gravam valores quantitativos e medidas,
permitindo visualização através de
diversos ângulos.
 Data Warehouse
Ambiente

Características OLAP - CUBO

As medidas são organizadas

em categorias descritivas,
chamadas de dimensões e
formam a estrutura do cubo.
 Data Warehouse
Ambiente

Ferramentas OLAP – Cubo

 Data Warehouse
Ambiente

Características OLAP - Drill Across

Ocorre um
aumento do nível de detalhe
da informação e conseqüente
diminuição no nível da hierarquia da dimensão.

Por exemplo, uma análise de vendas por estado

é alterada para uma análise de
vendas das cidades de um determinado estado.
 Data Warehouse
Ambiente

Características OLAP - Drill Up

É o contrário do Drill Down.

Diminuição no nível de detalhe e conseqüente
aumento no nível da hierarquia da dimensão.

Uma análise de vendas é alterada

de uma cidade para seu estado correspondente.
 Data Warehouse
Ambiente

Características OLAP - Drill Throught

Ocorre quando o usuário

passa de uma informação contida em
uma dimensão para uma outra.

Por exemplo, o usuário está realizando uma análise

da dimensão tempo e no próximo passo
para a analise da dimensão região.
 Data Warehouse
Ambiente

Características OLAP - Slice and Dice

É uma das principais características de uma

ferramenta OLAP.
Modifica a posição de uma informação.
Troca linhas por colunas de maneira a facilitar a
compreensão dos usuários
girando o cubo sempre que tiver necessidade.
 Data Warehouse
Ambiente

Características OLAP - Slice and Dice

Slice
Em uma dimensão tempo de um modelo, é
selecionado somente o ano de 2000.

Dice
A análise é alterada
de região/ano para ano/região.
 Data Warehouse
Ambiente

Fim