Construo de Data Warehouse (DW) e Data Mart (DM)

Peeter Bonomo em Gerncia de TI

Construir um projeto de Data Warehouse (DW) dispendioso e demora um bom tempo. Tudo
depende do tamanho da empresa, do nmero de bases de dados que iro integrar o projeto,
interfaces com outros sistemas, quantidade de pessoas na equipe, comprometimento e
dedicao para implementao, ferramentas utilizadas, etc.
Percebendo isso, os arquitetos resolveram segmentar a construo do DW, comeando por
departamentos at a criao do mesmo. Ao invs de fazer o caminho tradicional, que
construir um DW e a partir dele os Data Marts (DMs), fizeram o contrrio. Comeava-se pelos
DMs e esses iriam fazer a alimentao no Data Warehouse (DW). As vantagens so muitas. A
principal o tempo de implementao. H alguns casos em que um DM para rea comercial
foi construdo em apenas 3 meses.
Os Data Marts so bancos de dados modelados multidimensionalmente, orientados aos
departamentos de uma empresa, por exemplo, a rea comercial, financeira, marketing e
logstica construram vrios Data Marts (DMs) cada uma. Ao final de dois anos, eles
passaram a alimentar um DW que, depois de implementado, passou a fazer o caminho
inverso, que de alimentar os DMs. Ento com essa fundamentao, podemos definir que os
DMs podem surgir de duas maneiras. A primeira top-down e a segunda a botton-up.
o

Top-down: quando a empresa cria um DW e depois parte para a segmentao, ou

seja, divide o DW em reas menores gerando assim pequenos bancos orientados por
assuntos aos departamentos.

Botton-up: quando a situao inversa. A empresa, por estratgia sua, prefere

primeiro criar um banco de dados para somente uma rea. Com isso os custos so bem
inferiores de um projeto de DW completo. A partir da visualizao dos primeiros
resultados parte para outra rea e assim sucessivamente at resultar em um Data
Warehouse.

A infra-estrutura de software e hardware semelhante, porm a arquitetura dos dados pode

ser bem diferente. No DW podemos ter o modelo de dados hbrido ou pode ser
completamente relacional, j no DM o modelo totalmente dimensional. A complexidade de
tratamento das informaes no DW maior, porque temos de olhar toda a estrutura da
empresa, j no DM fica mais fcil, pois estamos olhando apenas uma parte dela. Portanto,
cabe a cada empresa avaliar a sua demanda e optar pela melhor soluo. Segundo
estimativas, enquanto um Data Mart custa em torno de US$ 100 mil a US$ 1 milho e leva
cerca de 120 dias para estar pronto, um DW integral comea em torno dos US$ 2 milhes e
leva cerca de um ano para estar com a sua primeira verso em produo.
reas de Armazenamento

Staging (Staging rea)

o

Recepo de dados

Sem ndices, sem constraints

Carga rpida (bulk loading)

Voltil

Data Warehouse (DW)

o

Dados integrados e organizados por assunto

Histrico de informaes da empresa

Esquema estrela (fatos e dimenses)

No-Voltil

Metadados

Grande volume de dados

Data Mart (DM)

o

Dados agregados

No possui necessariamente um histrico das informaes

Esquema estrela (fatos e dimenses)

Pode ser reconstrudo a partir dos dados existentes no DW

Pequeno volume de dados

Otimizado para consultas pontuais

Tecnologias Utilizadas
o

Banco de dados (Relacional ou Multi-dimensional)

ETL (Extract, Transform and Load)

OLAP (On Line Analytical Processing)

Data-Mining

Importante: Todas essas tecnologias citadas acima tm as suas ferramentas e

especializaes adequadas ao negcio.
A ltima camada de anlise e mensurao dos dados, o Data Mining (Minerao dos Dados),
responsvel por extrair informaes de grandes bancos de dados operacionais para
construir segmentos e desenvolver modelos preditivos que so mais adequados para
responder pergunta de negcio em mos e existem ferramentas para tal, porm falaremos
mais sobre isso nos prximos artigos.
Formas de Construir um DW
Inmon x Kimball

Modelagem Multidimensional
uma tcnica de concepo e visualizao de um modelo de dados de um conjunto de
medidas que descrevem aspectos comuns de negcios. utilizada especialmente para
sumarizar e reestruturar dados e apresent-los em vises (camada de apresentao) que
suportam a anlise dos valores desses dados.

Exemplo de modelo dimensional do Data Warehouse:

Um modelo multidimensional formado por 3 elementos bsicos:

o

Fatos

Dimenses

Medidas (varives)

Outro Exemplo de Modelo Dimensional

Fatos
um coleo de itens de dados, composta de dados de medidas e de contexto.
Cada fato representa um item, uma transao ou um evento de negcio e utilizado para
analisar o processo de negcio de uma empresa. tudo aquilo que reflete a evoluo dos
negcios do dia-a-dia de uma organizao.
Caractersticas:
o

representada por valores numricos

Implementados em tabelas denominadas tabelas de fato (fact tables)

Dimenses
So elementos que participam de um fato, assunto de negcios.

So possveis formas de visualizar os dados, ou seja, so os por dos dados: por ms, por
pas, por produto, por regio, por funcionrio, e por a vai
Dimenses normalmente no possuem atributos numricos, pois so somente descritivas e
classificatrias dos elementos que participam de um fato.
Tipos de Dimenses
o

Dimenso Normal

Novas linhas criadas, sem deleo

o

SCD Tipo 1

Sem preservao de histrico

o

SCD Tipo 2

Preservao ilimitada de histrico

Novas linhas criadas
Coluna de status
o

SCD Tipo 3

Reteno de histrico limitada

Dois estados so preservados: novo e antigo
Nova coluna criada
Medidas (variveis)
So os atributos numricos que representam um fato, a performance de um indicador de
negcios relativo s dimenses que participam desse fato, e que tais nmeros so
denominados de variveis.
Segundo Kimball, desenvolver um Data Warehouse um questo de casar as necessidades
dos seus usurios com a realidade dos dados disponveis.
Bom, espero ter acrescentado mais sobre Ambientes de BI bem como os princpio bsicos de
construo de DW e DM. Nos prximos assuntos, estarei abordando sobre Arquitetura de DW.
At a prxima!
Referncias Bibliogrficas:
Tecnologia e Projeto de Data Warehouse, Felipe Nery Rodrigues Machado, 2007.