Introduo Modelagem Dimensional para Datawarehouses

Fernanda Baio fernanda.baiao@uniriotec.br PPGI UNIRIO

Abril 2007

Tpicos

Inteligncia do Negcio Contexto das Organizaes A tecnologia de Data Warehouse

Motivao e Conceitos Objetivos e Arquitetura Processo de Desenvolvimento do Data Warehouse

Projeto do Warehouse

Modelagem Multidimensional

Ambiente de aplicaes

Adaptado de: Carlos Barbieri BI: Business Intelligence - Modelagem e Tecnologia

Inteligncia do Negcio (BI)

Utilizao de vrias fontes de informao para se definir estratgias de competitividade nos negcios da empresa

Problema da inundao de informaes

Montanhas de dados Busca e recuperao de informao so difceis Apresentao da informao Tomadas de deciso so prejudicadas
4

Inteligncia do Negcio

Desafio:

Definir regras e tcnicas para a apresentao adequada deste volume de dados visando transform-los em depsitos estruturados de informao, independente da sua origem

Contexto das Organizaes

2 mundos de informao diferentes

Operacional (execuo) x Gerencial (Planejamento e Controle) Objetivos distintos Requisitos de ambientes de BD distintos

Informao Informao

Ambientes de BD Operacionais

Do suporte s funes associadas execuo do negcio da empresa:

sistemas administrativos, de controle de estoque, assinaturas de clientes, etc.

Tipo de processamento: OLTP

On-line transactional processing

transaes pontuais (1 registro por vez) velocidade e automao de funes repetitivas atualizaes e consultas em grande nmero trabalha com alto nvel de detalhe situao corrente
7

Ambientes de BD Gerenciais

Do suporte s atividades de tomada de decises gerenciais na organizao

Sistemas de suporte deciso, ferramentas de anlise

Tipo de processamento: OLAP

On-line analytical processing

Pequeno nmero de consultas variveis centenas, milhares, ... de registros por consulta Diversas fontes de dados Diferentes perspectivas Operaes de agregao e cruzamentos Atualizao quase inexistente, apenas novas inseres Dados histricos so relevantes
8

O que um Data Warehouse

Data Warehouse
Uma coleo de dados...
Orientados ao assunto Integrados No volteis Variantes no tempo

... Para fornecer suporte ao processo de tomada de decises na organizao [Inmon, 92]

O que um Data Mart

Data Mart Um subconjunto lgico do Data Warehouse, geralmente visto como um data warehouse setorial. [Kimball]

10

Objetivos de um Data Warehouse

Integrar dados de mltiplas fontes Facilitar o processo de anlise sem impacto para o ambiente de dados operacionais Obter informao de qualidade Atender diferentes tipos de usurios finais Ser flexvel e gil para atender novas anlises
Sistema de Apoio Deciso

Fontes de Dados Operacionais

DW

Ferramenta OLAP Sistema de Minerao de Dados11

Arquitetura de um Ambiente de Data Warehouse

[Han e Kamber, 2001] Componentes

Dados Operacionais 3 camadas

Camada Interna: Servidor DW Camada Intermediria: Servidor OLAP Camada Externa: Ferramentas de acesso aos dados
12

Arquitetura de um Ambiente de Data Warehouse

Relatrios Anlise Ferramentas Minerao de Dados Servidor OLAP

DW Metadados
Extrao Limpeza Transformaes Carga Atualizao

Servidor DW Data Marts Dados

BDs operacionais

Fontes externas

13

Processo de Desenvolvimento de DWs

Etapas:

Planejamento Levantamento de Requisitos e Anlise do Problema Projeto do Data Warehouse Integrao de Dados e Testes Implantao

14

Projeto do Data Warehouse

Requisitos

flexibilidade e agilidade para suportar anlises no previstas Permitir anlise das medidas disponibilizadas sob diferentes perspectivas MODELAGEM DIMENSIONAL

Abordagem utilizada:


15

Viso multidimensional

Forma pela qual analistas de negcio, gerentes e executivos analisam informaes

Qual o total de vendas do Produto X na Regio Sudeste no ms de janeiro ?

Como foi a distribuio das vendas do Produto X em todas as cidades no ano passado?

Em quanto aumentaram as vendas do Produto X durante a promoo em abril de 2003 ?

16

Viso multidimensional

Foco no cruzamento das informaes

Facilita o entendimento e visualizao de problemas tpicos de suporte deciso Mais intuitiva para o processamento analtico Utilizada pelas ferramentas OLAP

Qual a diferena da viso multidimensional para a viso tabular do modelo relacional?

17

Viso Relacional

Volume de vendas para a concessionria XCar

MODEL MINI VAN MINI VAN MINI VAN SPORTS COUPE SPORTS COUPE SPORTS COUPE SEDAN SEDAN SEDAN CITY NEW YORK LOS ANGELES MADISON NEW YORK LOS ANGELES MADISON NEW YORK LOS ANGELES MADISON SALES VOLUME 6 5 4 3 5 5 4 3 2
18

Viso multidimensional

Volume de vendas para a concessionria Xcar

M O D E L
Mini Van

6 3 4
NY

5 5 3
LA

4 5 2
Madison

Coupe Sedan

CITY

Um vetor multidimensional tem um nmero fixo de dimenses e os valores so armazenados nas clulas Cada dimenso consiste de um nmero de elementos

19

Acrescentando mais uma coluna...

MODEL CITY

DEALERSHIP

VOLUME
6 6 2 3 5 5 2 4 3 2 3 2 7 5 2 4 5 1 6 4 2 1 3 4 2 2 3 20

Volume de vendas por fornecedor

MINI VAN MINI VAN MINI VAN MINI VAN MINI VAN MINI VAN MINI VAN MINI VAN MINI VAN SPORTS COUPE SPORTS COUPE SPORTS COUPE SPORTS COUPE SPORTS COUPE SPORTS COUPE SPORTS COUPE SPORTS COUPE SPORTS COUPE SEDAN SEDAN SEDAN SEDAN SEDAN SEDAN SEDAN SEDAN SEDAN

NEW YORK NEW YORK NEW YORK LOS ANGELES LOS ANGELES LOS ANGELES MADISON MADISON MADISON NEW YORK NEW YORK NEW YORK LOS ANGELES LOS ANGELES LOS ANGELES MADISON MADISON MADISON NEW YORK NEW YORK NEW YORK LOS ANGELES LOS ANGELES LOS ANGELES MADISON MADISON MADISON

CLYDE GLEASON CARR CLYDE GLEASON CARR CLYDE GLEASON CARR CLYDE GLEASON CARR CLYDE GLEASON CARR CLYDE GLEASON CARR CLYDE GLEASON CARR CLYDE GLEASON CARR CLYDE GLEASON CARR

10

Viso multidimensional

Volume de vendas para a concessionria Xcar

M O D E L
Mini Van

Coupe Carr Gleason Clyde

Sedan

6
NY

1
LA

2
Madison

DEALERSHIP

CITY

Dados podem ser imaginados como em um cubo

metfora visual representao intuitiva: dimenses coexistem para todo ponto no cubo e so independentes umas das outras 21

Adicionando Dimenses Hipercubos

Volume de vendas para a concessionria Xcar, ao longo do tempo

Mini Van Coupe Sedan Carr Gleason Clyde Mini Van Coupe Sedan Carr Gleason Clyde Mini Van Coupe Sedan Carr Gleason Clyde

M O D E L

6
NY

1
LA

2
Madison

5
NY

10
LA

1
Madison

6
NY

25
LA

0
Madison

DEALERSHIP

CITY

CITY

CITY

JANUARY

FEBRUARY

MARCH

22

11

Modelagem Multidimensional

Utilizao dos conceitos do modelo multidimensional a fim de representar, de forma clara, eficiente e flexvel, a viso multidimensional dos dados Conceitos

Fatos Dimenses

Hierarquias e Agregaes
23

Fatos

Medidas numricas do negcio

Sales Fact
date_key product_key store_key dollar_sold unit_sold dollar_cost

Volume de vendas (nmero de itens, total em reais), quantidade de itens em estoque, volume de transaes de carto de crdito Valores das medidas (numricas e aditivas) e Referncias para as dimenses (granularidade) No armazena informao redundante! (textos, valores zerados) Quantidade de registros normalmente muito grande em um DW
25

Representados em uma Tabela de Fatos

12

Tabela de Fatos

Em um SGBD relacional

Sales Fact
date_key product_key store_key dollar_sold unit_sold dollar_cost

Relao (Tabela) Chaves estrangeiras para as tabelas de dimenso Chave primria subconjunto das chaves estrangeiras Cubo (vetor n-dimensional)

Em um SGBD multidimensional

26

Dimenses

Product Dimension product_key description brand category department package type package size fat content diet type weight weight unit of measure storage type ...

Pontos de vista ou perspectivas do negcio sobre os quais uma organizao deseja guardar registros

Loja, Produto, Fornecedor, Tempo Descrio completa da dimenso

Representadas em Tabelas de Dimenso

Atributos textuais e de domnio discreto preferencialmente Tipo de armazenamento = V ou Tipo de armazenamento = Vcuo ?
27

Essenciais para tornar o DW usvel e legvel

13

Tabela de Dimenso
Product Dimension product_key description brand category department package type package size fat content diet type weight weight unit of measure storage type ...

Chave simples Fonte principal das clusulas das consultas, agrupamentos e ttulos de relatrios

Volume de vendas por produto

Usualmente no dependente do tempo Desnormalizada Hierarquias implcitas

28

Nveis nas dimenses ou Hierarquias

Hierarquias so a base das agregaes Volume de vendas

rea geogrfica NE PE Tempo: abril 2003 maio 7 14 21 29 15 30
34

Brasil SUL NO

Pas Regio Estado Area Dimension area_key state region country ...
29

Date Dimension date_key date month year ... Ano Ms Dia

SE RS
23 45

SC AC AM
62 56 150

23 13

92 87

73 21

23 234
14

..

14

Hierarquias e Agregados
Produto Marca Categoria Produto Tempo Ano Trimestre Ms Geografia Consultas Pas Regio Estado
30

Vendas por Produto, Ano e Regio

Esquemas para o modelo Multidimensional

Fatos e dimenses podem ser dispostos segundo diferentes configuraes

Esquema Estrela Esquema Flocos de Neve Esquema Constelao de Fatos

31

15

Esquema Estrela

1 tabela de fatos

Sem redundncia 1 para cada dimenso O qu onde

n tabelas de dimenses

quem

quando
32

Esquema Estrela
Time Dimension time_key day month year holiday_flag

Sales Fact
time_key product_key store_key dollar_sold unit_sold dollar_cost

Product Dimension product_key description brand category

Store Dimension store_key store_name address city state

33

16

Modelagem Multidimensional: Esquema Estrela

Dominante no projeto de DW [Kimball e Ross, 2002] Caractersticas:

Distingue bem as dimenses dos fatos medidos Simplifica a visualizao dimensional Simetria Eficiente para a realizao de consultas Acomodam mudanas mais facilmente

Hierarquias so representadas pelos atributos da dimenso

34

Exerccio

Suponha o exemplo da concessionria Xcar j apresentado, onde um gerente geral de marketing deseja analisar o volume de vendas dos modelos de carro de cada fornecedor em cada cidade de cada estado dos EUA, onde a concessionria possua filiais. Especifique um esquema estrela para esta concessionria. D alguns exemplos de consultas e anlises que poderiam ser teis para o gerente.
35

17

Exerccio

Concessionria XCar
Mini Van Mini Van

M O D E L

Mini Van

Coupe Carr Gleason Clyde NY LA Madison

Coupe Carr Gleason Clyde NY LA Madison

Coupe Carr Gleason Clyde NY LA Madison

Sedan

Sedan

Sedan

DEALERSHIP

CITY

CITY

CITY

JANUARY

FEBRUARY

MARCH
36

Esquema Floco de Neve

Variante do esquema estrela

1 tabela de fatos

sem redundncia 1 dimenso pode ter vrias tabelas

K tabelas de dimenses

Tabelas de dimenso so normalizadas

Evita redundncia Requer mais junes para as consultas

Hierarquias representadas pelos relacionamentos entre as dimenses

39

18

Esquema Floco de Neve

40

Esquema Floco de Neve

Time Dimension time_key day_of_week month quarter year holiday_flag Product Dimension product_key description category_key Category Dimension category_key description brand_key Brand Dimension brand_key description City Dimension city_key city_name state
41

Sales Fact
time_key product_key store_key dollar_sold unit_sold dollar_cost

Store Dimension store_key store_name address city_key

19

Esquema Constelao de Fatos

Mltiplas tabela de fatos com dimenses compartilhadas

Maior complexidade

42

Esquema Constelao de Fatos

Time Dimension time_key day_of_week month quarter year holiday_flag Product Dimension product_key description brand category Location Dimension loc_key loc_name address city state

Shipping Fact
time_key product_key from_location_key to_location_key shipper_key dollar_cost units_shipped Shipper Dimension shipper_key shipper_name location_key
43

Sales Fact
time_key product_key location_key dollar_sold unit_sold dollar_cost

20

A Modelagem Multidimensional no Projeto de DWs

Etapas:

Escolha do processo de negcio

Departamental ou corporativo Pedidos, seguros, inventrio, vendas, entregas Os de maior impacto para o usurio primeiro Nvel mais detalhado das medidas da tabela de fatos Transaes individuais ou posies peridicas Cada item de uma nota fiscal de venda, um carto de embarque em um vo, posio diria de um produto em estoque, posio mensal de uma conta bancria
44

Escolha da granularidade do Processo de Negcio

A Modelagem Multidimensional no Projeto de DWs

Etapas:

Escolha das dimenses para cada tabela de fatos

Como descrever os dados do negcio? Data (tempo), produto, cliente, tipo de transao Que medidas devem ser acompanhadas? Granularidade definida pelas dimenses relacionadas Quantidade solicitada, Custo em reais Percentuais no devem ser armazenados, e sim seus numeradores e denominadores
45

Escolha das medidas para a tabela de fatos

21

Questes crticas para modelagem dimensional

Foco nos requisitos e objetivos do negcio

No na tecnologia e nos dados

Envolvimento do patrocinador e usurios gerenciais essencial para o sucesso Adote uma abordagem incremental e iterativa para o desenvolvimento do DW

No tente fazer tudo de uma vez

Desempenho das consultas do usurio e facilidade de uso so os fatores mais crticos

Otimizao de consultas OLAP

Apresente os dados de forma simples, e com a semntica clara Nvel de detalhe deve chegar at os dados atmicos Esteja preparado para mudanas no negcio e nos dados D especial ateno aceitao dos usurios
46

Concluso

Modelagem dimensional a abordagem utilizada para o projeto de DWs

Viso dimensional dos dados

intuitiva, flexvel e eficiente para consultas Fatos, dimenses e hierarquias Estrela, flocos de neve e constelao de fatos Escolha do: Processo de negcio, granularidade, dimenses e medidas de fatos (nesta ordem)
47

Esquemas

Fases do projeto

22

Exemplo de tabela Tempo

date key 1 2 3 4 5 6 7 8 9 full date 1/1/96 1/2/96 1/3/96 1/4/96 1/5/96 1/6/96 1/7/96 1/8/96 1/9/96 day day day abbre day day of num in num v week month overall name 1 1 1 Monday Mon 2 2 2 Tuesday Tue 3 3 3 WednesdaWed 4 4 4 Thursday Thu 5 5 5 Friday Fri 6 6 6 Saturday Sat 7 7 7 Sunday Sun 1 8 8 Monday Mon 2 9 9 Tuesday Tue week week weekday num in num year overall flag y 1 1 y 1 1 y 1 1 y 1 1 y 1 1 n 1 1 n 1 1 y 2 2 y 2 2 week month begin week num month date begin name key month overall date 1/1/96 1 1 1 January 1/1/96 1 1 1 January 1/1/96 1 1 1 January 1/1/96 1 1 1 January 1/1/96 1 1 1 January 1/1/96 1 1 1 January 1/1/96 1 1 1 January 1/8/96 8 1 1 January 1/8/96 8 1 1 January month abbrev Jan Jan Jan Jan Jan Jan Jan Jan Jan

48

Exerccio

Suponha uma Companhia Area GOAL que deseja construir um DW para o seu negcio. Seu objetivo principal aumentar seu lucro atravs do aumento da taxa de ocupao de seus vos, para isso lanando promoes e descontos aos clientes. Tambm desejvel otimizar a escala da tripulao, e o perodo de manuteno das aeronaves. Projete um esquema para o DW da companhia GOAL, descrevendo o resultado de cada uma das etapas da modelagem dimensional apresentadas. 49

23