Business Intelligence

Prof. Jos Leo

Modelagem Dimensional

Prof. Jos Leo

BI como tecnologia
Dados de Origens
Cadastros Bsicos

Sistemas Legados

Movimentos

C A M E A T D L A E T L

Data Warehouse

C A M A D A E T L

Cubos
Relatrios Data Mining Query Aplicaes Analticas Planejamento Financeiro

Data Marts

Data Marts

ERP ERP

ODS
Stage Area

Planilhas

Camadas de Integrao

Ciclo de Vida de um projeto de BI

Modelos Descoberta Requistos Envolver usurios

O modelo de dados um dos pilares do sucesso.

Modelos Data Warehouse

Histricos
Criado pela IBM na dcada de 60 Information Warehouse

Hoje o Data Warehouse tem como pai Willian H. Inmon.

vivel atualmente em funo das novas tecnologas para processar grande quantidade de dados. Vivel tambm pelas facilidades tecnolgicas para a pubicao das informaes atravs das ferramentas de Business Intelligence

Modelos Data Warehouse

O que Sistema que armazena dados histricos usados no processo de tomada de deciso. Integra os dados corporativos de uma empresa em um nico repositrio.

Para que serve ? Criar uma viso nica e centralizada dos dados que estavam dispersos em vrios BDs Usurios finais podem executar consultas, gerar relatrios e efetuar anlises.

Modelos Data Warehouse

BDs usados em aplicaes de negcios so chamados de BDs Operacionais; DW um BD informacional alimentado com dados dos BDs operacionais da empresa (Varias plataformas e origens);

Mostra dados histricos e atuais; Podem ser cruzados; Podem ser sumariados; Deve estar sobre um Metadados (vamos ver a frente)

Modelos Data Warehouse

Um Banco de Dados um Data Warehouse quando :
Coleta dados de vrias fontes; Transforma os dados em uma viso nica (ETL); Informaes de um DW podem ser acessadas por aplicativos e/ou ferramentas de Apoio Deciso Business Intelligence

Modelos Data Warehouse

BD Operacional
Usurios Utilizao Padro de Uso Principio de Funcionamento Valores de Dados Detalhamento Organizao dos Dados Funcionrios Tarefas Cotidianas Previsvel Com base em transaes e transformaes Valores atuais e volteis Alto Orientado a Aplicaes

Data Warehouse
Alta Adminstrao Decises Estratgicas Dificil de Prever Com base em Anlise de Dados Valores Histricos e Imutveis Sumarizado Orientado ao Assunto

Modelos
O modelo deve representar o negcio, de modo simples. Todos os projetos de BI devem comear : Com o processo de negcio que gera as medidas numricas de desempenho; Especificar a granularidade exata desses dados; Envolver essas medidas com dimenses que so verdadeiras.

Modelos
Facilidade constante do usurio
Como Montar ? O que escolher ? Quais so as mtricas ? Complexidade ? Dimenses so mutveis ? Tabelas de Agregao (Preciso delas ?)

O usurio deve caminhar junto com os desenvolvedores.

Soluo deve apresentar performance compatvel

Modelos
Impossibilidade de fechamento de escopo Alteraes que o cliente vai sugerindo. Soluo no tinha sido bem pensada. Sugesto que a prpria equipe oferece

O ciclo de manuteno nunca chega ao fim. Porque?

Porque , para a tomada de deciso, mais e mais aspectos podem e devem ser incorporados.

Origens

Modelos
Camada de Integrao

Mainframe

DW

ETL

Data Marts

ERP
Camada de Integrao

Legados

Vantagens da camada de Integrao Evita repetio da Extrao Garante Padro

Staging Area:
Parte do Data Warehouse responsvel por receber a extrao, transformao e carga (ETL) das informaes dos sistemas transacionais legados, para posterior gerao dos Data Marts de destino;

A Staging Area considerada rea fora do acesso dos usurios; A Staging Area no deve suportar queries dos Usurios;
Ela pode ser composta por flat files (arquivos textos) ou tabelas de banco de dados na terceira forma normal (normalizadas);

Modelos Data Warehouse

Principais Caractersticas
De acordo com a definio dada por Inmon, um Data Warehouse deve ser : Orientado ao assunto Integrado No-Voltil Varivel com o tempo.

Modelos Data Warehouse

Principais Caractersticas No-Voltil Dados no so mais alterados depois de includos no DW Em um BD operacional possvel incluir, alterar e eliminar dados J no DW possvel apenas incluir dados Garante que consultas subseqentes a um dado produziro o mesmo resultado

Modelos Data Warehouse

DW em 3 Forma Normal DW Corporativo No acessado por ferramentas de Reporting e Anlise Modelagem voltada performance de carga Data Marts em Star Schema ou Snow Flake Divididos por assuntos Acessados por ferramentas de Reporting e Anlise Modelagem voltada performance de consultas

Modelos
Origens Vantagens das camadas de Integrao Evita repetio da Extrao Garante Padro

Mainframe

ETL

DW Data Marts

ERP

Legados

Staging rea
ODS

Staging rea rea de importao de dados dos sistemas transacionais; Relacional e normalizada; Geralmente igual s tabelas transacionais com dados necessrios carga.

Operacional Data Store rea de consolidao e limpeza dos dados. Verificao de integridade. Relacional e normalizada. rea no obrigatria, depende da quantidade de transformaes.

Modelo Dimensional rea de apresentao dos dados; Modelada para performance em consultas; Conceitos de Ralph Kimball; Possui tanto informaes mais atmicas a nveis mais agregados.
Obs: podem ser utilizados outros modelos para extrao de dados por ferramentas, mas a melhor performance se encontra em modelos Star Schema.

 Relacional - 3 Forma Normal Star Schema Snowflake

Origens

Vantagens da camada de Integrao Evita repetio da Extrao Garante Padro

DW

Mainframe

ETL

ERP

Data Marts

Legados

ODS

Camada de Integrao

Relacional - 3 Forma Normal

Tabela Funcionrios Funcionrio Nome Departamento Localizao do Departamento

234 223 399

Joo Financeiro Antonio Financeiro Jos Operaes

Campinas Bauru So Paulo

Soluo: Dois tipos de entidade, cidade e departamento

Num. Depto.
1 2

Departamento
Financeiro Operaes

Cidade
1 2 3

Nome
Bauru Campinas So Paulo

Funcionrio Nome 234 Joo Jos

Departamento 1 2

Localizao do Departamento 2

223
399

Antonio 1

1
3

 Vantagens Alta performance de carga; Baixa redundncia de dados.

Desvantagens Baixa performance de consulta; Alta complexidade de modelagem.

Tipos de Schema Star

Fato Dimenso

Klingon Warrior

Shooting Star

Tulipa

Modelagem Multidimensional

Conceito Concepo e visualizao de um modelo de dados referente a conjuntos de medidas que descrevem aspectos comuns de negcios; Tcnica utilizada para se ter uma viso multidimensional dos dados, modelados em uma estrutura dimensional, conhecida como cubo.

Modelagem Multidimensional

Conceito Elementos bsicos Fato; Dimenso; Medida.

Fato

Dimenso

Modelagem Multidimensional Fato Coleo de itens de dados de medida e contexto; Cada fato representa um item, uma transao ou um evento de negcio; representado por uma tabela de fatos. Exemplos: Conjunto de vendas de uma loja; Evoluo de faturamento de uma empresa; Comerciais exibidos na televiso;

Modelos
Modelagem Multidimensional

Dimenso Elementos que participam de um fato; Determina o contexto de um assunto de negcio; So descritivas e classificatrias; representada por uma tabela de dimenses;

Exemplos: Cliente, Produto, Vendedor; Anunciante, Produto, Agncia, Data, Hora; Regio, UF, Cidade, Bairro.

Modelos
Modelagem Multidimensional

Medida Atributos numricos que representam um fato; Representam uma performance de um indicador de negcio relativo as dimenses de um fato; determinada pela combinao das dimenses; Exemplos: Quantidade da produtos vendidos; Valor das vendas;

O Inicio
Comeo analisando o modelo atual ou modelando o Data Mart por suas necessidades? Em primeiro lugar vamos eliminar aqui, uma inverdade que Fornecedores apresentam: Transforma-se o modelo de dados ER do sistema transacional em modelos de dados Star Schema(estrela) utilizando uma ferramenta case de modelagem. Isto no possvel. Dados de um Data Mart no so dados do Sistema Transacional. Deve-se ter completa independncia do modelo relacional dos Sistemas Transacionais

Portanto

Analise quais so as necessidades indentificando nesta necessidade: Fatos; Dimenses; Mtricas.

executivas,

Identificando o Fato. Qual o fato desta necessidade? O que nos d idia de ao nesta solicitao? O que se caracteriza por ter medidas? O que medido?

Modelo Star Schema

 Vantagens Alta performance de consulta; Baixa complexidade de modelagem; Controle de Histricos; Alta integridade. Desvantagens Baixa performance de carga; Alta redundncia de dados.

Linha

Snow Flake
Familia

Classe

Cores

Produtos

Vendas

Cliente

Dia
Preos

Mes

Ano

Linha

Id_linha Id_linha Nome_linha Nome_linha

Familia Produtos

Id_familia Id_familia Nome_familia Nome_familia Id_linha Id_linha

Cores

Id_cor Nome_cor

 Modelo Floco de Neve Consiste na decomposio das tabelas de dimenses em hierarquias; Aplicao da 3FN nas tabelas; Os desenvolvedores freqentemente elegem o modelo SnowFlake pelo fato de preservar a utilizao de meios de armazenamento.

Modelos

Modelos

Vantagens Alta performance de cargas; Alta complexidade de modelagem; Controle de Histricos; Alta integridade. Desvantagens Baixa performance de consultas; Alta redundncia de dados.

Slowly Changing Dimensions

Slowly Changing Dimensions Analisar impactos de alteraes em atributos das dimenses Controle de histrico Tipos de Dimenses Tipo 1: atualiza-se o registro de uma dimenso com o novo atributo No guarda histrico de alteraes

Slowly Changing Dimensions

Tipo 2: cria-se um novo registro na dimenso com o novo atributo e encerra-se o atributo antigo. Criar datas de incio e fim de registros para indicar registro corrente

Slowly Changing Dimensions

Tipo 3: coluna indicando qual o registro antigo e qual o registro atual. No recomendvel