Você está na página 1de 29

Data Warehouse

Prof. Elvis R Barreto


O que Data warehouse?
Um armazm de dados o qual integra e gerencia o fluxo de
informaes a partir dos bancos de dados corporativos.
Orientado a Assunto: organizado conforme diferentes vises
de negcio.

Integrado: a partir de fontes de dado heterogneas.


No Voltil: sempre inserido, nunca excludo.

Variante no Tempo: posies histricas das atividades no


tempo.
O crescimento de Data warehouse
Percebe-se, nos ltimos anos, um sensvel crescimento da
demanda por recursos tecnolgicos para o armazenamento,
manuteno e compartilhamento de dados de empresas as quais
precisam manter qualidade de informaes cada vez melhores em
suas bases de dados. Esse grande volume de dados excede a
capacidade humana de anlise e compreenso.

As empresas de mdio e grande porte necessitam de um eficiente


Sistema de Apoio s Decises, fornecendo dados integrados
histricos que so utilizados nas gerncias.
Importante saber sobre
Dw
Um dos maiores problemas no desenvolvimento do DW a
compreenso dos dados, onde as dimenses devem ser definidas
conforme a necessidade de visualizao do usurio, ou seja,
tentador pensar que a criao do DW consiste em apenas extrair
dados operacionais e inseri-los no Data Warehouse.

O valor de DW no est em colecionar dados e sim saber


gerenciar aqueles dados sendo transformados em informaes
teis.

Considerando complexa a construo de um DW, faz-se


necessrio um amplo estudo para gerao de uma metodologia a
fim de se obter sucesso no empreendimento.
DW no um produto que se compra, mas sim um projeto que
envolve:

Anlise e implementao, com a participao de vrias


tecnologias.
Processo de Data Warehousing
FONTES PROVEDORAS REA DE TRABALHO SUPORTE DECISO
ou ou ou
SISTEMAS OPERACIONAIS DATA STAGING REA DATA WAREHOUSE REA DE APRESENTAO
DE ORIGEM DOS DADOS

Bases de _________
_________
_________
Sistemas _________
_________
_________
_________
_________
_________
Transacionais _________
_________
_________

Relatrios
Dados de DATA
Sistemas ERP MARTS

EXTRAO
ADEQUAO
Dados Locais LIMPEZA DATA
DERIVAO WAREHOUSE
AGREGAO

Dados Externos

Dados WEB Anlise Financeira &


Estatstica

[Adaptado de SunExpert Magazine, Outubro 1998.]


Sistemas operacionais de origem

So os sistemas operacionais de registro ou sistemas


transacionais que capturam as transaes da empresa. Os
sistemas de origem devem ser considerados como externos ao
data warehouse porque se presume que se tenha pouco ou
nenhum controle sobre o contedo e o formato dos dados nesses
sistemas. Os sistemas de origem tambm so chamados
Sistemas Legados ou OLTP
Data Staging rea

A data staging rea do data warehouse tanto uma rea de


armazenamento como um conjunto de processos, e normalmente
denomina-se ETL (Extract Transformation - Load).
Data warehouse e Data Mart
A rea de apresentao dos dados o local em que os dados
ficam organizados, armazenados e tornam-se disponveis para
serem consultados diretamente pelos usurios, por criadores de
relatrios e por outras aplicaes de anlise. Essa rea tudo o
que a comunidade de negcio v e acessa atravs das
ferramentas de acesso a dados (DB2, ESSBASE, etc).

Um data mart trata de problema departamental ou local e


definido como um subconjunto altamente agregado de dados,
normalmente escolhido para responder a uma questo de negcio
especfica ao invs da corporao inteira.
Ferramentas de acesso a dados

O ltimo componente principal do ambiente de data warehouse


a ferramenta de acesso a dados. Por definio, toda ferramenta
de acesso a dados consulta os dados na rea de apresentao do
DW
Ambiente do Extrao e
DW Integrao dos
dados

OLTP DW

Acesso a
Dados
Processo de Construo
4 Estratgia Dividir para Conquistar. Cria-se
primeiro os Data Marts para depois chegar a um
Data Warehouse Corporativo.
Data Marts blocos de construo.
Data
Mart 2
Data
Mart 1

Data
Mart-n

Data Warehouse
METADADOS

Metadados so dados usados para explicar outros dados. Eles


mantm informaes sobre "o que e onde est" no ambiente de
DW (INMON, 1992).

Num projeto de data warehouse a documentao to importante


quanto a realizao dos processos em si. Isso porque um projeto
de DW costuma ser gigantesco e engloba diversas reas
diferentes da organizao, o que faz com que nem todas as
pessoas envolvidas tenham conhecimento de tudo que acontece
no projeto. A falta de documentao amarra o projeto a pessoas e
no a processos e isso algo que no pode ocorrer em projeto
algum, sobretudo em um DW.
METADADOS

Ainda de acordo com Inmon, um metadados deve manter as


seguintes informaes:

A estrutura dos dados segundo a viso do programador;


A estrutura dos dados segundo a viso dos analistas de SAD
(Analistas de Suporte a Deciso);
A fonte de dados que alimenta o DW;
A transformao sofrida pelos dados no momento de sua
migrao para o DW;
O modelo de dados;
O relacionamento entre o modelo de dados e o DW;
O histrico das extraes de dados;
Passos para a construo
de Dw
1 Passo: importante traduzir rapidamente as necessidades do negcio em
uma especificao que possa ser construda em etapas. Minimiza riscos e o
tempo de apresentao dos resultados iniciais.

2 Passo: Desafio de integrao de sistemas. Dados de produo e de fontes


externas precisam ser mapeados para o modelo de dados do DW gerando um
sincronismo entre os dados operacionais e os dados de tomada de deciso.

3 Passo: A escolha do banco de dados de suporte ao DW precisa ser criteriosa.


Critrios
Desempenho na carga e indexao dos dados;
Tempo de resposta;
Capacidade de armazenamento;
Paralelismo.
Passos para a construo
de Dw
4 Passo: Considerar as ferramentas disponveis no mercado que
devem prover:
Interfaces amigveis;
Gerao de relatrios;
Anlises multi-dimensionais;
Acesso via Web.

5 Passo: Construir um DW que possa ser expandido, mantendo


nveis aceitveis de desempenho at gigabytes.

6 Passo: Ambiente DW deve ser aberto para permitir que os


componentes ou ferramentas identificadas no passo 4 possam ser
substitudas por outras mais atuais e eficientes.
Exemplos de Banco de Dados
Oracle
Sybase
DB2
Informix
SQL Server
Relatrios que podem ser gerados
Ex.: Perfil dos clientes por faixa de renda
(salrios mnimos)
Faixa de Renda

acima de 50 SM; 2% No Informado; 4%


21 a 50 SM; 10% 1 a 3 SM; 11%
11 a 20 SM; 24%
OLAP Processamento Analtico On-
line

constitudo de um conjunto de tecnologias especialmente


projetadas para dar suporte ao processo decisrio atravs de
consultas, anlises e clculos sofisticados nos dados corporativos
estando armazenados em um Data warehouse por partes dos seus
usurios, geralmente analistas, gerentes e executivos. frente,
exemplos:
Exemplos de visualizaes finais
dos usurios.
Exemplos de visualizaes finais
dos usurios.
Anlise na Prodemge
(Cia de Tecnologia da Informao do Estado de Minas
Gerais )
Atualmente o Estado de Minas Gerais conta com 13 projetos de
Data Warehouse nas suas diversas reas (Segurana Pblica,
Administrao, Recursos Humanos, etc.), com todas as
tecnologias possveis envolvidas. Possui extrao de dados em
Mainframe (bancos ADABAS e DB2) e em baixa plataforma
tambm (Oracle e SQL Server).

Possui 90% dos DW construdos em Oracle e 10% em SQL Server.


Possui um grande mix de tecnologias envolvidas nos programas
de ETL (extrao, transformao e carga), portanto, usamos
muitas linguagens (Natural, Cobol, PL/SQL, T-SQL).

Os DWs so utilizados pelo estado na retirada de indicadores de


negcio para auxlio na tomada de deciso e na gerao de
informao gerencial sendo que as modelagens de dados so
imensas.
Prodemge
utilizada a ferramenta OLAP de explorao da Business Objects
e todos os DWs so explorados atravs de um portal na Web
onde os clientes se identificam e utilizam o DW que podem
acessar (com toda a segurana nos dados).

As cargas so feitas fora do horrio comercial, at mesmo ao


decorrer da madrugada.