Datawarehouse

Um Ambiente Estruturado

Por Michel Andrade de Souza

Primeiro Conceito

Datawarehouse consiste basicamente em uma grande massa de dados no-volteis, organizados em assuntos, integrados e varivel em relao ao tempo tecnologia recente estudos indicam que no existam produtos que apliquem todos os requisitos para sua utilizao

Segundo Conceito

O Data Warehouse (DW) um conjunto de tcnicas que aplicadas em conjunto geram um sistema de dados que nos proporcionam informaes para tomada de decises.

Funciona tipicamente na arquitetura cliente/servidor.

Objetivo

Fornecer os subsdios necessrios para a transformao de uma base de dados de uma organizao de OLTP para OLAP.

OLTP

On-Line Transaction Processing

Processamentos que executam as operaes do dia-a-dia da organizao nfase ao suporte do negcio, atravs de um processamento rpido, acurado e eficiente de dados Ex: movimento bancrio

Exemplo Processamento. Transao - OLTP

ContaA=R$5000,00
ContaB=R$2,00 ContaC=R$100,00

Incio

Dbito
R$1000,00

Conta A

Crdito
R$ 700,00 Crdito

Conta B

Conta C
ContaA=R$4000,00 ContaB=R$702,00 ContaC=R$400,00

R$ 300,00
Fim

OLAP

On Line Analytical Processing

Processamentos que suportam a tomada de decises Permite analisar tendncias e padres em grande quantidades de dados ao longo do tempo (histrico) e em diferentes localizaes (geogrficos)

Ambiente do DW

Extrao e Integrao dos dados

OLTP

DW

Acesso a Dados

Nveis de Dados

Operacional

Atmico
Departamental Individual

Operacional

Contm apenas dados operacionais e atende comunidade de processamento de transaes de alta performance Valores atuais Baseado em aplicaes

Atmico

Contm dados operacionais que no so atualizados, podendo armazenar dados analticos Varivel no tempo Baseado em negcios

Departamental

Contm dados operacionais e analticos

Ex: departamento de contabilidade, marketing

Individual

Onde as anlises heursticas so feitas

Baseado em PCs
Temporrio

Caractersticas do Datawarehouse

Orientado por temas

Integrado
Variante no tempo

No voltil

Orientado por Temas

Refere-se ao fato do DW armazenar informaes sobre temas especficos importantes para o negcio da empresa. Exemplos produtos, atividades, contas, clientes, etc. O ambiente operacional organizado por aplicaes funcionais. Exemplo, em uma organizao bancria, estas aplicaes incluem emprstimos, investimentos e seguros.

Integrado

Refere-se consistncia de nomes, das unidades das variveis. Dados foram transformados at um estado uniforme. Exemplo, considere-se sexo como um elemento de dado.

Variante no Tempo

Refere-se a algum momento especfico, No atualizvel Enquanto que o dado de produo atualizado de acordo com mudanas de estado do objeto em questo, refletindo, em geral, o estado do objeto no momento do acesso. A cada ocorrncia de uma mudana, Uma nova entrada criada, para marcar esta mudana.

No Voltil

Permite o "load-and-access Aps integrao e transformao, armazenados em bloco para o DW Aps aos usurios dados

Rollback, recuperao de falhas, commits e

bloqueios

Ambiente do Datawarehousearehouse
w

Arquitetura do Datawarehouse

Arquitetura Genrica Camada de Bancos de Dados Operacionais Camada de Acesso Informao Camada de Acesso aos Dados Camada de Metadados (Dicionrio de Dados) Camada de Gerenciamento de Processos Camada de Transporte ou Middleware Camada do DW Camada de Gerenciamento de Replicao Arquitetura de Dados

Camada de Bancos de Dados Operacionais

Corresponde aos dados das bases de dados operacionais da organizao junto com dados provenientes de outras fontes externas que sero tratados e integrados para compr o DW.

Camada de Acesso Informao

a camada com a qual os usurios finais interagem. Representa as ferramentas que o usurio utiliza no dia a dia Exemplo: Planilha de Clculo MS-Excell Envolve o hardware e software utilizado para obteno de relatrios, planilhas, grficos e outros. Ex: Data Mining.

Camada de Acesso aos Dados

Ligao entre as ferramentas de acesso informao e os bancos de dados operacionais. Comunica-se no s com diferentes SGBDs e sistemas de arquivos de um mesmo ambiente como tambm, idealmente, com outras fontes sob diferentes protocolos de comunicao, no que se chama acesso universal de dados.

Camada de Metadados (Dicionrio de Dados)

Metadados: so as informaes sobre os dados mantidos pela empresa Ex: (descries de registro em um programa COBOL, comandos CREATE do SQL, informao em um diagrama E-R, dados em um dicionrio de dados Funcionalidade - > grande variedade de metadados Acesso aos dados de um DW sem que tenha que saber onde residem

Camada de Gerenciamento de Processos

Envolve-se com o controle das diversas tarefas a serem realizadas para construir e manter as informaes do dicionrio de dados e do DW

Responsvel pelo gerenciamento dos processos para manter o DW atualizado e consistente.

Camada de Transporte Middleware

Gerencia o transporte de informaes pelo ambiente de redes Usada para isolar aplicaes, operacionais ou informacionais, do formato real dos dados nas duas extremidades Inclui a coleta de mensagens e transaes e se encarrega de entreg-las em locais e tempos determinados.

Camada do DW

O DW propriamente dito corresponde aos dados usados para fins "informacionais". Em alguns casos, DW simplesmente uma viso lgica ou virtual dos dados Em um DW que exista fisicamente, cpias dos dados operacionais e externos so de fato armazenadas

Camada de Gerenciamento de Replicao

Inclui todos os processos necessrios para selecionar, editar, resumir, combinar e carregar o DW e as correspondentes informaes de acesso a partir das bases operacionais e fontes externas. Pode envolver programao complexa Programas de anlise da qualidade dos dados e filtros que identificam padres nos dados operacionais

Passos para Aplicao de um DW

DW no um produto que se compra, mas sim um projeto que envolve: Anlise e implementao, com a participao de vrias tecnologias.
Sete passos para a criao de um DW, que pode ser inicialmente um data mart (assunto especfico) at mesmo um DW no nvel corporativo.

1 Passo

Os primeiros resultados devem estar disponveis a curto prazo. importante traduzir rapidamente as necessidades do negcio em uma especificao que possa ser construda em etapas. Minimiza riscos e o tempo de apresentao dos resultados iniciais.

2 Passo

Desafio de integrao de sistemas. Dados de produo e de fontes externas precisam ser mapeados para o modelo de dados do DW. Sincronismo Entre os dados operacionais e os dados de tomada de deciso. Sincronia em um banco de dados multidimensional.

3 Passo

A escolha do banco de dados de suporte ao DW precisa ser criteriosa. Critrios Desempenho na carga e indexao dos dados, Tempo de resposta, Capacidade de armazenamento, Paralelismo, Escalabilidade.

4 Passo

Considerar as ferramentas disponveis no mercado Devem prover: Interfaces amigveis, Gerao de relatrios, Anlises multi-dimensionais, Acesso via Web e data mining.

5 Passo

Construir um DW que possa ser expandido, mantendo nveis aceitveis de desempenho at gigabytes.

6 Passo

Ambiente DW deve ser aberto para permitir que os componentes ou ferramentas identificadas no passo 4 possam ser substitudas por outras mais atuais e eficientes.
Ferramentas

7 Passo

Considerar o sistema de armazenamento que fisicamente gerencia O trfego Alocao Backup

Restaurao dos dados

Ferramentas de Extrao

Como o DW um BD que fica separado do sistema OLTP, existem ferramentas que automatizam o processo. Ex: Platinum Prism Power Stage (sybase)

Exemplos de Banco de Dados

Oracle Sybase DB2 Informix SQL Server

Contatos : Michel Andrade de Souza

msouza@indl.sanrisil.com.br micheldeandradesouza@ig.com.br