Datawarehouse

O QUE ?

Datawarehouse um sistema de administrao de banco de dados relacional

especificamente projetado para satisfazer as necessidades de sistemas de
processamento de transaes. Pode ser definido como repositrio de dados
centralizado que pode ser examinado para benefcio de um negcio. So
mecanismos de suporte rpidos e eficientes aos processos decisrio de uma
organizao, atravs de grandes bancos de dados e de ferramentas
especializadas que possibilitam a transformao desses dados em informaes
estratgicas. As informaes necessitam de constante monitoramento, ajustes e
atualizao.
o processo de integrao dos dados corporativos de uma empresa em um nico
repositrio a partir do qual os usurios finais podem facilmente executar consultas,
gerar relatrios e fazer anlises. Um Datawarehouse um ambiente de suporte
deciso que alavanca dados armazenados em diferentes fontes e os organiza e
entrega aos tomadores de decises da empresa, independente da plataforma que
utilizam ou de seu nvel de qualificao tcnica. Resumindo Datawarehouse uma
tecnologia de gesto e anlise de dados.
H muitas pessoas que podem lhe dizer o que um Datawarehouse deve fazer e
muitas que gostaria de lhe informar quais os produtos necessrios para que tudo
d certo. H, inclusive, pessoas que lhe diro como projetar um Datawarehouse.
Mas, o que realmente um Datawarehouse?
um repositrio ou um banco de dados?
Devemos entender a diferena exata entre um Datawarehouse e um banco de
dados.
Um Datawarehouse supostamente um lugar em que os dados ficam
armazenados de forma que as aplicaes possam acess-los e compartilh-los
facilmente. Mas um banco de dados j faz isso. Fornecedores de DB2, Informix,
Oracle, Sybase e de outras incontveis legies de DBMSs tm vendido seus
produtos com base nessa simples definio funcional.
Ento o que torna um Datawarehouse to diferente?
O primeiro critrio sobre o qual todos parecem concordar para uma definio que
o Datawarehouse armazena dados no formato ready-only (somente-leitura). De fato
esta a primeira regra do Datawarehouse. A teoria por trs disso que os bancos
de dados normais armazenam dados das operaes de negcio e que muitas
das aplicaes de suporte deciso associadas ao warehouse exigem muito dos
bancos de dados que os executam. Definir Datawarehouse como um banco de
dados ready-only no suficiente.

Datawarehouse
Infelizmente, esta viso bastante limitada sobre o que Datawarehouse no inclui
todos os recursos e caractersticas que as pessoas costumam lhe associar.

Por exemplo, se voc fizer uma cpia dos dados de um sistema de mbito operacional e
associ-la a algum tipo de ferramenta de consulta, banco de dados multidimensional,
ou rede neural estar transformando esse banco de dados read-only em um
dawarehouse?

Deve ser preciso mais do que isso!

Mesmo se aceitarmos a regra somente leitura como parte da definio de um
Datawarehouse no podemos parar por a. Se voc tiver apenas um data mining
ou um sistema de informaes executivas para rodar, no est construindo um
Datawarehouse; apenas um tipo especfico de banco de dados.
De um modo geral, nosso banco de dados no ser um datawarehouse a menos
que ns tambm:
Coletemos informaes de vrias fontes diferentes e as utilizemos como o local
em que essas diferenas se tornam compatveis, e
Coloquemos os dados em um warehouse porque pretendemos permitir que
vrios aplicativos usem as mesmas informaes.
Esses critrios aproximam o termo datawarehouse do que consideramos sua real definio
um lugar em que armazenamos vrias coisas diferentes em prol da convenincia e para
incluir a conciliao de diversas fontes de dados e tornar essas informaes disponveis para
uma variedade de aplicaes.

Datawarehouse
um sistema de administrao de banco de dados relacional (RDMS)
especificamente projetado para satisfazer as necessidades de sistemas de
processamento de transaes. Pode ser definido como repositrio de dados
centralizado que pode ser examinado para benefcio de negcio.
Datawarehousing
uma nova tcnica poderosa que torna possvel extrair dados operacionais
arquivados e inconsistncias superadas entre formatos de dados de legado
diferentes. Como tambm integram dados ao longo de um empreendimento,
indiferentemente da localizao, formato, ou exigncias de comunicao possvel
incorporar informao adicional ou especialista. , o vinculo lgico entre o que os
gerentes vem no apoio de suas deciso de aplicaes de EIS e as atividades
operacionais da companhia John McIntyre de Instituto de SAS Inc, em outras
palavras o Datawarehouse prove dados que j so transformados e resumidos e
por esta razo fazem isto em um ambiente apropriado para maior eficincia de
aplicaes de DSS e de EIS.

Datawarehouse
OBJETIVO

O objetivo do Datawarehouse prover acesso rpido a informaes estratgicas

para suprir as necessidades de administradores na tomada de decises, auxiliando
no gerenciamento de empresas. Os tomadores de deciso precisam de repostas
para uma srie de questes que afetam diretamente sua habilidade de manter o
negcio competitivo na atual conjuntura de mudanas rpidas no mercado.
Precisam de uma resposta rpida, clara e eficaz para qualquer pergunta complexa
ou difcil sobre dados.
Um Datawarehouse uma ferramenta competitiva que permite a qualquer usurio final
acessar dados com qualidade da empresa-inteira. Ao arquivar dados em um ponto de
armazenamento central, o Datawarehouse oferece uma representao integrada das
mltiplas fontes de informaes da empresa. Ele garante a consistncia das normas de
gerenciamento e das convenes aplicadas aos dados. Portanto, o Datawarehouse reflete
as necessidades da corporaes, no simplesmente as individuais.
Um Datawarehouse alavanca os investimentos j feitos pela maioria das companhias em
sistema legados, permitindo que os usurios corporativos faam um transio efetiva do
acesso tradicional para um acesso informativo aos dados corporativos.
O Datawarehouse representa uma nova maneira de visualizar a computao em mbito
estratgico ou estrutural.

Datawarehouse
CARACTERSTICAS DE UM DATAWAREHOUSE
De acordo com Bill Inmon, autor de CONSTRUO DE UM DATAWAREHOUSE e o guru
que considerado ser o criador do conceito de data warehousing ,h geralmente quatro
caractersticas que descrevem um data warehouse:

organizado por assunto: Os dados so organizados por assunto em vez de

aplicao como por exemplo uma companhia de seguro que usa um data warehouse
que organiza seus dados por cliente, prmios, e reivindicao, em vez de atravs de
produtos diferentes (auto, vida, etc.). Os dados organizados por assunto contm s a
informao necessria para processo de apoio de deciso.

integrado: Quando dados residem em muitas aplicaes separadas no ambiente

operacional codificao de dados freqentemente inconsistente. Por exemplo, em
uma aplicao, sexo poderia ser codificado como " m " e " f " em outro por 0 e 1.
Quando os dados so movidos do ambiente operacional para o data warehouse, eles
assumem uma conveno de codificao consistente por exemplo dados de sexo so
transformados em " m " e " f ".

variante de tempo: O data warehouse contm um lugar para armazenar dados que
possuem de cinco para dez anos de utilizao, ou mais, sendo usado para
comparaes, tendncias e prevenes. Estes dados no so atualizados.

no-voltil: Uma vez que eles entram no data warehouse os dados no so

atualizados ou mudados de alguma forma, mas somente so carregados e acessados .

Exemplos que envolvam sua utilizao

Seguradoras
- Empresas de seguros, so pioneiras em diversos assuntos
relacionados a anlise da premiao dos seus segurados, como Gerenciamento de
Riscos e tambm a utilizao de datawarehouse. Aps analisarem os dados de seus
clientes, descobriram que as mulheres e as pessoas com idade acima de 40 anos e
que dirigem a mais de 5 anos, representam uma categoria de clientes que apresentam
uma baixa quantidade sinistros. Tendo posse deste fato, as seguradoras, conseguiram
montar planos que diferenciavam os clientes com estas caractersticas. Esta anlise,
fez com que tanto as seguradores como os segurados com tal caracterstica, fossem
beneficiados. O principal objetivo de desempenho atendido o da Qualidade, pois ir
satisfazer o cliente aquela seguradora que garantir maiores descontos e um lucro
maior. E ir satisfazer a seguradora, quando se identificar melhor o seu segurado.

Datawarehouse

Rede Hoteleira A rede hoteleira que ao longo do tempo, passou a conhecer melhor
seus clientes e a dar um atendimento personalizado aos mesmos. Em alguns hotis,
durante a primeira hospedagem, faz-se um levantamento de todos os dados que o
hspede gosta ou deixa de gostar, recolhe-se o maior nmero de informaes
possveis, tomando o cuidado sempre de no estar invadindo a privacidade do
mesmo. E na prxima vez que o cliente vier a se hospedar no hotel, o atendimento
ser totalmente personalizado de acordo com as informaes fornecidas e
armazenadas anteriormente. mais um caso onde tanto o hotel, quanto o hspede,
se beneficia com isso. Este um perfeito exemplo, que se enquadra mais no objetivo
de desempenho da Flexibilidade, pois os hotis para satisfazerem tantos clientes, com
gostos to distintos, precisam possuir uma estrutura muito flexvel. E ainda mais
flexvel, quando algum evento quebra a rotina do hotel.

Bancos e Empresas de Crdito Atravs de anlise nos hbitos dos clientes,

descobriu-se que existe uma boa parcela da populao pertencente classe mdia,
que possuem um filho com idade compreendida entre 18 a 25 anos, que retiram
dinheiro de aplicaes ou fazem financiamentos para auxiliarem seus filhos, seja para
financiarem a faculdade, seja para montarem seus escritrios ou consultrios, seja
para adquirirem um veculo para seus filhos, etc. Normalmente, so clientes antigos e
com um bom histrico de negcios na empresa. Nada mais justo que se criar algum
tipo de financiamento especial (com taxa de juros mais baixa) para esta categoria de
clientes e tentar oferecer-lhes o negcio antes que os mesmos o solicitem da
empresa. As empresas de crdito que adotaram este tipo de negcio, tiveram um
aumento substancial de vendas neste tipo de negcio. Neste caso, o principal objetivo
envolvido, o da Confiabilidade, pois para ambos, necessrio que se saiba, quando
e quanto ser pago ou emprestado. As principais operaes sero controladas, de
acordo com a confiabilidade das operaes.

SISTEMA DE SUPORTE DECISO

O Suporte Deciso (SAD) um sistema elaborado nos moldes da identidade da empresa
para prover suporte gerencial nas decises e no caminho a ser seguido pela empresa,
visando produtividade e o sucesso do empreendimento.
As principais caractersticas e capacidades de um Sistema de Suporte Deciso so:
Programas Semi - Estruturados
O SAD provm do suporte principalmente de tomadores de deciso em situaes semi
estruturadas e situaes no estruturadas reunindo julgamento humano e informao
computadorizada. No podem ser resolvidos tais problemas atravs do outro sistema ou
por mtodos de controle quantitativo ou ferramentas.

Datawarehouse
Destinado a Gerentes
Suporte provido por vrios nveis de gerenciamento, variando da Alta Gerncia a
gerentes de nveis mais baixos.
Serventia a Grupos e a Indivduos
Suporte provido aos indivduos como tambm para grupos. Menores problemas de
estruturas requerem freqentemente o envolvimento de vrios indivduos de diferentes
departamentos e nveis organizacionais diferentes.
Interdependncia ou Deciso Seqencial
SAD provm suporte para os departamentos. Independentemente do grau decisrio e/ou
uma deciso seqencial do problema.
Suporte para todo Corpo Decisrio
D suporte a todas as fases do processo de tomada de deciso, Estratgia, Projeto,
Escolha da Soluo e Implementao.
Suporte Varivel aos Estilos
Suporte para a variedade de estilos no processo de deciso.
Adaptao e flexibilidade
Adaptao dos dados com o passar do tempo. A tomada de deciso deve ser capaz de
confrontar condies de mudanas rpidas e adaptar o Sistema para estas mudanas.
Deve haver uma flexibilidade para o usurio somar, excluir, combinar, trocar ou reformular
elementos bsicos no processo decisrio.
Facilidade Interativa de Uso
O usurio deve sentir-se a vontade com o Sistema. Um ambiente amigvel, o
relacionamento homem-mquina deve ser de fcil interao.
Efetividade, no Eficincia
O Sistema tenta melhorar a efetividade de deciso que faz preciso, oportunidade e
qualidade, em lugar de sua eficincia na tomada de decises.
Controle Humano da Mquina
O responsvel pela tomada de deciso tem controle completo sobre todos os passos do
processo decisrio, para resolver um problema. Um SAD especificamente deseja dar
suporte e no substituir o tomador de deciso.
Facilidade de Construo para Usurio Final
Usurios finais devem construir e modificar o sistema de forma simples por eles mesmos.

Datawarehouse
Modelagem e Anlise
Um SAD normalmente utiliza modelos para analisar situaes de tomadas de deciso. A
capacidade de modelagem, aumenta a experimentao para a rea estratgica decidir
sobre assuntos de diferentes configuraes.
Dados de Acesso
O SAD deveria prover acesso para uma variedade de fontes de dados, formatos, e tipos,
percorrendo geograficamente o sistema de informao.

PROCESSOS EM UM DATAWAREHOUSE
A primeira fase no data warehousing "separar" sua informao operacional atual, e para
preservar a segurana e a integridade de aplicaes OLTP de misso-crtica, enquanto d a
voc acesso mais larga possvel base de dados. O banco de dados resultante ou data
warehouse podem consumir centenas de gigabytes - ou at terabytes - de espao de disco, o
que requerido ento so tcnicas eficientes para armazenar e recuperar quantias
volumosas de informao. Crescentemente, grandes organizaes acham que somente
sistemas de processamento paralelo oferecem para largura de banda suficiente.
O datawarehouse assim recupera dados de uma variedade de bancos de dados operacionais
heterogneos. Os dados so transformados ento e so entregues ao warehouse/store de
dados baseado em um modelo selecionado (ou definio traada). A transformao dos
dados e a movimentao dos processos so executados sempre que uma atualizao para
os dados de warehouse requerida assim a deve existir alguma forma de automatizao
para
administrar
e
executar
estas
funes.
A informao que descreve o modelo e a definio dos elementos de fonte de dados so
chamados "elementos metadata". O metadata o meio pelo qual o usurio final encontra e
entende os dados no warehouse e uma importante parte do warehouse.
O METADATA deve ao menos conter:
a . A estrutura dos dados;
b . O algoritmo usado para summarization;
c . A cartografia do ambiente operacional para o data warehouse.

Datawarehouse
LIMPEZA DOS DADOS
um aspecto importante para a criao de um eficiente datawarehouse naquilo que
a remoo de certos aspectos de dados operacionais, como informao de transao
de
baixo
nvel
que
abaixam
os
tempos
de
query.
A fase de limpeza tem que ser to dinmica quanto possvel para acomodar todos os
tipos de querys at mesmo aquelas que podem requerer informao de baixo nvel.
Dados deveriam ser extrados de fontes de produo em intervalos regulares e
deveriam ser agrupados centralmente mas o processo de limpeza tem que remover
duplicao e reconciliar diferenas entre vrios estilos de coleo de dados.
Uma vez que os dados foram limpos, eles so ento transferidos ao data warehouse
que tipicamente ou um grande banco de dados de desempenho alto SMP(MultiProcessamento Simtrico) ou MPP( Processamento Maciamente Paralelo).
PODER DE MASTIGAO
O Poder de mastigao de nmeros outro aspecto importante de data warehousing
por causa da complexidade envolvida no processamento de querys ad hoc e por
causa das vastas quantidades de dados que a organizao querem usar no
warehouse.
Um datawarehouse pode ser usado de modos diferentes como por exemplo pode ser usado
como uma loja central contra a qual as querys so "rodadas" ou pode ser usado como um
mercado de dados. Mercados de dados que so pequenos warehouse
podem ser
estabelecidos para prover subconjuntos da loja principal e prover informao resumida
dependendo
das exigncias de um grupo / departamento especfico.
A aproximao da loja central geralmente usa estrutura de dados muito simples com muito
pequenas suposies sobre as relaes entre dados enquanto que mercados usam
freqentemente bancos de dados multidimensionais que podem acelerar processamento de
querys que como ela podem ter estrutura de dados que refletido em perguntas provveis.
Muitos vendedores tm produtos que provem de uma ou mais funes de data warehouse
descritas acima . Porm, pode levar uma quantia significante de trabalho e programao
especializada para prover a interoperabilidade necessria entre produtos de mltiplos
vendedores e os permitir a executar os processos de data warehouse exigidos. Uma
implementao tpica normalmente envolve uma mistura de produtos de uma variedade de
provedores.

Datawarehouse
UM MODELO DE DATAWAREHOUSE
Data Warehousing o processo de extrair e transformar dados operacionais em dados
informadores e carreglos em uma loja de dados central ou warehouse. Uma vez que os
dados esto carregados ele acessvel por querys de desktop e ferramentas de anlise
pelos fabricantes de deciso.
Os dados dentro do atual warehouse tem uma estrutura distinta com a nfase
em nveis diferentes de resumo.
Os dados correntes detalhados so importantes porque:

refletem os mais recentes acontecimentos que normalmente so os mais

interessantes;

so volumosos como so armazenados ao mais baixo nvel de granularidade;

sempre (quase) so armazenados em unidades de disco que rpido ter acesso mas
caro e de administrao complexa.

Dados detalhados mais velhos:

So armazenados em alguma forma de armazenamento de massa, no sendo
frequentemente acessado e armazenado em um nvel consistente detalhado com dados
correntes detalhados.
Dados ligeiramente resumidos:
So dados destilados do mais baixo nvel de detalhe encontrado e geralmente armazenado
em unidades de disco. Quando for construindo o data warehouse tm que considerar que
unidade de tempo realizado o resumo e tambm os contedos ou que atributos que os
dados resumidos contero.

Dados altamente resumidos:

So compactos e facilmente acessveis e podem ser achados at mesmo fora do warehouse.

METADATA o componente final do data warehouse e realmente de uma dimenso

diferente naquilo que no igual a dados retirados do ambiente operacional mas usado
como:

um diretrio para ajudar o analista de DSS a localizar os contedos do data

warehouse;

Datawarehouse

um guia para a mapeamento de dados como os dados so transformados do

ambiente operacional para o ambiente de data warehouse;

um guia para os algoritmos usados para sumarizao entre os dados detalhados

atuais e os dados ligeiramente resumidos e os dados ligeiramente resumidos e os
dados altamente resumidos, etc.

Por: ARLETE C. P. AMENT

Fontes de Pesquisa
DATAWAREHOUSE Conceitos, Tecnologias, Implementao e Gerenciamento
Autor : Harry S.Singh
Sytes da Internet.