JOO CARVALHO

Data Warehouses

DEFINIO

Um Data Warehouse um sistema de computao utilizado para armazenar informaes relativas s actividades de uma organizao em bases de dados, de forma consolidada. O desenho da base de dados favorece os relatrios, a anlise de grandes volumes de dados e a obteno de informaes estratgicas que podem facilitar a tomada de deciso.

FUNCIONAMENTO
O Data Warehouse possibilita a anlise de grandes volumes de dados, recolhidos dos sistemas transaccionais. So as chamadas sries histricas que possibilitam uma melhor anlise de eventos passados. Por definio, os dados num Data Warehouse no so volteis, ou seja, eles no mudam, salvo quando necessrio fazer correces de dados previamente carregados. Os dados esto disponveis somente para leitura e no podem ser alterados.

ARQUITECTURA

Um data warehouse constitudo por 3 partes:

Armazenamento Modelagem Metadado

ARMAZENAMENTO

feito num depsito nico mas que seja de rpido acesso para as anlises.
Tal armazenamento tem que possuir um histrico com todos os dados possveis para que possa se ter uma anlise mais apurada.

MODELAGEM
Os sistemas de base de dados tradicionais utilizam a normalizao no formato de dados para garantir consistncia dos dados e uma minimizao do espao de armazenamento necessrio. Algumas transaces e consultas em bases de dados normalizadas podem se tornar lentas devido s operaes de juno entre tabelas. Um Data Warehouse utiliza dados num formato sem padro definido. Essa maneira de reordenar os dados chama-se Modelagem Dimensional, e o resultado da modelagem o Modelo Dimensional, ou MD.

METADADO
O conceito Metadado considerado como sendo os "dados sobre dados", isto , os dados sobre os sistemas que operam com estes dados. Um repositrio de metadados uma ferramenta essencial para a gesto de um Data Warehouse no momento de converter dados em informaes para o negcio. Entre outras coisas, um repositrio de metadados bem construdo deve conter informaes sobre a origem dos dados, regras de transformao, nomes e alias, formatos de dados, etc.

ACESSO
O Data Warehouse normalmente acedido atravs de Data Marts, que so pontos especficos de acesso a subconjuntos do Data Warehouse. Os Data Marts so construdos para responder provveis perguntas de um tipo especfico de utilizador. um Data Mart financeiro poderia armazenar informaes consolidadas dia-a-dia para um gestor e em periodicidades maiores (semana, ms, ano) para um utilizador no nvel da directoria.

EXTRACO DE DADOS

Os dados introduzidos num Data Warehouse geralmente passam por uma rea conhecida como rea de estgio.
O estgio de dados ocorre quando existem processos peridicos de leitura de dados.

Os dados podem passar ento por um processo de qualidade, de normalizao e gravao dos dados no Data Warehouse.

FERRAMENTAS

OLAP Data mining

OLAP

As ferramentas OLAP (do ingls, Online Analytical Processing) so geralmente desenvolvidas para trabalhar com bases de dados desnormalizados (sem padres pr-definidos), embora existam ferramentas que trabalham com esquemas especiais de armazenamento, com dados (informaes) normalizados.

OLAP

Essas ferramentas so capazes de navegar pelos dados de um Data Warehouse, possuindo uma estrutura adequada tanto para a realizao de pesquisas como para a apresentao de informaes

OLAP
Nas ferramentas de navegao OLAP, possvel navegar entre diferentes nveis de granularidades (detalhe) de um cubo de dados. Atravs de um processo chamado Drill o utilizador pode aumentar (Drill down) ou diminuir (Drill up) o nvel de detalhe dos dados.

OLAP

Outra possibilidade apresentada pela maioria das ferramentas de navegao OLAP o recurso chamado Slice and dice.

Esse recurso usado para criar vises dos dados por meio da sua reorganizao, de forma que eles possam ser examinados sob diferentes perspectivas.

DATA MINING

Data Mining ou minerao de dados, o processo de descoberta de padres existentes em grandes massas de dados.
Apesar de existir ferramentas que ajudam na execuo do processo, o Data mining no tem automatizao simples (muitos discutem se sequer factvel) e precisa ser conduzido por uma pessoa, preferencialmente com formao em Estatstica ou reas afins.

CARACTERSTICAS DE UM DATA WAREHOUSE

Orientado a assunto
Integrado No voltil varivel consoante o tempo

ORIENTADO A ASSUNTO

Os warehouse so feitos para responder abordagens sobre certos assuntos como, saber mais sobre as vendas da empresa, ou sobre os resultados das actuaes das equipas de marketing em determinadas regies.
O warehouse feito para responder perguntas sobre certos assuntos como: Quais foram os melhores clientes em um determinado perodo?, Qual foi o lucro obtido sobre uma campanha de em uma determinada regio?.

INTEGRADO

Um Data Warehouse, armazena dados de vrias fontes de dados, mas comum que as informaes sejam cadastradas em formatos e padres diferentes nas diversas fontes de dados, para ser possvel relacionar informaes entre os sistemas, estas informaes devem ser previamente tratadas antes de serem armazenadas no warehouse, neste processo diversas actividades so feitas, tais como:

INTEGRADO

Converso de datas para um formato nico

Resoluo de conflitos entre nomes Converso de medidas

NO VOLTIL

Num warehouse somente existem duas operaes a serem feitas:

Carregamento de dados Consulta.

NO VOLTIL

Dizer que um Data Warehouse no voltil significa que as informaes registadas no so actualizadas, o que feito que um novo registo gravado e este passa a ser utilizado de um certo tempo em diante.
Isto possibilita que consultas realizadas para um certo perodo retornam sempre o mesmo resultado, pois os registos no foram actualizados.

VARIVEL COM O TEMPO

Ser varivel com o tempo significa somente que os Data Warehouses mantm um histrico por muito mais tempo que um sistema de dados operacional ou transaccional, enquanto os sistemas OLTP (online transaction processing) guardam histricos por um curto perodo, para no reduzir a performance do sistema, os warehouses guardam um histrico por muito tempo, assim possibilitando que anlises de tendncias ao longo do tempo sejam feitas com suas informaes.