WAGNER MEIRA BARBOSA

DATA WAREHOUSE: CONCEITOS DE IMPLANTAÇÃO

LONDRINA
2019
 WAGNER MEIRA BARBOSA

DATA WAREHOUSE: CONCEITOS DE IMPLANTAÇÃO

Projeto apresentado ao Curso de Engenharia da

Computação da Instituição Universidade
Pitágoras Unopar.

Orientador: Prof. Bruno Roberto

Londrina
2019
 SUMÁRIO

1 INTRODUÇÃO ......................................................................................................... 4

1.1 O PROBLEMA....................................................................................................... 4

2 OBJETIVOS ............................................................................................................. 5

2.1 OBJETIVO GERAL OU PRIMÁRIO ...................................................................... 5

2.2 OBJETIVOS ESPECÍFICOS OU SECUNDÁRIOS ................................................ 5

3 JUSTIFICATIVA....................................................................................................... 6

4 FUNDAMENTAÇÃO TEÓRICA ............................................................................... 7

4.1 DATA WAREHOUSE (DW) ................................................................................... 7

4.1.1 Características Fundamentais ............................................................................ 7

4.1.2 Arquitetura Data Warehousing ........................................................................... 8

4.1.3 Modelagem dos Dados....................................................................................... 9

4.2 ABORDAGEM SISTÊMICA ................................................................................... 9

4.2.1 Pré-requisitos ..................................................................................................... 9

4.2.2 Motivação: A Importância do Data Warehouse nas Organizações .................. 10

4.3 PROJETO DE IMPLANTAÇÃO ........................................................................... 10

4.2.1 Pontos Críticos ................................................................................................. 10

5 METODOLOGIA .................................................................................................... 11

6 CRONOGRAMA DE DESENVOLVIMENTO.......................................................... 12

REFERÊNCIAS ......................................................................................................... 13
 4

1 INTRODUÇÃO

Um crescente aumento do volume de dados coletados por sistemas vem

ocorrendo com as evoluções tecnológicas atuais, tornando-se inviável e ineficiente
análises completas em nível de transações para as tomadas de decisões do negócio,
pois em bancos de dados relacionais o sistema de gerenciamento realiza apenas uma
tarefa por vez e com um grande volume de dados, essas tarefas podem demorar
vários segundos ou até minutos.
A preocupação com relação ao grande volume de dados está diretamente
ligada à forma sobre como transformar uma grande quantidade de dados em
informações resumidamente claras e sucintas, de modo que atendam rapidamente
objetivos específicos da organização, tais como: Relatórios financeiros e contábeis,
previsão de vendas, merchandising, prospecção de vendas e clientes, etc.
Tal demanda deu origem a diversas tecnologias que possuem como foco o
tratamento de grandes volumes de dados, tais como o Big Data, Data Mining e Data
Warehouse. Ambas essas tecnologias possuem objetivos distintos e podem
naturalmente serem implantadas em conjunto e possibilitando inclusive o
barateamento com custos de implantação, uma vez que em conjunto uma tecnologia
pode beneficiar a implantação da outra.
Para facilitar na extração de informações e melhorar a performance de grandes
sistemas, surgiu o Data Warehouse (Armazém de Dados, em português) que
basicamente agrupa dados de um banco por departamentos já transformando-os em
informações, gerando assim um novo banco de dados em paralelo ao de origem,
porém com funcionamento não volátil, ou seja, não se atualiza em tempo real com os
dados de origem, permitindo assim uma melhor performance.

1.1 O PROBLEMA

Considerando que o Data Warehouse possibilita diversas melhorias às

organizações com grande volume de dados, quando e como essas organizações
devem implementar tal tecnologia de modo que haja um retorno do investimento?
 5

2 OBJETIVOS

2.1 OBJETIVO GERAL OU PRIMÁRIO

Identificar o expor conceitos de aplicação e implantação de um data warehouse

de modo que possibilite um entendimento claro e sucinto, inclusive esclarecendo de
que modo e quando uma organização deve utilizá-lo.

2.2 OBJETIVOS ESPECÍFICOS OU SECUNDÁRIOS

 Entender os conceitos e definições de data warehouse, incluindo suas

tecnologias correlacionadas;
 Apresentar uma abordagem sistêmica que expresse a importância da
utilização do data warehouse, bem como, esclarecendo quando deve-se
utilizar ou não tal tecnologia;
 Definir uma projeção de implantação da tecnologia, incluindo o
levantamento de requisitos e um fluxograma de execução sucinto e claro o
bastante para que responsáveis por organizações possam entende-lo.
 6

3 JUSTIFICATIVA

Os conceitos de data mining são cada vez mais comuns quando se fala em
grandes volumes de dados, porém algo que está intimamente ligado à esses conceitos
é o data warehouse, uma tecnologia que possui como objetivo a melhoria de
performance em grandes bases de dados e ainda, que simplifica e beneficia a
implantação do data mining.
Tendo como principal objetivo a melhoria de performance na gestão dos
grandes volumes de dados, o data warehouse transforma os dados do banco de
origem em informações para um novo banco em paralelo e forma não volátil, assim,
tanto a produção quanto a gestão do negócio usufruem de um sistema com excelente
performance e com possibilidade de uma visão mais globalizada da organização.
Contudo, a implantação do data warehouse ainda é algo pouco conhecido e até
mesmo praticado pelas empresas, seja pela falta de profissionais qualificados e/ou
pela falta de conhecimento dessas. Com isso, o objetivo deste artigo visa tornar mais
claro o como e quando as organizações podem fazer o uso dessa tecnologia de modo
que possam obter um retorno de investimento viável e evitando práticas inadequadas
de uso.
 7

4 FUNDAMENTAÇÃO TEÓRICA

Considerando os objetivos geral e específicos, a fundamentação teórica está

dividida em tópicos e subtópicos correlacionados de forma que facilite o entendimento
do conteúdo como um todo.

4.1 DATA WAREHOUSE (DW)

O data warehouse originou-se de estudos do MIT (Massachusetts Institute of

Technology) na década de 70 do século XX, onde focava no desenvolvimento de uma
arquitetura técnica mais eficiente para sistemas de informação (HAISTEN, 1999).

De acordo com Inmon, “um data warehouse é um conjunto de dados baseado

em assuntos, integrado, não volátil e variável em relação ao tempo, de apoio às
decisões gerenciais” (INMON, 1997). O funcionamento de um Data Warehouse se
diferencia de bancos relacionais justamente por não ser relacional e ainda, sem
execução em nível transacional, o que elimina impactos de desempenho decorrentes
dessa tecnologia para usuários no ambiente de produção.

Seu conceito originou-se da necessidade de integrar dados provenientes de

diversas fontes transacionais, permitindo assim o gerenciamento de um grande
volume de dados e tendo como principal objetivo a extração e uso mais adequado de
informações, possibilitando assim que organizações pudessem contar com um
diferencial competitivo na tomada de decisões.

4.1.1 Características Fundamentais

Segundo Inmon (1997), são necessárias pelo menos quatro características

presentes numa base de dados para que essa possa ser considerada um Data
Warehouse, são elas: Orientação por assunto, não-volatilidade, variação no tempo e
integração dos dados.

 Orientação por assunto: Assuntos são conjuntos de informações que

formam as estratégias de uma organização, e isso é fundamental na
 8

modelagem de um DW, pois são eles que permitirão uma visão globalizada
dos fatos, literalmente;
 Não-volatilidade: Em um ambiente DW são possíveis apenas a consulta e
inserção de dados, não sendo possível a alteração de dados já registrados,
afinal, é isso que garante uma visão globalizada historicamente;
 Variação no tempo: É uma característica que permite uma análise temporal
das informações, essa variação pode ocorrer diariamente, semanalmente,
mensalmente ou conforme as necessidades da organização;
 Integração dos dados: É uma programação que integra dados de
diferentes origens, inclusive despadronizados, padronizando-os para uma
correta inserção no DW. Isso garante que por exemplo dados sobre sexo
de uma base onde é definido por “M” ou “F”, possam ser integrados com
dados de outra base onde sexo é definido por “0” ou “1”;

4.1.2 Arquitetura Data Warehousing

Data Warehousing se refere ao conjunto de tecnologias que possibilitam a

utilização de um banco de dados analítico denominado Data Warehouse. De acordo
com Lustosa (2009), “um data warehousing é um ambiente composto genericamente
por quatro grandes camadas”, são elas:

 Fontes Provedoras, onde diversas fontes de dados compõem a matéria

prima do DW;
 Área de Estágio, uma camada crítica onde todos os dados recebidos
passam por diversos tratamentos e são integrados ao DW;
 Data Warehouse, onde os dados ficam armazenados já de forma
integrada, não-volátil e modelados de modo que possibilite a camada
seguinte;
 Apoio a Decisão, onde aplicações conectadas ao DW realizam análises
de forma analítica, histórica e globalizada, permitindo melhores tomadas
de decisões para a organização.
 9

4.1.3 Modelagem dos Dados

Em DW, a modelagem dos dados ocorre de forma multidimensional e analítica,

diferente dos bancos de dados relacionais e de forma não normalizada, inclusive com
redundância de dados. Naturalmente, “os dados são inicialmente extraídos de
sistemas operacionais e de fontes externas, posteriormente integrados e
transformados, antes de serem carregados no data warehouse” (HOKAMA et al.,
2004).
De acordo com Machado (2006), três elementos básicos formam um modelo
multidimensional: Fatos, Medidas e Dimensões.

 Fatos: São as ocorrências registradas no dia a dia da organização, tendo

como exemplo vendas, registro de ponto, reclamações de clientes, valor de
moeda, etc;
 Medidas: São os valores que representam os fatos, não podendo serem
nulos ou zeros, pois os fatos são a origem das dimensões e
consequentemente do resultado como um todo;
 Dimensões: São agrupamentos de características dos fatos, como por
exemplo a visualização de vendas por vendedor, loja, cidade, estado,
estação do ano, etc;

De modo geral, “o fato contém as métricas do negócio, enquanto que as

dimensões descrevem ou servem para classificação do negócio” (KIMBALL, 2002).

4.2 ABORDAGEM SISTÊMICA

4.2.1 Pré-requisitos

No contexto de abordagem sistêmica, serão pesquisados quais os pré-

requisitos necessários para uma organização definir como necessidade a implantação
de um data warehouse.
Como resultado das pesquisas que definem os pré-requisitos, haverá um
sucinto esclarecimento técnico sobre quanto utilizar ou o DW em uma organização. O
 10

intuito dessa etapa será mostrar de forma clara o bastante para que gestores de
organizações possam entender de fato os resultados obtidos.

4.2.2 Motivação: A Importância do Data Warehouse nas Organizações

Como motivação para a implantação de Data Warehousing em organizações,

serão expostos fatos que comprovem a importância dessa tecnologia para as
organizações, incluindo os benefícios que a mesma pode proporcionar.

4.3 PROJETO DE IMPLANTAÇÃO

A projeção e implantação de um sistema DW é complexa e de alto custo, sendo

necessário seguir critérios rigorosos que definem a necessidade de tal tecnologia.
Com isso, serão expostas nesta etapa do projeto, técnicas e metodologias
recomendadas para a projeção e implantação, como: Levantamento de requisitos,
cronograma de implantação, extração de dados e suas modelagens.

4.2.1 Pontos Críticos

Serão apresentados os pontos críticos que merecem absoluta atenção dos

responsáveis envolvidos, pois “devido à grandiosidade do projeto, torna-se necessário
um plano de implementação bem definido, além de justificativas reais dos benefícios
aos negócios” (NIMER, 1998).
 11

5 METODOLOGIA

Com base em pesquisa de revisão bibliográfica, este artigo visará unificar

informações relacionadas ao entendimento e implantação de Data Warehouse em
organizações, de modo que os líderes de organizações consigam entende-lo, ou seja,
sem o uso aprofundado de termos técnicos e de forma sucinta e clara o suficiente para
isso.
Considerando que a tecnologia Data Warehouse apesar de pouco conhecida,
existe há várias décadas, este artigo dará prioridade ao conteúdo de fontes mais
recentes, porém sem excluir conceitos fundamentais que possam ter sido publicados
anteriormente a este período.
Para as pesquisas, serão considerados artigos (acadêmicos ou não) e livros.
Notadamente existe muito material relacionado em outros idiomas, com isso, serão
considerados estes materiais e ambos serão traduzidos livremente para posteriores
citações na construção do artigo.

Palavras chave: Data Warehouse; Armazém de Dados; Interface OLAP;

Modelagem de Dados; Big Data.
 12

6 CRONOGRAMA DE DESENVOLVIMENTO

No primeiro semestre se destacam três atividades avaliativas que compõem a

estruturação do TCC, enquanto que no segundo semestre será desenvolvido a
monografia e defesa do tema definido. O cronograma de execução do TCC ficou
definido conforme ilustrado no Quadro 1.

Quadro 1 – Cronograma de execução das atividades do Projeto e do

Trabalho de Conclusão de Curso.
ATIVIDADES 2019 2019
JAN FEV MAR ABR MAI JUN JUL AGO SET OUT NOV DEZ
Escolha do tema.
Definição do X X X
X
problema de
pesquisa
Definição dos
X X X X
objetivos,
justificativa.
Envio da atividade 1. X
Definição da
X X
metodologia.
Pesquisa
bibliográfica e
X X
elaboração da
fundamentação
teórica.
Envio da atividade 2. X
Revisão e
reestruturação das X X
atividades 1 e 2.
Envio da atividade 3. X
Revisão das
referências para X X X X X
elaboração do TCC.
Elaboração dos
capítulos da X X X X X
monografia.
Elaboração das
considerações finais.
X X X X
Revisão da
Introdução.
Reestruturação e
revisão de todo o
X X X X X
texto. Verificação
das referências
utilizadas.
Elaboração de todos
X X X X X
os elementos pré e
pós-textuais.
Entrega da
X X
monografia.
Defesa da
X X
monografia.
 13

REFERÊNCIAS

INMON, W. H. Como construir o Data Warehousing. 2. ed. Tradução: ANA MARIA

NETTO GUZ. Rio de Janeiro: Campus, 1997.

HAISTEN, M. Real time data warehouse: the next stage in data warehouse
evolution, part 1. DM Review, 1999.

HOKAMA, Daniele del Bianco. et al. A Modelagem de Dados no Ambiente Data

Warehouse. 2004. 62 f. TCC (Bacharel em Sistemas de Informação), Universidade
Presbiteriana Mackenzie, São Paulo, 2004.

KIMBALL, Ralph. The Data warehouse toolkit: guia completo para modelagem
multidimensional. Tradução: ANA BEATRIZ TAVARES; DANIELA LACERDA. Rio
de Janeiro: Campus, 2002.

LUSTOSA, Rodrigo Bastos. Processo de Desenvolvimento Participativo de

Sistema de Data Warehouse: Uma Aplicação no PROGER. 2009. 97 f. TCC
(Mestrado em Administração), Universidade Federal da Paraíba, João Pessoa, 2009.