INTELIGÊNCIA DE NEGÓCIOS

Unidade 3 - Data warehousing

GINEAD
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

UNIDADE 3

Todos os direitos reservados.

Prezado(a) aluno(a), este material de estudo é para seu uso pessoal, sendo

vedada, por quaisquer meios e a qualquer título, a sua reprodução, venda,

compartilhamento e distribuição.

OBJETIVO
Conforme
o plano de
ensino, ao fina
da unidade,
esperamos que
você seja capaz
de:

> compreender o
conceito de Data
Warehouse (DW);
> compreender o
desenvolvimento de
DW e suas variáveis.

1
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

3 DATA WAREHOUSING

INTRODUÇÃO DA UNIDADE
Esta unidade abordará uma reflexão sobre os conceitos básicos do Data Wa-
rehouse, suas concepções, sua estrutura e seus aspectos considerados impor-
tantes, sua arquitetura, ou seja, o que existe por trás das telas do computador.
Por meio desses conceitos, você poderá compreender o quanto é importante
ter uma boa identificação do melhor DW e que a sua implantação requer
uma boa análise.

3.1 CONCEITO DE DATA WAREHOUSING

De acordo com Turban (2009, p. 57), o que vem a ser um Data Warehouse?
“Em poucas palavras, um data warehouse (DW) é um conjunto de dados pro-
duzido para oferecer suporte à tomada de decisões; é também um repositó-
rio de dados atuais e históricos de possível interesse aos gerentes de toda a
organização”.
Os dados podem ser estruturados de modo a estarem disponíveis por meio
de um formato pronto para o seu processamento analítico. Um DW é um
conjunto de dados orientados por assunto, integrado, variável no seu respec-
tivo tempo e não volátil, o que irá proporcionar o suporte para a tomada de
decisão da gerência.

FIGURA 1: DATA WAREHOUSE

Fonte: Plataforma Deduca (2020).

2
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

Gonçalves (2017, p. 95) afirma que:

o Data Warehouse (DW) [...] são cópias de dados de transações, estruturadas

especific damente para consultas e análises. Para as empresas, servem de
fonte de consultas fornecendo uma base de dados analítica que vai auxiliar
na tomada de decisão.
Segundo Turban (2009, p. 57-58, apud INMON, 2005), as características essen-
ciais do Data Warehousing podem ser:

1. Orientado por assunto

Os dados são organizados por assunto pormenorizado, como vendas,

produtos ou clientes, e contêm apenas as informações relevantes ao
suporte à decisão. A orientação por assunto permite que os usuários
determinem não só́ como está́ o desempenho de sua empresa, mas
também permite determinar o porquê deste desempen

2. Integrado

A integração está bastante ligada à orientação por assunto. Os Data

Warehouses devem colocar os dados de diferentes fontes em um
formato consistente.

3. Vari vel no tempo (sé ie temporal)

Um DW mantém dados históricos. Os dados não necessariamente

mostram o status atual (exceto em sistemas em tempo real). Eles
detectam tendências, variações, relações de longo prazo para previsão
e comparações, o que leva à tomada de decisões.

4. N o voláti

Os usuários, após os dados serem inseridos em um Data Warehouse,

não podem alterá-los ou atualizá-los. Os dados obsoletos são
descartados e as alterações são registradas como dados novos.

3
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

De acordo com Turban (2009, p. 58) “Há três tipos principais de data warehou-
ses: data marts, data stores operacionais (ODS) e Data Warehouses Empre-
sariais (EDW). Nossa discussão a seguir incluirá, além destes, os metadados”.

FIGURA 2: DATA WAREHOUSE

Fonte: Plataforma Deduca (2020).

Um DW pode unir bancos de dados de toda uma organização; já um Data

Mart é menor e seu objetivo é referente a um assunto ou a um setor específico
e ele pode ser caracterizado como um subconjunto de um Data Warehouse,
sua consistência é em uma área temática (por exemplo: finanças, produção).
Segundo Turban (2009, p. 59):

Um data store operacional (ODS) proporciona uma forma de arquivar

informações recentes para consumo (customer information file – CIF). Este
tipo de banco de dados é constantemente usado como área de preparação
temporária de um data warehouse. Ao contrário dos conteúdos estáticos
de um data warehouse, os conteúdos de um ODS são atualizados durante o
curso das operações comerciais.

Data Warehouse Empresarial (EDW) é um DW em grande escala utilizado

por toda a organização no suporte à tomada de decisão.

4
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

FIGURA 3: BANCO DE DADOS

Fonte: Plataforma Deduca (2020).

Sua natureza de grande escala tem a integração dos dados vindos de muitas
fontes, com um formato padronizado, facilitando, assim, as aplicações de Bu-
siness Intelligence (BI) e suporte à tomada de decisões.

1. Banco de Dados:

5
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

Segundo Gonçalves (2017, p. 96),

Os DW funcionam um banco de dados analíticos que serão suportes para os

Sistemas de Apoio a Decisão (SAD). Atualmente, esses dados precisam ser
rapidamente transformados em informações e conhecimento, os gestores
devem ter em suas mãos o maior número de informações possíveis (com o
máximo de rapidez) para gerenciarem melhor seus processos, sejam eles
quais forem. Uma das diferenças dos DW em relação aos bancos de dados,
é que, em um banco de dados, a volatilidade causada pelo processamento
de transações faz com que a análise dos dados seja difícil, o que pode ser
minimizado com os DW.

3.2 PROCESSO DE DATA WAREHOUSING

Turban (2009) destaca que os principais componentes de um processo de
Data Warehousing são as fontes de dados, a extração de dados, o carrega-
mento de dados, o banco de dados, os metadados e as ferramentas de Midd-
leware.

Os dados são obtidos de diversos sistemas operacionais independentes

“legados” e, possivelmente, de fornecedores externos de dados. De acordo
com Turban (2009, p. 61),
Os dados podem também vir de um sistema de processamento de transações
online (OLTP) ou de sistemas integrados de gestão (ERP). Dados da Web na
forma de Web logs também alimentam um data warehouse.

FIGURA 4: DATA WAREHOUSE

Fonte: Plataforma Deduca (2020).

6
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

De acordo com Turban (2009, p. 62):

• Extração de dados. Os dados são extraídos com um software personalizado

ou comercial chamado ETL.
• Carregamento de dados. Carregam-se os dados em uma área de
preparação, na qual eles são transformados e limpos. Os dados, então,
ficam p ontos para o carregamento no data warehouse.
• Banco de dados abrangente. Basicamente, este é o EDW que suporta
todas as análises de decisões fornecendo informações relevantes resumidas
e detalhadas, originais de muitas fontes diferentes.
• Metadados. Os metadados são mantidos para que sejam acessados pelo
pessoal de TI e pelos usuários. Eles incluem programas sobre dados e regras
para organizar resumos de dados que sejam fáceis de indexar e buscar,
principalmente com ferramentas da Web.
• Ferramentas de middleware. As ferramentas de middleware permitem
o acesso ao data warehouse. Usuários avançados, como analistas, podem
escrever suas próprias consultas SQL. Outros podem empregar um ambiente
gerenciado de consultas, como Business Objects, para acessar os dados.

Há diversas aplicações chamadas de front-end, em que os usuários de negó-

cios podem usar para interagir com os respectivos dados armazenados nos
repositórios disponíveis, incluindo Data Mining, Online Analytical Processing
(OLAP) e ferramentas de relatórios e de visualização de dados diversas.

FIGURA 5: DADOS

Fonte: Plataforma Deduca (2020).

7
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

3.3 ARQUITETURA DE DATA WAREHOUSING

A arquitetura de um Data Warehousing, segundo Hoffer et al. (2007), podem
ser divididas em três partes:

• Ele próprio, ou seja, o Data Warehouse, o qual conté m os dados e o

software associado.
• Software de aquisição de dados, ele extrai dados dos sistemas legados e
das diversas fontes externas, compila-os e faz um resumo, após realiza o
carregamento no Data Warehouse.
• Software cliente (front-end), que permite aos usuários acessar e analisar
dados a partir do Warehouse.

FIGURA 6: DADOS

Fonte: Plataforma Deduca (2020).

Na arquitetura de um Data Warehouse, podem existir arquiteturas de duas

e de três camadas, mas, às vezes, há apenas uma camada. De acordo com
Turban (2009, p. 65):

As arquiteturas de data warehousing da Web têm estrutura semelhante a

outras arquiteturas de data warehousing e exigem uma escolha de projeto
para hospedar o warehouse na Web com o servidor de transações ou como
servidor(es) separado(s). A velocidade de carregamento das páginas é
uma consideração importante ao se projetar aplicações baseadas na Web;
portanto, se deve planejar cuidadosamente a capacidade do servidor.

8
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

FIGURA 7: CAMADAS

Fonte: Plataforma Deduca (2020).

Ainda podem existir as arquiteturas alternativas, nas quais os pontos de vistas

de um projeto arquitetônico de um DW podem ser enumerados de maneira
geral e em um projeto de DW para toda a empresa e um projeto de Data Mart.

1. Segundo Turban (2009, p. 69, apud ARIYACHANDRA;

WATSON, 2005), foi possível identificar 10 atores que
possivelmente afetam a decisã o de seleçã o da arquitetu-
ra:

• Interdependência de informações entre as unidades da organização.

• Necessidades de informações da alta administração.
• Necessidade urgente de um Data Warehouse.
• Natureza das tarefas do usuário final.
• Limitação de recursos.
• Visão estratégica do DW antes da implementação.
• Compatibilidade com os sistemas existentes.
• Observação da capacidade da equipe interna de Tecnologia da
Informação (TI).
• Questões técnicas.

9
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

• Fatores sociais/políticos.

De acordo com Turban (2009, p. 70), “cada arquitetura de data warehousing

tem aplicações específicas para as quais sua eficiência é maior – ou menor –,
e assim oferece os benefícios máximos para a organização”.

FIGURA 8: ARQUITETURA

Fonte: Plataforma Deduca (2020).

De acordo com Turban (2009, p. 70), “cada arquitetura de data warehousing

tem aplicações específicas para as quais sua eficiência é maior – ou menor –,
e assim oferece os benefícios máximos para a organização”.

3.4 INTEGRAÇÃO DE PROCESSOS

Conforme Turban (2009), a integração de dados compreende três grandes
processos que, quando implementados de maneira correta, dão acesso aos
dados e a uma gama de ferramentas de Extract Transform Load (ETL), análise
e ao ambiente de Data Warehousing.
Segundo Turban (2009, p. 70), os processos são:

[...] acesso aos dados (a capacidade de acessar e extrair dados de qualquer

10
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

fonte), federação de dados (a integração das visualizações de negócios em

diversos data stores) e captura de alterações (com base na identific ção,
captura e entrega das alterações feitas nas fontes de dados da empresa).

FIGURA 9: INFORMAÇÃO

Fonte: Plataforma Deduca (2020).

1. Conforme Turban (2009, p. 71): “Um grande objetivo do

data warehouse é in egrar dados de múltiplos sistemas.
Vá rias tecnologias de integraçã o permitem atualmente a
integraçã o de dados e metadados”, as quais se destacam
as seguintes na parte da integraçã o:

• Integração de aplicações corporativas (EAI).

• Arquitetura orientada a serviços (SOA).
• Integração de informações corporativas (EII).
• Extração, transformação e carga (ETL).
visualização destas informações.

A EAI pode proporcionar um veículo para intermediar os dados dos sistemas-

-fonte ao Data Warehouse. Envolve a integração das diversas funcionalidades

11
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

da aplicação e no compartilhamento de funcionalidades por todos os siste-

mas, o que permite flexibilidade e remanejo da sua utilização.

FIGURA 10: COMPARTILHAMENTO

Fonte: Plataforma Deduca (2020).

A EII é formado por um espaço de ferramentas em constante desenvolvi-

mento que promete a integração de dados em tempo real, com o objetivo de
acesso a partir de diversas fontes, como as Web Services e bancos de dados
multidimensionais.
Segundo Turban (2009), a extração, transformação e carga são a parte técnica
do processo de Data Warehousing. As tecnologias de ETL são essenciais para
o processo e uso de Data Warehouses.
Turban (2009) destaca que o processo de ETL é um componente integral de
qualquer projeto centrado em dados. Os responsáveis pelo departamento de
TI enfrentam inúmeros desafios, pois esses processos de ETL consomem em
média até 70% do tempo em um projeto que tem como característica os da-
dos.

12
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

3.5 DESENVOLVIMENTO DE DATA

WAREHOUSING
De acordo com Turban (2009, p. 74), “O projeto pode também ser parte de uma
estratégia comercial de CRM. Um data warehouse oferece alguns benefícios
classificados como diretos e indiretos”.

Os benefícios diretos incluem:

1. Permissão aos usuários finais que executem análises amplas de

inúmeras formas.
2. Visualização consolidada dos dados corporativos (isto é, uma versão
única da verdade).
3. Informações melhores e mais oportunas. Um DW permite que o
processamento de informações seja transferido dos caros sistemas
operacionais para servidores de baixo custo; assim, muito mais
solicitações de informação dos usuários finais podem ser processadas
com mais rapidez.
4. Desempenho aprimorado do sistema. Um DW libera o
processamento de produção, porque alguns requisitos de relatórios do
sistema operacional são movidos para o Diálogo Diário de Segurança
(DSS).
5. Simplificação do acesso aos dados.

FIGURA 11: DESENVOLVIMENTO

Fonte: Plataforma Deduca (2020).

13
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

Segundo Turban (2009, p. 75):

Os aspectos essenciais para se ter um projeto bem-sucedido de data

warehousing são definir claramente os objetivos, reunir suporte ao
projeto junto à gerência e aos usuários finais, estabelecer cronogramas e
orçamentos razoáveis e administrar as expectativas. Uma estraté gia de data
warehousing é um plano de ação para a introdução próspera desse tipo de
sistema.
A estraté gia deve descrever aonde a empresa quer chegar, porque quer
chegar lá e o que fará quando chegar lá. Ela precisa levar em consideração a
visão, a estrutura e a cultura da organização.

Ainda segundo Turban (2009), as abordagens ao desenvolvimento do DW po-

dem ser usados para o suporte à decisão. Uma dessas abordagens ao desen-
volvimento é de Bill Inmon, que é constantemente chamado de “pai” do Data
Warehousing.

FIGURA 12: DESENVOLVIMENTO

Fonte: Plataforma Deduca (2020).

De acordo com Turban (2009, p. 79), qual poderia ser caracterizado como o
melhor modelo?

Não há uma estraté gia única relativa ao data warehousing. A estraté gia
de uma empresa pode evoluir de um simples data mart até um complexo
data warehouse em resposta às demandas dos usuários, às exigências de

14
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

negócios da empresa e à sua maturidade na gestão de seus recursos de

dados. Para muitas corporações, um data mart não raro é o primeiro passo
conveniente para adquirir experiência na construção e gestão de um data
warehouse, ao mesmo tempo em que apresenta aos usuários de negócios
as vantagens de um acesso melhor aos dados. Ademais, é comum que um
data mart indique o valor agregado do data warehousing.

Existe inúmeras variações da arquitetura, segundo o autor, pode ser carac-

terizado como a mais importante o chamado esquema estrela. O projeto de
DW está baseado no conceito de modelagem dimensional. A modelagem
dimensional é baseada na recuperação, a qual suporta diversos acessos de
consultas. Segundo Turban (2009, p. 74), “o esquema estrela é o meio pelo
qual a modelagem dimensional é implementada. Ele contém uma tabela de
fatos central cercada por diversas tabelas de dimensão”.
A tabela de fatos tem uma quantidade de linhas que correspondem aos ne-
gócios ou às situações observadas. Elas incluem os atributos para executar
a análise de decisões-chave para a organização. Esses tributos da análise de
decisão podem ser as medidas de desempenho, métricas operacionais, me-
didas agregadas e as que se fizerem necessárias para analisar o desempenho
da empresa.

FIGURA 13: VOLUME DE DADOS

Fonte: Plataforma Deduca (2020).

15
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

Conforme Turban (2009, p. 81):

Implementar um data warehouse normalmente é um esforço pesado que

deve ser planejado e executado de acordo com mé odos estabelecidos. No
entanto, o ciclo de vida do projeto tem muitas facetas e uma única pessoa
não pode ser especialista em todas as áreas.

Turban (2009, p. 82, apud WEIR, 2002) descreveu algumas das melhores prá-
ticas para implementar um Data Warehouse, que incluem as seguintes dire-
trizes:

• O projeto deve ser adequado à estraté gia corporativa e aos objetivos de

negócios.
• Deve haver adesão completa ao projeto por parte dos executivos, gerentes
e usuários.
• É importante gerenciar as expectativas do usuário sobre o projeto
concluído.
• O data warehouse deve ser construído progressivamente.
• Deve ser incorporada a adaptabilidade.
• Tanto profissionais de TI quan o de negócios devem gerir o projeto.
• Deve ser desenvolvida uma relação empresa/fornecedor.
• Devem ser carregados somente os dados que foram limpos ou que sejam
de uma qualidade conhecida pela organização.
• Não se deve negligenciar as exigências de treinamento.
• É p eciso estar politicamente consciente.

3.6 DATA WAREHOUSING EM TEMPO REAL

De acordo com Turban (2009, p. 86), “as ferramentas de data warehousing
e BI tradicionalmente se concentram em auxiliar os gerentes na tomada de
decisões estratégicas e táticas”. Quanto maiores os volumes de dados e velo-
cidades mais rápidas de atualização, eles podem estar alterando a sua funcio-
nalidade nas empresas.

O pensamento estraté gico é a arte de criar estraté gias com efetividade.

Pensar estrategicamente e agir operacionalmente significam dominar o
presente e conquistar o futuro. Visam superar os adversários, sabendo que
eles estão tentando fazer a mesma coisa a que a organização ou que seus
gestores se propõem.

16
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

FIGURA 14: PROCESSAMENTO

Fonte: Plataforma Deduca (2020).

Para as organizações de maneira geral, tomar uma decisão de maneira rápi-

da e consistente pode exigir mais do que um DW ou Data Mart tradicional.
Os dados são atualizados a cada semana, e isso não permite uma resposta às
transações quase em tempo real.
Para Turban (2009, p. 87):

Conforme evoluem as necessidades de negócios, evoluem também as

exigências do data warehouse. Neste nível básico, um data warehouse
simplesmente relata o que ocorreu. No nível seguinte, há alguma análise.
Com a evolução do sistema, ele proporciona recursos de previsão, que levam
ao próximo nível de operacionalização. No seu nível mais alto de evolução,
o ADW é capaz de fazer os eventos acontecerem (p. ex., atividades como
criação de campanhas de vendas e marketing, ou identific ção e exploração
de oportunidades).

Para Turban (2009, p. 89):

As soluções em tempo real apresentam desafios notáveis às atividades de

BI. Embora não seja o ideal para todas as soluções, o data warehousing em
tempo real pode ter sucesso se a organização desenvolver uma metodologia
segura para lidar com os riscos do projeto, incorporar um planejamento
adequado e se concentrar em atividades de garantia da qualidade.
Compreender os desafios comuns e aplicar melhores práticas podem reduzir

17
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

os níveis de problemas que, não raro, fazem parte da implementação de

sistemas complexos de data warehousing que incorporam mé odos de BI/
BA.

FIGURA 15: TEMPO REAL

Fonte: Plataforma Deduca (2020).

Data Warehousing em tempo real, Data Warehousing quase em tempo real,

Warehousing com latência zero e Data Warehousing ativo são diferentes no-
menclaturas utilizadas para descrever o mesmo conceito.
Para Turban (2009, p. 91):

Uma questão crítica do data warehousing em tempo real é que nem todos
os dados devem ser atualizados sempre. Isso causa problemas quando há
geração de relatórios em tempo real, visto que os resultados de uma pessoa
podem não coincidir com os de outra. Por exemplo, uma empresa que usa
Business Objects Web Intelligence observou um problema importante com
a inteligência em tempo real.

CONCLUSÃO

Esta unidade objetivou apresentar uma reflexão sobre alguns dos principais
conceitos sobre Data Warehouse. Desse modo, vimos que devemos estar
atentos aos conceitos devido às similaridades. Por meio do que foi explanado,
você poderá diferenciar as diversas ferramentas que podem ajudar as dife-
rentes tomadas de decisão que as organizações como um todo podem ter no
seu dia a dia.

18
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

Observe que jamais estamos falando sobre facilidades, e sim sobre diferen-
ciar e saber dimensionar um verdadeiro Data Warehouse, saber implantar ou,
pelo menos, identificar os passos para o desenvolvimento de maneira mais
assertiva para as empresas. Esse é o nosso objetivo: refletir e analisar as dife-
rentes ferramentas que o mercado pode nos fornecer. Estamos aqui mencio-
nando processos demorados e de maneira muito custosa.

19
 INTELIGÊNCIA DE NEGÓCIOS
GINEAD

REFERÊNCIAS
ARIYACHANDRA, T.; WATSON, H. Key Factors in Selecting a Data Warehouse Architecture. Busi-
ness Intelligence Journal, 2005. vol. 10, n. 2.

GONÇALVES, G. R. B. Sistemas de informação. Porto Alegre: SAGAH, 2017.

HOFFER, J. A., PRESCOT, M. B.; MCFADDEN, F. R. Modern Database Management. Upper Saddle
River. NJ: Prentice Hall, 2007. 8. ed.

INMON, W. H. Building the Data Warehouse. New York: Wiley, 2005. 4. ed.

TURBAN, E. et al. Business Intelligence: um enfoque gerencial. Porto Alegre: Bookman, 2009.

WEIR, R. Best Practices for Implementing a Data Warehouse. Journal of Data Warehousing,
2002. vol. 7, n. 1.

20