Você está na página 1de 51

Business Intelligence

Unidade 2
Data Warehouse
Diretor Executivo
DAVID LIRA STEPHEN BARROS
Gerente Editorial
CRISTIANE SILVEIRA CESAR DE OLIVEIRA
Projeto Gráfico
TIAGO DA ROCHA
Autoria
GISELLY SANTOS MENDES
AUTORIA
Giselly Santos Mendes
Olá. Sou mestra em Qualidade Ambiental, tecnóloga em Polímeros,
administradora, com experiência de mais de 12 anos na área de Processos
Gerenciais. Atualmente, atuo como docente de nível técnico, tecnológico
em instituições de ensino privado. Sou apaixonada pelo que faço e
adoro compartilhar minha experiência de vida e profissional àqueles que
estão iniciando em suas profissões. Por isso, fui convidada pela Editora
Telesapiens a integrar seu elenco de autores independentes. Estou muito
feliz em poder ajudar você nesta fase de muito estudo e trabalho. Conte
comigo!
ICONOGRÁFICOS
Olá. Esses ícones irão aparecer em sua trilha de aprendizagem toda vez
que:

OBJETIVO: DEFINIÇÃO:
para o início do houver necessidade
desenvolvimento de de se apresentar um
uma nova compe- novo conceito;
tência;

NOTA: IMPORTANTE:
quando forem as observações
necessários obser- escritas tiveram que
vações ou comple- ser priorizadas para
mentações para o você;
seu conhecimento;
EXPLICANDO VOCÊ SABIA?
MELHOR: curiosidades e
algo precisa ser indagações lúdicas
melhor explicado ou sobre o tema em
detalhado; estudo, se forem
necessárias;
SAIBA MAIS: REFLITA:
textos, referências se houver a neces-
bibliográficas e links sidade de chamar a
para aprofundamen- atenção sobre algo
to do seu conheci- a ser refletido ou dis-
mento; cutido sobre;
ACESSE: RESUMINDO:
se for preciso aces- quando for preciso
sar um ou mais sites se fazer um resumo
para fazer download, acumulativo das últi-
assistir vídeos, ler mas abordagens;
textos, ouvir podcast;
ATIVIDADES: TESTANDO:
quando alguma quando o desen-
atividade de au- volvimento de uma
toaprendizagem for competência for
aplicada; concluído e questões
forem explicadas;
SUMÁRIO
O que são e para que servem os metadados................................... 10
A relevância do Data Warehouse aos negócios........................................................10
O que é Data Warehouse........................................................................................................... 12
Tipos de Data Warehouse......................................................................................................... 16
Data Marts (DM)........................................................................................... 16
Operational Data Store (ODS)............................................................ 17
Metadados............................................................................................................................................ 19
Arquitetura e funções do Data Warehouse ...................................... 21
A relevância da arquitetura....................................................................................................... 21
Definição de arquitetura de Data Warehouse............................................................. 21
Ferramentas back-end.................................................................................................................27
Ferramentas front-end.................................................................................................................29
Implantando o Data Warehouse............................................................ 31
Contextualizando a relevância da implantação de DW....................................... 31
Desenvolvimento de um Data Warehouse................................................................... 31
Data Warehouse e estratégias evolucionárias...........................................................33
Etapas do desenvolvimento de um Data Warehouse..........................................34
Implantação de um Data Warehouse.............................................................................. 36
Roteiros de modelagem e suas aplicações .....................................40
A relevância da modelagem................................................................................................... 40
Passo 1 – Definir fatos ou métricas......................................................................................43
Passo 2 – Determinar as dimensões .................................................................................45
Passo 3 – Estabelecer a granularidade das informações em cada
dimensão............................................................................................................................................... 46
Passo 4 – Estabelecer hierarquia de agrupamento de informações.........47
Business Intelligence 7

02
UNIDADE
8 Business Intelligence

INTRODUÇÃO
Com a quantidade de dados armazenados pelas empresas
crescendo exponencialmente devido às tecnologias emergentes,
não é surpresa que o gerenciamento deles exija soluções cada
vez mais criativas e eficientes. Nesse sentido, os dados devem ser
protegidos e distribuídos de forma atualizada, clara e precisa para
orientar importantes decisões de negócios. Para isso, as empresas
precisam traduzi-los em informações (idealmente, eles evidenciam
tendências de vendas, comportamentos dos consumidores e alocação
de recursos), a fim de planejar e implementar futuras estratégias de
negócios.

Na maioria dessas organizações, dados valiosos são armazenados


em planilhas ou servidores enormes. Eles podem indicar a viabilidade
de seu produto e contribuir para o desenvolvimento futuro. Portanto,
podem ajudar a maximizar as receitas, reduzir os custos, enfim, a
orientar condutas para que a corporação siga crescendo e evoluindo.
Nesse contexto, o Data Warehouse permite produzir, em tempo
real, relatórios precisos apoiados em dados diretamente extraídos
das fontes. Essas informações são, assim, repassadas aos gerentes,
os quais podem monitorar o negócio independentemente de onde
estejam. Entendeu? Ao longo desta unidade letiva você vai mergulhar
neste universo!
Business Intelligence 9

OBJETIVOS
Olá. Seja muito bem-vindo à Unidade 2. Nosso objetivo é auxiliar
você no desenvolvimento das seguintes competências profissionais até o
término desta etapa de estudos:

1. Compreender o conceito dos metadados em um sistema de Data


Warehouse.

2. Entender a arquitetura e o funcionamento do Data Warehouse.

3. Identificar as etapas de implantação do Data Warehouse em uma


organização.

4. Engendrar e aplicar o roteiro de modelagem ao processo de


construção do Data Warehouse na organização.
10 Business Intelligence

O que são e para que servem os metadados


OBJETIVO:

Ao término deste capítulo você será capaz de compreender


o conceito dos metadados em um sistema de Data
Warehouse. Os metadados facilitam o entendimento de
relacionamentos, e a utilidade das informações. Logo,
compreender sua contribuição às organizações é essencial.
E, então? Motivado para desenvolver esta competência?
Então, vamos lá. Avante!

A relevância do Data Warehouse aos


negócios
A disponibilidade e o acesso aos dados, com vista à geração e
busca de informações, revelam-se aspectos de relevante destaque
e preocupação, principalmente no que diz respeito ao ambiente de
negócios. Aqui, justamente se encontra o ponto de diferenciação entre as
organizações de sucesso.

Atualmente, no mundo dos negócios, já disponibilizamos de


ferramentas e técnicas voltadas ao atendimento das demandas das
organizações, por exemplo: determinação de padrões e tendências
de mercado. Mas, para que tais ferramentas e técnicas operem
adequadamente, é preciso que os dados empregados se mostrem
corretos e completos. Caso contrário, as informações geradas, a partir
desses, não serão satisfatórias e seguras.

Para tanto, destaca-se que tal sistemática fornecerá informações


e conhecimentos aos tomadores de decisão, podendo assim confrontar
o mercado com segurança e clareza, de modo a tornar a empresa mais
competitiva. Desse modo, os executivos precisam eliminar as incertezas e
as ameaças, de forma que o ambiente seja favorável e a competitividade
perante a concorrência possa ser assegurada.
Business Intelligence 11

Tucker (1997) descreve que as organizações devem olhar para o


futuro, responder às mudanças em constante aprimoramento, explorar as
oportunidades dos clientes e do mercado e não simplesmente reagir a
elas ou esperar para ver o que os outros vão fazer.

REFLITA:

O adequado monitoramento de um macro e de um


microambiente pode levar a organização a dedicar menos
tempo para as tomadas de decisões, pois terá em suas
mãos todas as informações possíveis, retiradas de um
cenário atual. Além de levar menos tempo nas tomadas
de decisões, a empresa terá embasamentos corretos para
as decisões, diminuindo a possibilidade de uma decisão
equivocada.

Dessa forma, torna-se premente a oferta de sistemas de banco de


dados com padrões e tecnologias capazes de gerar informações decisivas
e de qualidade. Entre esses, consta o Data Warehouse, um ambiente
analítico, capaz de gerar informações que apoiam decisões gerenciais, por
meio da identificação de padrões e tendências do mercado no qual dada
organização está inserida. Na Figura 1, a seguir, o exposto é sumarizado.
Figura 1 - Relação Data Warehouse e organizações

Fonte: Elaborado pela autora (2021).

Um exemplo prático dessa relação pode ser acompanhado na


seguinte situação:

Considere o setor comercial de uma empresa de vinhos. Pelo


emprego do Data Warehouse, podemos obter a informação sobre qual
período do ano há uma maior procura por vinhos brancos, ou ainda, para
quais locais os vinhos brancos do tipo seco estão sendo mais consumidos.
12 Business Intelligence

Possuindo tais informações, a gestão dessa organização poderá


dispor maior volume de vinho branco seco para as regiões de maior
procura, bem como, menor volume no período de menor procura.

Observe, em nosso exemplo, que o uso do Data Warehouse entrega


informações relevantes à gestão da organização, por meio de métricas
que consolidam volumosos bancos de dados, e desses extrai dados úteis
e relevantes à lucratividade do negócio principal.

Data Warehouse pode ser aplicado tanto em organizações privadas,


como também pode ser aplicado em organizações públicas. Por exemplo:
empregando o Data Warehouse, determinado secretário da saúde pode
obter informações sobre quais bairros de uma cidade registraram maior
incidência de casos de Covid-19 no último semestre, e em quais meses
desse semestre foi registrada maior incidência desse vírus.

Logo, devido aos avanços da tecnologia de informação, foi possível


às organizações a manipulação e integração de grandes volumes de
dados. Os dados de todos os setores de uma organização podem estar
em uma única base de dados de forma integrada, padronizada e resumida
para serem utilizados por seus tomadores de decisão. O exposto é
indicado na Figura 2, a seguir.
Figura 2 - Emprego do Data Warehouse em organizações

Fonte: Elaborado pela autora (2021).

O que é Data Warehouse


As informações, uma vez convertidas e armazenadas em bancos de
dados, e se consolidadas e distribuídas de forma heterogênea, mostram-
se nada estratégicas, sendo pouco aproveitadas como suporte à tomada
Business Intelligence 13

de decisão. Uma alternativa a resolução desse tipo de problema é a


aplicação do conceito de Data Warehouse.

O Data Warehouse compreende a tecnologia desenvolvida em


resposta à demanda de organizações que tinham dificuldades em tratar
a quantidade de dados gerados em suas aplicações. Tal dificuldade
concentrava-se na capacidade de consolidar esses dados de forma
assertiva à análise organizacional. Logo, em resposta surge a proposta
de reunir, em um único ambiente, somente os dados úteis aos processos
decisórios.

Um Data Warehouse, usualmente, inclui os seguintes elementos


(Figura 3):

• Um banco de dados relacional que armazena e gerencia os dados.

• Uma solução de extração, carregamento e transformação (ELT)


que prepara os dados para análise.

• Análise estatística, relatórios e recursos de mineração de dados.

Figura 3 - Representação de elementos de um Data Warehouse

Fonte: Elaborado pela autora (2021).

Nas palavras de Inmon (1997), um dos pioneiros no assunto Data


Warehouse, essa tecnologia compreende uma coleção de dados
orientados por assunto, integrados, variáveis com o tempo e não-voláteis,
cujo objetivo visa ao suporte dos processos de tomada de decisão.
14 Business Intelligence

As características indicadas por Inmon (1997) podem ser assim


compreendidas:

• Orientado por assunto: armazena informações de assuntos


específicos e relevantes ao negócio principal. São exemplos
informações sobre produtos, atividades, contas de clientes etc. Ou
seja, pode analisar dados sobre um determinado assunto ou área
funcional da organização.

• Integrado: dados criados no ambiente Data Warehouse são


sempre integrados. Pode-se observar a integração em aspectos
como convenção consistente dos nomes, forma consistente
das variáveis, estrutura consistente de códigos, atributos físicos
consistentes dos dados etc. Por exemplo, vamos considerar
“estado do cliente” como um elemento de dado. Uma aplicação
pode codificar “estado do cliente” como RS/SC, outra como
0/1 e uma terceira como SC/RS. Assim, conforme os dados
são adicionados para o Data Warehouse, esses são convertidos
para um estado uniforme, ou seja, “estado do cliente”, o qual é
codificado de apenas uma forma.

Assim, o Data Warehouse cria consistência entre diferentes tipos de


dados provenientes de fontes distintas.

• Variável no tempo: quando certo dado de um Data Warehouse se


refere a um momento específico, esse dado não é atualizável. Ao
contrário de um dado de produção, que é atualizado conforme a
mudança de estado de seu objeto.

No Data Warehouse, cada ocorrência implica a criação de uma nova


entrada, o que marca a alteração. Logo, a análise de um Data Warehouse
analisa as mudanças ao longo do tempo.

• Não volátil: há a permissão apenas da inserção inicial dos


dados e consultas a esses dados. Depois de inseridos em um
Data Warehouse, os dados não podem mais ser alterados ou
atualizados. Dados obsoletos são descartados, e alterações são
registradas como dados novos (SHARDA; DELEN; TURBAN, 2019).
Business Intelligence 15

Após serem integrados e transformados, os dados são carregados


em bloco para o Data Warehouse, a fim de que fiquem disponíveis aos
usuários. Isso porque um Data Warehouse não necessita do grau de
controle que sistemas orientados a transações demandam.

Observe que, no ambiente operacional, os dados são atualizados


registro a registro, em suas diversas transações. Logo, são voláteis e
demandam esforço em termos de atualização, de forma a assegurar a
integridade e a consistência. Assim, os dados contidos em um Data
Warehouse são estáveis e não mudam.

De forma prática, um Data Warehouse é um banco de dados que


contém dados extraídos do ambiente de dada organização, que foram
selecionados, tratados, otimizados, e disponibilizados à consulta.

DEFINIÇÃO:

Data Warehouse compreende um tipo de sistema de


gerenciamento de dados que visa fornecer suporte às
atividades de Business Intelligence, especialmente em
processos de análise avançada de dados.

Para Sharda, Delen e Turban (2019), Data Warehouse é uma coleção


de dados produzidos para embasar a tomada de decisão, compreendendo
um banco de dados históricos e úteis aos gestores de organizações.
Ainda, conforme esses autores, os dados são estruturados de forma
a se apresentarem disponíveis às atividades como: processamento
analítico, mineração de dados, consultas, extração de relatórios e demais
aplicações que norteiam processos decisórios.

• Data Warehouse também possui como características:

• Realizam consultas e análises avançadas.

• Operam com grande quantidade de dados históricos.

• Centralizam e consolidam dados de diversas fontes.


16 Business Intelligence

Tipos de Data Warehouse


Vamos conhecer os três principais tipos de Data Warehouse e suas
características.

Data Marts (DM)


Data Warehouse combina bases de dados espalhadas ao longo
de uma estrutura organizacional, sendo que um Data Mart é menor e
concentra sua atuação sobre determinado assunto, por exemplo, controle
de qualidade ou controle de vendas. Logo, compreende um subconjunto
de Data Warehouse.

Um Data Mart pode ser dependente ou independente. O Data mart


dependente compreende um subconjunto diretamente derivado de um
Data Warehouse. Como vantagens, constam a consistência e a qualidade
de seu modelo dados.

É importante destacar que um Data Mart dependente pode


suportar o conceito de um único modelo de dados, mas, para que isso
seja possível, um Data Warehouse precisa primeiro ser desenvolvido.

Devido ao alto custo do Data Warehouse, essa tecnologia tem


seu emprego limitado a grandes organizações. Como alternativa a esse
limitante, muitas companhias optam por uma versão de baixo custo e
simplificada de um Data Warehouse, o Data mart independente. Um
Data Mart independente é um pequeno Data Warehouse projetado ao
atendimento de um objetivo estratégico de negócios, contudo sua fonte
não é um Data Warehouse empresarial (SHARDA; DELEN; TURBAN, 2019).

Logo, podemos compreender o Data Mart como um sistema


de suporte a decisão, que incorpora um subconjunto de dados da
organização focado em funções específicas dela. Desse modo, o Data
Mart visa atingir propósitos específicos e pontuais ao negócio, tais como:
medição do impacto de ações de marketing, previsão de faturamento etc.
Business Intelligence 17

Figura 4 - Data Warehouse e Data Mart

Fonte: Elaborado pela autora (2021).

Como Data Marts são centrados em propósitos específicos do


negócio, o planejamento do sistema e a análise dos requerimentos são
mais facilmente gerenciáveis, e o projeto, implementação, fase de testes e
instalação são menos onerosos (INMON, 1998). Por essa razão, o emprego
de Data Marts tem se apresentado uma alternativa bastante popular.

Conforme Kimball (1998), os projetos de Data Marts devem ser


inicialmente simples e úteis para que possam alcançar os objetivos
traçados de forma rápida e clara. Logo, não é aconselhável que uma
empresa invista uma quantia e tempo de seus recursos humanos em um
projeto que pode demandar meses até a sua conclusão, ou que, durante
seu processo de implantação, constate a necessidade de terminar por
gerar controvérsias e até mesmos problemas aos envolvidos.

Operational Data Store (ODS)


Um Operacional Data Store (depósitos de dados operacionais)
compreende uma forma recente de arquivamento de informações sobre
clientes.

Essa forma de base de dados costuma ser empregada como


etapa provisória para um Data Warehouse. É indicada para aplicação em
decisões em curto prazo, que envolvam aplicações de missão crítica.

Comporta-se como uma memória de curto prazo, porém registra


apenas informações recentes. Ao contrário de um Data Warehouse que
representa uma memória de longo prazo, visto que armazena informações
permanentes.
18 Business Intelligence

Um ODS tem como característica consolidar dados oriundos de


múltiplos sistemas e oferecer uma visão integrada, quase em tempo real,
dos dados. O que pode ser observado na Figura 5.
Figura 5 - Representação sistemática de um ODS

Fonte: Elaborado pela autora (2021).

- Enterprise Data Warehouse (EDW)

Um Enterprise Data Warehouse é um Data Warehouse em grande


escala, usado por toda a organização como alternativa ao embasamento
das tomadas de decisão. O formato de armazenamento de um EDW é em
larga escala, o que lhe possibilita a integração de dados de muitas fontes,
em um formato padronizado para aplicações efetivas, como o Business
Intelligence.

O Enterprise Data Warehouse é empregado no fornecimento de


dados para diferentes tipos de sistemas de apoio a decisões como: gestão
de relacionamento com o cliente (CRM), gestão de cadeia de suprimento
(SCM), gestão de desempenho de negócios (BPM) e monitoramento de
atividades comerciais (ERP) (SHARDA; DELEN; TURBAN, 2019). A Figura 6
sumariza o exposto.
Figura 6 - Representação de EDW

Fonte: Elaborado pela autora com base em Sharda; Delen e Turban (2019).
Business Intelligence 19

Metadados
Metadados são dados sobre os dados que descrevem a estrutura
e significados dos dados, contribuindo, assim, ao seu efetivo uso.
Poucas organizações compreendem de fato o que são e a relevância
dos metadados, tampouco possuem adequado conhecimento de como
projetar e implementar estratégias para empregá-los.

Atente que Metadados são dados que descrevem atributos de um


dado, isto é, a descrição de um dado, do seu ambiente, da forma como é
manipulado, e para onde é distribuído.

Os metadados podem ser classificados em técnicos ou de


negócios, podendo seu padrão também ser empregado como forma
à sua distinção. De acordo com a abordagem por padrões, dividem-se
entre sintáticos (que descrevem a sintaxe), estruturais (que descrevem a
estrutura de dados) e semânticos (que apontam o significado de dados
em domínios específicos) (SHARDA; DELEN; TURBAN, 2019).

Metadados podem ser considerados a parte mais importante de um


Data Warehouse, pois fornecem o contexto necessário à compreensão dos
dados por meio do tempo. Sendo assim, são instrumentos necessários à
transformação de dados brutos em conhecimento.

SAIBA MAIS:

Os metadados tem por característica resumir as informações


básicas sobre os dados, facilitando sua localização e sua
padronização em um banco de dados.

Em síntese, os metadados são importantes e muito utilizados em


Data Warehouses.
20 Business Intelligence

RESUMINDO:

E então? Gostou do que lhe mostramos? Aprendeu mesmo


tudinho? Agora, só para termos certeza de que você
realmente entendeu o tema de estudo deste capítulo,
vamos resumir tudo o que vimos. Você deve ter aprendido
que os dados de um Data Warehouse são organizados e
não voláteis. Eles tem como função apoiar os processos
decisórios em organizações. Também compreendeu que
os Data Marts são subconjuntos de um Data Warehouse,
que concentram sua atuação sob um assunto ou área. E,
que o EDW consiste em um Data Warehouse em grande
escala, que pode ser utilizado por toda organização de
forma a prover e auxiliar com informações à tomada de
decisão. Sendo assim, esse formato é bastante empregado
em soluções de Business Intelligence. Ao fim desse
capítulo, também compreendeu que metadados são
dados a respeito de dados, os quais são responsáveis pela
descrição da estrutura e significados dos dados.
Business Intelligence 21

Arquitetura e funções do Data Warehouse


OBJETIVO:

Ao término deste capítulo, você será capaz de entender a


arquitetura e o funcionamento do Data Warehouse. Uma
adequada arquitetura de um Data Warehouse é essencial
à qualidade das informações obtidas. Logo, compreender
sua contribuição às organizações é essencial. E, então?
Motivado para desenvolver esta competência? Vamos lá.
Avante!

A relevância da arquitetura
Compreendemos que quando falamos sobre metadados, estamos
falando de dados que falam sobre dados. Além disso, é necessário
pontuar sobre a sua relevância na estrutura de um Data Warehouse.

Recorde, também, que um Data Warehouse se caracteriza por


ser um banco de dados analítico que visa auxiliar o fluxo de dados em
sistemas de suporte à decisão. Logo, torna-se oportuno compreender sua
arquitetura e funções.

Um Data Warehouse bem projetado permite a realização de


consultas rápidas, opera dentro de altas taxas de transferência de dados,
bem como flexibiliza que seus usuários disponham dos dados conforme
suas demandas. Isto é, permite que eles organizem, disponham e
detalhem o volume de dados conforme sua necessidade de informação.

Realizando uma análise paralela, é possível observar que Data


Warehouse embasa funcionalmente ambientes de Business Intelligence
ao fornecer relatórios, painéis e demais interfaces.

Definição de arquitetura de Data Warehouse


Antes de iniciarmos nosso estudo, é importante destacar que a
arquitetura de um Data Warehouse é determinada pelas necessidades
específicas de cada organização.
22 Business Intelligence

Um Data Warehouse somente cumpre sua função de utilidade


quando é capaz de atender rapidamente a consultas avançadas, com a
disponibilidade de detalhamentos relevantes à resposta. Para isso, deve
apresentar uma arquitetura que lhe permita a coleta, a manipulação e a
apresentação de dados de forma eficiente e rápida.

Atente, então, que um Data Warehouse eficiente deve servir à


função seminal de suporte à decisão. Logo, sua funcionalidade não deve
ser limitada ao ato de descarregar ou copiar os dados de sistemas atuais
para um banco de dados maior.

REFLITA:

Assim, o estudo da arquitetura permite a compreensão


de como o Data Warehouse armazena, integra, comunica,
processa e apresenta os dados que seus usuários
empregarão em suas decisões.

A arquitetura de um Data Warehouse é composta por uma estrutura


formada pelo back-end, do repositório de dados Data Warehouse, e
do front-end (GRAY; WATSON, 1998). Tal estrutura está representada na
Figura 7, a seguir.
Figura 7 - Arquitetura simplificada de um Data Warehouse

Fonte: Gray; Watson (1998).

Na arquitetura indicada na Figura 7, observa-se que os dados


são extraídos de uma fonte, que pode ser um sistema operacional ou
uma fonte externa. Após isso, os dados são processados (consolidação,
sumarização), para posterior carregamento e armazenamento em um
Data Warehouse. Uma vez carregados e armazenados os dados no Data
Business Intelligence 23

Warehouse, seus usuários podem acessá-los via ferramentas de front-end


(aquelas que permitirão a tomada de decisão).

SAIBA MAIS:

De forma prática, o back-end consume de 60% a 75% do


tempo demandado em projetos de Data Warehouse. Isso
é devido ao processo de migração de dados, pois, após
sua extração, emprega-se um ambiente intermediário
para a sua limpeza (Data Staging ou área de estágio de
dados). Nesse ambiente, os “dados sujos” são identificados
e classificados pelos metadados para o devido preparo.
Somente após essa etapa é que ocorre a atividade de
migração dos dados no warehouse.

Cumpre destacar que a limpeza de dados não consiste em somente


atualizar um registro com “dados bons”. Envolve também decomposição e
reagrupamento de dados (KIMBALL, 1998).

Logo, estabelecendo uma relação ao estudo da função de um Data


Warehouse, os dados devem ser submetidos aos processos indicados,
de forma a se tornarem aptos a consultas pelos usuários, e sua posterior
tomada de decisão.

De acordo com estudos de Sharda, Delen e Turban (2019), pode-


se utilizar diferentes arquiteturas de sistemas informatizados para
armazenamento de dados. Tais estruturas são denominados “cliente/
servidor” ou “n-camadas” (tiers), sendo arquiteturas de duas e de três
camadas as mais comuns. As multicamadas são famosas por atenderem
a sistemas informatizados em grande escala e que demandam alto
desempenho, como os Data Warehouses.

A seguir, são descritas arquiteturas de Data Warehouse comuns e


onde podem ser encontradas. Elas são sintetizadas no Quadro 1.

• Simples: compartilhamento de um design básico, no qual


metadados (dados de resumo e dados brutos) são armazenados
em repositório central. Esse repositório é alimentado por fontes
de dados por uma via e acessado para a realização de análise,
relatório ou mineração por outra via.
24 Business Intelligence

• Simples com uma área de preparo: quando os dados devem ser


limpos e processados antes de serem inseridos no Warehouse.
Quando isso é demandado, há a adição de uma área de preparo
de dados antes que sejam inseridos no Warehouse.

• Hub and spoke: estrutura na qual há a adição de Data Marts entre o


repositório central e os usuários finais. Isso viabiliza personalização
do Data Warehouse, de forma a atender as demandas ou áreas de
atuação de cada negócio. Quando disponíveis para uso, dados são
movidos para o seu respectivo Data Mart.

• Áreas restritas: estruturas que tem áreas privadas, seguras e


protegidas. Nessas áreas, é possível a exploração rápida e informal
de novos conjuntos de dados, bem como a análise de dados sem a
necessidade de atender as métricas do Data Warehouse existente.
Quadro 1 - Arquitetura Data Warehouse

Tipo Característica

Metadados em repositório central, no qual por um lado se


Simples
alimenta o Warehouse, e por outro se acessa o Warehouse.

Simples com uma


Dados são preparados antes de serem inseridos no Warehouse.
área de preparo

Estrutura na qual há a adição de Data Marts entre o repositório


Hub and spoke
central e os usuários finais

Estrutura que permite a análise e exploração rápida e informal


Áreas restritas
de novos conjuntos de dados.

Fonte: Elaborado pela autora (2021).

Conforme Sharda, Delen e Turban (2019), uma arquitetura de Data


Warehouse apresenta as seguintes estruturas:

• Fontes de dados: origem dos dados que se encontram em


múltiplos sistemas independentes e externos. Os dados podem
provir de via on-line transaction processing (OLTP), sistemas de
planejamento de recursos empresariais (ERP), dados da web ou
Data Warehouse.
Business Intelligence 25

• Extração e transformação de dados: nessa estrutura, os dados


são extraídos e convertidos por meio de softwares comerciais
ou customizados (extract, transform, load – ETL). Então, deve-
se considerar que os dados oriundos de diversos e diferentes
sistemas podem conter redundâncias e diferenças. Por isso, a
necessidade de atribuir filtros (ELT), antes de entregá-los ao Data
Warehouse.

• Carga de dados: nessa etapa, os dados são carregados em


uma área temporária, na qual são transformados e limpos. São
alimentados no Data Warehouse e/ou em Data Marts.

• Base de dados abrangente: compreende o EDW propriamente,


empregado para apoiar todas as demandas decisórias, por
meio do fornecimento de informações organizadas, relevantes,
resumidas e detalhadas.

• Ferramentas de middleware: estruturas que possibilitam o


acesso ao Data Warehouse, via Structured Query Language (SQL),
ou ambientes de consultas administrado. Entre as aplicações de
front-end que podem ser utilizadas para a interação com dados
armazenados em repositórios Warehouse constam: mineração
de dados, on-line analytical processing (Olap), ferramentas de
extração de relatórios e de visualização de dados. Na Figura 8,
estão sintetizados os elementos de uma arquitetura de Data
Warehouse.
Figura 8 - Representação de elementos de um Data Warehouse

Fonte: Elaborado pela autora (2021).


26 Business Intelligence

Atente que a arquitetura de um Data Warehouse pode variar conforme


o tipo de assunto abordado, visto que as demandas informacionais variam
de organização para organização.

Sobre as arquiteturas de n-camadas para armazenamento de


dados, indicadas por Sharda, Delen e Turban (2019), Hoffer, Prescott e
McFadden (2007) as segmentam em três partes:

1. Data Warehouse que compreende os dados e softwares


associados.

2. Aquisição de dados (back-end), pela qual há a extração de dados


de sistemas legados e fontes externas. Também consolida e
resume os dados tratados para posterior alimentação do Data
Warehouse.

3. O software do cliente (front-end), pelo qual o usuário acessa e


analisa os dados a partir do Data Warehouse.

IMPORTANTE:

Em uma arquitetura de três camadas, os sistemas


operacionais compreendem que os dados e os softwares de
aquisição de dados constituem uma camada. Já o servidor
e o Data Warehouse representam outra camada, sendo a
terceira camada constituída pelas soluções de Business
Intelligence ou demais sistemas de análise de dados.

Nesse tipo de arquitetura, os dados provenientes do Data Warehouse


são processados e depositados em banco de dados adicional, organizado
para rápida análise e apresentação, ou são replicados em Data Marts.
Como vantagem, essa arquitetura em três camadas separa as funções do
Data Warehouse, eliminando restrições de recursos e facilitando a criação
de Data Marts (HOFFER; PRESCOTT; MCFADDEN, 2007).

No que tange arquiteturas de duas camadas, os sistemas de apoio


à tomada de decisões (DSS) são rodados na mesma plataforma que o
Data Warehouse. O que a torna mais econômica que a estrutura em três
camadas. Contudo, pode apresentar problemas de desempenho em
grandes Data Warehouses que operam com alta exigência de dados.
Business Intelligence 27

Ferramentas back-end
Data Warehouses podem empregar uma variedade de ferramentas
destinadas à extração, limpeza, carga e refresh de dados. Ferramentas
que visam a esse fim são denominadas como Back-End (KORTH, 1995).

DEFINIÇÃO:

O Back-End é a parte da arquitetura de dados na qual


ocorre o processo de conversão de dados. De forma
prática, o processo de conversão de dados pode ser
realizado via programas desenvolvidos, ou por meio do uso
de ferramentas e técnicas disponibilizadas pela indústria.

Contudo, quando são envolvidos grandes volumes de dados, há a


probabilidade de ocorrência de erros ou anomalias nos dados prestados.
Tais como: tamanho, descrição, e atribuição inconsistentes, entradas
erradas e falhas quanto a restrições de integridade. Para sintomas como
os indicados, a limpeza de dados torna-se premente.

De acordo com Korth (1995), as ferramentas Back-End e suas


principais funções são sumarizadas, a seguir:

• Limpeza de dados: o Data Warehouse possui sua aplicação


relacionada ao adequado processo de tomada de decisão. Logo,
nesse viés é importante que os dados disponibilizados estejam
corretos.

• Carga: uma vez extraídos, limpos e transformados, os dados


devem ser carregados para o Data Warehouse, a isso se denomina
“carga”. Aqui, caro estudante, destaca-se que, quando requerido,
um pré-processamento adicional pode ser realizado durante a
carga. Por exemplo, a verificação de restrições de integridade,
sumarização, agregação, entre outras demandas.

Geralmente, aplica-se o batch load para a carga realizada em lotes.


Pois, a carga do Data Warehouse opera com volumes de dados superiores
aos que os bancos de dados operacionais, habitualmente, operam.
28 Business Intelligence

• Refresh: consiste em propagar as atualizações ocorridas em


bancos de dados operacionais, para os bancos de dados do Data
Warehouse.
Figura 9 - Funções do back-end

Fonte: Elaborado pela autora (2021).

Observe na Figura 9 a relação das funções do back-end. Os dados


provenientes de fontes de dados são extraídos e carregados ao Data
Warehouse.

Ainda, no que tange o back-end, essa ferramenta possui


componentes, a saber: sistemas fontes, área de organização de dados
e servidor de apresentação Korth (1995). Eles são descritos, a seguir, por
Korth (1995):

• Sistemas fontes: sistemas que, aliados a fontes externas,


constituem a base sobre a qual atuam programas voltados ao
tratamento de dados, de forma a obter dados de interesse ao
Data Warehouse. Uma adequada identificação dos sistemas fontes
auxilia na escolha assertiva de ferramentas e serviços empregados
na criação da arquitetura.

As organizações captam informações por meio de dados


provenientes de fontes de dados, que podem fornecer informações
relevantes ao negócio, bem como aquelas relacionadas à competitividade
e às tendências. Nesse sentido, sistemas de fontes no back-end auxiliam
na liberação de tais informações que, extraídas de bancos de dados, ou
fontes de dados externas contribuem ao negócio.
Business Intelligence 29

• Área de organização dos dados: compreende o local de


construção do Data Warehouse. Nesse espaço ocorrem os
seguintes processos: extração, transformação (conversão), carga,
indexação, verificação da integridade, publicação, atualização,
consultas, auditoria, estabelecimento de métricas de segurança,
cópia de segurança e recuperação (backup e recovery).

A área de organização dos dados inclui os processos: selecionar,


editar, resumir, combinar e carregar o Data Warehouse. Ademais, também
é responsável por habilitar o acesso aos dados em bancos de dados
operacionais ou externos.

Servidor de apresentação: compreendem as plataformas nas quais


os dados do Data Warehouse encontram-se organizados e armazenados
para uso pelos usuários. Nesse componente constam: o Data Marts com
dados agregados (dados de alto nível), Data Marts com dados atômicos
(dados de com baixo nível de detalhamento), Data Warehouse BUS
(barramento do Data Warehouse) e catálogo de metadados (conjunto
de metadados). Observe na Figura 10 a relação dos componentes do
back-end. Os dados provenientes de fontes de dados são extraídos e
carregados ao Data Warehouse.
Figura 10 - Componentes do back-end

Fonte: Elaborado pela autora (2021).

Ferramentas front-end
Segundo Kimball (1998), o front-end compreende a interface
do usuário com o sistema. Constitui a forma pela qual ocorre o acesso
aos dados, localizando, entre esses dados, os usuários e a informação
buscada.
30 Business Intelligence

Front-end possui os seguintes componentes: servidor de


apresentação, ferramentas de acesso aos dados, ferramentas geradoras
de relatórios, modelos de aplicação, e sistemas após o Data Warehouse.
Tais componentes são apresentados no Quadro 2, a seguir.
Quadro 2 - Componentes front-end

Componente Característica

Plataforma de destino, na qual os dados organizados,


Servidor de
armazenados são disponibilizados para a consulta do usuário:
apresentação
ad hoc, relatórios e data mining.

Ferramentas que viabilizam consultas ad hoc e geração de


Ferramentas de
relatórios, os quais têm como função identificar e sinalizar
acesso aos dados
anomalias, padrões e tendências.

Ferramentas Ferramentas que utilizam o Data Warehouse e Data Mart como


geradoras de sua fonte primária de dados. Tais ferramentas geram relatórios
relatórios padronizados que atendem as demandas do usuário.

Conjunto de técnicas de análise que auxiliam na compreensão


Modelos de
de grandes conjuntos de dados. Um exemplo de modelo de
Aplicação
aplicação é o Data Mining.

Fonte: Elaborado pela autora com base em Kimball (1998).

RESUMINDO:

E então? Gostou do que lhe mostramos? Aprendeu mesmo


tudinho? Agora, só para termos certeza de que você
realmente entendeu o tema de estudo deste capítulo,
vamos resumir tudo o que vimos. Você deve ter aprendido
que a arquitetura de um Data Warehouse inclui elementos
para a extração de dados oriundos de múltiplas bases
de dados, e fontes externas. Esses elementos, além da
extração, realizam a limpeza, transformação e integração
desses dados, para então carregá-los no Data Warehouse.
Uma vez adicionados ao Data Warehouse ou Data Marts,
os dados são armazenados e gerenciados por um ou
mais servidores de Data Warehouse, os quais apresentam
ferramentas front-end que viabilizam o acesso e análise
dos usuários, de forma a auxiliar na interpretação do que
transcorreu e a decidir sobre suas estratégias futuras.
Business Intelligence 31

Implantando o Data Warehouse


OBJETIVO:

Ao término deste capítulo, você será capaz de identificar


as etapas de implantação do Data Warehouse em uma
organização. Conhecer e comentar sobre as fases de
desenvolvimento e implantação contribui para a qualidade
do processo de decisão. E, então? Motivado para
desenvolver esta competência? Vamos lá. Avante!

Contextualizando a relevância da
implantação de DW
Em nossos estudos, compreendemos que o processo assertivo
de tomada de decisão é imprescindível às organizações. Nesse sentido,
cada vez mais, elas demandam realizar processos de tomada de decisão
de forma rápida e precisa, com vista ao seu grau de competitividade e
rentabilidade. Para tanto, constantemente se adéquam às modificações
que ocorrem em seu ambiente. Avaliando como as informações
corretas, precisas, temporais e acessíveis impactam em suas decisões e
arquiteturas. Nesse viés, é oportuno o estudo quanto aos processos de
implantação de Data Warehouse. Vamos compreender um pouco mais
sobre o tema? Avante em seus estudos!

Desenvolvimento de um Data Warehouse


O desenvolvimento de um Data Warehouse deve observar e alinhar-
se à estratégia adotada, bem como ser conduzido de forma adequada às
características e necessidades do ambiente no qual será implementado.

Conforme estudos de Inmon (1997) e Kimball (1998), muitas são as


abordagens que podem ser consideradas no desenvolvimento de um
Data Warehouse, destacando que tal escolha deve ser orientada a partir
de três dimensões, a saber: escopo, grau de redundância de dados, tipo
de usuário. Essas dimensões são comentadas a seguir e sumarizadas na
Figura 11.
32 Business Intelligence

No que tange ao escopo de um Data Warehouse, ele pode ser


amplo ou restrito. Ou seja, pode ser amplo, ao ponto de conter todas as
informações de dada organização, bem como ser restrito, de forma a
permitir o acesso único.

IMPORTANTE:

Quanto maior for o escopo, maior será valor do Data


Warehouse em termos de criticidade, custos, foco e
dedicação à criação/manutenção. Por isso, muitas
organizações optam por iniciar com um escopo restrito a
um ambiente e, conforme os resultados obtidos, expandem
seu escopo de atuação.

A redundância de dados possui três níveis: o Data Warehouse


virtual, o Data Warehouse centralizado e o Data Warehouse distribuído.

• Data Warehouse virtual: interface que visa prover ao usuário


facilidades que auxiliem na extração direta de informações de
bancos. Tal ação não implica em redundância de dados, contudo
pode sobrecarregar o ambiente operacional do usuário.

• Data Warehouse central: compreende um único banco de dados


que contém todos os dados relacionados e comuns a determinado
contexto (área, departamento, empresa). Tem como característica
conter dados provenientes de diversos bancos operacionais, o
que implica carregamento e manutenção a intervalos regulares.

• Data Warehouse distribuído: possui componentes distribuídos ao


longo de diferentes bancos de dados. Tem um grau de redundância
elevado pela distribuição, o que implica a necessidade de
procedimentos mais complexos de carga e manutenção.

O tipo de usuário reflete as formas de uso do Data Warehouse,


uma vez que também é impactado pela escolha de alternativas de seu
ambiente de interface. Por exemplo, a existência de relatórios e consultas
pré-estruturados que facilitem as operações podem promover a satisfação
do usuário final.
Business Intelligence 33

Contudo, análises complexas (suporte à decisão) demandam maior


esforço de todo o ambiente.
Figura 11 - Desenvolvimento de Data Warehouse

Fonte: Elaborado pela autora (2021).

Em ambientes dinâmicos e em constante mudança, são melhor


atendidos por arquiteturas simples e de fácil alteração. O contrário se
observa em uma arquitetura mais complexa, que demandará reconstrução
a cada mudança.

Data Warehouse e estratégias


evolucionárias
Geralmente, Data Warehouses são projetados e carregados passo
a passo, seguindo uma abordagem evolucionária. Tal estratégia é
comumente empregada, diante dos custos de implementação integral. Sob
tal perspectiva, nessa abordagem, os recursos consumidos e os impactos
gerados ao ambiente de negócios justificam adoção de tal estratégia.

Como comentado anteriormente, muitas organizações optam por


iniciar o processo de desenvolvimento de um Data Warehouse a partir
de uma área específica, carente de informações, cujo trabalho mostra-
se relevante ao negócio. Nesse ponto, criam-se os Data Marts que
continuarão a crescer, conforme o desenvolvimento de novas informações.

Logo, podemos definir a abordagem evolucionária como uma


estratégia de implantação de um Data Warehouse, no qual o emprego de
um Data Warehouse se inicia por uma área ou ponto específico, conforme
o andamento da implantação, de modo que a resposta do usuário evolui
em sua implantação.
34 Business Intelligence

Uma alternativa à abordagem evolucionária, é a construção de um


protótipo do Data Warehouse, que será testado (experenciado) por um
grupo de usuários selecionados. Essa alternativa auxilia a observação, de
modo a evidenciar se as ferramentas fornecidas ao grupo são adequadas,
bem como avaliar a resposta dada por eles ao experimentarem amostras
de dados.

Destaca-se, dessa forma, o cumprimento do objetivo maior de


Data Warehouse, o de subsidiar processos de tomada de decisão. Desse
modo, somente quando houver a concordância quanto aos requisitos e
funcionamento do Data Warehouse, ocorrerá o carregamento de dados
dos sistemas operacionais na empresa e externos.

Considere como exemplo a imagem a seguir. Nela é possível


observar a implantação de um projeto de forma gradual, iniciando pelo
setor de comercial e com previsão de ampliação para as demais áreas de
dada organização.
Figura 12 - Abordagem evolucionária de um Data Warehouse

Fonte: Elaborado pela autora (2021).

Etapas do desenvolvimento de um Data


Warehouse
De forma prática, o desenvolvimento de um Data Warehouse pode
seguir múltiplas metodologias, pois elas variam conforme a estratégia de
negócio e da abordagem de implantação.

Contudo, muitas propostas partem da construção de um modelo


dimensional de dados, que, de forma incremental, é desenvolvido. Ou
seja, a experiência e demandas de usuários no uso do modelo contribui à
melhoria do modelo inicial.
Business Intelligence 35

Logo, caro estudante, desenvolver um Data Warehouse é uma


questão de alinhar as necessidades de usuários à realidade dos dados
disponíveis. A seguir, são apresentados aspectos de decisão, conforme
Inmon (1997) e Kimball (1998), a serem considerados durante as etapas
de um projeto:

• Quanto aos processos, a definição da identidade das tabelas de


fatos.

• Quanto à granularidade de cada tabela de fatos.

• Quanto às dimensões de cada tabela de fatos.

• Quanto aos fatos, incluindo fatos pré-calculados.

• Quanto aos atributos das dimensões.

• Quanto à forma de acompanhamento das mudanças graduais em


dimensões.

• Quanto às agregações, dimensões heterogêneas, minidimensões


e outras decisões de projeto físico.

• Quanto à duração histórica do banco.

• Quanto à extração e carga para o Data Warehouse.

SAIBA MAIS:

Segundo Inmon (1997), existem quatro objetivos-chave que


devem ser alcançados para que um Data Warehouse possa
ser considerado bem-sucedido, em seu desenvolvimento
e implantação.

• Capacidade de fornecer formas mais rápidas e melhores para


que o usuário acesse e encontre as respostas requeridas às suas
questões complexas e imprevisíveis.

• Capacidade de colocar o usuário em contado direto com dados


que de fato necessita. Para, assim, tomar decisões assertivas.

• Capacidade de permitir ao usuário tornar-se responsável pela


especificação, criação e geração de relatórios e análises de que
necessita. Isto é, conceder-lhe autonomia no processo.
36 Business Intelligence

• Ter uma manutenção apropriada e responsável pelos recursos


e operações. Tal manutenção deve ter a capacidade de
responsividade quando demandada.

Cumpre destacar que o sistema que satisfaz tais objetivos-chave é


o sistema de suporte a decisões moderno. Logo, é possível constatar que
projetos de Data Warehouse de sucesso são aqueles em que os usuários
são mais independentes e encontram-se no centro do projeto (INMON,
1997).

Implantação de um Data Warehouse


A implantação de soluções de armazenamento de dados é
uma demanda complexa para qualquer organização, uma vez que
não compreende apenas a seleção de mainframe e a subsequente
implementação de sistema. É necessário que se observe também o que
tal seleção contempla e de que forma influenciará suas interfaces de
entrada e saída.

Um Data Warehouse, como já estudado, implica inúmeros benefícios,


os quais podem ser classificados em diretos e indiretos. Podemos citar
como benefícios diretos, a partir dos estudos de Ariyachandra e Watson
(2010):

• Permitir que usuários finais realizem análises com grandes


quantidades de dados de forma rápida e clara.

• Atribuir visão consolidada dos dados corporativos.

• Obter um maior número de dados, com maior agilidade possível,


não sobrecarregando sistemas operacionais. Ou seja, permitir que
o processamento de informações empregue mais servidores e
não sistemas operacionais.

• Ser capaz de liberar parte do processamento de produção. Uma


vez que determinadas exigências (demandas) sobre o sistema
operacional são repassadas para DSS, proporcionando, assim, um
melhor desempenho ao sistema.

• Habilitar o acesso aos dados de forma simplificada e prática.


Business Intelligence 37

Já os benefícios indiretos constituem os resultados de usuários


finais empregando os benefícios diretos. Essa classe de benefícios
permite o incremento de conhecimento sobre a organização, bem como
cria uma vantagem competitiva, ao aprimorar o atendimento e elevar a
satisfação do cliente. Dessa forma, facilita a tomada de decisão e contribui
ao refinamento de processos do negócio (PARZINGER; FROLICK, 2001).

REFLITA:

Considerando os benefícios potenciais que um projeto


de Data Warehouse proporciona e os investimentos
demandados em termos de tempo e recursos financeiros, é
crucial que, ao se estruturar o projeto, isso ocorra de forma
a aumentar e potencializar suas possibilidades de sucesso.

Entre os principais aspectos para o sucesso de implantação de um


projeto de Data Warehouse constam:

• A necessidade de reconhecimento claro do objetivo do que se


busca.

• Apoio de usuários da alta gestão.

• Definição de cronogramas.

• Realização de orçamentos coerentes à realidade organizacional.

• Gestão de expectativas.

De acordo com Sharda, Delen e Turban (2019), uma adequada


estratégia para o armazenamento de dados, implica a existência de uma
planta estrutural para a adequada introdução do Data Warehouse. Além
disso, os autores também indicam a necessidade de pontuar aspectos
como visão, estrutura e cultura da organização.

Uma vez que o plano e o suporte para um Data Warehouse estejam


definidos, deve-se realizar o exame dos fornecedores de Data Warehouse.
Muitos são os fornecedores que oferecem demos de software de seus
produtos de armazenamento de dados e Business Intelligence, o que
auxilia no alinhamento entre expectativas e soluções apresentadas
(SHARDA; DELEN; TURBAN, 2019).
38 Business Intelligence

No que tange à implantação de Data Warehouses, as organizações,


ao criar os Data Warehouses empregados no suporte às decisões, podem
subsidiar suas construções, a partir de duas abordagens.

A primeira abordagem é defendida por Bill Inmon (1997), a qual o


desenvolvimento da solução ocorre de cima para baixo e ferramentas
tradicionais são adaptadas às demandas de um Data Warehouse para um
todo organizacional. É denominada abordagem EDW.

A segunda abordagem é de Ralph Kimball (1998), que propõe o


desenvolvimento de soluções de baixo para cima, também conhecida
como abordagem DM.

Identificar aspectos convergentes e divergentes desses modelos


contribui para a compreensão dos conceitos básicos de Data Warehouse.
Esses aspectos são apresentados na sequência, bem como são
sumarizadas no Quadro 3.

• Modelo de Inmon (abordagem EDW): nesse modelo, o


desenvolvimento das métricas deve ocorrer de cima para baixo,
empregando metodologias e ferramentas consolidadas tais quais
diagramas de relacionamento de entidades (entity-relationship
diagrams – ERD), bem como ajustes da abordagem espiral.

Cumpre destacar que a abordagem EDW não impossibilita a criação


de Data Marts. Logo, o EDW é mais indicado no modelo que demanda
visão consistente e abrangente da organização.

• Modelo de Kimball (abordagem DM): esse modelo emprega


a seguinte perspectiva “planeje grande, construa pequeno”. A
abordagem DM visa à implantação de Data Warehouse orientada
por temas ou departamentos.

Representa uma versão enxuta de um Data Warehouse, visto que


foca a atuação em solicitações específicas. Essa proposta de implantação
aplica modelagem dimensional de dados guiada pelas tabelas.

Kimball defende uma metodologia de desenvolvimento de baixo


para cima, o que, no caso, significa construir um Data Marts por vez.
Business Intelligence 39

Quadro 3 - Abordagens de implantação de Data Warehouse

Modelo Desenvolvimento Ferramentas Posicionamento

Diagramas de Visão consistente e


EDW Cima para baixo
relacionamento abrangente da organização

Visão restrita
DM Baixo para cima Tabelas “planeje grande, construa
pequeno”

Fonte: Elaborado pela autora com base em Sharda; Delen e Turban (2019).

Ao fim deste capítulo, destaca-se que não existe uma abordagem


ideal para todos os tipos de armazenamento de dados de uma organização.
A estratégia de armazenamento de dados adotada pode evoluir de um
simples Data Marts até um Data Warehouse complexo. Tudo dependerá
da necessidade do usuário, das exigências do negócio e do grau de
maturidade da organização em gerir seus dados.

RESUMINDO:

E então? Gostou do que lhe mostramos? Aprendeu mesmo


tudinho? Agora, só para termos certeza de que você
realmente entendeu o tema de estudo deste capítulo, vamos
resumir tudo o que vimos. Neste capítulo, compreendemos
que a implantação de uma solução de armazenamento
de dados é um projeto complexo, já que não se limita a
uma mera seleção de mainframe e implementação de
sistema. Também vimos que o desenvolvimento de um
Data Warehouse deve observar e alinhar-se à estratégia
adotada, bem como ser conduzido de forma adequada
às características e necessidades do ambiente no qual
será implementado. Logo, essa tecnologia também deve
ser orientada a partir de três dimensões, a saber: escopo,
grau de redundância de dados, tipo de usuário. Por
fim, aprendemos que a implantação pode ocorrer pela
abordagem evolucionária, EDW ou DM.
40 Business Intelligence

Roteiros de modelagem e suas aplicações


OBJETIVO:

Ao término deste capítulo, você será capaz de engendrar


e aplicar o roteiro de modelagem ao processo de
construção do Data Warehouse na organização. Logo,
compreender sua contribuição para as organizações e
geração de informações é essencial. E, então? Motivado
para desenvolver esta competência? Vamos lá. Avante!

A relevância da modelagem
Caro estudante, chegamos ao fim desta unidade. Desejo que
sua aprendizagem esteja sendo fluída e proveitosa. Em seus estudos,
compreendeu o que trata o Data Warehouse e suas especificidades, bem
como os critérios demandados em seu desenvolvimento e implantação.

Agora, vamos compreender como funciona a modelagem de Data


Warehouse ou Data Marts, bem como a forma de atender os requisitos
solicitados pelo usuário por meio da modelagem dimensional ou
multidimensional.

Nesse sentido, construir e obter respostas aos questionamentos


típicos de análise em modelos de negócios é uma realidade cotidiana
de muitas organizações. Geralmente, são requeridos a essa demanda o
emprego de dados provenientes de diferentes perspectivas.

Considere uma grande rede de armazéns logísticos que deseja


melhorar o desempenho competitivo de seu negócio. Para tanto,
necessita examinar os dados sobre capacidade e movimentação de
itens. Uma avaliação desse tipo requer uma visão histórica do volume
de itens expedidos, informações sobre seus armazéns sob múltiplas
perspectivas, por exemplo, qual a capacidade de armazém, qual o nível
de movimentação de armazém etc.
Business Intelligence 41

Uma análise da responsividade de armazém, utilizando uma ou


mais dessas perspectivas, permitiria responder questões do tipo: Qual a
quantidade média de itens expedidos mensalmente por armazém? Tendo
em mãos a resposta para essa questão, o grupo diretivo dos armazéns
poderia investir em estrutura e contratação de mão-de-obra.

A capacidade em responder a esse tipo de demanda em tempo hábil


é o que permite aos gestores formular estratégias, identificar tendências,
bem como incrementar sua habilidade em tomar decisões assertivas. O
ambiente tradicional de bancos de dados relacional certamente pode
atender a esse tipo de consulta (KIMBALL, 1998).

IMPORTANTE:

A modelagem, aqui indicada, segue a abordagem de Ralph


Kimball (1998). Contudo, destaca-se que embora seja a
mais conhecida, não é a única.

O emprego correto de técnicas de modelagem de um Data


Warehouse assegura que sua estrutura apoiará as análises de gestores
organizacionais, e, consequentemente, atenderá aos requisitos e
demandas de seus negócios. Atingir o objetivo exposto é muito relevante
em uma modelagem de Data Warehouse, por isso é fundamental
compreender a visão de negócio do usuário e fazer com que reflita em
sua base de informações.

O exposto é sumarizado na Figura 13. Observe que a modelagem


deve ser capaz de compreender o ambiente de negócio no qual a
organização se encontra para que, assim, as ferramentas e procedimentos
do ambiente de extração sejam assertivos no tratamento de dados. Dessa
maneira, as consultas realizadas pelo usuário lhe atribuirão respostas
também alinhadas ao negócio.
42 Business Intelligence

Figura 13 - Visão de negócio x modelagem

Fonte: Elaborado pela autora (2021).

Um Data Warehouse é desenvolvido e implantado de forma a suprir


demandas não limitadas às transações ou aos sistemas individuais. Logo,
deve suprir uma perspectiva integrada e completa. Uma das técnicas
empregadas para a construção de modelo de Data Warehouse que
entregue informações relevantes ao negócio é a modelagem dimensional
ou multidimensional.

Nesse contexto, quando bem definido, o modelo dimensional


revela-se uma ferramenta de relevante valor ao negócio, pois apoia
e otimiza o processo de tomada de decisão. O modelo dimensional é
composto por dois elementos: fatos e dimensões.

O elemento fato ou métrica caracteriza os indicadores relevantes


para uma área de negócios. E, o elemento dimensão caracteriza os
parâmetros pelos quais as métricas são analisadas pelo usuário (KIMBALL,
1998). A Figura 14 demonstra essa relação.
Figura 14 - Elementos de modelo dimensional

Fonte: Elaborado pela autora (2021).

Contudo, caro estudante, é importante considerar que os modelos


dimensionais nem sempre são desenvolvidos e implementados sob
bases de dados relacionais. Diante disso, no mercado, existem bancos de
dados multidimensionais que armazenam informações em um formato
diferente, denominado cubos.
Business Intelligence 43

Devido à natureza do banco de dados multidimensional em cubos,


não é possível manipular grandes volumes de dados, uma vez que,
em uma transação de análise de dados utilizando a ferramenta OLAP,
consome-se memória ou geram-se erros. Além disso, o número de
atributos dimensionais armazenados em um cubo pode impactar o tempo
de processamento dos dados requeridos.

Então, está interessado na modelagem? Saiba que o processo de


modelagem dimensional possui etapas que visam listar as necessidades
de análise e de informações do usuário. Vamos compreender um pouco
mais sobre as etapas de funcionamento da modelagem de um Data
Warehouse.

Passo 1 – Definir fatos ou métricas


Determina-se o que será verificado no Data Warehouse/Data Marts,
isto é, os fatos e as métricas. De forma prática, implica a definição do que
será medido e analisado entre as diferentes dimensões estabelecidas.

A seleção dos fatos do modelo do Data Warehouse é simples,


pois basta definir claramente a área de negócios sobre a qual o sistema
irá atuar. Atente que os fatos devem responder a questionamentos do
usuário .

Tomemos um modelo da área logística de uma organização como


exemplo. Nosso usuário pode ser um gerente logístico de uma rede de
armazéns que visa avaliar a quantidade de itens expedidos, o custo de
armazenagem de cada um deles, o valor de venda e o lucro obtido.

Esses valores são exportados dos sistemas transacionais, nos quais


estão armazenadas essas métricas. Logo, aqui destacamos a necessidade
de cuidado na definição dos processos de extração, transformação e carga
(ETL) desses valores, dos sistemas transacionais para o Data Warehouse,
pois esses serão os balizadores de decisões futuras. A Figura 15 indica
esse movimento.
44 Business Intelligence

Figura 15 - Etapa 1 da modelagem – definição de métricas

Fonte: Elaborado pela autora (2021).

Ainda, considerando o exemplo anterior, o mesmo gestor deseja


analisar, além das métricas indicadas, também os seus valores planejados.
Vamos considerar que tais valores são obtidos de um sistema de
planejamento e orçamento, habilitando a realização de um comparativo
entre o planejado e o realizado.

Nesse momento, algumas métricas podem ser calculadas durante


o processo de ETL (extração), sendo armazenadas no Data Warehouse
já determinadas, durante a consulta do usuário, pelas ferramentas OLAP.
Observe que, nessa etapa da modelagem, as métricas calculadas ou
provenientes da base transacional são tratadas da mesma forma. Figura
16 exemplifica o exposto.
Figura 16 - Etapa 1 da modelagem – ETL das métricas

Fonte: Elaborado pela autora (2021).

Entre as métricas/fatos que esse gestor pode avaliar, em sua


consulta, constam:

• valor da venda realizado.

• valor da venda previsto.

• quantidade de itens realizada.


Business Intelligence 45

• quantidade de itens prevista.

• preço médio de venda.

• custo médio.

• margem de venda.

• porcentagem de variação entre o realizado e o planejado.

Passo 2 – Determinar as dimensões


Uma vez definidas as métricas já armazenadas no Data Warehouse/
Data Marts, procede-se a determinação de suas dimensões. Nessa etapa,
questiona-se o usuário a respeito do contexto em que sua consulta
e análise ocorrerão: Como as métricas serão analisadas? Sob quais
dimensões do negócio os fatos serão avaliados?

Ainda, pontuando o exemplo da etapa 1, cada uma das métricas


indicadas precisa ser analisada ao longo do tempo. Isso implica analisar a
quantidade de itens expedidos por mês, por semana ou, até mesmo, por
dia. Desse modo, será possível ao gestor comparar períodos de vendas,
de forma a verificar a quantidade de itens expedidos no último mês em
comparação com a quantidade expedida no mesmo período, no ano
anterior.

Observe que, nessa etapa, por meio de sugestões e exemplos,


explica-se ao usuário o que se busca identificar, ao passo que ele informa
suas demandas informacionais.

Para o exemplo posto, as dimensões de negócio que podem


ser implementadas em função das demandas do usuário são:
tempo (determinação dos períodos para consulta e análise); produto
(determinação dos produtos que se relacionam com as métricas/fatos);
geografia (determinação do local no qual os itens foram expedidos). A
Figura 17 pode exemplificar esse relacionamento.
46 Business Intelligence

Figura 17 - Relacionamento métrica e dimensão

Fonte: Elaborado pela autora (2021).

Também é importante realizar a verificação da adequação de cada


métrica a todas as dimensões definidas, visto que cada conjunto de
métricas será analisado por meio do mesmo conjunto de dimensões.

Aqui, caro estudante, pode-se realizar questionamentos de forma a


validar se cada métrica pode ser analisada ao longo de cada dimensão,
por exemplo: faz sentido analisar o valor de itens expedidos por produto?
E por local? E ao longo do tempo?

Passo 3 – Estabelecer a granularidade das


informações em cada dimensão
Determinadas as dimensões de negócio, é necessário estabelecer
o nível de detalhe (ou granularidade), de forma a atribuir maior precisão
àquilo que será avaliado.

Granularidade compreende o nível de detalhe ou de resumo


contido nas unidades de dados de um Data Warehouse. Quanto maior for
o nível de detalhamento, menor será o nível de granularidade. O nível de
granularidade impacta diretamente o volume de dados armazenado no
Data Warehouse, bem como o tipo de consulta que pode ser realizada
(INMON, 1997).

Partindo do exemplo posto, podemos iniciar nossa avaliação pela


dimensão tempo, questionando ao usuário: qual o nível de detalhe
desejado nessa dimensão? Para você, faz sentido avaliar a métrica
“quantidade expedida por dia”? Isso deverá ser realizado para cada uma
das métricas definidas.
Business Intelligence 47

E, assim, ao final, será possível estabelecer a precisão requerida aos


dados armazenados no Data Warehouse. Por exemplo, se para a dimensão
tempo o nível mais preciso for dia, logo todas as métricas deverão ser
obtidas com valores por dia.

Em nosso exemplo, vamos considerar o nível de granularidade mais


baixo como sendo: dia (para a dimensão tempo), item de produto (para a
dimensão produto) e armazém (para a dimensão geografia).

Assim, nessas condições, os processos de ETL que carregam as


informações dos sistemas transacionais para o Data Warehouse devem
executá-lo no nível de maior precisão de granularidade atribuído para
cada uma das dimensões. Logo, para a métrica “quantidade de itens
realizada”, deve-se indicar a quantidade realizada para cada item de
produto em cada dia e armazém. A Figura 18 sumariza o exposto.
Figura 18 - Etapa 3 da modelagem

Fonte: Elaborado pela autora (2021).

Passo 4 – Estabelecer hierarquia de


agrupamento de informações
Com frequência, usuários analisam grupos de informações: qual
o total de lapiseiras vendidas nas lojas do estado do Paraná no último
trimestre? Essa pergunta mostra que é preciso pensar no agrupamento
das informações armazenadas no Data Warehouse (GOLFARELLI; RIZZI,
2009).

Para que tal demanda seja atendida, é necessária a definição das


possibilidades de agrupamento das informações que o usuário demanda,
especificando a hierarquia desses agrupamentos em cada uma das
dimensões de negócio.
48 Business Intelligence

Uma hierarquia que pode ser relevante em nosso exemplo


analisado, é a dimensão tempo. Atente-se ao exposto: meses podem
ser agrupados em bimestres, trimestres, semestres ou anos. Embora nos
pareça banal, é muito importante compreender do que o usuário está
precisando especificamente.

Em nosso exemplo, consideremos as seguintes hierarquias, no que


tange às seguintes dimensões:

• Dimensão tempo: dia – semana – mês – semestre – ano.

• Dimensão produto: item de produto – linha de produto – segmento.

• Dimensão geografia: armazém – cidade – estado – região.

Destaca-se que as informações de dada dimensão podem compor


uma hierarquia ou serem apenas descritivas. Em nosso exemplo, a
dimensão produto apresenta uma hierarquia composta pelos atributos
item, linha e segmento, indicando logicamente que os itens de produto
estão agrupados em linhas de produto, que por sua vez encontram-se
agrupadas em segmentos de produto. Isso se tornará muito útil durante a
análise de informações pelo usuário.

IMPORTANTE:

Podem ser incluídos outros atributos descritivos que não


componham a hierarquia estabelecida. Por exemplo, o tipo
de embalagem na qual o item foi expedido, peso e demais
itens relevantes à análise e tomada de decisão.

Ralph Kimball (1998) sugere que as tabelas de dimensões possuam


o maior número possível de atributos textuais, de forma a agregar valor
ao modelo de dados e, consequentemente, ao processo de análise
das informações. Ademais, pontua que podem existir várias hierarquias
diferentes na mesma dimensão. Nesse caso, orienta que nomes de
atributos e seus valores sejam exclusivos para cada uma delas.
Business Intelligence 49

RESUMINDO:

E então? Gostou do que lhe mostramos? Aprendeu mesmo


tudinho? Agora, só para termos certeza de que você
realmente entendeu o tema de estudo deste capítulo,
vamos resumir tudo o que vimos. Ao fim deste capítulo,
compreendemos o funcionamento da modelagem de
Data Warehouse ou Data Marts, e que é possível atender
aos requisitos solicitados pelo usuário por meio da
modelagem dimensional ou multidimensional. Além disso,
conhecemos a modelagem segundo a abordagem de
Ralph Kimball (1998). Contudo, sabemos que, embora seja
a mais conhecida, não é a única. Ao fim, podemos pontuar
que as técnicas de modelagem dimensional de um Data
Warehouse, quando utilizadas de forma correta e eficiente,
garantem que a estrutura do Data Warehouse apoiará e
administrará informações úteis e tempestivas a análises de
gestores.
50 Business Intelligence

REFERÊNCIAS
ARIYACHANDRA, T.; WATSON, H. Key Organizational Factors. In:
DataWarehouse Architecture Selection. Decision Support Systems, v. 49,
n. 2, p. 200-212, May 2010.

GOLFARELLI, M.; RIZZI, S. Data Warehouse Design: Modern


Principles and Me- thodologies. NewYork: McGraw-Hill, 2009.

GRAY, P.; WATSON, H. J. Decision Support. In: The Data Warehouse.


New Jersey: Prentice Hall. 1998.

HOFFER, J. A.; PRESCOTT, M. B.; MCFADDEN, F. R. Modern Database


Management. 8. ed. Londres: Pearson, 2007.

INMON, W. H. Como construir o Data Warehouse. Rio de Janeiro:


Editora Campus,1997.

KIMBALL, R. Data Warehouse Toolkit. São Paulo: Makron Books,


1998.

KORTH, H. F. Sistema de banco de dados. São Paulo: Editora


McGraw-Hill, 1995.

PARZINGER, M. J.; FROLICK, M. N. Creating Competitive Advantage


Through Data Warehousing. Information Strategy, v. 17, n. 4, p. 10-15, July
2001.

SHARDA, R.; DELEN, D.; TURBAN, E. Business intelligence e análise


de dados para gestão do negócio. Tradução de Ronald Saraiva de
Menezes. 4. ed. Porto Alegre: Bookman, 2019.

TUCKER, R. B. Administrando o futuro: as 10 forças de mudança


para vencer a concorrência. 2. ed. Rio de Janeiro: Record, 1997.

Você também pode gostar