Um DW (data warehouse) é um

sistema de armazenamento digital

que conecta e harmoniza grandes
volumes de dados de várias
fontes diferentes. Sua finalidade
é alimentar relatórios, funções
analíticas e business intelligence (BI)
e dar suporte às exigências
regulatórias para que as
empresas transformem seus dados
em insights e tomem decisões
inteligentes e baseadas em dados. Os
data warehouses armazenam dados
atuais e históricos em um só local e
atuam como a única fonte da verdade
de uma organização.
Os dados fluem para um data warehouse a partir de sistemas
operacionais (como ERP e CRM), bancos de dados e fontes
externas, como sistemas de parceiros, dispositivos com Internet das Coisas
(IoT), aplicativos meteorológicos e mídias sociais – geralmente em uma cadência
regular. O surgimento da computação em nuvem mudou o cenário. Nos últimos
anos, os locais de armazenamento de dados migraram da infraestrutura tradicional
on premise para vários locais, incluindo on premise, nuvem privada e nuvem
pública.

Os data warehouses modernos são projetados para gerenciar dados estruturados

e não estruturados, como vídeos, arquivos de imagem e dados de sensores.
Alguns aproveitam as funções analíticas integradas e a tecnologia de banco de
dados in-memory (que mantém o conjunto de dados na memória do computador
em vez de armazená-los em disco) para dar acesso em tempo real a dados
confiáveis e impulsionar decisões mais seguras. Sem o armazenamento de dados,
é muito difícil combinar dados de fontes heterogêneas, garantir o formato certo
para análises e obter uma visão atual e ampla dos dados ao longo do tempo.
 O que é data warehouse?

Apresentação do SAP Datasphere

O SAP Datasphere é a próxima geração do SAP Data Warehouse Cloud.

Saiba mais

Benefícios do
armazenamento de dados
Um data warehouse bem projetado é a base para o sucesso de BI ou programas
de análise. Seu principal trabalho é potencializar os relatórios, dashboards e
ferramentas analíticas que hoje são indispensáveis para os negócios. Um data
warehouse fornece as informações para suas decisões baseadas em dados e
ajuda você a fazer a chamada certa sobre tudo, desde o desenvolvimento de
novos produtos até os níveis de estoque. Há muitos benefícios em um data
warehouse. Aqui estão alguns:

 Melhor análise dos negócios: com o

armazenamento de dados, os responsáveis por
decisões têm acesso a dados de várias fontes e
não precisam mais tomar decisões com base em
informações incompletas.
 Consultas mais rápidas: os data warehouses são
criados especificamente para a rápida recuperação
e análise de dados. Com um DW, você pode
consultar rapidamente grandes volumes de dados
consolidados com pouco ou nenhum suporte de
TI.
 Melhor qualidade de dados: antes de serem
carregados no DW, os casos de depuração de
dados são criados pelo sistema e inseridos em
uma lista de trabalho para processamento
posterior, garantindo a transformação dos dados
em um formato consistente para dar suporte a
análises e decisões, com base em dados precisos
e de alta qualidade.
 Insights históricos: um data warehouse
armazena dados históricos avançados e os
responsáveis por decisões podem aprender com
tendências e desafios passados, fazer previsões e
promover a melhoria contínua dos negócios.
 Captura de tela do data warehouse mostrando a linhagem de dados.

O que um data warehouse

pode armazenar?
Quando os data warehouses se tornaram conhecidos no final da década de 80,
eles foram projetados para armazenar informações sobre pessoas, produtos e
transações. Esses dados, denominados dados estruturados, eram organizados e
formatados para facilitar o acesso. Mas logo as empresas queriam armazenar,
recuperar e analisar dados não estruturados como documentos, imagens,
vídeos, e-mails, publicações em mídias sociais e dados brutos de sensores de
máquina.

Data warehouses modernos podem acomodar dados estruturados e não

estruturados. Combinando esses tipos de dados e eliminando silos entre eles, as
empresas podem ter um quadro completo e abrangente e os insights mais
valiosos.

Alguns termos principais

Há muitos termos para decifrar no mundo do DW. Eis alguns dos mais
importantes. Explore outros termos e perguntas frequentes em nosso glossário.

Data warehouse vs. banco de dados

Bancos de dados e data warehouses são sistemas de armazenamento de dados
com finalidades diferentes. Um banco de dados armazena dados geralmente de
uma determinada área de negócio. Um data warehouse armazena dados atuais e
históricos de toda a empresa e alimenta o BI e as funções analíticas. Ele usa um
servidor de banco de dados para extrair dados dos bancos de dados de uma
organização e ter funcionalidades adicionais para modelagem de dados,
gerenciamento do ciclo de vida dos dados, integração de fontes de dados e muito
mais.

Data warehouse vs. data lake

Tanto os data warehouses quanto os data lakes são usados para armazenar Big
Data, mas são sistemas de armazenamento muito diferentes. Um data warehouse
armazena dados que foram formatados para uma finalidade específica, enquanto
o data lake armazena dados em seu estado bruto não processado, cuja finalidade
ainda não foi definida. Data warehouses e data lakes geralmente se
complementam. Por exemplo, quando os dados brutos armazenados em um data
lake são necessários para responder a uma questão de negócio, eles podem ser
extraídos, limpos, transformados e usados em um data warehouse para análise. O
volume de dados, o desempenho do banco de dados e a determinação de preços
de armazenamento desempenham um papel importante para ajudar você a
escolher a solução de armazenamento certa.
 Diagrama do data warehouse comparado com o data lake.

Data warehouse vs. data mart

Data mart é a subseção de um data warehouse, particionada especificamente para
um departamento ou linha de negócios, como vendas, marketing ou finanças.
Alguns data marts também são criados para fins operacionais independentes.
Enquanto um data warehouse serve como armazenamento de dados central para
uma empresa inteira, um data mart serve dados relevantes para um grupo seleto
de usuários. Isso simplifica o acesso aos dados, acelera a análise e dá a eles
controle sobre seus próprios dados. Vários data marts são geralmente
implementados em um data warehouse.

Diagrama de um data mart e como ele funciona.

Quais são os principais

componentes de um data
warehouse?
Um data warehouse típico tem quatro componentes principais: um banco de dados
central, ferramentas ETL (extração, transformação, carregamento), metadados e
ferramentas de acesso. Todos esses componentes são projetados para ter
velocidade, de modo que você possa obter resultados com rapidez e analisar os
dados imediatamente.

Diagrama mostrando os componentes de um data warehouse.

1. Banco de dados central: um banco de dados

serve como base para seu data warehouse.
Tradicionalmente, têm sido os bancos de dados
relacionais padrão executados on premise ou na
nuvem. Mas, devido ao Big Data, à necessidade
de um desempenho real em tempo real e a uma
redução drástica no custo de RAM, os bancos de
dados in-memory estão rapidamente ganhando
popularidade.
2. Integração de dados: os dados são extraídos dos
sistemas de origem e modificados para alinhar as
informações para um rápido consumo analítico,
usando uma variedade de abordagens de
 integração de dados, como ETL (extração,
transformação, carregamento), ELT, replicação de
dados em tempo real, processamento de carga em
massa, transformação de dados e serviços de
qualidade e enriquecimento de dados.
3. Metadados: metadados são dados sobre seus
dados. Eles especificam a fonte, o uso, os valores
e outros recursos dos conjuntos de dados no data
warehouse. Existem metadados empresariais, que
adicionam contexto aos dados, e metadados
técnicos, que descrevem como acessar os dados,
inclusive onde eles residem e como são
estruturados.
4. Ferramentas de acesso ao data warehouse: as
ferramentas de acesso permitem que os usuários
interajam com os dados no data warehouse.
Exemplos de ferramentas de acesso: ferramentas
de consulta e geração de relatórios, de
desenvolvimento de aplicativos, de mineração de
dados e ferramentas OLAP.

Arquitetura de data
warehouse
No passado, os data warehouses operavam em camadas que correspondiam ao
fluxo dos dados de negócios.

Diagrama da arquitetura de data warehouse. Um data warehouse típico inclui as

três camadas separadas acima. Os data warehouses modernos combinam OLTP e
OLAP em um único sistema.

 Camada de dados: os dados são extraídos de

suas fontes e transformados e carregados na
camada inferior usando ferramentas ETL. A
camada inferior consiste no servidor de banco de
dados, data marts e data lakes. Os metadados são
criados nessa camada, e as ferramentas de
integração de dados, como a virtualização de
dados, são usadas para combinar e agregar dados
com perfeição.
 Camada semântica: na camada intermediária, os
servidores de processamento analítico online
(OLAP) e de processamento transacional online
(OLTP) reestruturam os dados para consultas e
análises rápidas e complexas.
 Camada de análise: a camada superior é a
camada cliente de front-end. Ela contém as
 ferramentas de acesso ao data warehouse com as
quais os usuários podem interagir com os dados,
criar dashboards e relatórios, monitorar KPIs,
minerar e analisar dados, criar aplicativos e muito
mais. Essa camada em geral inclui um workbench
ou área de sandbox para exploração de dados e
desenvolvimento de novos modelos de dados.

Os data warehouses foram projetados para dar suporte ao processo decisório e

foram desenvolvidos e mantidos principalmente pelas equipes de TI, mas nos
últimos anos eles evoluíram para empoderar os usuários de negócios, dependendo
menos da TI para ter acesso aos dados e obter insights práticos. Alguns dos
principais recursos de armazenamento de dados que empoderaram os usuários de
negócios são:

1. A camada semântica ou de negócios que fornece

frases de linguagem natural e permite que todos
entendam os dados instantaneamente, definam
relacionamentos entre elementos no modelo de
dados e enriqueçam campos de dados com novas
informações de negócios.
2. Os espaços de trabalho virtuais permitem que as
equipes reúnam modelos de dados e conexões em
um só local seguro e controlado, dando suporte a
melhor colaboração com os colegas por meio de
um espaço comum e um conjunto de dados
comum.
3. A nuvem aprimorou ainda mais a tomada de
decisões empoderando globalmente os
colaboradores com um conjunto completo de
ferramentas e recursos para executar as tarefas de
análise de dados com facilidade. Eles podem
conectar novos aplicativos e fontes de dados sem
muito suporte de TI.

Primeiros passos
Experimente agora o nosso data warehouse na nuvem.

Avaliação gratuita
Sete principais benefícios de
um data warehouse na
nuvem
Os data warehouses baseados em nuvem estão crescendo em popularidade e por
um bom motivo. Esses data warehouses modernos oferecem várias vantagens em
relação às versões tradicionais on premise. Estes são os sete principais benefícios
de um data warehouse na nuvem:

1. Rápida implementação: com o armazenamento

de dados em nuvem, você pode comprar poder
computacional e armazenamento de dados quase
ilimitados com apenas alguns cliques – e criar seu
próprio data warehouse, data marts e sandboxes
de qualquer lugar, em minutos.
2. Baixo custo total de propriedade (TCO): os
modelos de preços de data warehouse como
serviço (DWaaS) são configurados para que você
pague apenas os recursos necessários, quando
precisar. Não é preciso prever necessidades de
longo prazo nem pagar por mais computação do
que o necessário ao longo do ano. Você também
pode evitar custos iniciais, como hardware caro,
salas de servidor e equipe de
manutenção. Separar os preços de
armazenamento dos preços
computacionais também é uma forma de reduzir
custos.
3. Elasticidade: com um data warehouse na nuvem,
você pode aumentar ou diminuir dinamicamente a
escala, conforme necessário. A nuvem nos oferece
um ambiente virtualizado e altamente distribuído
que pode gerenciar enormes volumes de dados de
uma forma altamente escalável.
4. Segurança e recuperação de desastres: em
muitos casos, os data warehouses na
nuvem realmente fornecem maior segurança de
dados e criptografia do que os DWs on premise .
Os dados são também duplicados e armazenados
em backup automaticamente, para minimizar o
risco de perda.
5. Tecnologias em tempo real: os data warehouses
na nuvem, baseados na tecnologia de banco de
dados in-memory, podem proporcionar
velocidades de processamento de dados
extremamente altas e fornecer dados em tempo
real para a conscientização instantânea da
situação.
6. Novas tecnologias: os data warehouses na
nuvem permitem que você integre facilmente
novas tecnologias, como Machine
Learning, que podem proporcionar experiências
guiadas aos usuários e suporte a decisões na
forma de perguntas recomendadas a serem feitas,
por exemplo.
7. Empodere os usuários de negócios: os data
warehouses na nuvem empoderam os
colaboradores de maneira igualitária e global com
uma visão única dos dados de várias fontes e um
conjunto completo de ferramentas e recursos para
executar facilmente as tarefas de análise de
dados. Eles conseguem conectar novos aplicativos
e fontes de dados sem a TI.
 O data warehousing oferece suporte a análises abrangentes das despesas da
empresa por departamento, fornecedores, região e status, para citar alguns.

Melhores práticas de data warehouse

Quando você cria um novo data warehouse ou adiciona novos aplicativos a um
data warehouse existente, há etapas comprovadas para alcançar seus objetivos e,
ao mesmo tempo, economizar tempo e dinheiro. Algumas práticas estão focadas
no uso empresarial e outras fazem parte do programa geral de TI. A lista a seguir é
um bom ponto de partida e você escolherá melhores práticas adicionais à medida
que trabalha com seus parceiros de tecnologia e serviços.
Melhores práticas de negócios
 Defina as informações necessárias. Depois de entender bem suas necessidades
iniciais, encontre as fontes de dados para atendê-las. Muitas vezes, grupos
comerciais, clientes e fornecedores terão recomendações de dados para você.
 Documente a localização, a estrutura e a qualidade dos dados atuais. Em seguida,
identifique lacunas de dados e regras de negócios para transformar os dados de
acordo com suas necessidades de data warehouse.
 Forme uma equipe. Isso inclui patrocinadores executivos, gerentes e pessoal
que vão usar e fornecer as informações. Por exemplo, identifique os relatórios
padrão e os KPIs necessários para eles realizarem seus trabalhos.
 Priorize seus aplicativos de data warehouse. Escolha um ou dois projetos-piloto
que tenham requisitos razoáveis e bom valor comercial.
 Escolha um parceiro forte em tecnologia de data warehouse. Eles devem ter
a experiência e os serviços de implementação necessários aos seus projetos.
Certifique-se de que eles atendam às suas necessidades de implementação,
incluindo opções de serviços na nuvem e on premise.
 Desenvolva um bom plano de projeto. Trabalhe com sua equipe em um plano e
cronograma realistas que ofereçam suporte a comunicações e relatórios de status.

Melhores práticas de TI
 Monitore desempenho e segurança. As informações no data warehouse são
valiosas, embora devam ser prontamente acessíveis para agregar valor à
organização. Monitore o uso do sistema com atenção para garantir níveis altos de
desempenho.
 Mantenha os padrões de qualidade de dados, metadados, estrutura e
governança. Novas fontes de dados valiosos estão ficando disponíveis
regularmente, mas precisam ser gerenciados de modo consistente como parte de
um data warehouse. Siga os procedimentos de limpeza de dados, definição de
metadados e cumprimento de padrões de governança.
 Forneça uma arquitetura ágil. À medida que aumenta o uso corporativo e da
unidade de negócios, você descobrirá uma ampla gama de necessidades de data
mart e data warehouse. Uma plataforma flexível dará um suporte muito melhor do
que um produto limitado e restritivo.
 Automatize processos, por exemplo, manutenção. Além de agregar valor a
Business Intelligence, o Machine Learning pode automatizar as funções de gestão
técnica do data warehouse para manter a velocidade e reduzir os custos
operacionais.
 Use a nuvem de modo estratégico. As unidades de negócio e os departamentos
têm necessidades de implementação diferentes. Use sistemas on premise quando
necessário e aproveite os data warehouses na nuvem para ter escalabilidade,
custo reduzido e acesso por telefone e tablet.

Em suma
Os data warehouses modernos e, cada vez mais, os data warehouses na nuvem,
serão parte fundamental de qualquer iniciativa de transformação digital para as
matrizes e suas unidades de negócios. Eles aproveitam os sistemas empresariais
atuais, principalmente quando você combina dados de vários sistemas internos
com novas informações importantes de organizações externas.

Dashboards, KPIs, alertas e relatórios dão suporte às necessidades de executivos,

gerentes e equipes, bem como às importantes necessidades de clientes e
fornecedores. Os data warehouses também fornecem funções analíticas e data
mining rápidos e complexos e não interferem no desempenho de outros sistemas
empresariais.

Dada a flexibilidade de começar com o básico e expandir conforme necessário,

tanto os escritórios corporativos como as unidades de negócios podem melhorar a
tomada de decisões e o desempenho do resultado com a moderna tecnologia de
data warehouse.