Integração de dados

desafios e oportunidades

White paper
novembro de 2022

Governança de dados

Data warehousing
e business intelligence

Machine learning

Base de data lakehouse

aberta e governada

Data Lake Storage

Integração de dados

Fonte de dados híbrida

e multinuvem
 Integração de dados 2

Sumário

Introdução

Desafios da integração de dados

A visão da Microsoft para a integração de dados

Integração de dados abrangente e econômica

Serviços da Microsoft para integração de dados

Caso de sucesso 1: A integração de dados impulsiona a transformação digital

Caso de sucesso 2: A unificação de fontes de dados fragmentadas com

a arquitetura de integração

Introdução

Zettabytes de dados pedem
uma grande integração de dados
Gerenciar o volume pesado e a variedade de dados
é uma grande luta para as organizações hoje. Essa luta
é intensificada por outras variáveis – como velocidade
de dados, localização e estrutura. Além disso, para
manter a competitividade, as organizações precisam
rapidamente limpar e processar esses dados para
prepará-lo para Business Intelligence (BI), inteligência
artificial (IA) e Machine Learning (ML). A necessidade
de unificar e preparar esses dados para análise
tem impulsionado muitas organizações a investir
em plataformas e recursos de integração de dados.
A necessidade de integração de dados está em resposta
à mudança para a era preditiva e uma enorme explosão
de dados. Na última década, a criação de dados
aumentou tremendamente. À medida que os
consumidores e as empresas aceleram o quanto
criam, consomem e compartilham dados, o potencial
de crescimento é exponencial.
Figura 1: Desafios de integração de dados
Integração de dados 3
Desafios da integração de dados
É um desafio para as organizações coletar, processar
e analisar esse volume de dados em constante expansão.
Somando-se a isso, os dados são altamente distribuídos
(ou seja, em locais físicos diferentes), diversificados
e muitas vezes em constante mudança. Além disso,
as tecnologias e as habilidades necessárias para extrair
valor dos dados são variadas. Isso atrapalha o processo
de tornar os dados utilizáveis para analistas de negócios,
cientistas de dados e engenheiros de dados.
Para as equipes de dados centrais, o principal desafio
é dividir os silos de dados entre departamentos
e regiões geográficas.

Eles também precisam desenvolver uma fonte unificada
e confiável, como um data lake ou um depósito para
armazenar tudo. A partir daí, os engenheiros de dados
podem extrair, transformar e carregar (ETL, extract,
transform, and load) dados para prepará-los para análise.
Esse processo ETL é complexo, especialmente quando
ele captura as alterações mais recentes de dados.
Ele também adiciona um atraso de tempo, fazendo
as organizações perderem a análise em tempo real.
Os analistas de negócios têm um desafio diferente.
Eles precisam encontrar conjuntos de dados
disponíveis e prepará-los para análise. Com os dados
em silos em uma organização, pode ser difícil descobrir
os dados certos. Muitas vezes, diferentes departamentos
podem produzir o mesmo relatório, mas com versões
diferentes dos números. A organização como um todo
não tem uma única fonte de verdade para o BI.
A visão da Microsoft para
a integração de dados
Por meio do Microsoft Intelligent Data Platform,
as organizações têm uma maneira de integrar e unificar
seus dados, concluir suas estratégias de análise de ponta
a ponta e promover melhores resultados de negócios.
Figura 2: A integração de dados é fundamental para sua solução de análise
Integração de dados 4
O Microsoft Intelligent Data Platform ajuda você a
gastar menos tempo gerenciando dados e mais tempo
criando valor para sua organização. Ele permite que você
se adapte rapidamente, adicione camadas de inteligência
a aplicações, gere insights preditivos e gerencie todos
os seus dados – onde quer que eles residam.
É fácil gerar insights sobre os quais você poderá agir
quando as fontes de dados forem unificadas. As ferramentas
de integração de dados da Microsoft reúnem tudo isso,
sejam dados transacionais em seu sistema de CRM
(Gerenciamento de Relacionamento com o Cliente), dados
operacionais em seu banco de dados SQL ou até mesmo
dados de colaboração de suas aplicações do Microsoft 365.
Os serviços de integração de dados críticos estabelecem
a base para seu ecossistema de dados e análises. Esses
serviços trabalham juntos para consolidar e preparar
dados para análise em um ambiente central e seguro.
Uma camada de governança mapeia seu cenário
de dados e rastreia pipelines de integração de dados,
proporcionando uma melhor visibilidade de ponta a ponta.
Os serviços de IA e Machine Learning (ML) desbloqueiam
novos insights que fluem de volta para os sistemas
operacionais e habilitam aplicações inteligentes. Por fim,
as visualizações intuitivas ilustram esses insights, dando
vida aos seus dados e capacitando seus líderes a tomar
decisões impactantes e transformadoras de negócios.

"A migração do Azure Synapse pavimentou novos
caminhos de inovação, entregando análises
incomparáveis em uma plataforma unificada.
A integração da estrutura analítica de ponta
a ponta com o Power BI e um enterprise data
lake acelerou ainda mais o tempo de insight."
—Anirudh Kala, CEO e cofundador, Celebal
Technologies | história completa
Integração de dados abrangente
e econômica
Recentemente, a Microsoft foi indicada como Líder
no Quadrante Mágico™ da Gartner® de 2022 para
Ferramentas de Integração de Dados1. Acreditamos que
esse reconhecimento mostra nosso crescimento contínuo
e nosso compromisso com a entrega de soluções
de integração de dados de ponta a ponta e econômica.
Unir seus dados por meio de serviços da Microsoft
oferece os seguintes benefícios:
Conectividade: reúna todas as suas fontes de dados
– estejam elas na nuvem ou na infraestrutura local,
armazenadas em sistemas da Microsoft ou não.
Em seguida, use ferramentas de integração de dados
para simplificar a preparação de dados para análise.
Redução de tempo para insights: evite dados obsoletos
com um sistema que executa pipelines de dados confiáveis
e está sempre atualizado. Dessa forma, você pode ter certeza
de que está trabalhando com os insights mais recentes,
e toda a sua organização funciona com a versão mais atual.
Figura 3: Benefícios da integração de dados com a Microsoft
Integração de dados 5
Acesso a dados democratizado: ajude toda a sua
equipe, de engenheiros de dados a analistas de negócios,
a encontrar e usar os dados de que precisam. Os
serviços da Microsoft oferecem suporte a uma gama
de habilidades e funções, de especialistas técnicos a
usuários finais cidadãos, você pode escrever suas próprias
consultas ou criar pipelines sem código. As integrações
de dados com pouco ou nenhum código para análise,
IA e ML aceleram o processo para mapear fluxos
de dados e atrair novas fontes de dados.
Abertos e controlados: garanta que seus dados
permaneçam valiosos, acessíveis e confiáveis com a
governança unificada que possibilita mapear seu cenário
de dados. Um sistema aberto e governado permite que
você acompanhe seus pipelines de integração e entenda
e rastreie facilmente sua linhagem de dados.
Alinhamento em um ecossistema de nuvem: aproveite
os serviços corporativos no Microsoft Cloud, como o espaço
de trabalho do Synapse Analytics, IA, ML e muito mais.
A integração com os principais serviços do Azure e do
Dynamics 365 permite escalar seus recursos de integração
de dados e simplificar a conformidade. Ferramentas como
Microsoft Cost Management proporcionam a capacidade
de monitorar, alocar e otimizar os custos de nuvem com
transparência, precisão e eficiência.
Suporte de parceiros ISV: explore o conjunto variado
de parceiros independentes de fornecedores de software
(ISV) que se concentram em dados, parte da base aberta
e controlada do Microsoft Intelligent Data Platform.
Vários parceiros de integração de dados integraram
profundamente suas soluções para oferecer uma
experiência perfeita do Azure.

Serviços confiáveis e seguros: proteja seus dados
com várias camadas de segurança no Azure. A integração
de dados com a Microsoft significa que seus repositórios
de dados, pipelines e armazéns estão em um ambiente
seguro. Você também obtém controles e serviços
internos em identidades, dados, redes e aplicativos.
Serviços da Microsoft para
integração de dados
Uma base de integração de dados eficaz começa com
ferramentas que oferecem recursos abrangentes. Os serviços
da Microsoft ajudam você a estabelecer as bases com
pipelines de dados confiáveis. Você pode escolher entre mais
de 200 conectores para mover facilmente os dados e ignorar
longos processos ETL. Com uma propriedade de dados central
e atualizada, você pode trazer as camadas adicionais de
inteligência para suas aplicações para permitir a aprendizagem
de modelo em tempo real. Isso significa que os insights
principais fluem suavemente de volta para seus sistemas
operacionais para ajudá-lo a melhorar seu ritmo de trabalho.
Ferramentas analíticas
Os serviços como o Azure Synapse Analytics, o Azure
Data Factory e o Azure Synapse Link funcionam juntos
para combinar seus dados e prepará-los para análise
em um ambiente central e seguro. A migração simplificada
de dados, o ETL com pouco ou nenhum código, os fluxos
de trabalho de negócios corporativos e o gerenciamento
de metadados revelam casos de uso em toda a organização.
O Azure Synapse Analytics é um serviço de análise
unificado que reúne integração de dados, data warehouse
corporativo e análise de big data.
Ele oferece a liberdade de consultar dados do seu jeito,
usando opções sem servidor ou dedicadas em grande
escala. O Azure Synapse fornece uma única experiência
para ingerir, explorar, preparar, transformar, gerenciar
e servir dados para necessidades imediatas de BI e ML.
Integração de dados 6
O Azure Data Factory é um serviço de nuvem gerenciado
criado para a ingestão, transformação e orquestração
de dados em grande escala. Use o Azure Data Factory para:
• Engenharia de dados: crie, gerencie
e operacionalize os pipelines de ingestão
e transformação de dados.
• Migração de dados e nuvem: migre dados
da infraestrutura local ou de outra nuvem.
• Integração de dados operacionais: suporte
a processos de negócios críticos e/ou contínuos
com integração e sincronização de dados contínuas.
O Azure Data Factory Studio fornece aos seus engenheiros
de dados um ambiente familiar para criar seus pipelines
de integração de dados e fluxos de dados. Isso dá às suas
equipes mais recursos de controle e orquestração diretos
e permite tarefas de integração de dados pesadas para
grandes quantidades de dados. Centenas de conectores
permitem que a conectividade de origem específica
ofereça suporte à sua propriedade de dados de ponta
a ponta, não importa onde seus dados estejam.
O Azure Data Factory também se integra ao Azure DevOps
para habilitar o controle de origem, o gerenciamento
de versão e o CI/CD. Com o controle de origem, seus
desenvolvedores podem colaborar, rastrear e salvar suas
alterações em uma ramificação de sua escolha.
FIGURA 4A: O AZURE DATA FACTORY CONECTA SEUS DADOS A RECURSOS
DE ANÁLISE E BUSINESS INTELLIGENCE, INCLUINDO VISUALIZAÇÕES
 Integração de dados 7

O Azure Synapse Link é um serviço que remove

o Proce
ent e sso as barreiras entre repositórios de dados da Microsoft
amlient d e o Azure Synapse Analytics. Ele move automaticamente
c
o n
io

e
dados de bancos de dados operacionais e aplicações
ac

ne
com
Rel

gó
de negócios sem longos processos ETL. Isso oferece

cios
Dados de M365 análises quase em tempo real e uma visão completa
+ da sua empresa, permitindo que os analistas de negócios
Azure Synapse obtenham mais valor de seus dados. O Synapse Link
Proas p

e
se destaca porque não afeta o sistema operacional/
d

rm n ç a
ad
d u es

vi
id
gu transacional, replica dados de lojas operacionais em
ra
so d a d
ti

as e S e nfo
o sinapse quase em tempo real e fornece ETL automático.
ec

FIGURA 4B: CENÁRIOS HABILITADOS POR MEIO DA
INTEGRAÇÃO DE DADOS DO M365 AO AZURE SYNAPSE
O Microsoft Graph Data Connect usa os dados
do Microsoft 365 que você já tem, com IDs de usuário
ofuscados para proteger a privacidade dos seus funcionários,
para mostrar como suas equipes se comunicam e colaboram.
O Microsoft Graph Data Connect é um serviço de dados
seguro e escalonável que copia rapidamente os conjuntos
de dados relevantes Microsoft 365 em seu locatário do Azure
para análises e insights avançados.
Já conectado a muitos repositórios de dados
da Microsoft, como o Azure Cosmos DB e o Banco
de Dados SQL do Azure, o Azure Synapse Link
se conectará a muitos outros no futuro. Estas
conexões alcançaram a disponibilidade geral (GA):
• Dataverse
• Azure Cosmos DB
• SQL Server 2022

• Banco de Dados SQL do Azure

Com o Data Connect, você pode economizar tempo,
reduzir custos e tomar decisões importantes com dados
do Microsoft 365. Ele pode ajudar você a revelar insights
de relacionamentos com clientes, processos de negócios,
produtividade de pessoas e segurança e conformidade.

FIGURA 4C: O AZURE SYNAPSE LINK PERMITE INSIGHTS QUASE EM TEMPO REAL DE VÁRIAS FONTES DE DADOS

O Microsoft Purview fornece uma solução unificada
de governança de dados para ajudar a gerenciar
e controlar seus dados de software como serviço
(SaaS), multinuvem e na infraestrutura local. Crie com
facilidade um mapa completo e atualizado do seu
cenário de dados com descoberta automatizada
de dados, classificação de dados confidenciais
e linhagem de dados de ponta a ponta. Ao governar
pipelines de integração de dados, o Microsoft Purview
fornece insights sobre a linhagem de dados para
melhorar a análise e a rastreabilidade da causa raiz.
Business intelligence
Todas as suas equipes de dados, sejam elas profundamente
técnicas ou não, podem descobrir e visualizar dados
de toda a sua organização. A democratização de dados
significa que seus administradores de dados podem
selecionar e compartilhar os dados de que suas equipes
precisam, e essas equipes podem facilmente descobrir
tendências por meio de modelagem de IA/ML, apresentar
os insights e, em seguida, agir de acordo com esses insights.
O Power BI é uma plataforma unificada e escalonável
para o self-service e o bi corporativo que permite
conectar e Visualizar dados.
O Power Query é um mecanismo de transformação
e preparação de dados com uma experiência de usuário
simplificada. Ele tem conectores para centenas de fontes
de dados, permitindo que você gerencie seus próprios
dados. Ele também oferece acesso pronto para empresas,
híbridos e na infraestrutura local.
O Power Query permite que os analistas de negócios
gerenciem tarefas de preparação de dados por conta própria
para workloads no Power Platform, Dynamics 365 e Microsoft
Exchange. Isso traz experiências simples de integração
de dados a ferramentas familiares, como o Excel, o Power
BI, o Power Apps e o Power Automate, para que suas equipes
possam fazer mais com os dados em que já estão usando.
Integração de dados 8
Os Power BI Dataflows são uma tecnologia de preparação
de dados baseada em nuvem e de self-service. Os fluxos
de dados podem ser usados para facilmente ingerir, purificar,
transformar, integrar, enriquecer e planejar dados de uma
grande variedade de fontes transacionais e observacionais,
abrangendo toda a lógica de preparação de dados.
Caso de sucesso 1: A
integração de dados impulsiona
a transformação digital
O verdadeiro benefício da integração de dados
é quando isso resulta em melhores resultados
de negócios. Para a Asahi Kasei, a integração de dados
com as ferramentas da Microsoft revelou novos casos
de uso além do departamento de TI e unificou 1.200
sistemas de dados. Vamos ver em detalhes.
A Asahi Kasei usou a nova infraestrutura
de gerenciamento de dados criada no Azure
Data Factory e no Microsoft Purview
O Asahi Kasei Group cria uma ampla variedade de produtos,
desde separadores de bateria e têxteis biodegradáveis até
plásticos de engenharia e soluções de som. A integração
de dados é essencial para que diferentes grupos de negócios
compartilhem informações vitais em toda a empresa.
À medida que a equipe de transformação digital trabalhou
para criar seu serviço de infraestrutura de gerenciamento
de dados, enfrentou três grandes desafios.
• O primeiro foi com os silos de informações. Os
dados estavam espalhados por diferentes sistemas.
Isso significava que apenas departamentos ou
equipes individuais podiam usar seus dados.
• O segundo foi co o custo e o prazo de entrega.
O processo de vinculação de dados em diferentes
sistemas ocorreu de forma independente. Isso
atrasou o uso de dados e investimentos maiores.
• O terceiro desafio foi com o operacional. À medida
que a vinculação entre os sistemas se tornava mais
complexa, a empresa tinha que lidar com uma
carga maior de operações, manutenção e custo.

Uma plataforma de dados aberta e governada
Junko Okubo, gerente do Grupo de Estratégia e
Planejamento, notou os benefícios de saber onde todos
os seus dados estavam localizados em uma plataforma
aberta e governada. "Ao usar o Azure Data Factory
e o Microsoft Purview, você pode integrar os dados
dispersos no hub de dados e reduzir o prazo de entrega
para a integração de dados. Ele também permite que
você promova a utilização de dados em toda a empresa,
garantindo a governança de dados eficaz. Quando você
integra dados em um local específico, será necessário seguir
o padrão mais rigoroso para gerenciar dados, e é isso que
queríamos evitar. Queríamos alcançar uma configuração
em que cada funcionário "soubesse onde os dados estão
localizados" enquanto gerenciasse os dados no lugar em
que eles deveriam estar. Os dados podem ser localizados
usando o catálogo e recuperados conforme necessário."
"A estratégia corporativa agora pode apreender
dados de gerenciamento usando o painel de
gerenciamento, que foi criado como parte dos
projetos de utilização. Além disso, além do
painel de gerenciamento, você poderá acessar
a tela do Microsoft Purview para obter detalhes
quando precisar verificar a fonte de dados no
Data Factory do qual os dados foram originados.
Essa capacidade de rastrear informações
específicas de volta para sua fonte de dados
é surpreendente de certa forma. Essa
configuração é algo que os maníacos por dados
achariam irresistível. Na verdade, ele ganhou
uma reputação como sendo fácil de ler e fácil
de usar, especialmente entre as pessoas de
gerenciamento de promoções do DX."
—Junko Okubo, gerente do Grupo de Estratégia
e Planejamento, gerenciamento de TI corporativo,
cocriação de valor digital, Asahi Kasei Corporation
| história completa
Integração de dados 9
Caso de sucesso 2: A unificação
de fontes de dados fragmentadas
com a arquitetura de integração
Para melhorar os insights, às vezes você precisa começar
no início. Isso é exatamente o que a Atea Suécia fez.
Eles conectaram fontes de dados para criar um modelo
de recomendação de produto robusto.
Com o Customer Insights e os painéis do Power
BI, a Atea pode ver o número total de clientes, suas
funções na organização de compra, as principais
categorias de produtos e as transações totais.
A Atea é o principal provedor de infraestrutura de TI e
serviços relacionados a organizações nas regiões nórdica
e báltica. A competência da Atea e a posição de liderança
no mercado da infraestrutura de TI ajudaram a empresa
a crescer mais rápido do que o mercado.
A Atea queria transformar a experiência de compra em
sua loja eShop de business-to-business (B2B). Em vez de
um engajamento de base ampla, ele queria usar mensagens
oportunas e direcionadas para criar a fidelidade do cliente.
A Atea trabalhou na unificação de fontes de dados. Ele criou
uma arquitetura de integração que usou o Power Query para
ajudar a costurar os silos de dados, como a integração de
dados transacionais com o Dynamics 365 Customer Insights
para suas transações de pedidos. Também usou o Power
Query para tirar dados do modelo de recomendação de
produtos ML e conectá-los ao Customer Insights.
 Integração de dados 10

Conexão de dados para uma visão holística do cliente

"A unificação de várias fontes de
Agora, pela primeira vez, a Atea tem uma visão completa dados espalhadas por diferentes locais
de seus clientes da eShop. Com o Customer Insights internamente é muito simples e eficiente
e os painéis do Power BI, a Atea pode ver o número total de e permite que a equipe de análise da Atea
clientes, suas funções na organização de compra, as principais crie segmentos e dispare comunicações
categorias de produtos e as transações totais. A estratégia personalizadas em tempo real".
de comunicação de comércio eletrônico da Atea agora
repousa sobre uma base com dados transparentes e confiáveis —Robert Chung, diretor de Análise, Comércio
que podem ser facilmente classificados. "Trazer o Customer eletrônico, Atea Suécia | história completa
Insights para o nosso marketing por email nos ajuda a criar
melhores relacionamentos com os clientes, oferecendo
conteúdo que reconheça seus interesses e preferências. Com
uma visão unificada dos dados do cliente, podemos fornecer
comunicações refinadas que impulsionam a próxima melhor
ação na jornada de um cliente", diz Chung.

Comece a usar a integração de dados da Microsoft hoje mesmo

Conecte-se a um especialista de vendas do Azure para saber mais sobre a integração de dados da Microsoft e para
obter detalhes sobre preços, práticas recomendadas de análise, configuração de uma prova de conceito e muito mais.
Ou experimente uma das seguintes opções:

• Crie na nuvem com uma conta gratuita do Azure

• Faça o download do e-book gratuito sobre o Azure Synapse Analytics

• Crie seu primeiro Banco de Dados SQL do Azure

1
Gartner, Quadrante Mágico para Ferramentas de Integração de Dados, 17 de agosto de 2022, Ehtisham Zaidi, Robert Thanaraj, Sharat
Menon e Nina Showell. Este gráfico foi publicado pela Gartner, Inc. como parte de um documento de pesquisa maior e deve ser
avaliado no contexto do documento inteiro. O documento do Gartner está disponível mediante solicitação à Microsoft. GARTNER
e Quadrante Mágico são marcas registradas e marca de serviço da Gartner, Inc. e/ou de suas afiliadas nos Estados Unidos e no exterior,
e são usadas aqui mediante permissão. Todos os direitos reservados. A Gartner não endossa nenhum fornecedor, produto nem serviço
descrito em suas publicações de pesquisa e não recomenda que os usuários de tecnologia escolham somente os fornecedores com
as melhores classificações ou qualquer outra indicação. As publicações de pesquisa do Gartner englobam opiniões da organização de
pesquisa do Gartner e não devem ser interpretadas como atestados. A Gartner não oferece garantias, expressas ou implícitas, referentes
a esta pesquisa, incluindo garantias de comercialização ou adequação a finalidades específicas.

© 2022 Microsoft Corporation. Todos os direitos reservados.

Este documento é fornecido "no estado em que se encontra". As informações e as opiniões expressas aqui, incluindo URLs e outras
referências a sites da Internet, podem ser alteradas sem aviso prévio. Você assume o risco de utilização.

Este documento não oferece a você direitos legais sobre a propriedade intelectual de nenhum produto da Microsoft. Você pode copiar
e usar este documento para referência interna.