Apostila - Desafios Na Gestão de Big Data - Dataficação e Impulsionadores de Dados

PROFESSOR(A): ANDERSON NASCIMENTO
Big Data
Desafios na Gestão de Big Data: Datificação e

Impulsionadores de Dados
Objetivo da Aula
Abordar a gestão de projetos de Big Data, incluindo desafios e conceitos importantes,

como a datificação e os impulsionadores de dados.
Apresentação
O objetivo desta aula é apresentar os desafios da gestão de Big Data, assim como explicar
importantes conceitos, como datificação e impulsionadores de dados.
A datificação é o processo de gerar informações, a partir dos dados, tendo como objetivo
armazenar, processar e analisar esses dados para que sejam utilizados de maneira eficiente.
Os impulsionadores são os mecanismos de onde são coletados esses dados, podendo
ser sistemas, aplicativos, sensores e robôs, e têm o objetivo de gerar e armazenar qualquer
dado que seja relevante para o negócio.
Após esta aula, você conhecerá um pouco mais sobre o processo de captura e gestão
dos dados.
Vamos nessa!
1. Gestão de Big Data
Dada toda a complexidade de lidar com dados e formatos heterogêneos, assim como
de tratar de todas as características marcantes do Big Data, o processo da sua gestão,
consequentemente, é um dos grandes desafios enfrentados pelos profissionais que cuidam
da gestão de todo o ecossistema.
Um dos pontos que deve ser discutido e que é amplamente significativo é encontrar
uma forma eficiente de coletar, armazenar, processar e analisar essas informações em
larga escala, principalmente dados o avanço da tecnologia e o crescimento cada vez mais
acelerado da quantidade de dados que é gerada a cada minuto.
Livro Eletrônico
faculdade.grancursosonline.com.br 1 de 9
Professor(a): Anderson Nascimento
Como citado no início do texto, o desafio da variedade (um dos 5 Vs) é outro ponto de
atenção, pois os dados, normalmente, vêm de diversas fontes e formatos diferentes, o que
implica a necessidade do uso de ferramentas e tecnologias que garantam, de alguma forma,
uma organização e compatibilidade, para que os dados possam ser analisados em conjunto.
E como armazenamos tudo isso? O crescimento exponencial do volume de dados tem
o seu preço, que é o do armazenamento. O ambiente que servirá de repositório para esses
dados precisa ser altamente escalável, eficiente e, principalmente, gerenciável.
Não adianta, para uma corporação, possuir toneladas de dados se não consegue gerenciar
e produzir inteligência com eles. Há uma piada que gosto muito quando falamos de Big
Data, mais especificamente de Data Lake:
“O problema do Data Lake (lago de dados) é ele acabar se tornando um Data Swamp
(pântano de dados)”.
Figura 1: Data Swamp x Data Lake
• Metadados
• Informação em linhas e colunas
• Ausênscia ou poucos metadados • Ferramentas que facilitam a
• Sem governança de dados manipulação
• Ausência de processos de ingestão • Dados com contexto

• Possui dataset para rodas consultas
• Possui diretórios e subsiretórios
Fonte: Adaptada de DataVail. Disponível em: <https://www.datavail.com/resources/data-lakes/>. Acesso em: 20 set.
2023.
O conteúdo deste livro eletrônico é licenciado para JHEFFERSON - 01038556104, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação ou
distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.
O Data Lake pode ser encarado como uma estrutura que armazena os dados de um Big
Data. A piada quer dizer que um lago malcuidado pode virar um pântano, o que, tecnicamente,
significa algo bastante ruim.
Outro ponto-chave na gestão de um Big Data é a questão da velocidade (mais um V) de
processamento, que também é afetada na proporção do crescimento da quantidade de dados
que a estrutura carrega. O timing do processamento deve ser algo aceitável, ou seja, deve
ser rápido e eficiente, utilizando tecnologias como computação em nuvem e processamento
distribuído, que permitem o processamento paralelo de dados em diferentes servidores.
A qualidade dos dados é outro ponto desafiador na gestão de um Big Data. Após sofrer
sucessivas transformações e carregamentos, os dados correm o risco de estarem incompletos,
inconsistentes e imprecisos. Assim, é necessária a implementação de mecanismos e
ferramentas que vão ajudar a garantir a confiabilidade dos dados, para que o processo de
tomada de decisão não seja prejudicado.
Dentro de todo esse contexto e correndo por fora, está a privacidade e a segurança dos
dados, principalmente nos dias de hoje, por conta das leis de proteção aos dados, como a
GPDR europeia e a LGPD brasileira.
Saiba mais em: LGPD E GDPR: Saiba o que significam e as diferenças.

Disponível em: https://whom.com.br/blog/lgpd-e-gdpr/ (acesso em 19 jun. 2023.)
Para estar dentro do que a legislação estabelece, as empresas precisam adotar medidas
rigorosas para proteger esses dados contra as ameaças cibernéticas e todo o tipo de
vazamento – algo que pode colocar a imagem da organização em xeque, fora o pagamento
de multas altíssimas.
Dados todos os pontos sobre a gestão de dados, a verdade é que todo esse esforço
só vale a pena se o resultado disso permitir às corporações a extração de dados úteis e
significativos para a tomada de decisão. Nem sempre será tarefa fácil identificar os padrões
e as tendências relevantes que possam impulsionar a inovação e o crescimento dos negócios.
A análise de Big Data requer as habilidades especializadas e o uso de técnicas avançadas,
como mineração de dados, aprendizado de máquina e inteligência artificial.
Por fim, a gestão de Big Data apresenta uma série de desafios, desde a coleta e o
armazenamento até a análise e a aplicação dos insights. As empresas que conseguem
superar esses desafios e aproveitar o potencial dos seus dados têm uma vantagem
competitiva significativa, podendo tomar decisões mais assertivas e impulsionar o sucesso
dos seus negócios.
2. Datificação de Dados
Quando abordamos os desafios da gestão de um Big Data, não podemos deixar de falar
sobre o processo de datificação de dados. Esse conceito diz respeito a como os processos
de dados têm sido abordados dentro das corporações que possuem os seus processos
orientados a dados.
Vale citar que a datificação tem como fonte os seres humanos, os animais e a natureza
ou, até mesmo, as máquinas, os objetos, os processos e as atividades em geral. Depois de
coletados os dados, as organizações podem rastreá-los, monitorá-los e otimizá-los, de
modo a oferecer novas formas de valor para o próprio negócio e para a sociedade de uma
maneira geral.
Em termos técnicos, podemos dizer que a datificação de dados é o processo de
transformar informações em formato digital por meio da coleta, da estruturação e do
armazenamento sistemático, permitindo a análise e aplicação de algoritmos e de técnicas
computacionais para obter insights, padrões e conhecimentos úteis, visando à tomada de
decisões informada e ao aprimoramento de processos em diversos setores e atividades.
Esse termo surgiu com o aumento exponencial da quantidade de dados gerada e
coletada no cotidiano corporativo, que é impulsionado pelo avanço da tecnologia digital e
da conectividade.
A datificação dos dados vai exigir, previamente, um processo estruturado para coleta,
organização e estruturação dos dados em bancos de dados ou em sistemas de armazenamento
em nuvem. Na fase posterior são aplicadas técnicas de análise de dados, como mineração
de dados, aprendizado de máquina e inteligência artificial, para extrair padrões, tendências
e insights valiosos dos dados.
A datificação de dados tem sido aplicada em diversas áreas, como saúde, finanças,
varejo, manufatura, transporte, marketing, governo, entre outras. Ela possibilita a tomada
de decisões mais informada e embasada em evidências, bem como a personalização de
produtos e serviços, a otimização de processos, a detecção de fraudes, a previsão de
demandas e o aprimoramento da experiência do usuário. Logicamente, também devem ser
aplicadas políticas que garantam as questões de privacidade e segurança, as quais devem
ser observadas ao longo de todo o processo que envolva o Big Data e a filosofia data-driven.
De certa forma, a datificação e a filosofia data-driven estão associadas, mas possuem

focos e aplicações ligeiramente distintas.
Como vimos aqui, a datificação se refere ao processo de coleta, organização e
armazenamento de informações em formato digital para análise e uso posterior. Diz
respeito à transformação de dados brutos em estruturados, possibilitando a aplicação de
técnicas de análise de dados para obter insights e conhecimentos.
Já a abordagem data-driven (orientada por dados) é uma filosofia ou cultura empresarial
que enfatiza a tomada de decisões com base em evidências e dados concretos. Uma empresa
ou organização que adota uma abordagem data-driven busca utilizar os dados disponíveis
para fundamentar suas estratégias, seus processos e suas tomadas de decisão.
Enquanto a datificação é o processo de coletar e organizar os dados, a abordagem
data-driven se refere à forma como esses dados são utilizados para informar e direcionar
as decisões.
Na prática, podemos dizer que datificação é um componente necessário para a abordagem
data-driven, pois a sua implementação visa fornecer a base de dados, a partir da qual
as análises e os insights são extraídos. Ou seja, a datificação é o primeiro passo para se
tornar data-driven, mas não garante, necessariamente, que a organização está usando
efetivamente os dados para impulsionar suas ações. Isso vai depender de muitos outros
aspectos, principalmente no que diz respeito à política e cultura organizacional.
O processo de datificação de dados pode ser organizado de diversas formas, dependendo
da organização, do método de trabalho e da expertise da equipe. Porém, vamos definir
alguns pontos básicos que devem ser levados em consideração (Figura 2).
Figura 2: Datificação de dados
Fonte: Elaboração própria.
1) Identificação dos dados relevantes: nessa fase, devem ser determinados os dados
necessários para a análise e tomada de decisão relacionada ao negócio;
2) Coleta de dados: após a identificação dos dados relevantes, deve-se estabelecer
mecanismos para coletar esses dados. Isso pode envolver a implementação de sistemas
transacionais e de ferramentas de integração de dados que permitam a realização dessas
extrações;
3) Armazenamento e organização: após a coleta, os dados devem ser armazenados
em repositório adequado, como um banco de dados, que permita o acesso e a manipulação
desses dados, de forma simples, e que traga flexibilidade, tendo em vista a conexão de
outras ferramentas de manipulação;
4) Limpeza e tratamento de dados: nessa etapa, trataremos os dados já coletados
e organizados – aqui serão realizadas tarefas de higienização, limpeza e tratamento dos
dados para garantir a qualidade e consistência;
5) Análise de dados: nessa fase, os dados já estão prontos para serem analisados,
e devemos aplicar técnicas diversas para extrair insights e informações úteis. Isso pode
envolver a execução de consultas SQL, a criação de visualizações gráficas e a aplicação de
algoritmos de aprendizado de máquina, para identificar padrões ou prever demandas futuras;
6) Aplicação dos resultados: agora, utilizamos os resultados das análises obtidas, a
partir da análise dos dados, para orientar as decisões e estratégias da empresa;
7) Monitoramento contínuo: por fim, é primordial termos um ciclo de monitoramento
contínuo dos dados definido, para que o processo possa continuar relevante e atualizado.
Mais uma vez, vale a pena citar que esse é apenas um exemplo de processo de datificação
que pode ser bastante útil se aplicado em um ambiente de Big Data.
3. Impulsionadores de Dados
Como observamos no tópico anterior, a datificação transforma aspectos do mundo

real em dados quantificados, que permitem o rastreamento e a análise desses dados,
possibilitando vários tipos de análises, como as descritivas, diagnósticas, preditivas e
prescritivas.
Quanto aos impulsionadores de dados, no contexto da datificação de dados e do Big Data,
eles são os fatores ou elementos que impulsionam a geração, a coleta e a disponibilidade
de um volume significativo de dados.
Os impulsionadores de dados são os principais fatores que contribuem para o aumento

do volume da geração e disponibilidade de dados, possibilitando a datificação e o surgimento
do campo do Big Data. O reconhecimento do potencial dos dados e a adoção de tecnologias
adequadas permitem que as organizações aproveitem ao máximo as oportunidades oferecidas
pela datificação e pelo Big Data.
Podemos agrupar os impulsionadores em diferentes categorias, na medida em que essas
categorias contribuem com o processo de geração e disponibilidade dos dados.
Com relação aos avanços tecnológicos, esse progresso tem um papel fundamental na
ampliação da datificação de dados e no aumento do volume de dados disponíveis. Podemos
citar como exemplos os avanços em dispositivos de captura de dados, os sensores e os
sistemas de armazenamento, mas não só isso, pois podemos, também, colocar nessa
categoria o uso diário de dezenas de aplicativos em smartphones, os quais certamente
geram dados importantes. As tecnologias de redes de computadores ajudam para que o
processo de coleta seja mais fácil, rápido e em maior escala.
Dessa forma, entendemos que a conectividade e a internet são pontos indissociáveis
nesse quesito. A popularização da internet e a disponibilidade de conectividade ampla e
acessível têm impulsionado a geração de dados em diversas áreas. Dispositivos conectados
– como os já citados smartphones, dispositivos IoT, sensores e redes sociais – geram dados
constantemente e permitem que as informações sejam compartilhadas e acessadas de
forma rápida e global.
Esse fenômeno trouxe consigo a popularização da interação digital, por meio das
redes sociais, algo que é uma fonte brutal de geração de dados a cada nova interação
que realizamos. Já parou para pensar o quanto há de informação em apenas um post no
Facebook ou Instagram?
Como na tecnologia tudo está relacionado, não podemos deixar de citar o quanto o
barateamento e a oferta de espaço de armazenamento de dados contribuíram para que
tudo isso fizesse sentido. Hoje, os ambientes em nuvem são facilmente escaláveis, e ainda
temos grande oferta de espaço gratuito na nuvem.
A economia digital e a monetização de dados são outro fator interessante, uma vez que
as empresas e organizações reconhecem o valor dos dados como um recurso estratégico,
criando uma sensibilização nessa direção, o que faz com que esses dados tragam novas
ideias, as quais ajudarão a desenvolver produtos e serviços personalizados, melhorar a
eficiência operacional e tomar decisões orientadas por dados.
Por fim, todos esses impulsionadores, e tantos outros, serão importantes para a
certificação de que os dados podem fornecer ideias valiosas para a tomada de decisões
estratégicas, impulsionando a datificação e a cultura data-driven.
Considerações Finais da Aula
Nesta aula, abordamos a gestão do Big Data, as suas características, o processo de

datificação e os seus impulsionadores, o que nos deu uma boa visão do processo que
antecede a implementação de meios tecnológicos para colocar uma arquitetura de Big
Data em prática.
Do ponto de vista da gestão, vimos que, novamente, os 5 Vs apresentam variáveis
fundamentais para se trabalhar como o Big Data, trazendo aspectos e pontos de atenção
importantes nesse quesito.
Sobre a datificação, vimos que podemos gerar dados onde nem esperávamos ser
possível, bem como que podemos criar um processo estruturado para a implementação
de um fluxo gerador, o qual apresente um processo de estruturação desses dados para
apoiar a tomada de decisão.
Por fim, vimos que estamos cercados de fontes impulsionadoras desses dados, cabendo
ao profissional a identificação do que pode ser relevante estruturar para possibilitar o
desenvolvimento de uma análise desses dados.
Material Complementar
Datificação: a tendência em dados que move negócios milionários

2022, João Paulo Magalhães. CESAR School.
Esse artigo aborda o conceito de datificação e a sua relação com a cultura Data-Driven,
com bons exemplos sobre o assunto.
Link para acesso: https://www.cesar.org.br/pt/w/dataficacao-a-tendencia-em-dados-
-que-move-negocios-milionarios (acesso em 19 set. 2023.)
Referências
HURWITZ, Judith et al. Big Data Para Leigos. [s.l.]: Editora Alta Books, 2015. E-book.
ISBN 9786555206906. Disponível em: https://integrada.minhabiblioteca.com.br/#/
books/9786555206906/. Acesso em: 19 jun. 2023.
MORAIS, Izabelly Soares de et al. Introdução a Big Data e internet das coisas (IOT).
Porto Alegre: SAGAH, 2018. Livro digital. (1 recurso on-line). ISBN 9788595027640. Dis-
ponível em: https://integrada.minhabiblioteca.com.br/books/9788595027640. Acesso
em: 19 jun. 2023.
SANTOS, Roger R.; BORDIN, Maycon V.; NUNES, Sergio E. et al. Fundamentos de Big Data.
[s.l.]: Grupo A, 2021. E-book. ISBN 9786556901749. Disponível em: https://integrada.
minhabiblioteca.com.br/#/books/9786556901749/. Acesso em: 19 jun. 2023.

Apostila - Desafios Na Gestão de Big Data - Dataficação e Impulsionadores de Dados

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Apostila - Desafios Na Gestão de Big Data - Dataficação e Impulsionadores de Dados

Enviado por

Direitos autorais:

Formatos disponíveis

PROFESSOR(A): ANDERSON NASCIMENTO

Desafios na Gestão de Big Data: Datificação e

Abordar a gestão de projetos de Big Data, incluindo desafios e conceitos importantes,

1. Gestão de Big Data

Figura 1: Data Swamp x Data Lake

• Ausência de processos de ingestão • Dados com contexto

Saiba mais em: LGPD E GDPR: Saiba o que significam e as diferenças.

De certa forma, a datificação e a filosofia data-driven estão associadas, mas possuem

Figura 2: Datificação de dados

Fonte: Elaboração própria.

Como observamos no tópico anterior, a datificação transforma aspectos do mundo

Os impulsionadores de dados são os principais fatores que contribuem para o aumento

Considerações Finais da Aula

Nesta aula, abordamos a gestão do Big Data, as suas características, o processo de

Datificação: a tendência em dados que move negócios milionários

Você também pode gostar