Apostila - Características de Big Data

PROFESSOR(A): ANDERSON NASCIMENTO
Big Data
Características de Big Data

Objetivo da Aula
Apresentar outras características de um Big Data, como escalabilidade, diversidade e

variação no tempo.
Apresentação
Esta aula tem o objetivo de apresentar outras características importantes, no que diz
respeito à definição de um Big Data.
É normal nos referirmos aos 5Vs (valor, variedade, velocidade, veracidade e volume)
como sendo as principais caraterísticas do Big Data, mas existem outras características
que são essenciais nesse ambiente.
Vamos abordar algumas dessas principais características, como escalabilidade,
integridade, acessibilidade, privacidade e diversidade, além de outras que discutiremos
ao longo desta aula.
Além disso, ainda vamos tratar de um ponto crítico, que é a questão temporal dos dados
em Big Data e de como lidamos com dados de formatos tão distintos.
Vamos nessa!
1. Características do Big Data
Normalmente, em qualquer literatura ou fonte de pesquisa em que buscamos pelo

tema Big Data, encontramos as definições dos 5 Vs (valor, variedade, velocidade, veracidade
e volume), mas o Big Data também apresenta outras características importantes, que
devemos conhecer e discutir.
Dentre essas características, temos outros 10 destaques importantes que nos ajudam
a caracterizar o ambiente de Big Data:
Livro Eletrônico
faculdade.grancursosonline.com.br 1 de 8
Professor(a): Anderson Nascimento
1. Escalabilidade;
2. Diversidade;
3. Temporalidade;
4. Incrementalidade;
5. Complexidade;
6. Integridade;
7. Acessibilidade;
8. Privacidade;
9. Diversidade;
10. Moralidade.
A seguir, vamos discutir um pouco sobre cada uma dessas características.
1) Escalabilidade
O Big Data é altamente escalável, o que significa que ele pode lidar com o aumento
exponencial no volume, na variedade e na velocidade dos dados. À medida que a quantidade
de dados cresce, os sistemas e a infraestrutura relacionada devem ser capazes de expandir
e se adaptar para suportar esse crescimento sem comprometer o desempenho.
2) Diversidade
A diversidade de fontes de dados é outro ponto característico de um Big Data, pois
seu conteúdo advém de uma ampla gama de fontes, incluindo sistemas internos de uma
organização, dispositivos móveis, sensores, redes sociais, sites, transações on-line, entre
outros. Essa diversidade de fontes oferece uma visão mais abrangente e holística dos dados,
permitindo a geração de insights que vão além do que é possível, utilizando-se apenas dos
dados transacionais.
3) Temporalidade
Os dados de um Big Data, muitas vezes, são gerados e analisados em tempo real ou
próximo disso. Na prática, isso quer dizer que os dados são processados e analisados em
um tempo que precisa ser razoável, para que possibilite a tomada de decisões imediata. A
capacidade de capturar, processar e extrair insights de dados, em tempo real, é fundamental
em diversas áreas, como mercado financeiro, marketing, produção, segurança, medicina
e logística.
O conteúdo deste livro eletrônico é licenciado para JHEFFERSON - 01038556104, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação ou
distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.
4) Incrementalidade
O Big Data possui o potencial de gerar valor incremental, à medida que mais dados são
adicionados e analisados, ou seja, conforme mais informações são coletadas e integradas,
novos insights e oportunidades podem ser descobertos. Esse valor incremental é resultado
da análise contínua dos dados, em um ciclo de feedback, permitindo ajustes e melhorias
contínuas em estratégias e processos.
5) Complexidade
O Big Data é complexo devido à sua natureza heterogênea, à diversidade de fontes, à
variedade de formatos e ao volume massivo. Lidar com essa complexidade exige abordagens
e ferramentas especializadas, como algoritmos de processamento distribuído, técnicas
avançadas de análise de dados e infraestrutura escalável. A complexidade do Big Data exige
uma compreensão profunda dos desafios associados à captura, ao armazenamento, ao
processamento e à análise desses dados.
6) Integridade
A integridade se refere à garantia de que os dados sejam precisos, consistentes e
confiáveis ao longo do tempo. Isso envolve a implementação de mecanismos de controle
de qualidade de dados, bem como a validação, a verificação e a correção de erros, para
garantir a integridade dos dados ao longo de sua vida útil.
7) Acessibilidade
O Big Data deve ser acessível a diferentes usuários e sistemas, para permitir a análise
e o compartilhamento de informações de forma eficiente. Isso pode envolver a utilização
de tecnologias de armazenamento e acesso distribuído, bem como a adoção de padrões
e protocolos de interoperabilidade, para facilitar o acesso e o intercâmbio de dados entre
diferentes plataformas.
8) Privacidade
A característica da acessibilidade traz junto questões importantes sobre privacidade
e segurança. Com o aumento da quantidade e da sensibilidade dos dados no Big Data, a
privacidade e a segurança se tornam preocupações essenciais. É necessário implementar
medidas de segurança robustas para proteger os dados contra acessos não autorizados,
violações de privacidade e ataques cibernéticos. Técnicas como anonimização, criptografia,
controle de acesso e políticas de privacidade são algumas das estratégias que devem ser
utilizadas para garantir a segurança e a privacidade dos dados no contexto do Big Data.
9) Diversidade
O Big Data pode ser aplicado em diversas áreas e setores, como saúde, finanças, varejo,
marketing, logística, ciência, governo, entre outros. Essa diversidade de aplicações destaca a
versatilidade e a importância do Big Data em impulsionar a inovação, a tomada de decisões
baseada em dados e o desenvolvimento de soluções personalizadas para desafios específicos
em diferentes domínios.
10) Moralidade
O Big Data também apresenta desafios éticos e morais significativos, como a
responsabilidade no uso dos dados, a transparência nas práticas de coleta e análise,
a equidade na utilização dos insights gerados pelos dados e a minimização de vieses e
discriminações. Lidar com essas questões éticas é fundamental para garantir que o Big
Data seja utilizado de maneira responsável e beneficie a sociedade como um todo.
Essas características do Big Data são importantes para entender a complexidade e
as oportunidades associadas ao tratamento e à análise de conjuntos de dados em larga
escala. Porém, vale a pena destacar que essa lista não esgota o rol de características que
encontramos nesse incrível universo de dados, podendo existir outros pontos de atenção
não citados neste texto.
2. Requisitos de Tempo Real e Não Real
Todas as dez características de um Big Data, que acabamos de discutir, aliadas aos 5
Vs e incrementadas por outras variáveis importantes do dia a dia, mostram o quão crítico
parece ser lidar com tantas informações e com tantos formatos diferentes.
Há grande dificuldade em gerenciar e equilibrar questões como volume e velocidade,
assim como manter a característica da temporariedade dentro de um intervalo de tempo
aceitável.
Atualmente, os dados de um Big Data são gerados em velocidade incrível, principalmente
com a proliferação de dispositivos conectados e sistemas em tempo real. Isso requer a
capacidade de capturar, processar e analisar os dados rapidamente, a fim de obter insights
valiosos em tempo hábil.
De acordo com Hurwitz et al. (2015), os aspectos de tempo real de Big Data podem
ser revolucionários quando as empresas precisam resolver problemas significantes. O que
acontece quando uma empresa pode lidar com dados que são transmitidos em tempo real?
Em geral, essa abordagem é mais relevante quando a resposta para o problema é sensível
ao tempo e decisiva para os negócios. Isso pode estar relacionado com uma ameaça a algo
importante, como a detecção de desempenho de equipamento de hospital ou a antecipação
de um risco potencial de intrusão.
Assim, dependendo da aplicação, não há a opção de trabalhar com os dados de um Big
Data que não seja o de tempo real.
Na mesma literatura, o autor mostra uma lista de exemplos que podem trazer vantagens
para o Big Data de tempo real:
• Monitorar uma exceção com uma nova informação, como fraude/inteligência;

• Monitorar fontes de notícias e mídias sociais, para determinar eventos que podem
impactar os mercados financeiros, como a reação de consumidores a um novo anúncio
de produto;
• Mudar o posicionamento de seu anúncio, durante um grande evento esportivo, com
base nas transmissões em tempo real do Twitter;
• Fornecer um cupom a um cliente, com base no que ele comprou no ponto de vendas.
Se esse for o caso, ou se o problema que estivermos enfrentando exigir de fato que
o modelo seja construído tendo como base o tempo real, os seguintes pontos devem ser
considerados, de acordo com Hurwitz et al. (2015):
• Latência baixa: a latência é a quantidade de atraso de tempo que permite a execu-

ção de um serviço em um ambiente. Alguns aplicativos exigem menos latência, o que
significa que eles precisam responder em tempo real. Um fluxo em tempo real exigirá
latência baixa. Então, você precisa pensar sobre o poder computacional, bem como
sobre as restrições de redes;
• Escalabilidade: a escalabilidade é a capacidade de sustentar certo nível de desempe-
nho, mesmo sob cargas crescentes;
• Versatilidade: o sistema deve suportar fluxos de dados tanto estruturados quanto
desestruturados;
• Formato nativo: os dados devem ser utilizados em sua forma nativa. Transformações
levam tempo e dinheiro.
Hoje, os ambientes em nuvem são grandes aliados a todo esse processo, já que possuem
grande capacidade de escala, estando o aumento de performance no processamento ou o
aumento de espaço em disco a um clique do administrador da conta.
3. Juntando os Tipos de Dados
Outro ponto importante, além das questões temporais, é a variedade de formatos

e tipos de dados. Não se trata apenas de dados estruturados, mas também de dados
semiestruturados e não estruturados, como texto, áudio, vídeo, imagens, feeds de redes
sociais, entre muitos outros. Essa diversidade de formatos cria desafios adicionais para a
captura, o armazenamento e a análise desses dados.
Lidar com a heterogeneidade dos dados, a variedade de fontes e a necessidade de
integração de dados de diferentes sistemas e formatos requer abordagens especializadas
e ferramentas adequadas. Além disso, a qualidade dos dados pode variar, e é necessário
implementar medidas para garantir a integridade e a confiabilidade deles.
Na maioria dos casos, haverá a necessidade de integração dos dados de diversas fontes
distintas entre si.
EXEMPLO
Você pode querer cruzar os dados das vendas de uma grande rede varejista com os dados
da oscilação do Dólar, para descobrir o quanto a moeda americana impacta as vendas dessa
rede de lojas. Nesse caso, estaremos integrando uma base relacional com um web scraping
em um site que traz os dados do dólar.
O web scraping, ou raspagem de dados, é uma forma de mineração que permite a

extração de dados de sites da web, convertendo-os em informação estruturada
para posterior análise.
Nesse ponto, falando de maneira inicial, alguns elementos serão fundamentais para
viabilizar todo esse processo: os conectores e os metadados.
Os conectores são pequenos programas que vão permitir que dados de diversas
fontes sejam extraídos para posterior análise. Temos conectores para Enterprise Resource
Planning (ERPs), redes sociais, como Twitter, Facebook e Instagram, entre muitas outras
fontes de dados.
Os conectores também são chamados de APIs e são responsáveis por permitir a extração
de dados sem deixar com que a segurança de determinada aplicação seja comprometida.
Outro conceito fundamental, nesse caso, é o de metadados. Os metadados são informações

sobre dados, definições, mapeamentos de origem de dados e outras características usadas
para descrever como encontrar, acessar e utilizar os dados que estão sendo utilizados
no Big Data.
Um exemplo de metadados são informações sobre uma fotografia tirada pelo celular; ela
inclui informações sobre a data, a hora e o local em que ela foi tirada, além do dispositivo que
foi utilizado para gerá-la, entre outras informações que, muitas vezes, são imperceptíveis
para o usuário comum.
E onde armazenamos todos os metadados dos dados de um Big Data? Nesse caso, é
necessário contar com um catálogo que forneça uma única visão de todas as fontes de
dados, incluindo os dados que serão necessários para organizar e facilitar a busca futura
pela informação.
Considerações Finais da Aula
Nesta aula, avançamos sobre questões diversas relacionadas ao Big Data e às suas
características, indo além dos 5 Vs que normalmente são mencionados na literatura.
O Big Data é um conceito que engloba uma série de características que o tornam único
e desafiador. Uma das principais características do Big Data é a sua escala massiva, com
a geração de uma quantidade impressionante de dados a cada segundo. Esses dados
são provenientes de diversas fontes, como sensores, dispositivos móveis, redes sociais,
transações on-line e muito mais.
De uma maneira resumida, o Big Data é caracterizado por sua escala massiva, sua
variedade de formatos, sua velocidade de geração, sua complexidade, seu valor potencial e
suas preocupações de privacidade e segurança. Compreender essas características e adotar
abordagens adequadas é fundamental para aproveitar ao máximo o potencial do Big Data
e obter insights valiosos para impulsionar a inovação e o crescimento em diversos setores.
Também falamos sobre a temporalidade dos dados, que diferencia projetos que funcionam
em tempo real e não real, o que pode impactar os resultados dos dados disponibilizados
pela arquitetura.
Por fim, levantamos alguns elementos que são essenciais quando abordamos a situação
da diversidade dos dados que transitam pelo ambiente do Big Data.
Materiais Complementares
Gerenciamento de Metadados na Era do Big Data

2022, David Matos.
Texto interessante sobre o uso e o gerenciamento dos metadados no contexto do Big
Data.
Link para acesso: https://www.cienciaedados.com/gerenciamento-de-metadados-na-
-era-do-big-data/ (acesso em 19 set. 2023.)
Qual a diferença entre o BI e o Data Warehouse?

2016, Rafael Piton.
Rafael Piton explica um pouco sobre como funciona a estruturação dos dados e, também,
onde algumas ferramentas se encaixam no processo.
Link para acesso: https://www.youtube.com/watch?v=lPzDdf62x3U&t=13s (acesso em
19 set. 2023.)
O que é uma API?

2019, Bonieky Lacerda.
Bonieky Lacerda explica o que é e como ocorre o funcionamento de uma API na área de
sistemas.
Link para acesso: https://www.youtube.com/watch?v=3LHSyha0xN0 (acesso em 19
set. 2023.)
Referências
HURWITZ, Judith et al. Big Data Para Leigos. [s.l.]: Editora Alta Books, 2015. E-book.
ISBN 9786555206906. Disponível em: https://integrada.minhabiblioteca.com.br/#/
books/9786555206906/. Acesso em: 19 jun. 2023.
MORAIS, Izabelly Soares de et al. Introdução a Big Data e internet das coisas (IOT).
Porto Alegre: SAGAH, 2018. Livro digital. (1 recurso on-line). ISBN 9788595027640. Dis-
ponível em: https://integrada.minhabiblioteca.com.br/books/9788595027640. Acesso
em: 19 jun. 2023.
SANTOS, Roger R.; BORDIN, Maycon V.; NUNES, Sergio E. et al. Fundamentos de Big Data.
[s.l.]: Grupo A, 2021. E-book. ISBN 9786556901749. Disponível em: https://integrada.
minhabiblioteca.com.br/#/books/9786556901749/. Acesso em: 19 jun. 2023.

Apostila - Características de Big Data

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Apostila - Características de Big Data

Enviado por

Direitos autorais:

Formatos disponíveis

PROFESSOR(A): ANDERSON NASCIMENTO

Características de Big Data

Apresentar outras características de um Big Data, como escalabilidade, diversidade e

1. Características do Big Data

Normalmente, em qualquer literatura ou fonte de pesquisa em que buscamos pelo

2. Requisitos de Tempo Real e Não Real

• Monitorar uma exceção com uma nova informação, como fraude/inteligência;

• Latência baixa: a latência é a quantidade de atraso de tempo que permite a execu-

3. Juntando os Tipos de Dados

Outro ponto importante, além das questões temporais, é a variedade de formatos

O web scraping, ou raspagem de dados, é uma forma de mineração que permite a

Outro conceito fundamental, nesse caso, é o de metadados. Os metadados são informações

Considerações Finais da Aula

Gerenciamento de Metadados na Era do Big Data

Qual a diferença entre o BI e o Data Warehouse?

O que é uma API?

Você também pode gostar