Escolar Documentos
Profissional Documentos
Cultura Documentos
Inserir Título Aqui Inserir Título Aqui: Big Data
Inserir Título Aqui Inserir Título Aqui: Big Data
Revisão Textual:
Prof. Ms. Luciano Vieira Francisco
Definições, Fontes de Dados
e Exemplos de Big Data
Caro Aluno(a)!
Normalmente com a correria do dia a dia, não nos organizamos e deixamos para o
último momento o acesso ao estudo, o que implicará o não aprofundamento no material
trabalhado ou, ainda, a perda dos prazos para o lançamento das atividades solicitadas.
Assim, organize seus estudos de maneira que entrem na sua rotina. Por exemplo, você
poderá escolher um dia ao longo da semana ou um determinado horário todos ou alguns
dias e determinar como o seu “momento do estudo”.
Após o contato com o conteúdo proposto, participe dos debates mediados em fóruns de
discussão, pois estes ajudarão a verificar o quanto você absorveu do conteúdo, além de
propiciar o contato com seus colegas e tutores, o que se apresenta como rico espaço de
troca de ideias e aprendizagem.
Bons Estudos!
UNIDADE
Definições, Fontes de Dados e Exemplos de Big Data
Introdução ao Tema
Novos V: Veracidade e Valor
Além dos três V inicialmente propostos para caracterizar a tecnologia de Big Data,
foram adicionados mais dois, o valor e a veracidade dos dados. O valor está relacionado
a agregar ganho e importância ao negócio da organização, enquanto que a veracidade
está associada à confiabilidade dos dados em si.
Observe que a validação dos dados oriundos de diversos sistemas, mídias ou redes
sociais, trazem grande complexidade para a escolha, transformação, processamento,
análise e validação das informações e resultados gerados.
6
Valor: Investir em Big Data Dará Retorno?
Big Data pode ter valor para uma empresa? Fundamente a sua reflexão com exemplos.
Observa-se que um em cada três gestores tomam decisões com base em informações
que não confiam ou não têm, 56% sentem-se sobrecarregados com a quantidade de
dados que gerenciam; 60% acreditam que precisam melhorar a captura e entender as
informações rapidamente, enquanto 83% apontam que BI & analytics fazem parte de
seus planos para aumentar a competitividade (fonte: Survey KPMG).
Assim, projetos com Big Data frequentemente não obtêm sucesso quando o V de
valor é ignorado. Constata-se também que as empresas que investem em análise de
dados como um ativo para a tomada de decisões são melhor sucedidas.
Nesse contexto, o valor é qualquer aplicação de Big Data que impulsione aumentos de
receita – como a análise de fidelidade de clientes –, que identifique novas oportunidades
de receita, que melhore a qualidade e satisfação do cliente – como a manutenção
preditiva –, que economize custos, e que garanta melhores resultados – por exemplo, no
atendimento ao paciente. É fundamental às organizações que utilizam Big Data ganhar
experiência usando a tecnologia em um modo de “experimentação”, que é incentivada,
ao mesmo tempo, com a identificação de um caso de teste e impulsionando o sucesso
do negócio.
Soluções de Big Data são ideais quando todos – ou a maioria dos – dados precisam
ser analisados contra uma amostragem que não é tão eficaz, como um conjunto maior
de dados a derivar análises – ou seja, confrontar as análises.
As organizações são desafiadas com uma série de considerações, tais como quais
outras fontes de dados estão disponíveis e como podem ser usadas com o que é
conhecido, ou ainda como permitir novos insights. Aqui estão alguns exemplos:
7
7
UNIDADE
Definições, Fontes de Dados e Exemplos de Big Data
Estes casos de uso não são mutuamente exclusivos. A identificação e o uso de infor-
mações baseadas em sensores podem se resumir e se correlacionar com outras infor-
mações tradicionais, tais como vendas ou preços em um Data Warehouse, aumentando
ou estendendo e, em seguida, conduzindo a análises, proporcionando maior visão sobre
melhores campanhas de marketing para clientes, ou melhor identificação de fraudes ou
riscos de segurança.
8
Fontes de Dados em Big Data
Os profissionais da área de gerenciamento de dados estão relativamente confortáveis
com o conceito de dados estruturados, dados estes que correspondem a padrões repetidos
de estrutura de dados como, por exemplo, a modelagem tradicional de dados, com o
formato de linhas e colunas. A análise de Big Data pode conter dados semiestruturados
e não estruturados, tais como textos em claro, imagens, vídeos, áudios ou XML.
Ademais, segue uma pequena descrição dos principais tipos de dados encontrados:
Social media:
Blogs, tweets, sites de redes sociais – exemplos: LinkedIn e Facebook –, feeds de
notícias, fóruns de discussão, sites de vídeos e todos os outros abaixo desta categoria
possuem API específicas para o resgate de dados e seus metadados.
9
9
UNIDADE
Definições, Fontes de Dados e Exemplos de Big Data
Web logs:
Os logs de serviços web existem em vários formatos semiestruturados. Tipicamente,
possuem informações a respeito do ambiente de execução, entradas sobre as atividades
do servidor de aplicação e, essencialmente, tudo o que acontece no servidor. Tradicional-
mente, um log contém informações transacionais de cada conexão, a origem, o início e
fim das requisições e conexões, incluindo qualquer erro que tenha ocorrido.
GPS ou geolocalização:
Dados de geolocalização se tornaram ubíquos, de modo que temos como origens
desses dados os sistemas de Global Positioning System (GPS) em veículos, aviões,
navios, smartphones etc. Utilizamos esses dados para guiar ou rastrear nossos
movimentos em aplicações de segurança e/ou emergência, ou ainda para rastreamento
de nossos smartphones em lojas e shoppings, por exemplo, em busca de análise de
comportamento.
Streaming data:
Dados de fluxo correspondem a uma categoria especial de Big Data – ao invés de
ser um formato, é um tipo especial de processamento. A transmissão é contínua de
qualquer tipo de dados e quase em tempo real. Alguns exemplos de aplicações de fluxo
contínuo incluem detecção de fraude, segurança física, monitoramento de tráfego,
veicular ou médico. Essas aplicações utilizam protocolos específicos para enviar e receber
informações, quase sempre recebem os dados, processando-os e os encaminhando para
outras aplicações.
10
Os tipos de origens de dados para Big Data não se limitam a estes colocados neste
Material teórico, porém, tais categorias englobam grande parte dos exemplos de fontes
de dados em Big Data.
O seguinte Quadro ilustra algumas áreas que já utilizam a análise de dados com Big Data:
Quadro 1
Industry Big data use cases
Automotive Auto sensors reporting vehicle location problems
Financial services Risk, fraud detection, portfolio analysis, new product development
Manufacturing Quality assurance, warranty analyses
Healthcare Patient sensors, monitoring, electronic health records, quality of care
Oil and gas Drilling exploration sensor analyses
Consumer sentiment analyses, optimized marketing, personalized
Retail targeting, market basket analysis, intelligent forecasting, inventory
management
Utilities Smart meter analyses for network capacity, smart grid
Law enforcement Threat analysis, social media monitoring, photo analysis, traffic optmization
Customer targeting, location-based advertising, personalized retargeting,
Advertising
churn detection/prevention
Fonte: https://goo.gl/HXKihS
11
11
UNIDADE
Definições, Fontes de Dados e Exemplos de Big Data
12
Material Complementar
Indicações para saber mais sobre os assuntos abordados nesta Unidade:
Livros
Understanding Big Data: Analytics for Enterprise Class Hadoop and Streaming Data
ZIKOPOULOS, Paul; EATON, Chris. Understanding Big Data: analytics for enterprise
class hadoop and streaming data. [S.l.]: McGraw-Hill Osborne Media, 2011.
Leitura
Big Data: Ingrediente Secreto da Indústria de Alimentos
FERREIRA, Juliano. Big Data: ingrediente secreto da indústria de alimentos. Big Data
Business, 14 nov. 2016.
https://goo.gl/xTLHus
Impact of Big Data in Enterprise Information Management
GHOSH, Paramita. Impact of Big Data in enterprise information management.
Dataversity, 27 abr. 2017.
https://goo.gl/myvHjq
The Big Data Transformation: Understanding why change is Actually Good for Your Business
LEPLANTE, Alice. The Big Data transformation: understanding why change is actually
good for your business. USA: O’Reilly, 2016.
https://goo.gl/HXKihS
Enhancing Enterprise Systems with Big Data
STATCHUK, Craig; ROPE, Dan. Enhancing enterprise systems with Big Data. [S.l.]:
IBM, 2013. (Col. IBM Redbook).
https://goo.gl/HpV54V
13
13
UNIDADE
Definições, Fontes de Dados e Exemplos de Big Data
Referências
BALLARD, Chuck et al. Information governance principles and practices for a Big
Data landscape. [S.l.]: IBM, 2014. (Col. IBM Redbook). Disponível em: <http://www.
redbooks.ibm.com/abstracts/sg248165.html?Open>. Acesso em: 3 maio 2017.
14