UNIVERSIDADE FEDERAL DO CEARÁ

CENTRO DE CIÊNCIAS

DEPARTAMENTO DE ESTATÍSTICA E MATEMÁTICA APLICADA

CURSO DE MATEMÁTICA INDUSTRIAL

JOÃO VICTOR MANTUAN OLIVEIRA

VINICIUS OMAR DA SILVA MARTÍNEZ

BIG DATA: ANÁLISE DE BIG DATA E APLICABILIDADES

FORTALEZA
2018
 JOÃO VICTOR MANTUAN OLIVEIRA

VINICIUS OMAR DA SILVA MARTÍNEZ

BIG DATA: ANÁLISE DE BIG DATA E APLICABILIDADES

Projeto apresentado à disciplina de

Metodologia Científica, para obtenção de nota
parcial.
Professor: Gilmar Alves de Farias

FORTALEZA
2018
 SUMÁRIO

1 INTRODUÇÃO.................................................................................................................4

2 JUSTIFICATIVA..............................................................................................................5

3 OBJETIVOS......................................................................................................................6

3.1 Objetivo geral.....................................................................................................................6

3.2 Objetivos específicos.........................................................................................................6

4 BIG DATA........................................................................................................................7

4.1 Os três V’s da Big Data....................................................................................................7

4.1.1 Volume..............................................................................................................................7

4.1.2 Velocidade........................................................................................................................8

4.1.3 Variedade..........................................................................................................................8

5 BIG DATA ANALYTICS (BDA)..................................................................................10

5.1 Procedimento de análise.................................................................................................10

5.1.1 Preparação de dados........................................................................................................10

5.1.2 Mineração de texto..........................................................................................................11

5.1.3 Mineração de dados e algoritmos estatísticos.................................................................11

5.2 Análise da Big Data........................................................................................................11

5.2.1 Análise diagnóstica.........................................................................................................11

5.2.2 Análise descritiva............................................................................................................12

5.2.3 Análise preditiva.............................................................................................................12

5.2.4 Análise prescritiva...........................................................................................................12

5.3 Aplicabilidades da análise do Big Data..........................................................................12

6 CONSIDERAÇÕES FINAIS.........................................................................................14

7 METODOLOGIA...........................................................................................................15

8 CRONOGRAMA...........................................................................................................16

REFERÊNCIAS.............................................................................................................17
 4

1 INTRODUÇÃO

O mundo gera diariamente, cerca de 2,5 quintilhões de bytes em dados. Praticamente

qualquer ação realizada pela sociedade, seja pelas redes sociais ou até por movimentos
financeiros, se tornam dados que tem uma significativa importância para as empresas, que
podem utilizá-los para entender os seus clientes e os seu perfil de consumo. Uma pesquisa
realizada pela Universidade de Oxford em 2013, já revelava o poder de Big Data nas
empresas modernas. O levantamento, feito com 1.144 gestores de 95 países (incluindo o
Brasil) mostrou que 53% das organizações já utilizavam Big Data para compreender e
melhorar a experiência do cliente. Até ligas esportivas, como a NBA, têm feito isso. Neste
cenário cada vez mais dinâmico, ter acesso antecipado - ou pelo menos, antes dos rivais -
às mudanças de mercado é o limiar incontestável entre o viver e o morrer no universo
corporativo. E é aqui que entra o segredo do sucesso no trabalho com Big Data. Em meio ao
aumento da popularidade e da importância da Big Data, novas tecnologias foram surgindo
para melhorar a precisão, a velocidade e automatizar a busca por grandes volumes de dados.
Nesse contexto, surge a Big Data Analytics uma ferramenta que conta com várias tecnologias
para otimizar a análise de dados. Entre essas ferramentas, serão citadas aqui a Business
Intelligence e o Data Mining, e quando combinadas, essas tecnologias potencializam as suas
próprias capacidades de obter o máximo de valor a partir de suas informações.
 5

2 JUSTIFICATIVA

Saber estudar, otimizar e utilizar a grande massa de dados que são gerados pela
sociedade é de suma importância para aumentar os lucros das empresas. Por este motivo,
saber sobre a análise de Big Data e suas aplicabilidades é fundamental. Aliada as suas
tecnologias, a Big Data Analytics pode facilitar e agilizar os trabalhos com esses dados,
garantindo assim, uma grande eficiência em usar os dados obtidos para produzir riquezas. É
necessário explorar um pouco mais sobre esse tema, já que apesar de toda sua abrangência e
capacidade computacional, o Big Data não possui toda a popularidade que deveria, tornando-
o uma tecnologia que infelizmente só consegue utilizar boa parte do seu potencial quem a
conhece.

3 OBJETIVOS

3.1 Objetivo geral

 Explicar o que o Big Data é capaz de fazer, e como as suas tecnologias podem ser
aplicadas para otimizar os dados que são extraídos da população, excluindo os dados
menos relevantes, e mantendo os dados mais valiosos para as empresas.

3.2 Objetivos específicos

 Entender sobre o Big Data, Big Data Analytics e as suas tecnologias;

 Compreender sobre as ferramentas que englobam o Big Data Analytics;
 Conhecer como funciona o processo de análise de dados;
 Informar sobre como os dados obtidos pela sociedade são otimizados e onde são utilizados.
 6

4 BIG DATA

Os dados estão em toda parte e, de acordo com estudo feito pela International
Data Corporation (IDC) estima-se que o volume de dados digitais em 2020 atinja o patamar
de 44 zettabytes (ZB). Por conta do número elevado de dados deu-se a origem ao termo Big
Data, tratando-o como um problema. Teve sua primeira menção na década de 90 e deu-se na
National Aeronautics and Space Administration (NASA), que a usou para descrever imensos
conjuntos de dados complexos, que na época desafiavam os limites computacionais
convencionais.

4.1 Os três V’s do Big Data

Os “3V’s”: volume, velocidade e variedade são três propriedades definidoras do

Big Data, elaboradas por Doug Laney e, de acordo com o modelo 3Vs, os desafios do
gerenciamento do Big Data resultam da expansão de todas as três propriedades, e não apenas
do volume.

4.1.1 Volume

Refere-se, especificamente, à quantidade de dados e o “peso” correspondente às

variáveis utilizadas na computação que cada um ou cada conjunto tem, tendo como a menor
unidade o bit.

Como a análise de dados normalmente difere de acordo com a finalidade e a

quantidade de dados disponíveis para a análise de determinado assunto, tem-se que o volume
do Big Data para diferentes situações podem variar, mas, ainda sim, por conta da grande
quantidade de dados disponíveis em diversas áreas, normalmente, a resolução será trabalhada
com unidades de volumes de dados consideravelmente grandes, isso, caso seja utilizado de
forma eficaz, pois, para a resolução de um problema de Big Data ter uma análise mais precisa
é necessário o maior número de dados úteis possíveis.
 7

4.1.2 Velocidade

Refere-se à velocidade de processamento de dados, tendo como tipos usuais:

a) Tipo de processamento em lotes:

– tipo em que o processamento ocorre através de um lote de tarefas

enfileiradas, sendo processada uma tarefa de cada vez e coletadas em lotes
para utilização posterior no processamento e armazenamento de dados;

– alguns exemplos de utilizações desse tipo de processamento: leituras de

consumo de água, luz, cartões de crédito e débito com relação ao
comerciante;

b) Tipo de processamento on-line:

– o processamento é atualizado, ou seja, as informações são processadas no
mesmo momento em que são registradas;
– alguns exemplos de utilizações desse tipo de processamento:  créditos de
celulares, operações financeiras, operações com cartões de crédito e débito
com relação ao usuário;

c) Tipo de processamento em tempo real:

– o processamento é imediato, as informações são processadas no momento em
que são registradas, gerando um novo processamento subsequente que pode
vir a repetir o mesmo processo, até que o mesmo seja finalizado;
– alguns exemplos de utilizações desse tipo de processamento: piloto
automático, GPS.

A escolha entre eles depende, basicamente, do que pode ser considerado mais
benéfico pelo usuário ao utilizar algum tipo de tecnologia para o processamento de dados com
relação à Big Data.

4.1.3 Variedade
 8

Refere-se ao número de tipos de dados, sendo, no caso do Big Data, três tipos:

a) dados estruturados:
– tipo de dados os quais estão sendo armazenado dentro de uma estrutura que
pode ser entendida de uma maneira mais imediata, pois estão armazenados de
forma organizada. A organização desses dados é comumente feita por colunas
e linhas, podendo variar de acordo com a fonte de dados;
– exemplos de arquivos e/ou conceitos que apresentam dados estruturados são:
bancos de dados, arquivos do tipo CSV, além de planilhas eletrônicas;
b) dado não estruturado:

– é uma forma de dados os quais não possuem uma estrutura definida nem
descrita implicitamente, tendo a sua leitura por programas tradicionais
dificultada pela falta de estrutura rígida;

– exemplos de tipos de arquivos apresentam dados não estruturados são:

documentos, textos, imagens e vídeos;

c) dado semiestruturado:

– é uma forma de dados estruturados que estão parcialmente de acordo com a

estrutura formal dos modelos e outras formas de tabelas de dados, tendo
presença de tags e outros marcadores para separar elementos semânticos e
impor hierarquias de registros e campos dentro dos dados, tendo uma
dificuldade mediana de leitura dos dados por parte de programas tradicionais,
causado pela sua organização de nível menor;

– exemplos de tipos de arquivos que apresentam dados estruturados são: e-

mails em geral, arquivos do tipo XML e páginas em HTML.

A questão da variedade é uma das características que torna a resolução do Big

Data algo de grande impacto, pois ela consegue analisar os três tipos de dados, dos quais os
tipos semiestruturados e não estruturados mostram ser de difícil análise em programas
tradicionais.
 9

5 BIG DATA ANALYTICS (BDA)

Big Data Analytics ou BDA representa o conjunto de ferramentas de análises que

compõem as formas de análise de Big Data, sendo assim, não há uma tecnologia que englobe
todas as formas de análise de uma BDA, que pode ser mutável, pois Big Data, por conta do
seu volume, apresenta diversas variedades nos tipos de dados, além de poder haver diferenças
na velocidade, ou seja, no tipo de processamento escolhido.

5.1 Procedimento de análise

Por conta da não presença de uma única forma de BDA, surgiu, naturalmente,
uma sistematização, em relação ao conceito do processo, do procedimento adotado para a
obtenção considerada precisa de uma análise. Como partes do conceito de um processo tem-
se: preparação de dados, mineração de texto, mineração de dados e algoritmos estatísticos,
que, por fim, geram a análise.

5.1.1 Preparação de dados

Preparação de dados é, segundo Juliano Ferreira (2017), “o processo de coletar,

limpar, normalizar, combinar, estruturar e organizar dados para análise”. Por conta desse
aspecto pré-analítico, tem-se que a preparação de dados é, normalmente, o início de um
projeto com objetivo de analisar Big Data, além de ser fundamental pois sua ação mina os
dados considerados “pobres” que geram resultados não-confiáveis.

5.1.2 Mineração de texto

 10

A mineração de texto consiste na utilização de um conjunto de tecnologias e

técnicas que ajudam na análise de dados que contêm textos, sendo fundamental na análise de
dados semiestruturados e não estruturado. Para isso é usado, geralmente, tecnologia de
processamento de linguagem natural ou de aprendizagem de máquina.

5.1.3 Mineração de dados e algoritmos estatísticos

Minerar dados significa utilizar um conjunto de tecnologias e técnicas que ajudam

na busca, em grandes volumes de dados, por padrões e tendências, ajudando assim a prever
certos tipos de acontecimentos. Para isso é utilizado algoritmos os quais separam os dados e
avaliam a probabilidade de haver o evento.

5.2 Análise do Big Data

Após a realização do BDA é dado o processo de análise do Big Data, o qual abre
espaço para quatro tipos de análises possíveis que podem ser feitas baseadas nos dados
obtidos e passados pelo procedimento do BDA, sendo essas análises do tipo: diagnóstica,
descritiva, preditiva e prescritiva, as quais abrem espaço para o conjunto de opções de
aplicabilidades das análises de dados do Big Data.

5.2.1 Análise diagnóstica

Esse tipo de análise tem finalidade compreender as causas de um acontecimento,

tentando responder as seguintes perguntas: “Quem?”, “Quando?”, “Onde?”, “Como?”, “Por
quê?”. Com as respostas obtidas é possível traçar estratégias para otimizar os resultados de
algo relacionado a esse acontecimento.

5.2.2 Análise descritiva

 11

É dada pela compreensão em tempo real dos acontecimentos, essa análise pode ser
gerada pela mineração de dados na base do encadeamento de Big Data. É indicada para
visualizar dados e entender o impacto na atualidade, sem fazer relação com o passado e
futuro, ajudando a tomar decisões imediatas.

5.2.3 Análise preditiva

Utiliza mineração de dados, dados estatísticos e históricos para “prever”

tendências, permitindo aos usuários o mapeamento de possíveis futuros relacionados a certo
campo, fazendo com que a ação tomada seja baseada na probabilidade de certa coisa
acontecer ao invés de utilizar a intuição como base.

5.2.4 Análise prescritiva

Normalmente busca responder à pergunta “O que ocorrerá caso essa ação seja
tomada?”, logo, serve para verificar as consequências de uma certa ação, possibilitando saber
o que possivelmente irá ocorrer ao tomar essa ação, ajudando na tomada de decisões.

5.3 Aplicabilidades da análise do Big Data

Ao resolver o problema de análise de Big Data é notável os benefícios que os

quatro tipos de análises obtidas com essa resolução apresentam. Com as análises obtidas no
BDA é possível tomar conta de diversas aplicações, que demostram diversas formas de
utilizar as análises disponíveis, tais quais:

a) mapear e entender os consumidores:

– essa é a área em que as análises são mais usadas e divulgadas. Através dele,
as empresas obtêm dados dos clientes por meio das mídias sociais, por
exemplo, a partir dessas informações, traçam um perfil dos clientes para
 12

compreender seus comportamentos e suas preferências. Com essas análises,

as empresas conseguem saber os produtos na qual os clientes comprariam;

b) entender e otimizar os processos do negócio:

– essa aplicação é utilizada para otimizar os processos de vários negócios.

Pode-se tomar como exemplo, um varejista consegue, otimizar seus estoques
através da análise de dados;

c) Melhorar a saúde pública:

– o poder computacional do Big Data Analytics é muito alto, sendo capaz de

decifrar uma cadeia de DNA completa em apenas alguns minutos. É possível
notar a sua utilização na saúde tomando como base algumas cidades dos
EUA, onde médicos registram e analisam dados vitais dos pacientes, e
juntamente com algoritmos, são capazes de diagnosticar doenças em até 24
horas antes dos sintomas surgirem;

d) Melhorar desempenho de máquinas e dispositivos:

– as análises obtidas pelo Big Data têm sido altamente eficazes quando se trata
de melhoria de desempenho, tornando dispositivos e máquinas mais
inteligentes e autônomos. Exemplos atuais dessa aplicabilidade são os carros
autônomos do Google. Sistemas GPS, sensores e câmeras têm seus dados
coletados pela Big Data e suas ferramentas, e por isso, resulta em uma
condução mais segura e cada vez menos manual.
 13

6 CONSIDERAÇÕES FINAIS

Com esse trabalho podemos concluir que o Big Data Analytics tem sido uma
tecnologia crucial para o ganho de lucro e para o crescimento das empresas, pois essas, ao
analisarem os dados da sociedade, podem ter informações que facilitam as vendas, e elas
podem traçar estratégias para atraírem mais clientes que possuem um determinado
comportamento, por exemplo.

Um ponto importante a se considerar é a da capacidade que essas ferramentas

unidas têm de aperfeiçoar a grande quantidade de dados que são gerados diariamente, levando
em consideração o fato de que essas tecnologias facilitam o árduo trabalho de organizar e
analisar os dados manualmente.

Fica evidente também que está havendo muito incentivo por parte das mídias para
que o Big Data Analytics seja cada vez mais popular, fazendo com que as empresas adotem
essa tecnologia para ampliar seu poder financeiro.
 14

7 METODOLOGIA

O trabalho foi desenvolvido com base um uma pesquisa exploratória através do

desenvolvimento do “protótipo de descoberta de conhecimento” a partir de bases textuais,
obtidas em fontes primárias e secundária, tanto na área acadêmica, por meio de livros sobre o
assunto, assim como fontes empresariais e factuais, por meio de empresas que empregam a
análise do Big Data e os dados factuais que são obtidos após o uso, assim como dados obtidos
através de pesquisas sobre o assunto.

A pesquisa foi dada de forma qualitativa e quantitativa pois demonstra ideias e

conceitos da melhor utilização do Big Data baseada em dados e análises, adquirindo assim,
uma forma quantitativa.
 15

8 CRONOGRAMA

Atividades 08/05 09/0 10/05 11/0 12/05 13/0 14/05 13/0 26/05
5 5 5 5
Delimitação X
do tema e
objetivos
Pesquisa X X X X X X
referencial
Organizaçã X X X X X X
oe
coletânea de
dados
Redação do X X
projeto
Revisão da X
redação
 REFERÊNCIAS

ANDERSON. Tipos de Processamento. Disponível em:

<https://entendendoti.blogspot.com.br/2011/05/tipos-de-processamento.html> Acesso em: 26
de maio de 2018

BLOG ACADEMIAIN. Big Data: você conhece os 4 tipos de análise de dados? Disponível
em: <http://blog.academiain1.com.br/big-data-voce-conhece-os-4-tipos-de-analise-de-dados/>
Acesso em: 26 de maio de 2018

BLOG SIMPLY. Data Mining: O que é e qual a sua relação com o Big Data? Disponível
em: <http://blog.simply.com.br/data-mining-e-big-data/> Acesso em: 26 de maio de 2018

CARVALHO, Thiago. HORA DA REVISÃO: DADOS ESTRUTURADOS E NÃO-

ESTRUTURADOS NA NUVEM. Disponível em:
<http://www.maximizasoftware.com.br/noticias/hora-da-revisao-dados-estruturados-e-nao-
estruturados-na-nuvem/> Acesso em: 26 de maio de 2018

CLARO, Daniela Barros. Dados Estruturados x Dados SemiEstruturados x Dados Não

Estruturados. Disponível em: <http://homes.dcc.ufba.br/~dclaro/download/mate04-
20121/DadosEstruturadosxSemiEstruturadosxNaoEstruturados.pdf> Acesso em: 26 de maio
de 2018

ELIAS, Diego. A diferença entre Big Data e Business Intelligence. Disponível em:
<https://canaltech.com.br/business-intelligence/A-diferenca-entre-Big-Data-e-Business-
Intelligence/> Acesso em: 26 de maio de 2018

FAROL. BI e big data: veja quais são as principais diferenças. Disponível em:
<http://farolbi.com.br/bi-e-big-data-veja-quais-sao-as-principais-diferencas/> Acesso em: 26
de maio de 2018

FERREIRA, Juliano. Data preparation: alicerce dos projetos de Big Data. Disponível em:
<http://www.bigdatabusiness.com.br/data-preparation/> Acesso em: 26 de maio de 2018

HEKIMA. Business Intelligence e Big Data: qual a diferença? Disponível em:

<http://www.bigdatabusiness.com.br/business-intelligence-e-big-data-qual-a-diferenca/>
Acesso em: 26 de maio de 2018

HEKIMA. Tipos de análise de Big Data: você conhece todos os 4? Disponível em:
<http://www.bigdatabusiness.com.br/conheca-os-4-tipos-de-analises-de-big-data-analytics/>
Acesso em: 26 de maio de 2018

HELDER. Diferença entre Dados Estruturados e Não Estruturados. Disponível em:

<http://culturaanalitica.com.br/2018/02/diferenca-entre-dados-estruturados-e-nao-
estruturados/> Acesso em: 26 de maio de 2018
HOPPEN, Joni. 7 características importantes para diferenciar BI, Data Mining e Big
Data. Disponível em: <https://aquare.la/7-caracteristicas-importantes-para-diferenciar-bi-
data-mining-e-big-data/> Acesso em: 26 de maio de 2018

IDC. The DIGITAL UNIVERSE of OPPORTUNITIES. Disponível em:

<https://www.emc.com/collateral/analyst-reports/idc-digital-universe-2014.pdf> Acesso em:
26 de maio de 2018

INSTITUTO SAS. Big Data Analytics: What it is and why it matters. Disponível em:
<https://www.sas.com/pt_br/insights/analytics/big-data-analytics.html> Acesso em: 26 de
maio de 2018

INSTITUTO SAS. Big Data o que é e qual a sua importância? Disponível em:
<https://www.sas.com/pt_br/insights/big-data/what-is-big-data.html > Acesso em: 26 de maio
de 2018

MARR, Bernard. The Awesome Ways Big Data Is Used Today To Change Our World.
Disponível em: <https://www.linkedin.com/pulse/20131113065157-64875646-the-awesome-
ways-big-data-is-used-today-to-change-our-world> Acesso em: 26 de maio de 2018

OPEN CIRRUS. Big Data Analytics Vs. Data Mining. Disponível em:
<http://www.opencirrus.org/big-data-analytics-vs-data-mining/> Acesso em: 26 de maio de
2018

ROSA, Fernanda. Como usar o Big Data na prática? Disponível em:

<https://www.ecommercebrasil.com.br/artigos/como-usar-o-big-data-na-pratica/> Acesso em:
26 de maio de 2018

ROUSE, Margaret. 3Vs (volume, variety and velocity). Disponível em:

<https://whatis.techtarget.com/definition/3Vs > Acesso em: 26 de maio de 2018