Você está na página 1de 19

Big Data: importância,

oportunidades e possibilidades

Leandro Cruvinel Lemes


leandro.lemes@uftm.edu.br
O que é Big Data?

Grande volume de dados que não


podem ser processados ou analisados
por meios convencionais.

2
5 V’s do Big Data

Volume

Variedade

Velocidade

Veracidade

Valor

3
How big is Big Data?
Golf Dataset (Quinlan, 1993) com 14 linhas e 5 colunas.

Outlook Temperature Humidity Windy Play


Rainy Hot High False No
Overcast Hot High False Yes
Sunny Cool Normal False Yes
... ... ... ... ...
Sunny Mild High True No
Fonte: http://monaen.github.io/PrivacyDecisionTree/

4
How big is Big Data?
Golf Dataset (Quinlan, 1993) com 14 linhas e 5 colunas.

5
How big is Big Data?

Iris (150 linhas e 5 colunas; 1936)

Titanic (1309 linhas e 12 colunas; ????)

MNIST (28000 linhas e 785 colunas; 1999)

Ames Housing (2219 linhas e 81 colunas; 2011)

Fontes: Kaggle e UCI repository


6
How big is Big Data?

Bosch (>2.4 milhões de linhas, 970 colunas)

Enem 2017 (>6,7 milhões de linhas, 137 colunas)

CNPJ’s (>72,3 milhões de linhas, 14 colunas)

CNPJ’s (85 gigas!!!)

Fontes: Kaggle, Inep e Receita Federal

7
How big is Big Data?

5 Petabytes de dados coletados por 8 satélites da terra!

8
How big is Big Data?

UBER (>100 Petabytes!)

Facebook:
– Média de 1,56 bilhões de pessoas logam por dia!
– 83 milhões de perfis falsos!
– 300 milhões de fotos postadas por dia!
– 510.000 comentários por minuto!

Fonte: Zephoria

9
Big “Data Problem” or
“Big Data” Problem?

ETL (Extract, Transform and Load)

EDA (Exploratory Data Analysis)

Classificação

Regressão

Clustering

Recomendação

10
Big “Data Problem” or
“Big Data” Problem?

Fonte: NetVersity

11
Desafios

Big Data Analytics não é só uma


questão de ferramentas e algoritmos!
Fonte: Nerdologia

12
Tendências (mundo)

Fonte: Google Trends

13
Tendências (Brasil)

Fonte: Google Trends

14
Oportunidades (mundo)

Bancos
Produção discreta
Serviços
Produção por processos
Governo
Outros

U$ 189,1 bilhões de dólares em 2019

Fonte: IDC

15
Oportunidades (Brasil)
Big data & Analytics ainda é o desafio!

Gestão 360 de clientes

Planejamento da cadeia de suprimentos estendida

Automação de operação de negócios

Segundo Luciano Ramos, Gerente de Pesquisa e Consultoria de Software e Serviços da IDC Brasil

Fonte: http://www.idcbrasil.com.br/

16
Ferramentas (sugestão)

Armazenagem e gestão: MongoDB, Cassandra

Limpeza: Open Refine (desconheço!)

Mineração: Rapid Miner

Visualização: Tableau, Plotly

Relatório: Power BI

Ingestão: Flume (desconheço!)

Análise: Hadoop MapReduce, Apache Spark

Aquisição: Flume( desconheço!)

17
Onde aprender?

18
Big Data
Big Power
Big Opportunity
Big Responsibility
Obrigado!
19

Você também pode gostar