Escolar Documentos
Profissional Documentos
Cultura Documentos
oportunidades e possibilidades
2
5 V’s do Big Data
●
Volume
●
Variedade
●
Velocidade
●
Veracidade
●
Valor
3
How big is Big Data?
Golf Dataset (Quinlan, 1993) com 14 linhas e 5 colunas.
4
How big is Big Data?
Golf Dataset (Quinlan, 1993) com 14 linhas e 5 colunas.
5
How big is Big Data?
●
Iris (150 linhas e 5 colunas; 1936)
●
Titanic (1309 linhas e 12 colunas; ????)
●
MNIST (28000 linhas e 785 colunas; 1999)
●
Ames Housing (2219 linhas e 81 colunas; 2011)
7
How big is Big Data?
8
How big is Big Data?
●
UBER (>100 Petabytes!)
●
Facebook:
– Média de 1,56 bilhões de pessoas logam por dia!
– 83 milhões de perfis falsos!
– 300 milhões de fotos postadas por dia!
– 510.000 comentários por minuto!
Fonte: Zephoria
9
Big “Data Problem” or
“Big Data” Problem?
●
ETL (Extract, Transform and Load)
●
EDA (Exploratory Data Analysis)
●
Classificação
●
Regressão
●
Clustering
●
Recomendação
10
Big “Data Problem” or
“Big Data” Problem?
Fonte: NetVersity
11
Desafios
12
Tendências (mundo)
13
Tendências (Brasil)
14
Oportunidades (mundo)
Bancos
Produção discreta
Serviços
Produção por processos
Governo
Outros
Fonte: IDC
15
Oportunidades (Brasil)
Big data & Analytics ainda é o desafio!
●
Gestão 360 de clientes
●
Planejamento da cadeia de suprimentos estendida
●
Automação de operação de negócios
Segundo Luciano Ramos, Gerente de Pesquisa e Consultoria de Software e Serviços da IDC Brasil
Fonte: http://www.idcbrasil.com.br/
16
Ferramentas (sugestão)
●
Armazenagem e gestão: MongoDB, Cassandra
●
Limpeza: Open Refine (desconheço!)
●
Mineração: Rapid Miner
●
Visualização: Tableau, Plotly
●
Relatório: Power BI
●
Ingestão: Flume (desconheço!)
●
Análise: Hadoop MapReduce, Apache Spark
●
Aquisição: Flume( desconheço!)
17
Onde aprender?
18
Big Data
Big Power
Big Opportunity
Big Responsibility
Obrigado!
19