Workshop Big Data

12/11/2015
Big Data
O Fenômeno do Big Data
1
12/11/2015
O fenômeno do Big Data
POSSIBILIDADES IMENSAS PARA
• PERCEPÇÃO DOS CONSUMIDORES
• CONTROLE DO CLIMA
• EXPANSÃO DOS NEGÓCIOS
• FÍSICA TEÓRICA
• PREVISÃO DE COMPRAS
• ........
O fato é que o big data está por trás de
inúmeras realizações, tanto na ciência quanto
no mundo dos negócios. Use‐o para encontrar
oportunidades que talvez você nem soubesse
que existiam, e descubra que tudo é possível.
Literalmente.
http://brazil.emc.com/big‐data/marketing.htm
2
12/11/2015
O fenômeno
do Big Data
Big Data: A Survey
Min Chen ∙ Shiwen Mao ∙ Yunhao Liu, 2014
Big Data
A conectividade global
3
12/11/2015
http://www.ebc.com.br/tecnologia/2015/05/uit‐diz‐que‐numero‐de‐celulares‐no‐mundo‐
passou‐dos‐7‐bilhoes‐em‐2015
4
12/11/2015
10
5
12/11/2015
11
12
6
12/11/2015
13
14
7
12/11/2015
http://g1.globo.com/jornal‐nacional/index.html
http://g1.globo.com/jornal‐
nacional/edicoes/2015/11/09.html#!v/4597403
15
Big Data
A população brasileira
http://www.ibge.gov.br/home/estatistica/populacao/projecao_da_populacao/2008/piramide/piramide.shtm
http://populationpyramid.net/brazil/1990/
16
8
12/11/2015
A população brasileira ‐ 1990
149.648.000 habitantes
17
18
9
12/11/2015
19
20
10
12/11/2015
21
22
11
12/11/2015
A população brasileira – 2100
23
Big Data
As gerações e a tecnologia
24
12
12/11/2015
Nativos Digitais
nascidos a partir da
década de 90
25
26
13
12/11/2015
27
28
14
12/11/2015
29
Nativos
Digitais
30
15
12/11/2015
para a
Administração Pública
31
Big Data
Big Data na Administração Pública
32
16
12/11/2015
33
O Brasil registrou,
em agosto de 2015,
280,02 milhões de
linhas ativas na
telefonia móvel e
teledensidade de
136,86 acessos por
100 habitantes. No
oitavo mês de 2015,
os acessos pré‐
pagos totalizavam
208,02 milhões
(74,29% do total) e
os pós‐pagos, 72
milhões (25,71%).
34
17
12/11/2015
O SUS é um dos maiores sistemas de atendimento médico público
do mundo.
Com a implantação do sistema, o número de beneficiados passou
de 30 milhões de pessoas para 190 milhões. Atualmente, 80%
desse total dependem exclusivamente do SUS para ter acesso aos
serviços de saúde.
O sistema realiza 2,8 bilhões de procedimentos ambulatoriais
anuais, 19 mil transplantes, 236 mil cirurgias cardíacas, 9,7
milhões de procedimentos de quimioterapia e radioterapia e 11
milhões de internações.
http://www.brasil.gov.br/saude/2013/09/sus‐registra‐volume‐recorde‐de‐
ressarcimento‐1
35
Beneficiários do Bolsa Família
http://veja.abril.com.br/noticia/economia/bolsa‐familia‐tem‐menor‐numero‐de‐
beneficiarios‐dos‐ultimos‐dois‐anos/
36
18
12/11/2015
http://download.inep.gov.br/educacao_basica/enem/downloads/2015/apresentacao_c
oletiva_enem_2015.pdf
37
POSSIBILIDADES IMENSAS PARA
• Avaliação de programas de governo
• Planejamento de políticas pública
• Acompanhamento de políticas públicas
• Conhecimento das necessidades da população
• Avanços na pesquisa, ciência e inovação
• Reavaliação fiscal
• Acompanhamento de mudanças populacionais
• Acompanhamento de massas e Segurança pública
• .....
38
19
12/11/2015
Dados contém
valor e conhecimento
39
O Valor dos dados
Dados contém valor e conhecimento
40
20
12/11/2015
O valor dos dados
• Para extrair o conhecimento os Dados
precisam ser
– Armazenados
– Gerenciados, e
– Analisados
Data Mining ≈ Big Data ≈
Predictive Analytics ≈ Data Science
41
O valor dos dados
Como você quer que os dados?
42
21
12/11/2015
O que é o Big Data?
43
Diariamente uma quantidade gigantesca de dados é gerada no
mundo
Você já parou para pensar na quantidade e variedade de dados
que as pessoas e as organizações geram e armazenam a cada dia?
Facebook, Twitter, Istagram, Google, bancos, companhias aéreas,
operadoras de telefonia fixa e móvel, serviços de busca on‐line e
redes sociais e varejistas
Receita, Previdência, Universidades, sistemas corporativos,
impostos, segurança, .......
44
22
12/11/2015
Apenas ter dados não
basta:
O é importante conseguir
e saber usá‐los
45
“Big Data” vem ajudar as
organizações a gerar valor
agregado aos seus negócios,
utilizando‐se dos dados
gerados por diferentes
sistemas de informação
46
23
12/11/2015
O “Big Data”, conjunto de
softwares que fazem análises
complexas a partir de grandes
bases eletrônicas de dados
47
“Big Data” é o crescimento
exponencial dos dados, à utilização
e o armazenamento de dados em
grandes volumes que desafiam os
métodos convencionais de análise
e gestão dos dados
48
24
12/11/2015
As tecnologias que sustentam o
“Big Data”:
• análises de dados de negócio
• tecnologias de infraestrutura
49
“Big Data” é a comprovação prática
de que o enorme volume de dados
gerados diariamente excede a
capacidade das tecnologias atuais,
geralmente baseadas em bancos
de dados relacionais
50
25
12/11/2015
Big Data
Gestão de dados
51
Gestão de dados
Gestão de Dados é um importante
instrumento para preparar as
empresas para o “Big Data”.
52
26
12/11/2015
Gestão de dados
53
Qualidade de Dados
54
27
12/11/2015
Qualidade de Dados
55
Qualidade de Dados
56
28
12/11/2015
Qualidade de Dados
57
Big Data
Caracterização do Big Data
58
29
12/11/2015
Como caracterizar o “Big Data”?
Os desafios do “Big Data” podem
ser resumidos em cinco palavras ou
dimensões
59
Dimensões clássicas do “Big Data”.
Big Data: A Survey
Min Chen ∙ Shiwen Mao ∙ Yunhao Liu, 2014
60
30
12/11/2015
Dimensões atuais do “Big Data”.
61
Volume
• Corresponde à quantidade de dados
armazenados, representados através
do tamanho e da quantidade de
registros/informações que um banco de
dados possui
• Quanto maior o volume, maiores os
esforços na gestão dos dados
62
31
12/11/2015
Velocidade
• É o desafio de lidar com o tempo rápido
de resposta com que os novos dados
são criados e os dados existentes
modificados.
• Esses dados devem estar disponíveis
imediatamente para operações de
pesquisa e análise dos dados
• São os dados em ação
63
Variedade
• Implementações de dados que
requerem tratamento de vários
formatos e tipos, incluindo dados
estruturados e não estruturados
• São os dados em múltiplas formas e
representações
64
32
12/11/2015
Veracidade
• Consiste no grau de incerteza e
inconsistência dos dados devido às
ambiguidades, à baixa qualidade e
à completeza dos dados
• Representa a confiabilidade dos
dados
65
Valor
• Corresponde ao retorno, financeiro
ou não, que um determinado
conjunto de dados fornece à
empresa
66
33
12/11/2015
Valor
• Boa parte dos dados considerados
“Big Data” são redundantes,
incompletos ou simplesmente não
agregam valor ao negócio da
empresa
67
Valor
• Se a empresa consegue valorar os
seus conjuntos de dados, ela
consegue focar os esforços na
gestão dos dados que dão maior
retorno a ela
68
34
12/11/2015
Valor
• “Big Data” só faz sentido se o valor
da análise dos dados compensar o
custo de sua coleta,
armazenamento e processamento.
69
Por que implementar o “Big Data”?
• Melhorar suas análise
• Melhorar suas decisões
• Aprender e experimentar
• Perceber que precisa começar um
projeto de “Big Data” antes que seja
tarde demais
70
35
12/11/2015
Ferramentas de
Big Data
71
Ferramentas de Big Data
Um projeto de “Big Data” necessita
de um conjunto de softwares
(ferramentas) que são essenciais
para a arquitetura dos projetos de
“Big Data”
72
36
12/11/2015
1. Ingestão de dados
O processo de consumir os dados necessários
de forma adequada, eficiente e metódica.
Necessita de ferramentas para:
• Carga em lote de dados ‐ acesso
• Captura de dados de mudanças ‐ alterações
• Fluxo de dados ‐ confiança
• Arquivamento ‐ compactação
73
2. Gerenciamento de Dados
Reuni todas as políticas, processos e
práticas necessárias para gerenciar
adequadamente a eficácia, a precisão, a
confiabilidade e a disponibilidade dos
dados
74
37
12/11/2015
• Integração de dados ‐ Preparar e consolidar várias estruturas e
fontes em um conjunto de dados consistente para análise
• Segurança de dados ‐ Protege os dados em todos os repositórios
de dados, atribuindo para isso regras sobre uso, acesso e
permissões
• Máquina virtual de dados ‐ Cria uma camada de abstração para
os dados que combine vagamente o processamento de dados no
ambiente de implantação subjacente
• Gerenciamento de dados mestres ‐ Armazena uma versão
consolidada, completa e fidedigna da verdade para vários
domínios de dados
75
• Estrutura distribuída de dados ‐ Usa tecnologias como o Hadoop
para dimensionar de forma econômica suas necessidades de
armazenamento e processamento.
• Data Warehouse ‐ Tecnologia de data warehouse que possa lidar
com os requisitos de desempenho, uso e dimensionamento para
análises e integrações de “Big Data” com infraestruturas, por
exemplo, como o Hadoop.
76
38
12/11/2015
3. Entrega de Dados
Processo de envio dos dados necessários
aos sistemas e aplicativos que precisam
deles
77
3. Entrega de Dados
• Carga em lotes – Processo de dimensionar com eficiência a carga
de lotes de dados entre os sistemas de origem, análise e back‐
end operacionais
• Fluxo de dados em tempo real ‐ Oferece fluxo de dados em
tempo real para sistemas de aplicativos, análises e back‐end.
• Hub de integração de dados ‐ Disponibiliza dados usando uma
abordagem como o modelo de publicação e assinatura para
evitar a proliferação de integrações ponto a ponto.
78
39
12/11/2015
3. Entrega de Dados
• Visualização de dados ‐ Entrega dados dos seus sistemas sem
sobrecarregá‐los.
• Processamento baseado em eventos – É o processo de detectar,
analisar e reagir a ameaças, oportunidades e outros eventos
críticos de negócios em tempo real.
79
4. Análise de Dados
As ferramentas e os processos que
transformam dados brutos em
conhecimentos (insights), padrões,
previsões e cálculos sobre o domínio que
você está analisando
80
40
12/11/2015
4. Análise de Dados
Visualização – Apresenta os dados e resultados de maneira a
facilitar a compreensão e o entendimento dos usuários
Análise avançada ‐ Aplica algoritmos analíticos avançados aos seus
conjuntos de dados para fazer cálculos complexos
Aprendizado de máquina ‐ Aplica sofisticados algoritmos de
aprendizado de máquina para identificar padrões e fazer previsões
81
Ferramentas de Big Data
Processo de Big Data
82
41
12/11/2015
Big Data
83
Oito passos essenciais no processo do “Big Data”
1. Acessar os dados
2. Integrar os dados
3. Limpar os dados
4. Criar dados mestres
5. Proteger os dados
6. Analisar os dados
7. Analisar as necessidades de negócios
8. Operacionalizar o conhecimento
O impacto do projeto de “Big Data” nos negócios
precisa ser sentido
84
42
12/11/2015
Tenha como meta dominar esses oito passos e o
seu projeto de “Big Data” avançará na direção
certa.
O objetivo é estabelecer processos claros,
repetíveis, dimensionáveis e com melhorias
contínuas.
A documentação (metadados) desses processos e
as melhorias contínuas são vitais para a equipe.
85
Big Data
Plano do Projeto de Big Data
86
43
12/11/2015
Plano do projeto de Big Data
87
Plano do projeto de Big Data
88
44
12/11/2015
Big Data
Como funciona o Big Data
89
Como funciona o Big Data
“Big Data” é o conjunto de soluções
tecnológicas capaz de lidar com dados
digitais em volume, variedade e
velocidade inéditos até hoje.
Na prática, a tecnologia permite analisar
qualquer tipo de informação digital em
tempo real, sendo fundamental para a
tomada de decisões.
90
45
12/11/2015
Conclusão
“Big Data” promete ser uma realidade
nas instituições públicas brasileiras.
Sua utilização poderá ajudar no
planejamento, implantação e
monitoramento de diversas políticas
públicas, em várias áreas do governo.
91
Conclusão
92
46
12/11/2015
Agradecimento
Muito agradecido
a todos pela presença e atenção
Sérgio da Costa Côrtes
Diretor de Tecnologia da Informação – Capes/MEC
sergio.cortes@capes.gov.br
sergio.costa.cortes@gmail.com
93
47

Workshop Big Data

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Workshop Big Data

Enviado por

Direitos autorais:

Formatos disponíveis

12/11/2015

Você também pode gostar