GarageLab – Data Science

Desafio 1 - Arquiteturas
Agenda GarageLab Data Science – Dia 1/7

• Distributed File System

• Opções híbridas
• Ferramentas de apoio
• Disponibilidade, Desempenho e Escala
• Processamento paralelo
• Cloud Pública e On-Premisse
• Desafio: GCP
Ser Data driven…

• Por que há tanta atenção para o uso de novas tecnologias de dados?

• Escala, flexibilidade e habilidade de utilizar dados brutos para

transformar em assets agregam valor para os negócios?

• O que dizer de empresas como Amazon, Uber ou Airbnb?

• Para criar valor a partir dos dados é necessário um novo Mindset.

Ser Data driven…

• Dado é um recurso, muito parecido com água ou energia.

(os dados são o petróleo da nova economia” VAN DER AALST, 2014)
• O mundo muda quando se emprega dados para tomada de decisão
• Sem dados, decisões são suposições.
• Com dados, decisões são objetivas, estratégicas, informadas.

“Isso leva a melhores negócios,

melhores governos, melhores
soluções para abordar os
problemas do mundo e melhorar
as condições de vida.”

The Economist, 2017

Enquanto falamos…
Como trabalhar com os 5V’s?

Valor
Data Value Chain

Valor
Arquitetura de Referência para Big Data - Atores

• Sensores
• Aplicações
• Agentes de Software
• Pessoas
• Organizações
• Recursos de Hardware
• Abstrações de Serviços
Arquitetura de Referência para Big Data (NIST.org)

• NIST
Arquitetura de Referência para Big Data (Outro olhar)

• NIST
Arquitetura de Referência para Big Data (Apache.org)

• NIST
Ingestion Layer

• NIST

Sawant & Shah. Big Data Application Architecture Q&A

Storage & Processing Layer

• NIST

Sawant & Shah. Big Data Application Architecture Q&A

Visualization Layer

• NIST

Sawant & Shah. Big Data Application Architecture Q&A

Precisando de ferramentas?

• NIST
2019...

• NIST
Ferramentas para o Cientista de Dados
Dúvidas?

megaflopes@gmail.br
Desafio 1 – Missões Espaciais

• Acessar o site Kaggle, baixar o dataset - All Space mission from 1957
• https://www.kaggle.com/agirlcoding/all-space-missions-from-1957#
• Carregar o arquivo no Data Studio
• Gerar um Relatório e um Gráfico

Responder as seguintes perguntas:

Qual é o total de missões?
Quantas foram bem sucedidas?
Custo das missões por ano?
Desafio 2 – Isolamento Social

• Carrege o arquivo Jupyter no Colab

• Acesse os dados de Isolamento social no site:
• https://www.saopaulo.sp.gov.br/coronavirus/isolamento/

E baixe um arquivo CSV sobre os dados de isolamento no ESP

(Download / Crosstab / CSV)
 
Ajuste o arquivo e suba no Colab

Execute a seguinte tarefa:

Rankeie os os Municípios pelo numero de dias que eles alcançaram taxa de isolamento social e diga quais
são os 10 primeiros.