2023 INA Apresentação - Data Scientist v8

DATA SCIENTIST
TRANSFORMAR DADOS EM CONHECIMENTO

[Fundamentos]
Jorge Caldeira
2023
JORGE CALDEIRA
JORGE CALDEIRA
o 52 anos.
o Casado, 2 filhos, a viver em Cascais.
o Doutorando em Gestão (Strategic Management).
o Diretor Geral de uma empresa de consultoria e formação em Estratégia & BI.
o 14 anos na administração pública (1998-2012).
o 24 anos de formação e docência (>16 500 horas).
o 17 anos no INA, nos cursos de alta direção.
o 7 livros publicados.
JORGE CALDEIRA DATA SCIENTIST 2

OBJETIVOS
✓ Identificar as COMPETÊNCIAS críticas do Data Scientist.
✓ Conhecer as principais FERRAMENTAS do Data Scientist.
✓ Conhecer técnicas de TRANSFORMAÇÃO de dados e VISUALIZAÇÃO da
informação de apoio à TOMADA DE DECISÃO.

AGENDA
1. CONCEITOS INTRODUTÓRIOS 2.5. Machine Learning - Estatística básica

1.1. Desafios da decisão 2.6. Modelos de dados
1.2. Conceitos de Business Intelligence (BI)
1.3. Principais tendências do BI 3. TRANSFORMAÇÃO DE DADOS EM CONHECIMENTO
1.4. Data Science 3.1. Conhecer os decisores
3.2. Calculo, interpretação e comunicação da performance
2. FUNÇÃO DO DATA SCIENTIST 3.3. Predictive analytics & Prescritive analytics
2.1. Competências críticas do Data Scientist 3.4. Visualização eficaz da informação
2.2. Etapas de um projeto de Data Science 3.5. Boas práticas em visualização
2.3. Ferramentas de BI: Power BI & Google Data Studio
2.4. Python e Linguagem R

1. CONCEITOS INTRODUTÓRIOS

1.1. FATORES CRÍTICOS NA TOMADA DE DECISÃO
Desafios atuais da tomada

de decisão?
1.1. DESAFIOS DA DECISÃO
São muitos os desafios para a decisão:
1. Elevada incerteza.
2. Volatilidade.
3. Dimensão dos problemas.
4. Escassez de recursos (solução ótima).
Mitigar…
5. Pressão por resultados (GPO, Outputs & Outcomes). (Data Scientist)
6. Excesso de informação.
7. Urgência na decisão.
8. Informação/objetivos conflituantes.
9. Necessidade de alinhamento na decisão.
10.Escassez de oportunidades.
1.1. DESAFIOS DA DECISÃO
Os decisores públicos pretendem respostas para várias questões:
1. Estamos a cumprir a missão?

2. Somos produtivos?
3. Somos eficientes?
4. Somos eficazes?
5. Fazemos com qualidade?
6. Temos o utente satisfeito?
7. Fazemos dentro da legalidade?
8. Somos transparentes?
9. Temos impacto?
10. Como estamos a contribuir em termos de responsabilidade social e ambiental?
1.2. CONCEITOS …
A palavra do dia
Insight?
R: Informação relevante que não é óbvia.
Verdade escondida.

1.2. CONCEITOS …
O que é BI?
R: Processo de recolha de dados,
armazenamento e gestão do conhecimento
com vista a fornecer inputs para a tomada
de decisão
(Negash & Gray, 2014)
Anos 80 | | USA
1.2. CONCEITOS DE BUSINESS INTELLIGENCE (BI)
Dataset Unstructured data
Dados sem nenhum
Conjunto de dados
Big data modelo de organização
normalmente definido
Conjuntos de dados tabulados
muito grandes
Data warehouse Online analytical
Metadata processing (OLAP)
Armazém de dados
Informação sobre Análise de um grande
os dados. volume de dados sob
Data mart múltiplas perspetivas
É um subconjunto de Extract Transform
dados de um Data Load (ETL) Machine Learning
Warehouse
Ferramentas para Construção de Modelos
extração, transformação que “aprendem”
e carregamento de dados
Data mining
Analytics no DW Deep learning
Exploração de dados
Análise de dados para Nova área do Machine
apoio à decisão Learning ligada à
Inteligência Artificial
1.3. PRINCIPAIS TENDÊNCIA DO BI
O caminho para o BI…

Qual o nível de maturidade dos seus dados?

1. CONCEITOS
INTRODUTÓRIOS
1.3. Principais tendências do BI
Ganhos com a transformação digital?

A matéria prima para o BI…


Big Data
Tendências
Dados estruturados, semiestruturados e
#1 não estruturados que estão a aumentar

em: Volume, Velocidade, Variedade,
Veracidade e Valor.
175 ZB = 1,000,000,000,000,000,000,000 bytes

Tendências
#1
Exemplos de dados: áudio (mp3), email (txt), vídeos (mp4), imagens (jpg), etc.
Surgimento: Surgiu nos anos 60s/70s com o aparecimento dos primeiros data centers e o
desenvolvimento das bases dados relacionais.
Ganhos: Mais informação faz com seja possível obter mais respostas.
Tendência: Com a Cloud, o Machine Learning e a IoT, o Big Data irá continuar a aumentar.

Tendências https://data.london.gov.uk/
#2 https://dados.gov.pt/en/
https://lisboaaberta.cm-
lisboa.pt/index.php/pt/
Tendências
#2
https://data.europa.eu/en/dashboar
d/2021#country-overview

Tendências
#3 DATA SCIENTIST

Tendências
#3
https://www.glassdoor.com/List/Best-Jobs-in-America-
LST_KQ0,20.htm

Tendências
#3

Tendências
#3

Tendências
#3

Tendências
#3

Tendências
#4 SELF-SERVICE BI (“FREE” & FRIENDLY)

Tendências
#5 IA
Definição: Simulação da inteligência e comportamento humano pelas máquinas.
Surgimento: 1955 pelo John MacCarthy (Professor de matemática).
Impacto: Irá transformar todas as indústrias à semelhança da eletricidade há

100 anos atrás (Fonte: McKinsey).

Tendências
#5 IA
Visão sobre IA nas 5 escolas:

1) Distópicos: Guerra. As máquinas ganham. Desemprego massivo.
2) Utópicos: IA assumirá mais funções. Riqueza sem precedentes. Rendimento universal para as
pessoas.
3) Tecnológicos otimistas: Investir na tecnologia e educação para evitar desempego.
4) Céticos: Produtividade será baixa. Desafios: envelhecimento, desequilíbrios de rendimento e
aquecimento global.
5) Otimistas realistas: Elevada produtividade. Novos empregos.

Data Science?
Extrair conhecimento dos dados com objetivo de
melhorar a tomada de decisão.
Surgiu há 30 anos. Ganhou destaque nos últimos anos.

(Big Data & Machine Learning)

2. FUNÇÃO DO DATA SCIENTIST

2.1. COMPETÊNCIAS CRÍTICAS DO DATA SCIENTIST
• Sexy = “Rare qualities”

• LinkedIn
• Encontrar sugestões de conexões.
• ↗30%.
• Curiosidade | Storytelling data
(verbalmente e graficamente)|
Programação |
“Data scientists are the people

who understand how to fish out answers
to important business questions from
today’s tsunami of unstructured information”

https://worlddatasummit.com/

Data Scientist é um IT?

• = Cientista
• Padrões, tendências,
conhecimento, previsão…
• ≠ IT
• ↗Outcomes
• DS = Função!
• Novas “posições”
• Tecnologia↔Dados
https://www.sas.com/en_si/insights/analytics/
what-is-a-data-scientist.html

“Some are generalists that know a bit of something about everything”
TOOLBOX (inicial) DE UM DS:
https://www.microsoft.com/pt- https://datastudio.google.com/ https://cran.r-

PT/download/details.aspx?id=58494
project.org/bin/windows/base/
https://rstudio.com/products/rstudi https://www.python.org/downloads/
o/download/

“Some are generalists that know a bit of something about everything”
SKILLS DE UM DS:
1. Matemática e Estatística.
2. Algoritmos de Machine Learning.
3. Bases de Dados.
4. Ferramentas de programação e de análise de dados (ex. Python, R, Matlab, SPSS, etc.).
5. Visualização gráfica.
6. Ferramentas de Business Intelligence (ex. Power BI).
7. Dominar/compreender o negócio em análise e processo de decisão.
8. Orientação para resolução de problemas.
9. Comunicação (ex. Storytelling).
10. Gestão de Projetos.

2.2. ESTAPAS DE UM PROJETO DE DATA SCIENCE
Registo, Análise e
Definição Visualização
Recolha e Interpretação
do projeto
Tratamento

Registo, Análise e
do projeto
Tratamento
1. Tema, Objetivos, Destinatários, Áreas de informação do tema,

Confidencial?
2. Deadline.

Registo, Análise e
do projeto
Tratamento
1. Localizar BD.
2. Estudar BD
3. Limpeza de dados e Transformação.
4. Relacionar modelo de dados (conectar BD).

Registo, Análise e
do projeto
Tratamento
1. Desenvolver o projeto.
2. Testar e verificar os resultados. Reajustar.

Registo, Análise e
do projeto
Tratamento
1. Selecionar a visualização.
2. Preparar a apresentação.
3. Apresentar.
4. Reajustar

2.3. FERRAMENTAS DE BI: POWER BI & GOOGLE DATA STUDIO
Dashboards
1. É essencialmente um INSTRUMENTO DE APOIO À DECISÃO.

2. Apresenta RAPIDAMENTE os principais indicadores (Organização, Área, U.O, Projeto,
Atividade).
3. Possui uma apresentação GRÁFICA SIMPLES, CLARA, OBJETIVA, mas também
ELEGANTE.
4. UTILIZA TÉCNICAS DE DESIGN de modo a reduzir o "lixo visual".
5. Tenta apresentar informação NUM ÚNICO ECRÃ/página A4.

2.3. FERRAMENTAS DE BI: POWER BI &
GOOGLE DATA STUDIO
Dashboards

https://coronavirus-portugal-
esriportugal.hub.arcgis.com/apps/evolu%C3%A7%C3%A3o-do-
covid-19-em-portugal/explore

https://erasmusmais.pt/candidaturas-e-projetos/barometro-
mobilidade-erasmus/

https://www.ense-epe.pt/fiscalizacao/atividade/

https://www.sns.gov.pt/monitorizacao-do-sns/

https://data.cascais.pt/geral/economia-inovacao
https://www.seg-social.pt/estatisticas-detalhe/-
/asset_publisher/GzVIhCL9jqf9/content/prestacoes-de-
desemprego
https://www.seg-social.pt/observatorio-nacional-de-
emergencia-social
v
https://app.powerbi.com/view?r=eyJrIjoiNWI2ZDIwODktZWUwZi00ZjlmLWFlYWUtNmI0ODE3YTk
Nota: Valores ficcionados. 1Yjc1IiwidCI6Ijc5NDdhMGQxLWQzMGItNGNhMC05ODk4LTM3ZDQ4NjFjNjU5YyIsImMiOjl9&page
Name=ReportSection9fc0350871a7a685e2c0

Muitas ferramentas…
https://www.tableau.com/pt-br/products/desktop
https://www.qlik.com/us/products/qlikview

2.3. FERRAMENTAS DE BI: POWER BI & GOOGLE DATA
POWER BI
Potencialidades:
1. Rápida ligação a múltiplas origens de dados e
possibilidade de combiná-las.
2. Facilidade na limpeza e transformação de dados.
3. Familiaridade com o Excel.
4. Facilidade na construção dos Dashboards.
5. Visualizações de dados interativos e dinâmicos.

POWER BI

CLOUD
Partilhar
SaaS (Software as a Service)

Cloud datasets
Destinatários
Copyright © Jorge Caldeira
Publicar
ON PREMISE
Bases de dados na
Fonte: Jorge Caldeira (2022) Criar organização

POWER BI
Importar → Limpar → Transformar → Construir visualização → Partilhar
Etapas:
1. Identificação e ligação a uma base de dados.
2. Limpeza dos dados.
3. Estruturação do modelo de dados.
4. Construção dos visuais (ex. gráficos).
5. Publicação (partilha) do dashboard.

POWER BI
% Indivíduos com digital skills (Fonte: Eurostat)
1. Abrir Power BI.

GEO/TIME 2015 2016
European Union - 27 countries
54 (from
2017
54 2020) 55
2019
56 2. Importar ficheiro Excel.
55 (2013-2020)
56 57 58
55
59
(2007-2013)
56
(1995-2004)
60
57 :
61 :
3. Selecionar tabela.
Euro area (EA11-1999,57EA12-2001, 57EA13-2007,58EA15-2008,
59EA16-2009, EA17-2011, EA18-2014, EA19-2015)
Belgium
Bulgaria
60
31
61
26
61
29
61
29
4. Transformar.
Czechia
Denmark
57
75
Germany (until 1990 former
67
54
78
territory
60
71
68of the FRG)
68
62
70
70
5. Eliminar linhas.
Estonia
Ireland
65
44
60
44
60
48
62
53 6. Utilizar 1ª linha como cabeçalho.
Greece 44 46 46 51
Spain
France
54
57
53
56
55
57
57
57
7. Fechar e aplicar.
Croatia
Italy
Cyprus
51
43
43
55
44 :
43
41
50
53
42
45
8. Selecionar gráfico.
Latvia
Lithuania
49
51
50
52
48
55
43
56 9. Filtros.
Luxembourg 86 86 85 65
Hungary
Malta
50
53
51
50
50
57
49
56
10. Etiquetas, Cores, Título e Fundo.
Netherlands 72 77 79 79
Austria
Poland
64
40
65
44
67
46
66
44
11. Linha média
Portugal 48 48 50 52
Romania 26 28 29 31
Slovenia 51 53 54 55
Slovakia 53 55 59 54
Finland 74 73 76 76
Sweden 72 69 77 72
Iceland : : 85 85
Norway 80 75 77 83
Switzerland : : 76 77
United Kingdom 67 69 71 74
Montenegro : : 50 :
North Macedonia 37 34 32 32
Serbia 32 : 39 46
Turkey 23 28 34 36

GOOGLE DATA STUDIO
https://datastudio.google.com/
1. Abrir datastudio
2. Importar ficheiro CSV.

2.4. PYTHON & LINGUAGEM R
O que é o Python?
Open Source! 1ª Linguagem de projetos data science. Grande comunidade. +250 mil
bibliotecas.
O que podemos fazer com o Python?

O Python é uma linguagem de programação.
Onde posso aceder ao Python?

https://docs.python.org/3/

>>> a = 5
>>> b = 7
>>> print(a + b)
>>>a=“Data”
>>>b=“Scientist”
>>>a+b
>>> x=a+b
>>> len(x)
>>>input(“nome?”)
https://docs.python.org/pt-br/3/tutorial/

O que é a Linguagem R?
R é uma linguagem de programação para manipulação, análise e visualização de dados.
Inclui um editor de código, juntamente com ferramentas de visualização.
Onde posso aceder à Linguagem R?

https://cran.r-project.org/bin/windows/base/
https://rstudio.com/products/rstudio/download/

2. FUNÇÃO DO DATA SCIENTIST Banco de dados
Script
Output
Consola

2.4. PYTHON & LINGUAGEM R [ctrl + enter]
Na consola:
1. Operações: 4*2
2. Variáveis: [guardar dados; case-sensitive]
x<-4
y<-2
Gerar nºs
x*y aleatórios
Arredondar
3. sqrt(4)
4. Gerar números aleatórios: aleatorios <- floor(runif(1000, min=100, max=5000))
5. max(aleatórios)
6. Histograma: hist(aleatorios)
7. Help: ? hist
8. Gráfico circular: pie(c(1,5,7,10))

Na consola:
9. Ver exemplos de gráficos no R: Demo(graphics)

10. Ver exemplos de gráficos pie: example(pie)
11. Gráfico:
x<-c(1, 5, 4, 6)
y<-c(5, 2, 1, 7)
plot(x,y)
plot(x,y, cex=5, pch=5, col=“red”)

2.5. MACHINE LEARNING E ESTATÍSTICA
O que é Machine Learning?

No campo das Ciências da Computação:
“Dar aos computadores a habilidade de aprenderem

sem serem programados para isso”
No campo da Data Science:
“Utilização de modelos/algoritmos capazes de prever o comportamento futuro

de determinadas variáveis”

OECD Weekly Tracker of GDP

growth - 250 Google Trends
variables
Machine learning model to a panel of Google

Trends data for 46 countries, and aggregates
together information about search behaviour
related to:
a) Consumo – ex.: Carros, eletrodomésticos,

b) Mercado de trabalho – ex.: Recrutamento,
http://www.oecd.org/economy/weekly-tracker-of-
c) Habitação, gdp-growth/
d) Atividade industrial – ex.: Transporte
marítimo,
e) Incerteza económica – ex.: recessão, “food
bank” .

UTILIZAÇÃO
1. Deteção de fraudes (ex.: cartões de crédito).
2. Otimizar pesquisas (ex.: Google, Bing, etc.).
3. Recomendação de conteúdos.
4. Logística (ex.: otimização de rotas).
5. Saúde (ex.: análise de imagens).
6. Bots (ex.: Processamento de linguagem natural).
7. Reconhecimento de voz.
8. Reconhecimento facial.
9. Etc
Aprendizagem supervisionada Aprendizagem não supervisionada
“Área de estudos em que o analista ajuda o “Área de estudos que dá aos computadores a
computador, através de exemplos, a determinar capacidade de aprender sem serem
regras.” explicitamente programados . Através da
observação e descoberta, reconhece padrões,
relações e categorias por si próprio.”
Exemplo: Prever a probabilidade de uma Exemplo: Muito útil para abordar problemas
pessoa ter um ataque cardíaco no prazo de 1 com pouca ou nenhuma ideia sobre quais
ano (Idade, Peso, Altura e Pressão Sanguínea) poderão ser os resultados.
Modelos: Regressão, Árvores de decisão, Modelos: Clustering (agrupamentos) , Anomaly

Máquinas de Suporte Vetorial, Classificador dos detection, Neural networks
K-Vizinhos mais próximos, Etc.

Principais tipos de projetos de Data Science:
1. Clustering (segmentação)
2. Anomaly (outlier) detection
3. Association-rule mining
4. Prediction

1. Clustering
Objetivo: Criação de subgrupos baseados na similaridade dos atributos.
Desafios: Selecionar os atributos.
Etapas: 1. Quantos grupos pretendemos; 2. Correr o algoritmo; 3. Rever, interpretar e
validar os resultados por um perito.
Exemplos: Segmentação de clientes.
Algoritmos: K-means.

2. Anomaly (outlier) detection
Objetivo: Identificar dados não conformes com os dados do dataset.
Desafios: Necessidade de aplicar diferentes modelos de modo a determinar as
anomalias.
Exemplos: Operações financeiras fraudulentas (ex. cartões de crédito, lavagem de
dinheiro), seguros, etc.
Algoritmos: Support-vector machine, IQR.

3. Association-rule mining
Objetivo: Determinar grupos de itens que geralmente ocorrem juntos.
Etapa: 1. identificar todas as combinações de itens com uma determinada frequência. 2.
calcular a probabilidade de ocorrência dos itens nas combinações identificadas.
Exemplos: Estratégias de cross-selling.
Algoritmos: Apriori algorithm.

4. Prediction
Objetivo: realizar previsões.
Exemplos: Estimar o preço de um carro (ex. anos, km, modelo, etc.).
Algoritmos: Modelos de regressão linear.

Fonte: https://towardsdatascience.com/

MÉDIAS MÓVEIS
Utilizam a média das observações registadas como previsão para um determinado período no futuro. À medida que
uma observação está disponível, a média das observações é recalculada com a utilização deste valor, desprezando o
mais antigo.
Média Móvel Simples - Todas as observações usadas têm um peso igual no calculo da previsão.
Nota: Não há tendência ou sazonalidade.
Média Móvel Ponderada - As observações usadas têm pesos diferentes no calculo da previsão.
Nota: Períodos específicos podem explicar melhor a tendência.
Média Móvel Exponencial - As observações usadas têm pesos maiores nos dados mais recentes.
Nota: Períodos recentes explicam melhor.

REGRESSÃO LINEAR
Deﬁne uma relacão linear entre a variável dependente e uma variável independente. Se em vez de uma forem
incorporadas várias variáveis independentes, o modelo passa a denominar-se modelo de regressão linear
múltipla.
Variável
dependente
Variável
independente

ÁRVORES DE DECISÃO (“Divide-and-conquer”)
Uma árvore de decisão é um mapa dos possíveis resultados de uma série de opções relacionadas. Uma árvore de
decisão geralmente começa com um único nó que se divide em possíveis resultados. Cada um desses resultados
leva a nós adicionais que se ramificam em outras possibilidades. Assim, cria-se uma forma de árvore.
Exemplos de aplicação:
• Diagnóstico médico.
• Atribuição de crédito
• Etc.

RANDOM FOREST (“The wisdom of crowds”)
a) Cria várias árvores de decisão em

paralelo. Para cada árvore é escolhida, de
forma aleatória e sem reposição, uma
amostra do conjunto original de variáveis.
b) Define a previsão final pela maioria.
c) Está classificado como modelo de
aprendizagem supervisionado.
Fonte: (Tan et al., 2013)

SVM - SUPPORT VECTOR MACHINES
a) Constitui uma técnica onde o objetivo é o

reconhecimento de padrões.
b) Está classificado como modelo de aprendizagem
supervisionado.
c) O SVM encontra uma linha de separação,
designada por hiperplano, entre dados de duas
classes. Essa linha maximiza a distância entre os
pontos mais próximos em relação a cada uma das
classes.
d) Sofre com os outliers.

Processamento
2. FUNÇÃO DO DATA SCIENTIST Resposta

REDES NEURAIS ARTIFICIAIS (RNA)
a) Inspiradas no cérebro biológico.

b) Resolução de problemas complexos.
c) Aplicadas com sucesso: previsão do tempo,
diagnósticos de doenças, reconhecimento
de escrita, imagens, voz, etc.
Fonte: (Martins & Pereira, 2011)

2.6. MODELOS DE DADOS
Cabeçalhos (campos)
Tabela
Data de Entrada Processo Data de Saída Técnico Estado Reclamação

04/01/2021 1 07/01/2021 António Fechado S
Registos 05/01/2021 2 08/01/2021 Jorge Fechado
07/01/2021 3 11/01/2021 Maria Fechado
07/01/2021 4 08/01/2021 Maria Fechado Valores de campo
12/01/2021 5 15/01/2021 Maria Fechado S
01/02/2021 6 05/02/2021 Maria Fechado
03/02/2021 7 08/02/2021 Jorge Fechado
08/02/2021 8 20/02/2021 António Fechado
09/02/2021 9 12/02/2021 António Fechado S
09/02/2021 10 Jorge
20/02/2021 11 05/03/2021 Jorge Fechado
22/02/2021 12 25/02/2021 Jorge Fechado
24/02/2021 13 28/02/2021 Jorge Fechado
01/03/2021 14 06/03/2021 António Fechado
02/03/2021 15 António
03/03/2021 16 06/03/2021 Maria Fechado S

BOAS PRÁTICAS NAS TABELAS DE DADOS:
1. Evitar datas na designação da tabela (ex. Processos_2021).
2. Incluir Metadata (Autor, Data de criação, Descrição, Siglas, etc.).
3. Registos temporais devem entrar na linha e não na coluna.
4. Cabeçalhos com nomes diferentes, sucintos, claros e no singular.
5. Cabeçalhos devem evitar: carateres especiais, números, acentos ou espaços.
6. Cabeçalhos com o mesmo propósito em tabelas diferentes devem ter o mesmo nome.
7. Os registos devem respeitar a formatação (ex. data, nº, texto, etc.).
8. Evitar células unidas (ex. Excel).
9. Ter uma chave primária na tabela (ex. produto_id).
10. Prefixos para tabelas: RAW_ (Retirada diretamente da fonte), INT_ (Intermediária), TEMP_ (Temporária),
FAT_ (Tabela Facto), DIM_ (Tabela dimensão).

TABELAS FACTO & DIMENSÃO
Tabela Facto Tabela Dimensão
Data Funcionário_Id Tipo_Ausencia Duraçao

Funcionário_Id Nome Morada
01/01/2021 345 Apoio à família 1
233 António Lisboa
234 Maria Faro
02/01/2021 234 Doença 2
235 João Lisboa
03/01/2021 567 Doença 1
236 Jorge Cascais
04/01/2021 233 Casamento 5
. Auxilia a tabela facto.
. As informações não se repetem.
. Constituem as informações da atividade. . Complementa a tabela Facto.
. Geralmente com grande volume de dados. . Deve ser ligada à tabela facto.
. Têm as movimentações históricas.
. As informações podem repetir-se.
. Não se relacionam tabelas fato diretamente.

ESQUEMA ESTRELA, FLOCO DE NEVE & CONSTELAÇÕES
Estrela Floco de Neve

Dim_Freguesia
Dim_Data Dim_Loja
Data Loja
Dim Dim_Concelho
Dia Facto_Vendas Morada
Semana Data
Mês Dim
Loja Dim_Distrito
Trimestre Produto
Ano Quantidade Facto
Dim_Produto
Produto
Preço Dim
Dim
i. Mais comum.
ii. Menos complexo → + fácil de perceber Dim Dim
i. Recomendável quando a linha dimensão fica

muito longa.

CONSTELAÇÕES
Dim Dim Dim
Facto Facto
Dim Dim Dim

1. Fast changing: Mudam constantemente (ex. Preços e custos de venda).

Métodos: 1. Substituir; 2. Nova linha e incluir campo com “Versão”; 3. Incluir campo “Atual”; 4.
Criar tabela com histórico; etc.
2. Slowly changing: Mudam lentamente ou não mudam (ex. Produtos, Data de nascimentos).

BOAS PRÁTICAS NA LIMPEZA DE DADOS (CLEANSING)
Análise da qualidade dos dados:

1. Relevante - Importante para a decisão
2. Precisa - Verdadeira.
3. Completa - Não faltam dados.
4. Consistente - Entre os vários data sets.
5. Uniforme - Utilização das mesmas unidades.

1. Standartization (ex. M, m, Masculino, masculino, H, Homem, metros, km, etc.).

2. Identificar/reconstruir dados em falta (técnicas: drop, média, random, flag, etc.).
3. Identificar duplicados.
4. Espaços em branco no inicio ou no fim.
5. Verificar Outliers: IQR = (Q1-Q3); IQR*1,5; Upper=Q3+(1,5*IQR); Lower=Q1-(1,5*IQR).

Restrições:
1. Tipo ex. data, número, lógico, etc.
2. Intervalo. ex. NPS = [0; 10], só pode ser decimal, etc.
3. Obrigatória ex. campos que não podem estar vazios
4. Única ex. NIF
5. Chave-estrangeira ex. não pode ter um valor que não existe na chave-primária
6. Campo cruzado ex. Data fim do processo inferior a data entrada do processo

3. TRANSFORMAÇÃO DE DADOS EM
CONHECIMENTO

3. TRANSFORMAÇÃO DE DADOS EM CONHECIMENTO
3.1. CONHECER OS DECISORES
Relacionar informação e
Modelo DIKW prever
Tratamento
dos dados
70% de reclamações relativas a
falhas reincidentes
2,1% reclamações válidas
300 reclamações
(Ackoff, 1989)
Fonte: Jorge Caldeira

Gartner Analytic Ascendancy Model
Taxa de absentismo (31/12) =

4,0% se absentismo até ao final
do ano for de 3,1%.
Taxa de absentismo (31/12) = 6,5%
↗ 40% absentismo por motivo de doença
Taxa de absentismo = 4,5% (Meta = 4,0%)
Fonte: Gartner
Gartner Analytic Ascendancy Model
https://docs.google.com/forms/d/e/1F
AIpQLSdT_0nK-
EoZSzIbuz4PrQ14bl47xIFAdz9rnEWxBfK
BeDKb7A/viewform?usp=sf_link
Fonte: Gartner
3.2. CALCULO, INTERPRETAÇÃO E COMUNICAÇÃO DA PERFORMANCE
Cálculo do desempenho?
Direção de Finanças Departamento de

Sistemas de
Indicador - Nº médio de Informação
dias úteis de entrega
dos relatórios de Indicador - Nº de
avaliação de nível de soluções de Disaster
serviço | Meta = 55 dias Recovery
| Superação <= 50 dias implementadas em https://docs.google.com/forms/d/e/1
cloud| Meta = 15 | FAIpQLSfw3BeY7XrNiEiXvgdZgAG-
Superação >= 19 JT55wx4SQWDzIhkpZzKHa2GqmQ/vie
Resultado: 53 dias wform?usp=sf_link
Resultado: 16
Performance = ? Performance = ?

Cálculo do desempenho? Polaridade
(Resultado – Meta)
Performance (P+) = +1
(Meta)
(Meta – Resultado)
Performance (P-) = +1
(Meta)
E (P+/- “sweet spot”)?

Cálculo do desempenho? Análise semafórica
100%
90%
125%
0%

Discussão da performance: % processos analisados dentro do prazo legal
Diretor Técnico
APRENDIZAGEM
Como é que estamos? (P+1)
Resultados
DESCRITIVA & DIAGNÓSTICO PREDITIVA & PRESCRITIVA Eficácia das

decisões
95% 2. É bom/mau?
APRENDIZAGEM META=93%
Qualidade do N-1=90%
planeamento 1. Como está a correr? 6. Reposicionar?
87%
APRENDIZAGEM 3. Causas?
Eficácia das ações -2rh, ↘Uptime SI DECISÃO ?
corretivas 4. Medidas 84%
81%
tomadas? 5. Qual poderá ser 84% 93%
VS
Copyright © Jorge Caldeira +3h/dia & fds o resultado no fim do ano? 0€ +rh, +10% €
Tempo
*10% € - Servidor

3.3. PREDICTIVE ANALYTICS & PRESCRITIVE ANALYTICS
Vantagens:
1. Os constrangimentos internos e ameaças externas são detetados antecipadamente.

2. A organização tem tempo para eliminar/minimizar o efeito dos constrangimentos e ameaças.
3. A pressão sobre a organização ainda não é forte, uma vez que ainda não gerou problemas
efetivos e, eventualmente, ainda é desconhecida pela maior parte da organização.
4. A organização tem tempo para construir soluções mais robustas para combater os
constrangimentos e as ameaças.
5. A resolução de situações pré-crise é quase sempre mais barata e não se utilizam tantos
“favores”.

Exemplos:
1. Tempo 5 days forecasts (hoje) = 1 day forecast (1980)

2. Desporto Moneyball . https://bingpredict. com/… anonymized crowd sentiments and real time
updates.
3. Seguros deteção de fraudes, campanhas de marketing, melhor estimação de risco, etc.
4. Saúde Google Flu Trends (GFT), estimativas da atividade da gripe em mais de 25 países.
5. Retalho Amazon.
6. Etc…

9 Dec 2021 -The OECD Composite leading indicators (CLIs), designed to anticipate turning points in economic
activity relative to trend, continue to suggest that economic growth in the OECD area as a whole may reach a
peak in the coming months.

Exemplos de Predictive Analytics:
KPI - % pagamentos efetuados

dentro do prazo
Interno Interno Externo

Leading - Taxa absentismo da Leading - Nº pagamentos por Leading - Nº pedidos de
equipa técnico pagamentos
Interno Interno Externo Externo

Leading - Nº Leading - % Leading - % pedidos Leading - Uptime do . Nível de
documentos técnicos da equipa de com SI motivação
solicitados para com experiência documentos . Capacidade de
auditoria relevante ilegíveis planeamento diário

3.4. VISUALIZAÇÃO EFICAZ DA INFORMAÇÃO
Erros a evitar

Vantagens em apresentar dados

no formato gráfico
Formato gráfico: + fácil de perceber
Formato tabular: difícil de compreender
outliers, tendências, distribuições,
alterações ligeiras, etc.

Erros a evitar

Gestão das cores

Vocabulário Visual – Roda das cores

https://docs.google.com/forms/d/e/1FAIpQLSdbm2x6BHt40dRz-
ZiuefrsHwpAoxl1XE0SQ5otsQIhSBwE3A/viewform?usp=sf_link

3.5. BOAS PRÁTICAS EM VISUALIZAÇÃO
Visual Vocabulary
https://www.ft.com/content/c7bb24c9- https://www.tableau.com/solutions/gallery
964d-479f-ba24-03a2b2df6e85 /visual-vocabulary

Fonte: ft.com/vocabulary
Visual Vocabulary - Evolução

Visual Vocabulary - Evolução

Visual Vocabulary - Magnitude

Visual Vocabulary - Partes do todo

Visual Vocabulary - Partes do todo

Visual Vocabulary - Rankings

Visual Vocabulary - Geográficos

Visual Vocabulary - Movimento

Visual Vocabulary - Desvios

Visual Vocabulary - Distribuição

Visual Vocabulary - Correlação

5 Super gráficos

Super gráficos

Super gráficos

Super gráficos

Super gráficos
http://www.youtube.com/watch?v=
WjVHvC9EeB4

Super gráficos
https://www.youtube.com/ https://www.youtube.co
https://youtu.be/d7riL6IXi5o watch?v=sd m/watch?v=6
L278bS5t0 dDD2tHWWnU

Super gráficos

Super gráficos

Super gráficos

Super gráficos

Super gráficos

Gráficos inovadores




Gráficos inovadores Ano anterior Planeado
Variação em
Variação em
termos
relativos face termos
ao planeado relativos face
ao ano
anterior
Real
Planeado


Plataformas de visualização
https://atlas.cid.harvard.edu/explore/stack?country=203&year=2019&
startYear=1995&productClass=HS&tradeDirection=import&product=u
ndefined&target=Product&partner=undefined

Q&A

FORMADOR
jorge.caldeira@estrategiaelementar.pt | jorge.luis.caldeira@gmail.com | M: +351 964 561 451
Doutorando em Gestão | Diretor Geral da empresa Estratégia Elementar, atuando nas áreas de Estratégia e
Business Intelligence | Autor de 7 livros na área de Gestão:
* *
“Implementação da metodologia BSC”, “Monitorização da Performance Organizacional”, “Dashboards -

Comunicar eficazmente a informação de Gestão”, “100 Indicadores da Gestão - Key Performance Indicators”,
“Princípios de gestão para municípios”*, “Guidelines para a elaboração do Plano Estratégico - Boas práticas no
setor público”; “Da Gestão em Autarquias”* | Formador dos cursos de alta direção (>15.000 horas) | Especialista
em Gestão Pública | Outras funções desempenhadas: Administrador/partner em empresa de SI; Administrador
do Centro Português de Design; Coordenador de projetos de IDE no IPE - Investimentos e Participações
Empresariais; Gabinete de Engenharia Financeira do IAPMEI; Professor assistente convidado em Mestrados, Pós-
Graduações e Licenciaturas nas áreas gestão | Consultor nacional e internacional em planeamento estratégico e
implementação de sistemas business intelligence | * Co-autor.

2023 INA Apresentação - Data Scientist v8

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

2023 INA Apresentação - Data Scientist v8

Enviado por

Direitos autorais:

Formatos disponíveis

DATA SCIENTIST

TRANSFORMAR DADOS EM CONHECIMENTO

o Casado, 2 filhos, a viver em Cascais.

o Doutorando em Gestão (Strategic Management).

o Diretor Geral de uma empresa de consultoria e formação em Estratégia & BI.

o 14 anos na administração pública (1998-2012).

o 24 anos de formação e docência (>16 500 horas).

o 17 anos no INA, nos cursos de alta direção.

JORGE CALDEIRA DATA SCIENTIST 2

✓ Identificar as COMPETÊNCIAS críticas do Data Scientist.

✓ Conhecer as principais FERRAMENTAS do Data Scientist.

✓ Conhecer técnicas de TRANSFORMAÇÃO de dados e VISUALIZAÇÃO da

informação de apoio à TOMADA DE DECISÃO.

JORGE CALDEIRA DATA SCIENTIST 3

1. CONCEITOS INTRODUTÓRIOS 2.5. Machine Learning - Estatística básica

JORGE CALDEIRA DATA SCIENTIST 4

JORGE CALDEIRA DATA SCIENTIST 5

Desafios atuais da tomada

1. Estamos a cumprir a missão?

JORGE CALDEIRA DATA SCIENTIST 9

O caminho para o BI…

JORGE CALDEIRA DATA SCIENTIST 12

JORGE CALDEIRA DATA SCIENTIST 13

JORGE CALDEIRA DATA SCIENTIST 14

A matéria prima para o BI…

JORGE CALDEIRA DATA SCIENTIST 15

JORGE CALDEIRA DATA SCIENTIST 16

#1 não estruturados que estão a aumentar

175 ZB = 1,000,000,000,000,000,000,000 bytes

JORGE CALDEIRA DATA SCIENTIST 17

JORGE CALDEIRA DATA SCIENTIST 18

JORGE CALDEIRA DATA SCIENTIST 20

JORGE CALDEIRA DATA SCIENTIST 21

JORGE CALDEIRA DATA SCIENTIST 22

JORGE CALDEIRA DATA SCIENTIST 23

JORGE CALDEIRA DATA SCIENTIST 24

JORGE CALDEIRA DATA SCIENTIST 25

JORGE CALDEIRA DATA SCIENTIST 26

#4 SELF-SERVICE BI (“FREE” & FRIENDLY)

JORGE CALDEIRA DATA SCIENTIST 27

Definição: Simulação da inteligência e comportamento humano pelas máquinas.

Surgimento: 1955 pelo John MacCarthy (Professor de matemática).

Impacto: Irá transformar todas as indústrias à semelhança da eletricidade há

JORGE CALDEIRA DATA SCIENTIST 28

Visão sobre IA nas 5 escolas:

JORGE CALDEIRA DATA SCIENTIST 29

Surgiu há 30 anos. Ganhou destaque nos últimos anos.

JORGE CALDEIRA DATA SCIENTIST 30

JORGE CALDEIRA DATA SCIENTIST 31

• Sexy = “Rare qualities”

“Data scientists are the people

JORGE CALDEIRA DATA SCIENTIST 32

JORGE CALDEIRA DATA SCIENTIST 33

Data Scientist é um IT?

JORGE CALDEIRA DATA SCIENTIST 34

JORGE CALDEIRA DATA SCIENTIST 35

https://www.microsoft.com/pt- https://datastudio.google.com/ https://cran.r-

JORGE CALDEIRA DATA SCIENTIST 36

JORGE CALDEIRA DATA SCIENTIST 37

JORGE CALDEIRA DATA SCIENTIST 38

1. Tema, Objetivos, Destinatários, Áreas de informação do tema,

JORGE CALDEIRA DATA SCIENTIST 39

JORGE CALDEIRA DATA SCIENTIST 40

JORGE CALDEIRA DATA SCIENTIST 41