_Aula #2

Tipos de dados e ciclo de vida

Atenção!

Vamos gravar a aula?

 <curso="Data Analytics">

Bancos de Dados:
Introdução
● Quais são os dados?
● Tipo de dados: Qualitativo
vs Quantitativo
● Dados x Informações
● Ciclo de vida dos dados
● ETL
 <curso="Data Analytics">

Dados, dados e mais dados.

Os dados, elementos, etc., são informações específicas sobre fatos que

permitem estudá-los, analisá-los ou conhecê-los. – Oxford Languages

São fatos individuais, estatísticas ou informações, muitas vezes numéricas.s –

OECD Glossary of Statistical Terms.
 <curso="Data Analytics">

Dados =! Informação

A informação são os dados já processados, a união deles cria uma história.

DADOS Informação
PROCESSAMENTO
 <curso="Data Analytics">

“Data Is the New Oil of the Digital Economy”

 <curso="Data Analytics">

Tipos de dados

Em todas as suas fases, o design

do produto leva em consideração
o uso que as pessoas farão dele.

● Quantitativo
● Qualitativo
 <curso="Data Analytics">

Tipos de dados

Quantitativos
São dados que podem ser usados em
estatísticas. Além disso, eles sempre
serão numéricos.

Estes são os que

usaremos para criar
métricas
 <curso="Data Analytics">

Tipos de dados

Qualitativos
São dados que podem ser usados para
descrever fatos que não podem ser
ponderados em valores numéricos. Além
disso, sempre serão qualidades.

Estes são os que

usaremos para criar
dimensões
 <curso="Data Analytics">

Exemplo
 <curso="Data Analytics">

Tipos de dados
Não se preocupem... Veremos isso nas próximas aulas.
 <curso="Data Analytics">

Ciclo de vida dos dados: Fluxo

Porque és importante? Em cada etapa há uma equipe por trás garantindo uma boa arquitetura
 <curso="Data Analytics">

Ciclo de vida
Em todas as suas fases, os dados são
transformados até chegar ao produto final.
Catura,
coleta
Armazenamento

Processamento

Analise de dados

Publicação
 <curso="Data Analytics">

Ciclo de vida

Captura / Coleta

A coleta de dados refere-se à

abordagem sistemática de coleta e
medição de informações de várias
fontes.
 <curso="Data Analytics">

Ciclo de vida
Armazenamento
É a ação de salvar os dados extraídos em
algum espaço físico ou virtual.

Segundo a Amazon: É um processo

especialmente desenhado para análise de
dados, facilitando a leitura de grandes
volumes de dados para entender as
relações e tendências entre eles. –
Documentação da AWS..
 <curso="Data Analytics">

Diferentes maneiras de armazenar dados

Data-Warehouse, Data-Lake… Qué usamos?

Data Warehouse: É o repositório central Data Lake: armazena informações que

de dados históricos e atuais para sua não estão preparadas e prontas para
posterior transformação em consumo, mas são coletadas em estado
conhecimento. natural.

Diferentes maneiras de armazenar dados
Data-Warehouse, Data-Lake… Qué usamos?
Data Warehouse: Define um uso específico
para os dados antes de serem carregados.
Além disso, serve como uma imagem
resumida do negócio organizado por área.
<curso="Data Analytics">
Data Lake: Suporta todos os tipos de
dados, independentemente do seu tipo,
formato ou origem e sem a necessidade
de normalizar a sua estrutura. A
informação é mantida em sua forma
original e só é transformada na hora de
ser consumida.
Descanso!

Vejo você em 10 minutos.

 <curso="Data Analytics">

Ciclo de vida
Processamento
É a acumulação e manipulação de
elementos de dados para produzir
informações significativas. a fonte dos
dados que estão sendo
processados (banco de dados, redes
sociais, dispositivos conectados, etc.) e
seu uso pretendido (exame de padrões
de publicidade, diagnóstico de
dispositivos conectados, determinação
das necessidades do cliente, etc.).
 <curso="Data Analytics">

Ciclo de vida
Análise de dados
É a fase em que os dados são
finalmente utilizáveis para os
usuários. Os dados são traduzidos,
legíveis e muitas vezes na forma de
gráficos, vídeos, imagens, texto
simples, etc.).

Aqui entramos
nós
 <curso="Data Analytics">

Ciclo de vida

Publicação
É a representação gráfica de informações e
dados. Ao usar elementos visuais como
tabelas, gráficos e mapas, as ferramentas de
visualização de dados fornecem uma maneira
acessível de ver e entender tendências,
exceções e padrões nos dados.
–Documentação do Tableau

Aparecemos aqui
também
 <curso="Data Analytics">

ETL

ETL é definido como o

processo de
processamento de dados
que consiste em:

E – Extract/Export
Este processo é realizado
(Extracción) pelo Engenheiro de Dados
T – Transform ou pelo programador ETL. O
(Transformación) analista de dados não faz o
processamento, mas pode
L – Load (Carga) participar.
 <curso="Data Analytics">

ETL
 <curso="Data Analytics">

ETL
E – Extract/Export (Extração)

● As informações são retiradas das fontes de

dados ou da fonte de dados.

● Dentro da extração temos as fases: extrair,

analisar e converter os dados para um formato
 <curso="Data Analytics">

ETL
E – Extract/Export (Extração)

Fases dentro da extração

● Extrair dados de sistemas de origem.
● Analisar os dados extraídos fazendo uma verificação.
● Interpretar esta verificação para verificar se os dados extraídos
estão em conformidade com o padrão ou estrutura esperados. Caso
contrário, os dados devem ser rejeitados. -> Data Quality
● Convertir os dados para um formato pronto para iniciar o processo
de transformação
 <curso="Data Analytics">

ETL
T – Transform (Transformação)

● Uma série de regras de negócio ou

funções são aplicadas aos dados
extraídos para convertê-los em dados
que serão carregados.
● Dentro da transformação também temos
fases
 <curso="Data Analytics">

ETL
T – Transform (Transformación)

Fases dentro da Transformação

Declarativas.
● Independentes.
● Claras.
● Inteligíveis.
● Com uma finalidade útil para o negócio.
 <curso="Data Analytics">

ETL
L – Load (Carga)

Os dados transformados são carregados

no sistema de destino. Dependendo dos
requisitos da organização, esse processo
pode abranger uma ampla variedade de
ações diferentes.
 <curso="Data Analytics">

ETL
L – Load (Carga)

Fases dentro da Carga

● Acumulação simples: É a forma mais simples e comum de
realizar o processo de carregamento.

● Rolling: É o mais recomendável nos casos em que se busca

manter vários níveis de granularidade. Para fazer isso, as
informações resumidas são armazenadas em diferentes níveis.
 ETL
<curso="Data Analytics">

Este é o processo

IMPORTANTE:
Existem outros tipos de Processos, mas não os
veremos em aula
 <curso="Data Analytics">

ETL ou ELT, Que é melhor?

Ambos son métodos de procesamiento de datos, pero
¿En qué se diferencian?

O Processo ELT é definido Carrega dados brutos

diretamente em um data
como
warehouse de destino, em
vez de movê-los para um
E – Extract/Export (Extração) servidor de processamento
para transformação.
L – Load (Carga)
T – Transform
(Transformação)
 <curso="Data Analytics">

ETL ou ELT, Que é melhor?

Desafío 2

Etapa 1: Modelo ETL

Trabalhamos em salas
Trabalhamos em salas do zoom

● 20 minutos de atividade
● Iniciamos o Desafio 2 na aula
● Já criou seu grupo?
● Não se esqueça de compartilhar
telefones celulares ou e-mails para
manter contato durante a semana
Desafío 2

Nas salas devem:

● Registre em uma palavra o nome dos
membros da equipe
● Defina o tema que funcionará para o
seu projeto final
● Pense em um modelo ETL para o
assunto do seu trabalho
● O que foi feito pode ser carregado no
Drive para obter feedback.
 <curso="Data Analytics">

Exemplo

Filtramos os dados de
clientes mulheres entre BBDD Clientes
CRM
18 e 25 anos que vivem
na Argentina.
 <curso="Data Analytics">

Exemplos práticos

Para aprofundar o assunto,

deixamos-lhe este vídeo:
https://bit.ly/3aBndq7
Encerramento

Perguntas?
_Até a próxima

Muito obrigada!