Universidade Gregório Semedo

Faculdade de Engenharia e Novas Tecnologias

Licenciatura em Engenharia Informática

Desenho de Sistemas de Informação

Introdução ao Desenho Arquitetural

Desenho de Alto Nível

4º Ano Eng.º Benadade Chipikita

Conceitos

ETL

O Processo de ETL (Extract, Transform and Load)

destina-se à extração, transformação e carga de dados
de uma ou mais bases de dados de origem para uma
ou bases de dados de destino (Data Warehouse).
O ETL envolve:

A
Conceitos

O ETL envolve:

A Extração de dados de fontes externas;

A Transformação dos mesmos para atender
às necessidades de negócios; e

A Carga dos mesmos no armazém de
Dados (Data Warehouse)
Extração

A extração é a primeira tarefa que deve ser

realizada durante o processo de ETL, é nela
onde são extraídas as informações
relevantes dos OLTPs (Online Transaction
Processing ou Processamento de Transações
em Tempo Real) para posteriormente serem
transformadas e carregadas para o DW
ETL

Segundo (Lane, 2005), o método de extração dos

dados pode ser lógico ou físico.
A Extração Lógica

Total: A extração de dados é feira de modo completo,
ignorando as alterações dos dados nas fontes desde
a última extração.

Incremental: este método extrai apenas as alterações
ocorridas nos dados de origem desde a última
colecta.
ETL

A Extração Física: Os dados podem ser fisicamente

extraídos por dois mecanismo.

Extração Online: Os dados são extraídos
directamente da fonte para processamento na
Staging Area, ou seja, os dados são extraídos
directamente do sistema fonte (Lane, 2005).
A Staging Area é uma localização
temporária onde os dados dos
sistemas de origem são copiados.
Desta forma, ao invés de acessar os
dados diretamente da fonte, o
processo de “transformação” do
ETL pega os dados da Staging Area
para tratar e entregar os dados.
ETL


Extração Offiline: Os dados são obtidos a
partir de uma área externa, que mantém a
cópia dos dados de origem. Neste caso, não
é necessário um sistema intermediário para
colecta.

Exemplos de fontes externas:
Flat Files
Dump files
Logs;
Transformação dos Dados

A transformação dos dados é a fase

subsequente à sua extração. Esta fase não
só transforma os dados, mas também
realiza a limpeza dos mesmos. A correção
de erros de digitação, a descoberta de
violações de integridade, a substituição de
caracteres desconhecidos, a padronização
de abreviações podem ser exemplos desta
limpeza.
ETL – Transformação dos Dados

No processo de transformação, são

aplicadas uma série de regras ou
funções aos dados extraídos, afim
de facilitar a manipulação de
algumas fontes. Em alguns casos,
as seguintes transformações
podem ser necessárias:
ETL – Transformação dos Dados

1.Seleccionar apenas determinadas

colunas para carregar (ou nenhuma
delas).
2.Tradução de valores codificados (se o
sistema de origem armazena 1 para
sexo masculino e 2 para feminino,
mas o dw armazena M e F), também
conhecido como limpeza de dados.
ETL – Transformação dos Dados

3.Junção de dados provenientes de

diversas fontes
4.Resumo de várias linhas de dados
(total de vendas para cada loja e para
cada região).
5.Transposição ou rotação
(transformando múltiplas colunas em
múltiplas linhas ou vice-versa).
ETL – Transformação dos Dados

6.Derivação de um novo valor

calculado
(montante_venda=qtde*preço_uni
tário).
7....Entre outros.
Carga dos Dados - ETL

O processo de Carga ocorre posteriormente ao de

transformação. É onde os dados são carregados para o
DW. A duração deste processo depende da
organização
Ferramentas ETL

São aplicações de software cuja função, é extrair

dados de diversas fontes, transformar esses dados
para garantir a padronização e consistência das
informações para posteriormente carregá-las para um
ambiente de consulta e análise (Data Warehouse).
Tarefa

Liste algumas ferramentas ETL, separando

as open source das pagas. Descreva cada
uma delas.
Define:

OLTP

OLAP

HOLAP

DOLAP