Workshop

Oracle Data Integrator (ODI)

 Agenda do Curso
Viso Geral do Projeto
Overview da Ferramenta
Repositrio / Topologia
Projeto / Metadados / Interface
Package / Cenrios
Dimenses
Fatos
Qualidade
Plano de Cargas
 Viso Geral do Projeto

Fonte dos Staging

Data Mart
Dados ETL1 Area
ETL2

Controle de Erros
Dimenso de Auditoria
 Oracle Data Integrator
Overview

Agenda
O que o Oracle Data Integrator?
Viso geral do ODI 11g
Viso geral dos componentes ODI 11g
Sobre mdulos grficos
 O que o Oracle Data
Integrator?

Oracle Data Integrator (ODI) uma

plataforma de integrao de dados
abrangente projetado para integrar grandes
volumes de dados em alto desempenho.
O ODI construdo inteiramente em Java e
em torno de uma arquitetura modular e de
repositrios.
Viso Geral do ODI
Viso Geral dos Componentes
Designer Navigator
Operator Navigator
Topology Navigator
Security Navigator
 Agent ODI
O Agent ou Agente ODI so processos
Java que orquestram a execuo de
objetos em tempo de execuo.
Os Agentes podem:
- Executar objetos sob demanda, ou
- Executar de acordo com horrios pr-
definidos.
 Arquitetura de Repositrio ODI

Agenda
Arquitetura dos repositrios
Criando e conectando-se ao repositrio mestre
Criando e conectando-se ao repositrio de
trabalho
 Arquitetura dos Repositrios
O Repositrio ODI consiste em dois Schemas de banco de
dados, um contendo o Repositrio Master, e o outro o
Repositrio Work.

Repositrio Master: Armazena todas as informaes de

topologia, segurana e o mecanismo de versionamento.

Repositrio de Work: Sempre associado a um Repositrio

Mestre, contm informaes de desenvolvimento como
projeto, modelos e execuo de dados.

Uma arquitetura tpica inclui um Repositrio Mestre e

possivelmente vrios repositrios de trabalho (por exemplo,
Desenvolvimento, Homologao/Q&A e Produo).
Arquitetura dos Repositrios
 Criando Repositrio Master
1. Clicar no ODI
Studio, Arquivo >
Novo...
 Criando Repositrio Master
2. Inserir as
informaes de
acesso ao Schema,
definido para o
Repositrio Master
 Criando Repositrio Master

3. Inserir as
informaes usurio
default Supervisor:

User: SUPERVISOR
Senha: SUNOPSIS
 Criando Repositrio Master

3. Clique em
Internal Password
Storage e Finish
 Conectando ao Repositrio
Master
4. Solicite a criao de um Login
para o Repositrio, ODI Studio >
Novo

5. Ao definir as informaes de
conexo, na guia Work Repository
marque a opo Master
Repository Only
 Criando o Repositrio Work

1. Ao realizar o Login, na aba

de Topologia e na guia
Repositrios solicite a
criao do Repositrio Work
 Criando o Repositrio Work
1. Insira os dados de
conexo do Schema
definido para o
Repositrio Work
 Criando o Repositrio Work

2. Especifique o nome
do Repositrio Work, e
ao finalizar a opo de
criar login automtico
exibido.
 Arquitetura de Topologia

Agenda
Arquitetura de Topologia
Criando arquitetura fsica
Criando a arquitetura lgica
Vinculando arquitetura lgica e fsica
Testando uma conexo de servidor de dados
 Arquitetura de Topologia
A Topologia uma representao completa do acesso aos sistemas
de informao, a Topologia composta por:

Data Server (Servidor de Dados)

Objeto que define a conexo com banco de dados para
Origem ou Destino.

Physical Schema (Esquema Fsico)

Define 2 banco de dados:
- O esquema definido para acesso da Origem e Destino.
- O Workschema ou Esquema de Trabalho utilizado pelo ODI
para manipular ou fazer a ponte entre os dados de Origem e
Destino faz uso de tabelas temporrias caso preciso.
 Arquitetura de Topologia
Contexto
Define um "ambiente", uma instncia especfica para a
execuo de cdigo. O exemplo mais comum o
Desenvolvimento, Homologao e Produo. O contexto
tambm realiza

Physical Schema (Esquema lgico)

Esquema lgico o ponto final para compreender o fluxo. A
ideia por trs de sua existncia permitir que o mesmo
cdigo possa ser usado em qualquer ambiente, uma vez que
um apelido, ou seja, contm o agrupamento de esquemas
fsicos.
 Arquitetura de Topologia
Viso Prtica:
 Criando um Contexto
1. Em Topologia, na aba de
Contextos, solicite um Novo
Conceito
2. Preencha o Nome
3. Salvar
 Criando um Data Server
1. Right-click na Tecnologia Oracle
selecione Novo Servidor de Dados
2. Preencha o Nome
3. Informe o Schema de Conexo:
Data Server
Usurio and Senha
 Criando um Data Server

1. Selecione a aba JDBC

2. Informe o driver JDBC
3. Informe a URL JDBC
4. Teste a Conexo
5. Click Salvar
 Criando um Esquema Fsico

1. Right-Click no Data Server e

selecione Novo Esquema Fsico
2. Selecione ou preencha o:
Esquema
Esquema de Trabalho
3. Clique Salvar
 Criando um Esquema Lgico
1. Right-Click no Data Server e selecione Novo
Esquema Lgico
2. Preencha com um nome
3. Associe o Contexto ao Esquema Fsico.
 Vinculando Arquitetura
Lgica e Fsica
1. O contexto responsvel por fazer essa
ponte entre a arquitetura lgica e a
arquitetura fsica, sendo assim necessrio
vincular aos respectivos esquemas.
2. Ir a Contextos>Esquemas
3. Associar o Contexto em questo ao
Esquema Fsico
Desejado.
4. Clique em Salvar
 Configurando um novo projeto

Agenda
Viso Geral dos Projetos ODI
Criando um novo Projeto ODI
Utilizao e Organizao de Pastas
Mdulos de conhecimento
Exerccios
 Viso Geral dos Projetos ODI
Um projeto no ODI Criao de um
estruturado, por: Novo Projeto

Pastas:
- Pacotes
- Interfaces
- Procedimentos
Variveis
Sequencias Estrutura e
Funes Organizao de Pastas
Knowledge Modules
Marcadores

Marcadores:
Prioridade, Andamento
e Smileys
Mdulos de Conhecimentos
Workspace onde
Importao dos esto determinados
Mdulos de os Steps para cada
Conhecimento KM
 Tipos de Mdulo de
Conhecimento
LKM (Load Knowledge Module): o KM responsvel pela
extrao dos dados de origem.

CKM (Check Knowledge Module): o KM responsvel por

realizar validaes dos dados no processo de ETL.

IKM (Integration Knowledge Module): o responsvel pela

integrao dos dados efetivamente no banco de destino. Ele resolve
as regras do ETL descritas nas interfaces e insere os dados finais
na tabela de destino.
 Modelo de Dados

Agenda
Definio de Modelos de dados
Engenharia Reversa
Exerccios
 Modelo de dados
Modelos so os objetos que ir armazenar os metadados no
ODI.
Eles contm a descrio de um modelo de dados relacional
ou multidimensional. um grupo de armazenamentos de
dados armazenados em um determinado esquema de uma
dada tecnologia.
Um modelo de dados obtm metadados atravs de
engenharia reversa do "real" modelo de dados (Database, flat
file, XML file, XLS etc)
Modelo de dados
Criao de um
novo modelo
de dados

Modelo de Dados
Armazena
Metadados, a nvel
de tabela e coluna
Modelo de dados -
Definio
Nome do
Modelo

Define qual a
Tecnologia de Banco
de Dados ser
acessada.

O Esquema Lgico
determina qual o
Esquema ser
consultado durante a
Engenharia Reversa
Modelo de dados Engenharia
Reversa
Engenharia
Reversa, determina
o Contexto

Opes de objetos
para Engenharia
Reversa
Modelo de dados Engenharia
Reversa Seletiva
Engenharia Reversa
Seletiva, determina os
objetos a serem
convertidos a Metadados
 Conceitos de interfaces ODI

Agenda
Definio de Interface
Seleo de Mdulos de Conhecimento
Monitorando Sesses
Exerccios
 Interface
Uma interface um objeto em Oracle Data
Integrator, que preenche um armazenamento de
dados, chamado de Target/Destino, atravs de
dados provenientes de um ou mais
armazenamentos de dados, conhecidos como
Source/Origem.
As colunas na fonte de armazenamento de dados
esto ligados s colunas no armazenamento de
dados alvo atravs de mapeamento.
 Interface
Tabela Tabela
Origem/Source Destino/Target

Mapeamento
Criao de Origem x Destino
Interface

Editor de
Expresses
 Seleo Mdulos de
Conhecimentos
Clique na Caixa de
Destino para
Visualizar as opes
Clique na Caixa de
de KM
Destino para
Visualizar as opes
de KM

Selecione o KM
apropriado
Monitorando Sesses (Operator)
Passos Executados
pelos KM
selecionados
 Packages (Pacotes)

Agenda
Definio de Pacote
Definio de Cenrio
Versionamento
 Packages (Pacotes)
Um pacote uma sequncia pr-definida de
etapas, concebidas para serem executadas em
ordem. Existem muitos tipos de passos, e podem
ser compostos por:
Interfaces
Procedimentos
Aes / avaliaes sobre as variveis
Aes em modelos, sub-modelos ou datastores
Comandos OS
Ferramentas Oracle Data Integrator
 Packages (Pacotes)
Workflow

Criao de
Pacotes

Workspace, onde se
orquestram os
passos, sejam eles
(Interfaces,
procedures, cenrios
etc...)
 Cenrio
Um cenrio o cdigo parcialmente
gerado (SQL, shell, XML etc) para os
objetos (interfaces, procedimentos,
variveis etc) contidos em um pacote.
 Cenrio e Versionamento
Uma vez gerado, o cdigo do
cenrio est congelado, e todas as
modificaes posteriores do pacote
e / ou modelos de dados que
contriburam para a sua criao no
vai afet-lo. Se voc deseja atualizar
um cenrio, porque uma de suas
interfaces foi alterada ento deve-se
gerar uma nova verso do cenrio
do pacote ou simplesmente
regenerar.

Right-Click em
cima do Pacote
desejado e gerar
cenrio e verso.
 Dimenso e Fato
Criando Interfaces para Dimenses e Fatos
Criando Joins
Criando Filtros
Criando Dimenso de Chave Lenta (SCD)
Exerccios
 Dimenso
comum uma Dimenso ser constituda por mltiplas
fontes ou conjuntos de dados. A Dimenso de Cliente
por exemplo formada pelas tabelas de Cliente,
Endereo, Bairro, Cidade e Estado.

Para esta ocorrncia necessrio uma Juno/Join

para compor ou combinar as tabelas que do origem a
Dimenso.
 Joins
O Join ou Juno
implementado como uma
expresso SQL que liga
as colunas (campos) de
dois ou mais conjuntos
de dados.
No ODI o Join
implementado ligando
uma coluna a outra
clicando e arrastando,
isso vai criar uma
Juno entre as tabelas.
 Filtros
Os Filtros/Filter esto
ligados a Clusula
Where que permitem a
restrio do volume de
dados.
No ODI basta selecionar
a coluna que servir de
filtro clicar e arrastar
para a rea de trabalho.
Nas propriedades do
Filtro basta implementar
o tipo de restrio.
 SCD (Slowly Change Dimension)
TYPE 2
A SCD Type 2 prope criar um novo registro para cada alterao
criando um histrico ilimitado, para esta situao comum utilizar
data de vigncia ou versionamento do dado.

Fornecedor_
Fornecedor_key Fornecedor_Code Fornecedor_Nome Data_inicial Data_final
Estado
Phlogistical Sociedade de
001 ABC SP 01-Jan-2000 21-Dec-2004
Abastecimento

Phlogistical Sociedade de
002 ABC RJ 22-Dec-2004
Abastecimento
SCD (Slowly Change
Dimension) TYPE 2
A guia
Descrio
determina o
Tipo de SCD

Definio do
Comportamento
das Colunas.

A SCD
implementada a
nvel de Colunas.
 Data Quality
O Data Quality ou Qualidade de Dados segue uma srie de restries
que devem ser obedecidas para garantir que os dados estejam
apropriados para o uso especfico.

O recurso de Check Constraint gerenciado pelo CKM garante por

intermdio de uma condio que haja a separao entre o dado bom e
ruim.

Nesta ordem, o ODI percorre o fluxo de dados normalmente enquanto

o dado ruim isolado em uma tabela cujo prefixo E$.

Faz parte do processo importar um CKM compatvel com a tecnologia

Oracle.
 Data Quality

Criao da
Condio

Determinand
o a Condio Habilitando o
CKM
 Auditoria
A Auditoria, consiste no processo de conhecer e controlar a
origem de um dado.

Seguindo os conceitos de Ralph Kimball, designamos trs

tabelas para esse processo DIM_AUDIT, CTRL_MAPAS e
CTRL_ERROS.
A tabela DIM_AUDIT armazena informaes de tempo de
execuo, quantidade de linhas inseridas, deletadas e
atualizadas.
A tabela CTRL_MAPAS armazena o cadastro das Interfaces
existentes.
A tabela CTRL_ERROS armazena informaes de erro durante
a execuo dos mapas/interfaces.
 Auditoria
A prpria Arquitetura de Repositrio garante rastrear a origem
do dado, ao dispor todas as informaes monitoradas pelo
Operator.

As informaes de origem para essas tabelas esto localizadas

no Repositrio Work atravs das tabelas SNP_POP e
SNP_SESSION.
 Plano de Carga
O Plano de Carga um objeto executvel que pode
conter uma hierarquia de medidas que podem ser
executadas condicionalmente, em paralelo ou em
srie.
As folhas desta hierarquia so cenrios. Pacotes,
interfaces, variveis e procedimentos podem ser
adicionados ao carregar Planos para execues em
forma de cenrios.
 Criando Plano de Carga
1. Na aba Cenrios e Planos de Carga, novo
plano de carga.
2. Em seguida adicione os cenrios definidos
para o fluxo de carga geral.
Dvidas?