Você está na página 1de 70

Workshop Oracle Data Integrator (ODI)

Workshop Oracle Data Integrator (ODI)
Workshop Oracle Data Integrator (ODI)
Workshop Oracle Data Integrator (ODI)

Agenda do Curso

Visão Geral do Projeto

Overview da Ferramenta

Repositório / Topologia

Projeto / Metadados / Interface

Package / Cenários

Dimensões

Fatos

Qualidade

Plano de Cargas

Visão Geral do Projeto

Fonte dos Staging Data Mart Dados Area ETL1 ETL2 • • Controle de Erros Dimensão de
Fonte dos
Staging
Data Mart
Dados
Area
ETL1
ETL2
Controle de Erros
Dimensão de Auditoria

Oracle Data Integrator

Agenda

Overview

O que é o Oracle Data Integrator? Visão geral do ODI 11g Visão geral dos componentes ODI 11g Sobre módulos gráficos

O que é o Oracle Data

Integrator?

Oracle Data Integrator (ODI) é uma plataforma de integração de dados

abrangente projetado para integrar grandes

volumes de dados em alto desempenho.

O ODI é construído inteiramente em Java e em torno de uma arquitetura modular e de

repositórios.

Visão Geral do ODI

Visão Geral do ODI

Visão Geral dos Componentes

Visão Geral dos Componentes

Designer Navigator

Designer Navigator

Operator Navigator

Operator Navigator

Topology Navigator

Topology Navigator

Security Navigator

Security Navigator

Agent ODI

O Agent ou Agente ODI são processos

Java que orquestram a execução de

objetos em tempo de execução.

Os Agentes podem:

  • - Executar objetos sob demanda, ou

  • - Executar de acordo com horários pré-

definidos.

Agent ODI O Agent ou Agente ODI são processos Java que orquestram a execução de objetos

Arquitetura de Repositório ODI

Agenda

Arquitetura dos repositórios Criando e conectando-se ao repositório mestre

Criando e conectando-se ao repositório de trabalho

Arquitetura dos Repositórios

O Repositório ODI consiste em dois Schemas de banco de

dados, um contendo

Repositório Work.

o Repositório Master,

e

o

outro

o

Repositório Master: Armazena todas as informações de topologia, segurança e o mecanismo de versionamento.

Repositório de Work: Sempre associado a um Repositório Mestre, contém informações de desenvolvimento como projeto, modelos e execução de dados.

Uma arquitetura típica inclui um Repositório Mestre e possivelmente vários repositórios de trabalho (por exemplo, Desenvolvimento, Homologação/Q&A e Produção).

Arquitetura dos Repositórios

Arquitetura dos Repositórios

Criando Repositório Master

1. Clicar no ODI

Studio, Arquivo >

Novo ...

Criando Repositório Master 1. Clicar no ODI Studio, Arquivo > Novo ...
Criando Repositório Master 1. Clicar no ODI Studio, Arquivo > Novo ...

Criando Repositório Master

2. Inserir as

informações de

acesso ao Schema, definido para o Repositório Master

Criando Repositório Master 2. Inserir as informações de acesso ao Schema, definido para o Repositório Master

Criando Repositório Master

3. Inserir as

informações usuário

default Supervisor:

User: SUPERVISOR Senha: SUNOPSIS

Criando Repositório Master 3. Inserir as informações usuário default Supervisor: User: SUPERVISOR Senha: SUNOPSIS

Criando Repositório Master

3. Clique em

Internal Password

Storage e Finish

Criando Repositório Master 3. Clique em Internal Password Storage e Finish

Conectando ao Repositório Master

4. Solicite a criação de um Login para o Repositório, ODI Studio > Novo

Conectando ao Repositório Master 4. Solicite a criação de um Login para o Repositório, ODI Studio

5. Ao definir as informações de

conexão, na guia Work Repository

marque a opção “Master Repository Only

Conectando ao Repositório Master 4. Solicite a criação de um Login para o Repositório, ODI Studio

Criando o Repositório Work

1. Ao realizar o Login, na aba de Topologia e na guia Repositórios solicite a criação do Repositório Work

Criando o Repositório Work 1. Ao realizar o Login, na aba de Topologia e na guia

Criando o Repositório Work

1. Insira os dados de conexão do Schema definido para o Repositório Work

Criando o Repositório Work 1. Insira os dados de conexão do Schema definido para o Repositório

Criando o Repositório Work

2. Especifique o nome do Repositório Work, e ao finalizar a opção de criar login automático é exibido.

Criando o Repositório Work 2. Especifique o nome do Repositório Work, e ao finalizar a opção
Criando o Repositório Work 2. Especifique o nome do Repositório Work, e ao finalizar a opção
Criando o Repositório Work 2. Especifique o nome do Repositório Work, e ao finalizar a opção

Arquitetura de Topologia

Agenda

Arquitetura de Topologia

Criando arquitetura física

Criando a arquitetura lógica

Vinculando arquitetura lógica e física

Testando uma conexão de servidor de dados

Arquitetura de Topologia

A Topologia é uma representação completa do acesso aos sistemas de informação, a Topologia é composta por:

Data Server (Servidor de Dados)

Objeto que define a conexão com banco de dados para Origem ou Destino.

Physical Schema (Esquema Físico)

Define 2 banco de dados:

- O esquema definido para acesso da Origem e Destino.

- O Workschema ou Esquema de Trabalho é utilizado pelo ODI para manipular ou fazer a ponte entre os dados de Origem e Destino faz uso de tabelas temporárias caso preciso.

Arquitetura de Topologia

Contexto

Define

um

"ambiente",

uma

instância

específica

para

a

execução

de

código.

O

exemplo

mais

comum

é

o

Desenvolvimento, Homologação

e Produção. O contexto

também realiza

 

Physical Schema (Esquema lógico)

 

Esquema lógico é o ponto final para compreender o fluxo. A ideia por trás de sua existência é permitir que o mesmo

código possa ser usado em qualquer ambiente, uma vez que

é um apelido, ou seja, contém o agrupamento de esquemas físicos.

Arquitetura de Topologia

Arquitetura de Topologia Visão Prática:

Visão Prática:

Criando um Contexto

  • 1. Em Topologia, na aba de Contextos, solicite um Novo Conceito

  • 2. Preencha o Nome

  • 3. Salvar

Criando um Contexto 1. Em Topologia, na aba de Contextos, solicite um Novo Conceito 2. Preencha

Criando um Data Server

  • 1. Right-click na Tecnologia Oracle selecione Novo Servidor de Dados

Criando um Data Server 1. Right-click na Tecnologia Oracle selecione Novo Servidor de Dados 2. Preencha
  • 2. Preencha o Nome

  • 3. Informe o Schema de Conexão:

Data Server Usuário and Senha

Criando um Data Server 1. Right-click na Tecnologia Oracle selecione Novo Servidor de Dados 2. Preencha

Criando um Data Server

  • 1. Selecione a aba JDBC

  • 2. Informe o driver JDBC

  • 3. Informe a URL JDBC

  • 4. Teste a Conexão

  • 5. Click Salvar

Criando um Data Server 1. Selecione a aba JDBC 2. Informe o driver JDBC 3. Informe
Criando um Data Server 1. Selecione a aba JDBC 2. Informe o driver JDBC 3. Informe

Criando um Esquema Físico

Criando um Esquema Físico 1. Right-Click no Data Server e selecione Novo Esquema Físico 2. Selecione
  • 1. Right-Click no Data Server e selecione Novo Esquema Físico

  • 2. Selecione ou preencha o:

Esquema

Esquema de Trabalho

  • 3. Clique Salvar

Criando um Esquema Físico 1. Right-Click no Data Server e selecione Novo Esquema Físico 2. Selecione

Criando um Esquema Lógico

  • 1. Right-Click no Data Server e selecione Novo Esquema Lógico

  • 2. Preencha com um nome

  • 3. Associe o Contexto ao Esquema Físico.

Criando um Esquema Lógico 1. Right-Click no Data Server e selecione Novo Esquema Lógico 2. Preencha
Criando um Esquema Lógico 1. Right-Click no Data Server e selecione Novo Esquema Lógico 2. Preencha

Vinculando Arquitetura Lógica e Física

  • 1. O contexto é responsável por fazer essa ponte entre a arquitetura lógica e a arquitetura física, sendo assim é necessário vincular aos respectivos esquemas.

  • 2. Ir a Contextos>Esquemas

  • 3. Associar

o

Contexto

Esquema Físico

Desejado.

  • 4. Clique em Salvar

em questão ao
em
questão
ao

Configurando um novo projeto

Agenda

Visão Geral dos Projetos ODI Criando um novo Projeto ODI Utilização e Organização de Pastas Módulos de conhecimento Exercícios

Visão Geral dos Projetos ODI

Um projeto no ODI é estruturado, por: Criação de um Novo Projeto • Pastas: - Pacotes
Um projeto no ODI é
estruturado, por:
Criação de um
Novo Projeto
• Pastas:
-
Pacotes
-
Interfaces
-
Procedimentos

• Variáveis • Sequencias Funções Knowledge Modules Marcadores

Visão Geral dos Projetos ODI Um projeto no ODI é estruturado, por: Criação de um Novo
Estrutura e Organização de Pastas
Estrutura e
Organização de Pastas
Marcadores: Prioridade, Andamento e Smileys
Marcadores:
Prioridade, Andamento
e Smileys

Módulos de Conhecimentos

Importação dos Módulos de Conhecimento Workspace onde estão determinados os Steps para cada KM
Importação dos
Módulos de
Conhecimento
Workspace onde
estão determinados
os Steps para cada
KM

Tipos de Módulo de

Conhecimento

LKM (Load Knowledge Module): É o KM responsável pela extração dos dados de origem.

CKM (Check Knowledge Module): É o KM responsável por realizar validações dos dados no processo de ETL.

IKM (Integration Knowledge Module): É o responsável pela integração dos dados efetivamente no banco de destino. Ele resolve as regras do ETL descritas nas interfaces e insere os dados finais na tabela de destino.

Modelo de Dados Agenda

Definição de Modelos de dados Engenharia Reversa Exercícios

Modelo de dados

Modelos são os objetos que irá armazenar os metadados no ODI.

Eles contêm a descrição de um modelo de dados relacional ou multidimensional. É um grupo de armazenamentos de dados armazenados em um determinado esquema de uma dada tecnologia.

Um modelo de dados obtém metadados através de engenharia reversa do "real" modelo de dados (Database, flat

file, XML file, XLS etc…)

Modelo de dados

Criação de um novo modelo de dados Modelo de Dados Armazena Metadados, a nível de tabela
Criação de um
novo modelo
de dados
Modelo de Dados
Armazena
Metadados, a nível
de tabela e coluna

Modelo de dados - Definição

Nome do Modelo Define qual a Tecnologia de Banco de Dados será acessada. O Esquema Lógico
Nome do
Modelo
Define qual a
Tecnologia de Banco
de Dados será
acessada.
O Esquema Lógico
determina qual o
Esquema será
consultado durante a
Engenharia Reversa

Modelo de dados Engenharia Reversa

Engenharia Reversa, determina o Contexto Opções de objetos para Engenharia Reversa
Engenharia
Reversa, determina
o Contexto
Opções de objetos
para Engenharia
Reversa

Modelo de dados Engenharia Reversa Seletiva

Engenharia Reversa Seletiva, determina os objetos a serem convertidos a Metadados
Engenharia Reversa
Seletiva, determina os
objetos a serem
convertidos a Metadados

Conceitos de interfaces ODI

Agenda

Definição de Interface Seleção de Módulos de Conhecimento Monitorando Sessões Exercícios

Interface

Uma interface é um objeto em Oracle Data Integrator, que preenche um armazenamento de

dados, chamado de Target/Destino, através de dados provenientes de um ou mais armazenamentos de dados, conhecidos como Source/Origem.

As colunas na fonte de armazenamento de dados estão ligados às colunas no armazenamento de

dados alvo através de mapeamento.

Interface

Tabela Tabela Origem/Source Destino/Target Criação de Mapeamento Origem x Destino Interface Editor de Expressões
Tabela
Tabela
Origem/Source
Destino/Target
Criação de
Mapeamento
Origem x Destino
Interface
Editor de
Expressões

Seleção Módulos de Conhecimentos

Clique na Caixa de Destino para Visualizar as opções Clique na Caixa de Destino para Visualizar
Clique na Caixa de
Destino para
Visualizar as opções
Clique na Caixa de
Destino para
Visualizar as opções
de KM
de KM
Selecione o KM
apropriado

Monitorando Sessões (Operator)

Passos Executados pelos KM selecionados
Passos Executados
pelos KM
selecionados

Packages (Pacotes)

Agenda

Definição de Pacote Definição de Cenário Versionamento

Packages (Pacotes)

Um pacote é uma sequência pré-definida de etapas, concebidas para serem executadas em

ordem. Existem muitos tipos de passos, e podem ser compostos por:

Interfaces Procedimentos Ações / avaliações sobre as variáveis Ações em modelos, sub-modelos ou datastores Comandos OS Ferramentas Oracle Data Integrator

Packages (Pacotes)

Workflow Criação de Pacotes Workspace, onde se orquestram os passos, sejam eles (Interfaces, procedures, cenários etc
Workflow
Criação de
Pacotes
Workspace, onde se
orquestram os
passos, sejam eles
(Interfaces,
procedures, cenários
etc ) ...

Cenário

Um cenário é o código parcialmente gerado (SQL, shell, XML etc) para os

objetos (interfaces, procedimentos, variáveis etc) contidos em um pacote.

Cenário e Versionamento

Uma vez

gerado,

o

código

do

cenário está congelado, e todas as

modificações posteriores do pacote

e / ou modelos de dados que

contribuíram para a sua criação não

vai afetá-lo. Se você deseja atualizar

um

cenário, porque uma de suas

interfaces foi alterada então deve-se

gerar uma nova versão do cenário do pacote ou simplesmente

regenerar.

Right-Click em cima do Pacote desejado e gerar cenário e versão.
Right-Click em
cima do Pacote
desejado e gerar
cenário e versão.

Dimensão e Fato

Criando Interfaces para Dimensões e Fatos Criando Joins Criando Filtros Criando Dimensão de Chave Lenta (SCD) Exercícios

Dimensão

É comum uma Dimensão ser constituída por múltiplas fontes ou conjuntos de dados. A Dimensão de Cliente

por exemplo é formada pelas tabelas de Cliente,

Endereço, Bairro, Cidade e Estado.

Para esta ocorrência é necessário uma Junção/Join para compor ou combinar as tabelas que dão origem a Dimensão.

Joins

O Join ou Junção é

implementado como uma

expressão SQL que liga

as colunas (campos) de dois ou mais conjuntos

de dados.

No ODI o Join é implementado ligando uma coluna a outra

clicando e arrastando,

isso vai criar uma Junção entre as tabelas.

Joins O Join ou Junção é implementado como uma expressão SQL que liga as colunas (campos)

Filtros

Os Filtros/Filter estão

ligados a Cláusula

Where que permitem a

restrição do volume de dados.

No ODI basta selecionar

a coluna que servirá de

filtro clicar e arrastar para a área de trabalho.

Nas propriedades do

Filtro basta implementar o tipo de restrição.

Filtros Os Filtros/Filter estão ligados a Cláusula Where que permitem a restrição do volume de dados.

SCD (Slowly Change Dimension) TYPE 2

A SCD Type 2 propõe criar um novo registro para cada alteração criando um histórico ilimitado, para esta situação é comum utilizar

data de vigência ou versionamento do dado.

Fornecedor_key

Fornecedor_Code

Fornecedor_Nome

  • 001 ABC

  • 002 ABC

Phlogistical Sociedade de Abastecimento

Phlogistical Sociedade de Abastecimento

Fornecedor_

Estado

SP

RJ

Data_inicial

Data_final

01-Jan-2000

21-Dec-2004

22-Dec-2004

SCD (Slowly Change Dimension) TYPE 2

A guia Descrição determina o Tipo de SCD A SCD é implementada a nível de Colunas.
A guia
Descrição
determina o
Tipo de SCD
A SCD é
implementada a
nível de Colunas.

Definição do

Comportamento das Colunas.

Data Quality

O Data Quality ou Qualidade de Dados segue uma série de restrições que devem ser obedecidas para garantir que os dados estejam apropriados para o uso específico.

O recurso de Check Constraint gerenciado pelo CKM garante por intermédio de uma condição que haja a separação entre o dado bom e ruim.

Nesta ordem, o ODI percorre o fluxo de dados normalmente enquanto o dado ruim é isolado em uma tabela cujo prefixo é E$.

Faz parte do processo importar um CKM compatível com a tecnologia Oracle.

Data Quality

Criação da Condição Determinand o a Condição Habilitando o CKM
Criação da
Condição
Determinand
o a Condição
Habilitando o
CKM

Auditoria

A Auditoria, consiste no processo de conhecer e controlar a origem de um dado.

Seguindo os conceitos de Ralph Kimball, designamos três tabelas para esse processo DIM_AUDIT, CTRL_MAPAS e CTRL_ERROS. A tabela DIM_AUDIT armazena informações de tempo de execução, quantidade de linhas inseridas, deletadas e atualizadas. A tabela CTRL_MAPAS armazena o cadastro das Interfaces existentes. A tabela CTRL_ERROS armazena informações de erro durante a execução dos mapas/interfaces.

Auditoria

A própria Arquitetura de Repositório garante rastrear a origem do dado, ao dispor todas as informações monitoradas pelo Operator.

As informações de origem para essas tabelas estão localizadas no Repositório Work através das tabelas SNP_POP e SNP_SESSION.

Plano de Carga

O Plano de Carga é um objeto executável que pode

conter uma hierarquia de medidas que podem ser

executadas condicionalmente, em paralelo ou em série.

As folhas desta hierarquia são cenários. Pacotes,

interfaces, variáveis ​​e procedimentos podem ser

adicionados ao carregar Planos para execuções em

forma de cenários.

Criando Plano de Carga

Criando Plano de Carga 1. Na aba Cenários e Planos de Carga, novo plano de carga.
  • 1. Na aba Cenários e Planos de Carga, novo plano de carga.

  • 2. Em seguida adicione os cenários definidos para o fluxo de carga geral.

Criando Plano de Carga 1. Na aba Cenários e Planos de Carga, novo plano de carga.
Criando Plano de Carga 1. Na aba Cenários e Planos de Carga, novo plano de carga.
Criando Plano de Carga 1. Na aba Cenários e Planos de Carga, novo plano de carga.

Dúvidas?