Você está na página 1de 27

Oracle Warehouse Builder 11g Release 1

Oracle Warehouse Builder 11 g Release 1 Visão geral Março de 2007

Visão geral

Março de 2007

OBSERVAÇÃO:

Este documento tem finalidade meramente informativa. Não é um compromisso de entrega de qualquer material, código ou funcionalidade e não deve ser usado na tomada de decisões de compra. O desenvolvimento, lançamento e tempo de qualquer recurso ou funcionalidade descrito neste documento permanecem a critério da Oracle.”

Este documento em qualquer forma, seja software ou material impresso, contém informações de propriedade exclusiva da Oracle. Este documento e as informações contidas nele não podem ser divulgados, copiados, reproduzidos ou distribuídos a ninguém de fora da Oracle sem o prévio consentimento por escrito desta. Este documento não faz parte do acordo de licença, nem pode ser incorporado a nenhum acordo contratual com a Oracle ou suas subsidiárias ou afiliadas.

Oracle Warehouse Builder 11g Release 1 Visão geral

INTRODUÇÃO:

À medida que aumentam as demandas e exigências por mais conhecimento em sua

organização, é importante entender o rumo das ferramentas que ajudam a gerar esse conhecimento. Entendendo os recursos mais recentes, é possível proporcionar um conhecimento de qualidade para sua organização.

A atual arquitetura das informações é muito mais dinâmica do que era há apenas

alguns anos. Os executivos agora demandam mais informações, querem cada vez mais recursos de análise e querem prever o comportamento dos negócios. Eles querem tudo isso de toda a organização para oferecer um diferencial competitivo.

O Oracle Warehouse Builder 11g Release 1 permite atender às necessidades de

informações em sua organização. Neste white paper, mostraremos os novos recursos da ferramenta para criar sua infra-estrutura de disponibilização de conhecimento. Depois de ler este artigo, você entenderá como essa nova versão do Warehouse Builder melhorará drasticamente a capacidade de agir de sua organização.

RESUMO E CONCLUSÃO

Se você analisar as tendências na integração das informações, precisará entender e enfrentar estas necessidades:

• Disponibilização de informações de melhor qualidade

• Mais conhecimento obtido com as

informações existentes

• Redução dos intervalos e maior rapidez no lançamento de produtos no mercado

Para poder fazer tudo isso com orçamentos apertados, é necessário ter prudência com os gastos. O Warehouse Builder 10 Release 2 permite cumprir esses requisitos imediatamente por um baixo custo.

Assim, podemos dizer que o Warehouse Builder possibilita à sua organização transformar seus dados em resultados tangíveis com maior velocidade e melhor qualidade.

IDENTIFICANDO AS PRINCIPAIS TENDÊNCIAS NA INTEGRAÇÃO DAS INFORMAÇÕES

Muitas tendências são identificadas todos os dias. Entretanto, é preciso ter cuidado ao seguir ou implementar essas tendências “modernas e maravilhosas”. É preciso também fornecer informações no formato e no local em que o consumidor as quer. Essa é a área na qual precisamos avaliar as tendências.

Com esse pré-requisito em mente, podemos identificar as três tendências a seguir:

Maior demanda por qualidade das informações

A exigência de extrair mais conhecimento das informações existentes

Mais agilidade no lançamento de suas soluções de informações

Essas tendências são importantes para os consumidores das informações e também para quem desenvolve a infra-estrutura para lidar com elas. Por isso, vamos analisar mais atentamente o que elas significam para uma organização.

Maior qualidade das informações

Há muito tempo se fala nisso, mas finalmente está chegando o dia em que os ativos de informação serão gerenciados adequadamente. O grande impacto na gestão de ativos de informação estará nos problemas e nas avaliações da qualidade. Esses dois fatores identificarão a necessidade de providências na área da qualidade das informações.

Um ponto crucial que deve ser entendido é que não se trata da qualidade dos dados brutos, mas sim da qualidade das informações. Como as informações consistem em dados brutos e metadados (ou de definições de negócios), o alargamento do horizonte levará a requisitos mais exigentes na qualidade dos dados e também dos metadados. Essa mudança gera impactos não só na arquitetura, mas também nos processos e designs de sistema.

Extraia mais conhecimento das informações existentes

À medida que as informações se tornam verdadeiros ativos da empresa, seus

consumidores querem obter cada vez mais resultados com eles. Esses resultados são o conhecimento. Para extrair mais conhecimento dos ativos de informação existentes, as

pessoas desbravam caminhos para descobrir novas informações ou usar as existentes de maneira inédita. À medida que a tecnologia para detalhar, pivotar, girar e explorar vai-

se tornando mais acessível, os usuários passam a querer mais desses recursos em suas informações. Em resumo, é preciso estar preparado para fornecer cada vez mais recursos de análise sofisticados a um número maior de pessoas para produzir conhecimento para sua organização trabalhar.

Disponibilização proveniente de mais sistemas

O requisito de disponibilizar informações na hora certa é ainda mais complicado pela

demanda de ter dados cada vez mais consolidados no momento certo. À medida que crescem as necessidades das informações, o mesmo acontece com a quantidade e os tipos de fontes utilizados para disponibilizar as informações.

A combinação de mais sistemas para consolidar e os requisitos de disponibilização de informações no momento certo têm desdobramentos significativos na construção de uma infra-estrutura de informações.

Mais rapidez no lançamento de produtos no mercado

Com os negócios acelerando e os requisitos de informações em franca expansão, é necessário encontrar uma maneira de acompanhar os ciclos de disponibilização cada vez mais curtos.

Assim, torna-se imprescindível um conjunto de ferramentas que permita automatizar as tarefas repetitivas, incorporar o conhecimento dos negócios nas tarefas e disponibilizar soluções com mais rapidez. O Warehouse Builder incorpora a extensibilidade, a automação de tarefas e a captura de informações especializadas em seus recursos, permitindo disponibilizar sistemas complexos com velocidade ainda maior.

VERSÕES

O Oracle Warehouse Builder é parte integrante do Banco de Dados Oracle 11g. O produto

é executado em todas as versões (Standard Edition, Standard Edition One, Enterprise

Edition) e em quase todas as plataformas nas quais o Banco de Dados Oracle 11g é certificado e para as quais é portado. Os recursos centrais do produto são representados como opcional gratuito da licença de banco de dados. Os opcionais têm preços separados e estão disponíveis somente na versão Enterprise Edition do banco de dados.

Opcional Opcional Conectores Enterprise ETL Data Quality de ERP/CRM - Oracle EBS - Performance -
Opcional
Opcional
Conectores
Enterprise ETL
Data Quality
de ERP/CRM
- Oracle EBS
- Performance
- Geração de perfis de dados
- PeopleSoft
- Produtividade
- Detecção de anomalias
- Siebel
- Capacidade de reutilização
- Regras de negócios
- SAP
- Gerenciamento de metadados
- Auditoria
Principais recursos
(Sem custo extra com Banco de Dados SE/SE1/EE)

Figura 1 – Versões e opcionais

Para obter informações mais detalhadas, visite a descrição dos Opcionais do Banco de Dados Oracle na documentação ou na Internet. As seções a seguir mostram um resumo dos opcionais.

Principais recursos

Os principais recursos do produto permitem a integração de dados e a modelagem para

a maioria dos ambientes. São a entrada no mundo do Warehouse Builder porque

permitem começar a usá-lo sem custo adicional. Não foram feitos apenas para satisfazer

implementações pequenas.

Opcional Enterprise ETL

Este opcional é voltado especificamente para aumentar a performance (permitindo extrações de alta performance) e produtividade, com grande capacidade de reutilização. Alguns recursos avançados de gerenciamento de metadados também são incorporados a esse opcional.

Opcional Data Quality

Sendo parte integrante do produto e oferecendo um grande diferencial em comparação com as ferramentas da concorrência, o opcional Data Quality oferece suporte a geração de perfis de dados, regras de dados (basicamente, regras de negócios) e recursos de compliance das informações.

Devido à integração, as informações coletadas durante a geração de perfis de dados podem ser usadas para gerar automaticamente as correções de dados.

Conectores

Os conectores permitem melhor acesso e maior integração com os pacotes de aplicativos de ERP e CRM. Para o Warehouse Builder 11g, o Siebel Connector é uma nova adição à família de conectores do Warehouse Builder.

A integração é crucial

Para obter o máximo de benefícios com a ferramenta, verifique se o componente de ETL está integrado aos outros pilares do gerenciamento de informações.

Única interface do usuário Modelagem de Compliance dos Integração de Qualidade dos dados dados dados
Única interface do usuário
Modelagem de
Compliance dos
Integração de
Qualidade dos
dados
dados
dados
dados
- Modelagem relacional
- Geração de perfis de
- ETL em massa
- Padronização
- Modelagem
dados
- Orientada a eventos
- Correspondência/
dimensional
- Detecção de
- Orientada a
Combinação
- Modelagem analítica
anomalias
mensagens
- Eliminação de
- Gerenciamento do
ciclo de vida/alterações
- Imposição de regras
de negócios
- Consulta distribuída
do banco de dados
duplicidades
- Enriquecimento
- Auditoria
- Replicação
- Análise de impacto e
linhagem
Gerenciamento unificado de metadados

Figura 2 – Um produto integrado

Modelagem de dados, compliance e qualidade dos dados são os recursos centrais imprescindíveis em uma ferramenta de gerenciamento de informações.

Além das orientações dos fornecedores, tente entender desde o primeiro dia como as ferramentas interagem, como são integradas, se são vendidas como um conjunto ou se são desenvolvidas como um único produto. Essas dúvidas mostrarão como o produto é integrado.

Agora, por que a integração é crucial? Durante anos, tratamos (e alguns fornecedores ainda o fazem) os tópicos da Figura 2 como ferramentas individuais. Então, como cliente você tenta imaginar como incorporar o modelo de dados à ferramenta de ETL e talvez acabe comprando algum software de integração de terceiros para isso.

Atualmente, essa é a mais comum das situações. Ao analisar o futuro no curto prazo, os resultados das ferramentas de geração de perfis de dados precisam ser comunicados aos desenvolvedores de ETL. Como isso vai funcionar? Como essas informações de geração de perfis de dados fluirão para as transformações diretas de qualidade necessárias para lidar com dados inválidos? Todas essas dúvidas devem ter uma única resposta: a integração.

Assim, para realmente obter os benefícios das ferramentas e técnicas existentes, você precisa encontrar uma ferramenta integrada que permita executar as tarefas necessárias de maneira mais rápida e melhor.

O WAREHOUSE BUILDER AUMENTA A QUALIDADE DA INFORMAÇÃO

Conforme discutimos na primeira tendência, disponibilizar apenas dados não é o bastante no panorama atual e no futuro próximo. Como fornecedor ou integrador de informações, você precisará de um conjunto de ferramentas que o ajude a criar informações de qualidade. O Warehouse Builder representa uma parte crucial desse conjunto de ferramentas.

Qualidade dos metadados

Você já deve ter ouvido o mantra da qualidade dos dados, e todos nós sabemos que ela é importante. É interessante observar que os metadados parecem nunca ser incluídos em qualquer discussão sobre qualidade, muito menos produtos que ofereçam recursos de qualidade de metadados.

O novo Warehouse Builder muda isso drasticamente. Pela primeira vez 1 uma ferramenta auxiliará na resolução efetiva de parte dos problemas criados pelas mudanças em seu ambiente.

Os novos serviços Warehouse Builder Dependency Management permitem revelar o efeito dominó das alterações nos metadados em qualquer parte do sistema antes que elas o derrubem.

em qualquer parte do sistema antes que elas o derrubem. Figura 3 – Propagando as alterações

Figura 3 – Propagando as alterações no sistema

Pela primeira vez você gerenciará as alterações no sistema de maneira pró-ativa. Como exemplo (veja Figura 3), você pode propagar as alterações pelo sistema no editor de mapeamento.

1 Patente pendente

Figura 4 – Impacto da propagação mostrado para o atributo Name Com isso, o Warehouse

Figura 4 – Impacto da propagação mostrado para o atributo Name

Com isso, o Warehouse Builder não só resulta em economia de tempo e esforço, como também melhora a qualidade dos metadados, permitindo criar informações válidas para seus usuários finais.

Geração de perfis de dados

O outro componente crucial ao tornar as informações valiosas e precisas evidentemente

é garantir os níveis de qualidade dos dados. O novo Warehouse Builder aumenta os recursos do já extenso conjunto de qualidade dos dados disponível.

O componente lucrativo da qualidade das informações no Warehouse Builder é a

capacidade de avaliar a qualidade dos dados no próprio Warehouse Builder, em geral conhecida como geração de perfis de dados. Os resultados gerais da geração de perfis de dados são mostrados na Figura 5.

Figura 5 – Resumo geral da geração de perfis de dados Com base nesses resultados,

Figura 5 – Resumo geral da geração de perfis de dados

Com base nesses resultados, o Warehouse Builder permite extrair regras de limpeza de dados, que podem ser aplicadas para limpar os dados através de rotinas de extração, transformação e carregamento (ETL) chamadas de mapeamentos de correção. Essa integração na criação do processo de ETL é um grande diferencial entre o Warehouse Builder e as soluções de geração de perfis tradicionais. A integração torna a geração de perfis de dados com o Warehouse Builder bem mais eficaz, proporcionando imediatamente melhor qualidade dos dados para os negócios.

Para garantir que a qualidade para o público-alvo não fique abaixo dos limites corporativos, é possível adicionar um Data Auditor ao processo que monitora continuamente a qualidade. Se a qualidade ficar abaixo de um limite especificado (que pode ser medido em 6 sigma ou porcentagem de defeitos), os auditores de dados vão avisá-lo e você poderá tomar as devidas providências.

Figura 6 – Criando um Data Auditor Qualidade dos dados O atual conjunto de recursos

Figura 6 – Criando um Data Auditor

Qualidade dos dados

O atual conjunto de recursos é melhorado utilizando a tecnologia central do banco de

dados. Os algoritmos de qualidade de dados agora podem ser executados em pipeline para alcançar uma melhor taxa de transferência. Algoritmos de correspondência e combinação novos e aprimorados garantem a produção de resultados melhores e mais rápidos. Tudo isso é fornecido com o Warehouse Builder e está disponível nos componentes centrais de ETL.

Além disso, melhorias não relacionadas a software foram feitas liberando as interfaces

de programação de aplicativos (APIs) do Warehouse Builder para fornecedores

especializados em qualidade de dados, permitindo que você trabalhe com seu fornecedor preferido.

Figura 7 – Limpeza de nomes e endereços Essa funcionalidade foi lançada na versão 9.2

Figura 7 – Limpeza de nomes e endereços

Essa funcionalidade foi lançada na versão 9.2 do produto, mas o novo Warehouse Builder promete ainda mais parceiros de qualidade de dados (veja a OTN), tornando a limpeza de dados econômica e fácil.

O WAREHOUSE BUILDER AUMENTA O VALOR DA INFORMAÇÃO

A segunda tendência consiste em garantir a análise avançada de mais dados em um local

centralizado. Com todas as fontes que o Warehouse Builder pode atingir e os recursos avançados de qualidade de dados, agora você pode fornecer mais informações aos usuários finais.

Entretanto, os usuários finais agora querem análise sofisticada e simples de usar para fazer análise hipotética, fazer data mining em busca de padrões previamente ocultos e aplicar esse conhecimento aos problemas de negócios.

O novo Warehouse Builder permitirá que parte da tecnologia mais eficaz satisfaça a

esse requisito de análise sofisticado. Design de destino OLAP direto, cálculos avançados (compartilhamento, classificação e série de tempo) e ETL em um banco de dados OLAP Oracle são os principais novos componentes nos recursos do Warehouse Builder.

Além do OLAP, o Warehouse Builder possibilita o uso de alguns recursos mais avançados que acompanham a plataforma Oracle, como Oracle Spatial e Oracle Data Mining. Essas tecnologias permitem responder perguntas como onde ganhar dinheiro e por que os clientes nos trocariam pela concorrência. Em outras palavras, mostre as informações com base no local e pesquise mais a fundo as informações para realmente entender por que as coisas acontecem ou podem acontecer.

Análise de impacto e linhagem de dados
Análise de impacto e linhagem de dados

Figura 8 –Habilitando a plataforma Oracle para análise avançada Quando você estiver utilizando a plataforma Oracle, os produtos de business intelligence da Oracle permitirão usar mapas, medidores e outras técnicas de visualização.

Funcionalidade de ETL tradicional

A primeira etapa de tudo ainda é a tradicional tecnologia de ETL. Vamos dar uma

olhada nos novos recursos do ETL nesta nova versão do Warehouse Builder.

O novo editor de mapeamento é um acréscimo importante ao Warehouse Builder

(Figura 9).

Figura 9 – O editor de mapeamento no Warehouse Builder Adicionando inúmeros recursos à interface

Figura 9 – O editor de mapeamento no Warehouse Builder

Adicionando inúmeros recursos à interface do usuário, o novo Warehouse Builder proporciona uma experiência do usuário muito melhor na criação de grandes mapeamentos, aumentando sua produtividade e reduzindo a quantidade de erros cometidos.

Além de ajudar com melhorias visuais e de produtividade, vários novos componentes são adicionados para permitir a criação mais rápida dos processos de ETL. Você poderá criar componentes de mapeamento reutilizáveis a partir de um mapeamento existente. Recursos de ETL avançados como carregamento de dimensões alteradas lentamente ou carregamento de dados em um banco de dados de processamento analítico online (OLAP) requerem apenas alguns cliques. Em resumo, o novo Warehouse Builder oferecerá ainda mais funcionalidades de ETL para agilizar sua disponibilização de informações, com maior qualidade.

Habilitando mais fontes de dados

À medida que as organizações implementam cada vez mais aplicativos padrão, a

conectividade com esses pacotes de aplicativos se torna mais importante. A nova versão do Warehouse Builder acrescenta funcionalidade para lidar com essa situação aprimorando o SAP Connector já presente e adicionando vários conectores de pacotes de aplicativos ao produto.

Capturando alterações

O segredo para disponibilizar informações na hora certa é poder capturar as

informações relevantes na fonte e propagá-las para o destino para disponibilização.

Com o novo Warehouse Builder, você pode utilizar o Oracle Change Data Capture (CDC) usando as técnicas de banco de dados mais recentes.

Através das soluções de parceiros 2 , o Warehouse Builder permite integrar dados de mainframe, incluindo aproveitamento de aplicativos do CDC desses parceiros.

Integração ao E-Business Suite

Como parte da iniciativa para habilitar cada vez mais pacotes de aplicativos, o Oracle E-Business Suite é evidentemente a primeira solução adicional que vem à cabeça. Com a nova versão do Warehouse Builder, essa integração (sem considerar a integração do Oracle com o Embedded Data Warehouse) foi acrescentada.

do Oracle com o Embedded Data Warehouse) foi acrescentada. Figura 10 – E-Business Suite Connector O

Figura 10 – E-Business Suite Connector

O Warehouse Builder agora entende totalmente os metadados do E-Business Suite e torna a extração deles bem mais simples e mais eficiente.

Outro recurso poderoso no EBS Connector é a integração perfeita com o Concurrent Manager na suíte de produtos EBS. Essa funcionalidade permite a forte integração dos processos do Warehouse Builder na estrutura genérica de gerenciamento de trabalhos e programação do EBS.

Integração com PeopleSoft

Além da integração com o E-Business Suite, os pacotes de aplicativos PeopleSoft agora também são adicionados ao Warehouse Builder como conector padrão. O PeopleSoft Connector permite que o Warehouse Builder entenda nativamente as estruturas de metadados dos aplicativos PeopleSoft. Depois de importar os metadados dos aplicativos PeopleSoft, você pode usar todos os recursos do Warehouse Builder para integrar esses dados no restante do ambiente.

Integração com Siebel

O Siebel Connector é bastante semelhante ao EBS Connector e PeopleSoft Connector.

Para o Siebel, o conector entende as estruturas nos metadados Siebel e oferece a visualização de negócios dessas estruturas. Assim como nos conectores tratados anteriormente, o Siebel Connector é baseado em SQL.

Integração com SAP

O SAP Connector foi melhorado para esta versão. Ao contrário da maioria dos outros

recursos de ETL no Warehouse Builder, que usam SQL e PL/SQL, a extração do SAP ocorre usando ABAP, uma linguagem nativa do SAP. Essa diferença garante que os programas de extração sejam executados no servidor SAP em linguagem nativa.

A nova versão do Warehouse Builder suporta a implantação e execução diretas de

programas SAP no servidor SAP. Enquanto sua equipe SAP continua gerenciando os programas em servidores de produção, essa novidade melhora bastante os esforços de desenvolvimento e teste, simplificando o processo de implantação para extração de SAP. Junto com essa extensão, inúmeras melhorias de performance e produtividade foram feitas no SAP Connector.

A combinação de funcionalidade total, código ABAP nativo gerado e faixa de preços

torna o SAP Connector um componente valioso na extração de dados do sistema SAP.

Habilitando análise avançada

O maior benefício de uma solução OLAP é a capacidade de fornecer recursos de cálculo

altamente avançados, com surpreendentes tempos de resposta para os usuários finais. Agora que o opcional OLAP Oracle está disponível no banco de dados Oracle, o Warehouse Builder oferece essa tecnologia de maneira fácil de usar.

No Warehouse Builder, você cria um design lógico que descreve os cubos OLAP em dimensões, hierarquias, medidas, medidas calculadas e todos os componentes necessários. O Warehouse Builder usa a nova API XML com a opção OLAP para criar o workspace analítico e os metadados necessários nos catálogos de banco de dados. O Warehouse Builder também permite escolher sua implementação. Você quer uma solução puramente OLAP multidimensional (MOLAP) ou uma solução OLAP relacional? É possível decidir ou mudar de idéia facilmente se os testes apontarem para um direcionamento diferente.

Após criar o esquema ou workspace analítico, você pode usar os modeladores de ETL do Warehouse Builder para criar os programas de carregamento. O Warehouse Builder é capaz de carregar diretamente quaisquer dados no workspace analítico, permitindo usar pela primeira vez o poder de transformação em cargas de dados OLAP.

O carregamento de dados de qualquer fonte diretamente na área de análise sofisticada

da opção OLAP massifica essa capacidade, permitindo que muitas pessoas acessem e

trabalhem com dados OLAP.

Figura 11 – Adicionando conteúdo analítico a um cubo Adicionando uma opção de geração para

Figura 11 – Adicionando conteúdo analítico a um cubo

Adicionando uma opção de geração para análise avançada diretamente no editor de cubos OLAP, agora você pode preparar diretamente o cubo para análise. Como essas medidas calculadas agora são armazenadas no banco de dados, em vez de criadas pelos usuários finais, você ganha performance e uniformidade.

Extraindo metadados de BI

Embora você espere que o Warehouse Builder ofereça uma infra-estrutura robusta, talvez fique surpreso ao ver que a ferramenta oferece uma amostra (modelo) de relatório para você mostrar aos usuários finais. Assim, o Warehouse Builder poupa muito tempo no ciclo de desenvolvimento.

À medida que você define o banco de dados (relacional ou OLAP) e carrega dados nele,

cria e coleta muitos metadados. Tradicionalmente, você cria um aplicativo sobre esse design de banco de dados, essencialmente duplicando o trabalho de criar metadados e designs tudo novamente.

O Warehouse Builder acaba com essa duplicidade de esforços e metadados porque

extrai de seu design os metadados do usuário final. Isso não só reduz o trabalho necessário, como também reduz o risco de erros e os esforços para manter os metadados sincronizados, aumentando assim sua qualidade.

Outro aspecto crucial para a qualidade dos metadados é que, tendo essas definições em um local, você pode oferecer uma análise completa de impacto. É possível não só determinar com antecedência o impacto das alterações no banco de dados, como também o impacto no ambiente de BI.

Assim, no Warehouse Builder é possível selecionar os metadados de cubo e, por exemplo, extrair uma Camada do Usuário Final do Oracle BI Standard Edition (OBI SE) e armazenar essas informações primeiramente no repositório do Warehouse Builder. Você pode então editar os objetos OBI SE no Warehouse Builder. Quando estiver satisfeito, bastará implantá-los no OBI SE.

O WAREHOUSE BUILDER AUMENTA A PRODUTIVIDADE

Analisamos duas tendências e como o Warehouse Builder pode auxiliá-lo a lidar com a melhora da qualidade e o aumento do conhecimento em sua organização. Mas agora precisamos lidar com ciclos mais reduzidos para oferecer mais vantagens como essas à organização. Será que o Warehouse Builder pode ajudar com isso?

Incorporando a funcionalidade avançada

Muitas tarefas na integração de dados podem ser incorporadas a atividades padrão. Já discutimos a geração de cálculos analíticos avançados (veja Figura 11). Em vez de fazer com que desenvolvedores ou usuários finais efetuem esses cálculos no processo tedioso de um a um, tornamos possível efetuá-los em uma única etapa.

Dimensões alteradas lentamente

O mesmo acontece com as dimensões alteradas lentamente. Os conceitos não são muito difíceis de entender – capturar as alterações nas informações cruciais e gerar versões delas nos dados –, mas como cada um os implementa de maneiras ligeiramente diferentes, a integração de dados acaba se tornando um trabalho árduo.

No Warehouse Builder, a lógica das dimensões alteradas lentamente é criada nos metadados da dimensão real. A dimensão captura toda a lógica que será aplicada aos dados provenientes da dimensão.

que será aplicada aos dados provenientes da dimensão. Figura 12 – Uma única implementação para dimensões

Figura 12 – Uma única implementação para dimensões alteradas lentamente

Depois que o usuário de negócios decide quais atributos são importantes, o modelador de dados cria a dimensão. Nas etapas de ETL, o desenvolvedor agora vê a dimensão como qualquer outra. Esse desenvolvedor não precisa se preocupar com o modo de lidar com alterações e atualizações, pois o Warehouse Builder automatiza esse processo com base na definição da dimensão. A combinação dessas etapas, o design e a padronização tornam muito mais rápido o processo de lidar eficazmente com as dimensões alteradas lentamente.

Entre outros recursos estão o armazenamento inteligente usando particionamento para melhorar os tempos de carregamento e consulta, a definição apropriada de índices de tabelas de fatos para permitir a transformação de consultas em estrela, a capacidade de gerar dimensões de tempo, etc.

Esses são apenas dois exemplos de como a funcionalidade avançada pode ser incorporada em construções de design simples. Porém, o próximo elemento de aumento da produtividade torna exemplos como esses um pouco inexpressivos.

Correções de dados

Imagine que você pode gerar um esquema inteiro com base na aparência de seus dados, fazer com esse esquema e os mapeamentos sejam gerados e corrigir os erros dos dados enquanto estes são transmitidos para o esquema de destino. Parece ficção científica? Agora isso é realidade com os módulos de correção no Warehouse Builder.

Em resumo, é assim que a coisa funciona. Com base nos resultados da geração de perfis de dados (seus dados), você pode extrair ou criar regras de dados que descrevem como eles devem ser. Depios, opta por gerar os mapeamentos de correção e um esquema que atuarão como destino para esses mapeamentos de correção. Ao gerar os mapeamentos de correção, é possível escolher métodos de limpeza para garantir que os dados se adaptem às regras enquanto você os transfere para o esquema de destino.

Figura 13 – Escolhendo como limpar os dados Orientando você no processo, o Warehouse Builder

Figura 13 – Escolhendo como limpar os dados

Orientando você no processo, o Warehouse Builder agiliza o processo de integração dos dados drasticamente. Mas como o processo agora é gerado a partir das regras de dados, a recriação do processo quando as regras mudarem gerará economia de mais tempo ainda. Não há necessidade de redesenvolver. Basta alterar os metadados da regra e gerar novamente o processo e esquema para entrar em produção.

Isso não é meramente um ganho de produtividade, mas sim um turbinador da produtividade.

Incorporando suas próprias práticas de negócios

Apesar de inúmeros recursos do Warehouse Builder oferecerem automação ou incorporação de práticas comuns ou inclusive permitirem gerar rotinas de limpeza de dados, às vezes é necessário encontrar uma maneira de incorporar as próprias regras e práticas de negócios.

Mapeamentos conectáveis

Ao integrar dados de várias fontes, você quer garantir que determinadas transformações aconteçam de maneira específica, de acordo com as especificações de sua organização. No Oracle, sempre é possível escrever PL/SQL para incorporar essas regras e usar esses programas no Warehouse Builder. Entretanto, mantê-los e alterá-los se torna um pesadelo.

Com os mapeamentos conectáveis, agora é possível modelar as transformações ou construções ETL da mesma maneira visual e aberta possível nos mapeamentos normais. Os mapeamentos conectáveis permitem definir uma interface (tanto de entrada quanto de saída) para tornar o componente genérico ao consumo de processos de ETL.

Figura 14 – Um mapeamento conectável com assinatura de entrada e saída Como esses agora

Figura 14 – Um mapeamento conectável com assinatura de entrada e saída

Como esses agora são componentes com design gráfico, são muito mais fáceis de entender e manter. Mesmo se o desenvolvedor tiver deixado a organização, a interpretação de um fluxo de dados lógico é bem mais fácil do que vasculhar linhas e linhas de código, gerando assim economia de tempo e esforço.

Experts

Além de reutilizar a lógica de transformação, quem não gostaria de repetir determinadas tarefas mais complexas como é possível, por exemplo, no Microsoft Excel usando suas macros?

Agora isso é possível no Warehouse Builder com um recurso chamado Experts. Os Experts permitem programar tarefas nos fluxos usando um editor gráfico e uma linguagem de scripts (TCL com extensões OMB 3 e OMU). Como o Warehouse Builder é uma ferramenta altamente gráfica, os Experts também permitem que você reutilize os componentes da interface do usuário na criação de seus próprios “assistentes”.

3 Os comandos do Oracle MetaBase (OMB) e da interface Oracle Metabase User (OMU) são extensões da linguagem TCL padrão

Figura 15 – Criando Experts em um editor gráfico Com este recurso, agora você pode

Figura 15 – Criando Experts em um editor gráfico

Com este recurso, agora você pode alcançar inúmeros objetivos. É possível permitir que um desenvolvedor menos experiente faça trabalhos que foram definidos, através de um Expert, por desenvolvedores mais experientes, tornando ambos mais produtivos.

Você também pode incorporar práticas de negócios, desde simples convenções de nomenclatura até a especificação de como determinados objetos devem ser criados. Em vez de documentar orientações, agora você pode incorporá-las ao produto e impô-las. Isso por sua vez reduzirá as caras revisões, auditorias e, o mais importante, o retrabalho e o não-cumprimento das regulamentações.

Caso você tenha a necessidade de criar seus próprios componentes de interface do usuário, como simples caixas de diálogo ou outros componentes personalizados, o Warehouse Builder permite criar caixas de diálogo personalizadas no editor de Experts ou usar componentes Java. Em ambos os casos, você pode interagir com os metadados do repositório usando os componentes de linguagem incorporados.

Também pode expor os Experts àqueles que não usam o Warehouse Builder, pois é possível executar um Expert sem estar conectado à interface do usuário do Warehouse Builder. Dessa maneira, é possível fazer com que mais usuários de negócios interajam com o repositório. Um exemplo é um usuário que precisa investigar uma anomalia nos dados em uma planilha baseada em OLAP.

Figura 16 – Linhagem do Excel até as fontes Integrando a interface do usuário de

Figura 16 – Linhagem do Excel até as fontes

Integrando a interface do usuário de linhagem em um Expert e expondo isso através de um arquivo em lote no Excel, é possível fazer com que qualquer usuário de negócios entenda a estrutura interna de seus dados.

RESUMO E CONCLUSÃO

Se você analisar as tendências na integração das informações, precisará entender e enfrentar estas necessidades:

Disponibilização de informações de melhor qualidade

Mais conhecimento obtido com as informações existentes

Redução dos intervalos e maior rapidez no lançamento de produtos no mercado

Para poder fazer tudo isso com orçamentos apertados, é necessário ter prudência com os gastos. O Warehouse Builder 10 Release 2 permite cumprir esses requisitos imediatamente por um baixo custo.

Assim, podemos dizer que o Warehouse Builder possibilita à sua organização transformar seus dados em resultados tangíveis com maior velocidade e melhor qualidade.

Oracle Warehouse Builder 11 g R1 – Visão geral Março de 2007 Autor: Jean-Pierre Dijcks

Oracle Warehouse Builder 11g R1 – Visão geral Março de 2007 Autor: Jean-Pierre Dijcks

Oracle Corporation Filial Brasil Av. Alfredo Egídio de Souza Aranha, 100 – 5º andar Chácara Santo Antônio – São Paulo – SP – 04726-170 Brasil

Telefone para contato:

0800-891-4433

Internet: www.oracle.com/br

Copyright © 2007, Oracle. Todos os direitos reservados. Este documento é fornecido com propósito meramente informativo, e as informações aqui contidas estão sujeitas a alterações sem prévio aviso. Este documento pode não estar isento de erros, nem está sujeito a nenhuma outra garantia ou condição, seja expressa oralmente ou implícita pela lei, incluindo garantias implícitas e condições de comercialização ou adequação a um propósito específico. A Oracle especificamente se isenta de qualquer responsabilidade com respeito a este documento. Nenhuma obrigação contratual é estabelecida direta ou indiretamente por este documento. Este documento não pode ser reproduzido ou transmitido de forma ou meio algum, seja mecânico ou eletrônico, para nenhuma finalidade, sem autorização prévia expressa por escrito. Oracle é uma marca registrada da Oracle Corporation e/ ou de suas afiliadas. Outros nomes podem ser marcas comerciais de seus respectivos proprietários.