Escolar Documentos
Profissional Documentos
Cultura Documentos
Visão geral
Março de 2007
OBSERVAÇÃO:
INTRODUÇÃO:
A atual arquitetura das informações é muito mais dinâmica do que era há apenas
alguns anos. Os executivos agora demandam mais informações, querem cada vez
mais recursos de análise e querem prever o comportamento dos negócios. Eles
querem tudo isso de toda a organização para oferecer um diferencial competitivo.
Para poder fazer tudo isso com orçamentos Essas tendências são importantes para os consumidores das informações e também para
apertados, é necessário ter prudência com quem desenvolve a infra-estrutura para lidar com elas. Por isso, vamos analisar mais
os gastos. O Warehouse Builder 10 Release atentamente o que elas significam para uma organização.
2 permite cumprir esses requisitos
imediatamente por um baixo custo. Maior qualidade das informações
Assim, podemos dizer que o Warehouse Há muito tempo se fala nisso, mas finalmente está chegando o dia em que os ativos de
Builder possibilita à sua organização informação serão gerenciados adequadamente. O grande impacto na gestão de ativos de
transformar seus dados em resultados informação estará nos problemas e nas avaliações da qualidade. Esses dois fatores
tangíveis com maior velocidade e melhor identificarão a necessidade de providências na área da qualidade das informações.
qualidade.
Um ponto crucial que deve ser entendido é que não se trata da qualidade dos dados
brutos, mas sim da qualidade das informações. Como as informações consistem em
dados brutos e metadados (ou de definições de negócios), o alargamento do horizonte
levará a requisitos mais exigentes na qualidade dos dados e também dos metadados.
Essa mudança gera impactos não só na arquitetura, mas também nos processos e
designs de sistema.
O Oracle Warehouse Builder é parte integrante do Banco de Dados Oracle 11g. O produto
é executado em todas as versões (Standard Edition, Standard Edition One, Enterprise
Edition) e em quase todas as plataformas nas quais o Banco de Dados Oracle 11g é
certificado e para as quais é portado. Os recursos centrais do produto são representados
como opcional gratuito da licença de banco de dados. Os opcionais têm preços
separados e estão disponíveis somente na versão Enterprise Edition do banco de dados.
Principais recursos
(Sem custo extra com Banco de Dados SE/SE1/EE)
Para obter informações mais detalhadas, visite a descrição dos Opcionais do Banco de
Dados Oracle na documentação ou na Internet. As seções a seguir mostram um resumo
dos opcionais.
Principais recursos
Conectores
A integração é crucial
Além das orientações dos fornecedores, tente entender desde o primeiro dia como as
ferramentas interagem, como são integradas, se são vendidas como um conjunto ou se
são desenvolvidas como um único produto. Essas dúvidas mostrarão como o produto é
integrado.
Agora, por que a integração é crucial? Durante anos, tratamos (e alguns fornecedores
ainda o fazem) os tópicos da Figura 2 como ferramentas individuais. Então, como
cliente você tenta imaginar como incorporar o modelo de dados à ferramenta de ETL e
talvez acabe comprando algum software de integração de terceiros para isso.
Atualmente, essa é a mais comum das situações. Ao analisar o futuro no curto prazo, os
resultados das ferramentas de geração de perfis de dados precisam ser comunicados aos
desenvolvedores de ETL. Como isso vai funcionar? Como essas informações de
geração de perfis de dados fluirão para as transformações diretas de qualidade
necessárias para lidar com dados inválidos? Todas essas dúvidas devem ter uma única
resposta: a integração.
Você já deve ter ouvido o mantra da qualidade dos dados, e todos nós sabemos que ela é
importante. É interessante observar que os metadados parecem nunca ser incluídos em
qualquer discussão sobre qualidade, muito menos produtos que ofereçam recursos de
qualidade de metadados.
O novo Warehouse Builder muda isso drasticamente. Pela primeira vez 1 uma
ferramenta auxiliará na resolução efetiva de parte dos problemas criados pelas
mudanças em seu ambiente.
Pela primeira vez você gerenciará as alterações no sistema de maneira pró-ativa. Como
exemplo (veja Figura 3), você pode propagar as alterações pelo sistema no editor de
mapeamento.
____________________________
1 Patente pendente
Com isso, o Warehouse Builder não só resulta em economia de tempo e esforço, como
também melhora a qualidade dos metadados, permitindo criar informações válidas para
seus usuários finais.
Com base nesses resultados, o Warehouse Builder permite extrair regras de limpeza de
dados, que podem ser aplicadas para limpar os dados através de rotinas de extração,
transformação e carregamento (ETL) chamadas de mapeamentos de correção. Essa
integração na criação do processo de ETL é um grande diferencial entre o Warehouse
Builder e as soluções de geração de perfis tradicionais. A integração torna a geração de
perfis de dados com o Warehouse Builder bem mais eficaz, proporcionando
imediatamente melhor qualidade dos dados para os negócios.
Para garantir que a qualidade para o público-alvo não fique abaixo dos limites
corporativos, é possível adicionar um Data Auditor ao processo que monitora
continuamente a qualidade. Se a qualidade ficar abaixo de um limite especificado (que
pode ser medido em 6 sigma ou porcentagem de defeitos), os auditores de dados vão
avisá-lo e você poderá tomar as devidas providências.
Além disso, melhorias não relacionadas a software foram feitas liberando as interfaces
de programação de aplicativos (APIs) do Warehouse Builder para fornecedores
especializados em qualidade de dados, permitindo que você trabalhe com seu
fornecedor preferido.
Essa funcionalidade foi lançada na versão 9.2 do produto, mas o novo Warehouse
Builder promete ainda mais parceiros de qualidade de dados (veja a OTN), tornando a
limpeza de dados econômica e fácil.
Entretanto, os usuários finais agora querem análise sofisticada e simples de usar para
fazer análise hipotética, fazer data mining em busca de padrões previamente ocultos e
aplicar esse conhecimento aos problemas de negócios.
O novo Warehouse Builder permitirá que parte da tecnologia mais eficaz satisfaça a
esse requisito de análise sofisticado. Design de destino OLAP direto, cálculos
avançados (compartilhamento, classificação e série de tempo) e ETL em um banco de
dados OLAP Oracle são os principais novos componentes nos recursos do Warehouse
Builder.
A primeira etapa de tudo ainda é a tradicional tecnologia de ETL. Vamos dar uma
olhada nos novos recursos do ETL nesta nova versão do Warehouse Builder.
Capturando alterações
Como parte da iniciativa para habilitar cada vez mais pacotes de aplicativos, o Oracle
E-Business Suite é evidentemente a primeira solução adicional que vem à cabeça. Com
a nova versão do Warehouse Builder, essa integração (sem considerar a integração do
Oracle com o Embedded Data Warehouse) foi acrescentada.
________________________________
2 Visite a OTN para obter mais informações.
http://www.oracle.com/technology/products/warehouse/htdocs/otn_partners.html
O SAP Connector foi melhorado para esta versão. Ao contrário da maioria dos outros
recursos de ETL no Warehouse Builder, que usam SQL e PL/SQL, a extração do SAP
ocorre usando ABAP, uma linguagem nativa do SAP. Essa diferença garante que os
programas de extração sejam executados no servidor SAP em linguagem nativa.
No Warehouse Builder, você cria um design lógico que descreve os cubos OLAP em
dimensões, hierarquias, medidas, medidas calculadas e todos os componentes
necessários. O Warehouse Builder usa a nova API XML com a opção OLAP para criar o
workspace analítico e os metadados necessários nos catálogos de banco de dados. O
Warehouse Builder também permite escolher sua implementação. Você quer uma
solução puramente OLAP multidimensional (MOLAP) ou uma solução OLAP
relacional? É possível decidir ou mudar de idéia facilmente se os testes apontarem para
um direcionamento diferente.
Após criar o esquema ou workspace analítico, você pode usar os modeladores de ETL
do Warehouse Builder para criar os programas de carregamento. O Warehouse Builder é
capaz de carregar diretamente quaisquer dados no workspace analítico, permitindo usar
pela primeira vez o poder de transformação em cargas de dados OLAP.
Extraindo metadados de BI
Embora você espere que o Warehouse Builder ofereça uma infra-estrutura robusta,
talvez fique surpreso ao ver que a ferramenta oferece uma amostra (modelo) de relatório
para você mostrar aos usuários finais. Assim, o Warehouse Builder poupa muito tempo
no ciclo de desenvolvimento.
À medida que você define o banco de dados (relacional ou OLAP) e carrega dados nele,
cria e coleta muitos metadados. Tradicionalmente, você cria um aplicativo sobre esse
design de banco de dados, essencialmente duplicando o trabalho de criar metadados e
designs tudo novamente.
Outro aspecto crucial para a qualidade dos metadados é que, tendo essas definições em
um local, você pode oferecer uma análise completa de impacto. É possível não só
determinar com antecedência o impacto das alterações no banco de dados, como
também o impacto no ambiente de BI.
Analisamos duas tendências e como o Warehouse Builder pode auxiliá-lo a lidar com a
melhora da qualidade e o aumento do conhecimento em sua organização. Mas agora
precisamos lidar com ciclos mais reduzidos para oferecer mais vantagens como essas à
organização. Será que o Warehouse Builder pode ajudar com isso?
O mesmo acontece com as dimensões alteradas lentamente. Os conceitos não são muito
difíceis de entender – capturar as alterações nas informações cruciais e gerar versões
delas nos dados –, mas como cada um os implementa de maneiras ligeiramente
diferentes, a integração de dados acaba se tornando um trabalho árduo.
Esses são apenas dois exemplos de como a funcionalidade avançada pode ser
incorporada em construções de design simples. Porém, o próximo elemento de aumento
da produtividade torna exemplos como esses um pouco inexpressivos.
Correções de dados
Imagine que você pode gerar um esquema inteiro com base na aparência de seus dados,
fazer com esse esquema e os mapeamentos sejam gerados e corrigir os erros dos dados
enquanto estes são transmitidos para o esquema de destino. Parece ficção científica?
Agora isso é realidade com os módulos de correção no Warehouse Builder.
Em resumo, é assim que a coisa funciona. Com base nos resultados da geração de perfis
de dados (seus dados), você pode extrair ou criar regras de dados que descrevem como
eles devem ser. Depios, opta por gerar os mapeamentos de correção e um esquema que
atuarão como destino para esses mapeamentos de correção. Ao gerar os mapeamentos
de correção, é possível escolher métodos de limpeza para garantir que os dados se
adaptem às regras enquanto você os transfere para o esquema de destino.
Mapeamentos conectáveis
Ao integrar dados de várias fontes, você quer garantir que determinadas transformações
aconteçam de maneira específica, de acordo com as especificações de sua organização.
No Oracle, sempre é possível escrever PL/SQL para incorporar essas regras e usar esses
programas no Warehouse Builder. Entretanto, mantê-los e alterá-los se torna um
pesadelo.
Como esses agora são componentes com design gráfico, são muito mais fáceis de
entender e manter. Mesmo se o desenvolvedor tiver deixado a organização, a
interpretação de um fluxo de dados lógico é bem mais fácil do que vasculhar linhas e
linhas de código, gerando assim economia de tempo e esforço.
Experts
_________________________
3 Os comandos do Oracle MetaBase (OMB) e da interface Oracle Metabase User
Com este recurso, agora você pode alcançar inúmeros objetivos. É possível permitir que
um desenvolvedor menos experiente faça trabalhos que foram definidos, através de um
Expert, por desenvolvedores mais experientes, tornando ambos mais produtivos.
Também pode expor os Experts àqueles que não usam o Warehouse Builder, pois é
possível executar um Expert sem estar conectado à interface do usuário do Warehouse
Builder. Dessa maneira, é possível fazer com que mais usuários de negócios interajam
com o repositório. Um exemplo é um usuário que precisa investigar uma anomalia nos
dados em uma planilha baseada em OLAP.
Para poder fazer tudo isso com orçamentos apertados, é necessário ter prudência com os
gastos. O Warehouse Builder 10 Release 2 permite cumprir esses requisitos
imediatamente por um baixo custo.
Oracle Corporation
Filial Brasil
Av. Alfredo Egídio de Souza Aranha, 100 – 5º andar
Chácara Santo Antônio – São Paulo – SP – 04726-170
Brasil