Mdulo 2.

Definindo Solues OLAP

Objetivos
Ao finalizar este mdulo o participante: Recordar os conceitos bsicos de um sistema OLTP com seus exemplos. Compreender as caractersticas de Warehouse junto com seus componentes. um Data

Reconhecer a necessidade dos processos de extrao, transformao e carga de dados (ETL) que permitem alimentar as tabelas auxiliares que suportaro a estrutura multidimensional. Conhecer as diferenas entre um sistema transacional e um Data Warehouse. Compreender o termo OLAP e a sua relao com a navegabilidade da informao. Conhecer as transformaes necessrias para montar um DW a partir de um Banco de Dados Operacional.

Introduo
Para desenvolver um Data Warehouse, devemos considerar uma srie de pautas que devero estar alinhadas com os objetivos do negcio e os fatos que precisam ser analisados, incluindo o alcance do sistema, a granularidade dos dados e a navegabilidade desejada. Devem ser identificadas as origens dos dados para selecion-los, depur-los, transform-los e import-los.

Pgina 1 de 16

Contedo do mdulo
2.1 Sistema Transacional (OLTP) 2.1.1 Caractersticas 2.1.2 Usos comuns de sistemas OLTP 2.2 Sistemas OLAP 2.2.1 Bancos de Dados (Estruturas) 2.2.2 Usos Comuns de sistemas OLAP 2.3 Dados de Origem X Informaes do Negcio 2.3.1 Convertendo Dados em Informaes 2.3.2 Extrao, transformao e carga de dados ETL

2.1 Sistema Transacional (OLTP)

2.1.1 Caractersticas
Os sistemas OLTP (On-Line Transaction Processing) so os sistemas que capturam as transaes de um negcio e as mantm em estruturas relacionais chamadas Banco de Dados. As principais caractersticas dos sistemas OLTP so: Realizar transaes em tempo real do processo de um negcio, motivo pelo qual os dados armazenados mudam continuamente. Os sistemas OLTP, nas suas transaes, controlam processos essenciais do negcio. Os sistemas OLTP so os responsveis pela manuteno dos dados, acrescentando dados, realizando atualizaes ou eliminando-os. As estruturas de dados devem estar otimizadas para validar a entrada dos mesmos e rejeit-los se no atenderem determinadas regras de negcio. Para a tomada de decises, os sistemas OLTP possuem capacidades limitadas, pois no seu objetivo e, portanto, no uma prioridade no seu desenvolvimento. Se desejasse obter uma determinada informao histrica relativa ao negcio consultando um sistema OLTP, seria produzido um impacto negativo no funcionamento do sistema. Normalmente, para o desenho de um sistema OLTP definido um modelo de Diagrama de Relao de Entidades (DRE). Um DRE uma representao da realidade atravs de um esquema grfico que contm os seguintes elementos: Entidades: Uma Entidade um tipo de objeto que pode ser identificado de forma nica por algum meio. Este objeto traduzido para a estrutura fsica de um banco de dados como uma tabela. Atributos: As caractersticas particulares que diferenciam as Entidades so denominadas Atributos.

Pgina 2 de 16

Relaes (ou Relacionamentos): vnculos existentes entre as tabelas que servem para garantir a integridade referencial.

Um exemplo de Entidades e Atributos : Pessoa (IdPessoa, IdLocalidade) Nome, Sobrenome,

Grupo (IdPessoa, Telefone)

Para conseguir esquematizar um DRE, deve ser realizado um processo de padronizao baseado nas Formas Normais, que tambm garante uma otimizao do espao utilizado no disco.

2.1.2 Usos Comuns de sistemas OLTP

Toda organizao ou empresa efetua seus objetivos dirios realizando um conjunto de tarefas que esto cuidadosamente agrupadas dentro de processos relacionados entre si. Os processos podem pertencer rea Industrial, ao departamento de Marketing, ao departamento de Vendas ou ao setor Administrativo, mencionando apenas alguns deles. Podemos dizer que na definio de OLTP podem ser enquadrados todos os sistemas tradicionais dedicados captura, validao e armazenamento de dados de forma estruturada e que correspondem aos procedimentos.

Sistema OLTP Imaginemos estar diante de um Sistema de Caixas Eletrnicos. O sistema, ao ser operado por um cliente, passar pelas seguintes situaes: Receber o carto do Cliente. Validar o Cliente. Consultar no Banco de Dados se o Cliente existe e, se existir, confirmar que est em uma linha de caixas habilitada. Autenticar o cliente no sistema. Se desejar realizar uma transferncia: Verificar se apresenta autorizao para realiz-la. Verificar se apresenta saldo. Inicializar a transferncia tratando-a como uma transao. Emitir comprovante. Despedir-se do Cliente.

Pgina 3 de 16

A situao em um Sistema de Vendas atravs de um Site seria a seguinte: Validar o cliente e autentic-lo no sistema. Aceitar o pedido. Controlar os limites de crdito. Informar os valores parciais da compra e acumulados. Confirmao do cliente antes de enviar o pedido. Enviar o pedido. Descontar as quantidades vendidas do estoque. Informar o nmero da venda e a data de entrega. Despedir-se do cliente.

Podemos verificar que o sistema transacional garante um conjunto de regras de negcio, como no exemplo de um sistema de vendas pela Web, antes de realizar a venda verifica-se se o cliente no ultrapassou o limite de crdito. Por sua vez, deve ser mantida uma integridade na informao, isto , se em uma tabela manipula-se o estoque dos produtos e em outra so tratadas as movimentaes realizadas destes produtos, as quantidades movimentadas na tabela de movimentaes devem ser descontadas na mesma quantidade que as apresentadas na tabela de produtos.

Pgina 4 de 16

As organizaes precisam ento registrar as transaes ocorridas durante seus processos operacionais, para controle e consulta posterior. Um sistema OLTP utilizado em: Sistemas bancrios Processamento de pedidos Comrcio eletrnico Sistemas de faturamento Sistemas de estoque

2.2 Sistemas OLAP

2.2.1 Bancos de Dados (Estruturas)
Os sistemas OLAP (On-Line Analytical Processing, ou Processamento Analtico On-line) oferecem uma alternativa aos sistemas transacionais, proporcionando uma viso dos dados orientada anlise, alm de uma navegao rpida e flexvel. A tecnologia OLAP apresenta as seguintes caractersticas: Os bancos de dados OLAP apresentam um esquema otimizado para que as perguntas realizadas pelos usurios sejam respondidas rapidamente. As perguntas realizadas a um OLAP devem permitir a utilizao interativa com os usurios.

Pgina 5 de 16

Os cubos OLAP armazenam vrios nveis de dados formados por estruturas altamente otimizadas que atendem s expectativas de negcio da empresa. Um sistema OLAP est preparado para realizar relatrios complexos de uma forma simples. O OLAP proporciona uma viso multidimensional dos dados. Os cubos oferecem uma viso multidimensional dos dados que vai alm da anlise de duas dimenses, oferecida por uma simples planilha de clculo utilizada como tal. Os usurios podem modificar facilmente as filas, as colunas e as pginas nos relatrios do OLAP, sendo possvel visualizar a informao da forma que seja mais conveniente para anlise.

Um Sistema OLAP Os sistemas OLAP representam uma soluo que retorna respostas rpidas para as consultas realizadas. A partir de sistemas OLAP podem ser obtidos relatrios de negcios sobre Vendas ou Marketing, entre outros.

2.2.2 Usos Comuns de sistemas OLAP

Os sistemas OLAP so utilizados pelas empresas para conhecer o histrico do negcio e poder realizar a tomada de decises. Podemos enunciar as seguintes reas onde o uso de um sistema OLAP est difundido: Sistemas de informao executivos. Os usurios e os administradores geralmente de cargos altos e mdios, recebem a informao sobre os indicadores de funcionamento dominantes do negcio e das excees ou as variaes segundo os padres pr-estabelecidos. Os Sistemas de Informao Executivos (EIS) geralmente apresentam dados multidimensionais em formatos grficos. OLAP em EIS Alertas. Tomada de decises.

Aplicaes financeiras. Os bancos de dados OLAP possuem diversos usos no mercado financeiro, incluindo a comunicao, anlise do ms de fechamento, anlise do aproveitamento do produto, oramentos e

Pgina 6 de 16

previses. Os analistas financeiros utilizam sistemas OLAP extensivamente para anlise de dados financeiros e operacionais para responder as perguntas dos superiores. OLAP na rea Financeira Relatrios analticos. Planejamento. Anlise.

Aplicaes de Vendas e Marketing. Existem diferentes formas de chegar aos clientes para atingir os objetivos de venda e de comercializao propostos. Por isso, aconselhvel a utilizao de sistemas OLAP onde importante contar com informao organizada de forma rpida. Os exemplos incluem anlise do faturamento, anlise de produto, anlise do cliente e anlise de vendas regional. OLAP no Marketing Anlise de Produtos. Anlise de Clientes. Anlise de Faturamento.

Outros Usos. Os bancos de dados do OLAP adaptam-se a uma ampla gama de anlises, incluindo rendimento de processamento e eficcia da produo, eficcia do servio ao cliente e anlise de custo do produto. Definitivamente, um sistema OLAP til para todo processo no qual seja necessrio tomar decises. OLAP em Outros Usos Anlise da Produo. Anlise de Servios ao cliente. Evoluo do Custo do Produto.

2.3 Dados de Origem X Informaes do Negcio

O esquema a seguir representa as diferentes etapas que devem ser executadas para a construo de um Data Mart, a partir da identificao dos

Pgina 7 de 16

dados originais nos sistemas transacionais at que os usurios possam utilizar essa informao. Ele indica qual parte destes processos cada mdulo cobrir.

As etapas que devem ser atendidas durante o processo de construo de um Data Warehouse so as seguintes: 1. Identificao das necessidades e requerimentos. 2. Reconhecimento das fontes de dados originais e suas estruturas. 3. Baseado nos requerimentos, definir as tabelas auxiliares e os processos de extrao, transformao e importao de dados. 4. Construir o esquema multidimensional. Este esquema deve estar de acordo com os requerimentos e com as tabelas auxiliares, como primeira forma de teste. 5. Acesso ao sistema a partir das estaes de trabalho dos analistas, obtendo a informao identificada na etapa de requerimentos.

2.3.1 Convertendo Dados em Informaes

Para converter os dados em informao, deve ser entendida de que forma podem ser interpretados os dados armazenados nos sistemas OLTP, determinando: Como os fatos que desejamos medir se relacionam com os dados que podemos obter. Como estes dados refletem as metas e objetivos englobados pelo negcio. Um Data Warehouse classifica a informao com base nos aspectos que so de interesse para a empresa.

Pgina 8 de 16

O ambiente operacional orientado a aplicativos e funes (vendas, faturamento, estoque, etc.). O banco de dados combina os processos em uma estrutura que responde s necessidades das regras do negcio. Entretanto, em um Data Warehouse estes elementos so orientados a sujeitos (vendedores, produtos, filiais, etc.). Aps reconhecer a anlise do negcio como um valor significativo para uma organizao, as solicitaes dos dados e da informao tornam-se numerosas e freqentes. Satisfazer estas solicitaes pode ser uma tarefa muito complexa em um sistema OLTP, sendo necessrio procurar entre grandes quantidades de dados obtidos de diferentes fontes, tentando selecionar, adequar e consolidar a informao. Em um sistema OLAP, estes pontos so resolvidos de uma s vez, na etapa de design.

2.3.2 Extrao, Transformao e Carga de Dados ETL

Os dados que alimentam um Data Warehouse so resultantes de diferentes fontes; estas fontes so diferentes sistemas OLTP que a empresa possui, geralmente no homogneos e no concordando necessariamente com o que necessrio, sendo necessrio realizar todas as adaptaes pertinentes.

ETL Os diferentes processos concentrados no conceito de extrao, transformao e carga de dados em um Data Warehouse denomina-se ETL, em ingls Extract Transform Load.

Pgina 9 de 16

 comum que os sistemas OLTP das organizaes tenham sido desenvolvidos por diferentes equipes de programadores ou empresas de software e, que no seu desenvolvimento, tenham adotado diferentes convenes na codificao de variveis, nomes dos atributos das tabelas, diferentes tipos de dados ou formatos de datas. Ao reunir dados dos diferentes sistemas deve ser definida uma norma nica para o Data Warehouse e realizar as transformaes necessrias em cada caso. Basicamente devem ser realizadas as seguintes tarefas: Estabelecer as transformao. regras que sero utilizadas para realizar a

Detectar as inconsistncias que podem ocorrer ao extrair dados de diferentes fontes. Planejar cuidadosamente e com detalhes a transformao dos dados, que ofeream como resultado final conjuntos de dados consistentes.

Convenes diferentes no desenvolvimento de aplicaes Codificao: Um claro exemplo a codificao e descrio do sexo do indivduo. Este dado pode ter sido armazenado de diferentes formas. Por exemplo, pode ser encontrado como M e F, 1 e 0, Homem e Mulher ou Masculino e Feminino. Na transformao dever ser escolhida uma conveno nica para o Data Warehouse, que pode ser M e F e transformar os dados originais, padronizando-o na tabela de destino.

Operacional

Data Warehouse

Aplicao A: M e F Aplicao

B: 1 e 0

MF

Aplicao C: Masculino e Feminino

Unidades de medida dos atributos: As unidades podem apresentar diferentes unidades de medidas, de acordo com a origem do sistema OLTP. Um exemplo e falar em litros, centmetros cbicos ou decilitros. Deve ser escolhida uma nica unidade de medida que seja til para o Data Warehouse e transformar os dados.

Pgina 10 de 16

Operacional

Data Warehouse

Aplicao A: Litros Aplicao B: cm3 Aplicao C: Decilitros Litros

Formatos: Outro exemplo claro so os formatos de data encontrados nos diferentes sistemas operacionais. As datas podem estar armazenadas como aaaa/mm/dd, mm/dd/aaaa ou dd/mm/aaaa. No desenvolvimento do Data Warehouse devemos escolher alguma delas e realizar a transformao correspondente.

Operacional

Data Warehouse

Aplicao A: aaaa/mm/dd Aplicao B: mm/dd/aaaa Aplicao C: dd/mm/aaaa dd/mm/aaaa

Vrias colunas para uma: Em um sistema OLTP, os dados de uma pessoa, como Endereo podem ser armazenadas em diferentes campos da mesma tabela (Rua, Nmero, Andar e Apartamento). Ao transformar estes dados para que possam ser utilizados em um Data Warehouse, possvel armazen-los em um nica coluna. O mesmo pode acontecer com Nome e Sobrenome. No sistema OLTP pode estar armazenado em duas colunas e no OLAP estar em apenas uma.

Pgina 11 de 16

Uma coluna para vrios: Os sistemas mais antigos costumavam colocar o tipo e nmero de documento no mesmo campo da tabela. Em um DW possvel que seja necessrio colocar o tipo de documento em um campo e o nmero de documento em outro.

Granularidade No momento de importar os dados da fonte de origem devem ser realizadas as sumarizaes requeridas. Deve ser definida a granularidade mxima a ser armazenada e somar os dados, agrupando-os de acordo com esse critrio. Ao definir a granularidade est sendo decidido ao mesmo tempo: As anlises que so de interesse. O grau de detalhe necessrio. Isto , se tomarmos como exemplo a medio do trfego telefnico, possvel definir a necessidade dos totais de ligaes por cliente por dia. Vemos que o mximo detalhe requerido o dia, no interessando a hora da ligao nem o tempo de cada uma das ligaes. Por isso, deve ser agrupado e somado utilizando o critrio por Cliente e Dia. Se desejar ter a quantidade e valor das vendas por ms, cliente e produto, necessrio agrupar por estas trs aberturas, deixando no sistema OLTP o detalhe por dia por nota fiscal ou por varejo, obtendo o resultado visto no grfico.

Pgina 12 de 16

Por contar com o plano de trabalho desenvolvido segundo as regras de transformao, colhemos os dados do sistema OLTP e os importamos dentro da nossa rea de dados. Utilizaremos tabelas auxiliares para armazenar os dados de origem para ajudar durante a transformao.

Interpretao equivocada dos Requerimentos Durante a etapa de anlise prvia ao desenho de um sistema OLAP importante entender com preciso a problemtica do negcio. Isto inclui definir o fato e quais medidas sero necessrias para se desenvolver o sistema. Muitos sistemas no obtm sucesso devido a uma etapa de anlise onde os requerimentos propostos no apontam para os objetivos do negcio.

Pgina 13 de 16

Estudo de Caso

Relevando os Requerimentos No Mdulo 1 identificamos as necessidades da Contoso e quais fatores deseja analisar para a tomada de decises. Agora devemos identificar de que forma, atravs das aberturas e das medidas, vamos medir os fatos que a empresa precisa analisar. Levando em considerao que cada ponto mencionado nos requerimentos est relacionado s vendas da empresa, podemos dizer que o fato do nosso Data Warehouse ser, justamente, as Vendas. Comearemos analisando cada necessidade e qual a dimenso ou medida que dever ser criada para satisfaz-la. Depois, deve ser desenvolvida uma tabela onde ser resumida a informao obtida. Esta tabela ser utilizada na etapa de design. Analisaremos o primeiro conjunto de necessidades: A quantidade de unidades vendidas nos pases atingidos pelo mercado atual. Nesta ordem detecta-se como possvel medida as unidades vendidas, que precisamos ver detalhadamente por Pas. Por outro lado, a quantidade de unidades vendidas refere-se aos produtos: detectamos uma nova dimenso, o Produto. O custo includo em cada unidade vendida. Deste requerimento resulta a medida custo de vendas. O valor de venda de cada produto. Aqui, precisamos contar com a medida valor de vendas, sabendo que ser utilizada a dimenso Produto para obter o Valor da Venda de cada Produto. O lucro obtido na venda de cada produto. A medida Lucro obtido, ser obtida da diferena entre o valor da venda e o custo do produto. Esta informao requer apresentao por regio geogrfica e filial. Aqui apresentada uma nova dimenso, que ser chamada de Filial. Agora, realizaremos a anlise do segundo conjunto de requerimentos: Por outro lado a empresa deseja: Montar cestas de produtos de acordo com o perfil de compra dos clientes de cada cidade na qual tenha um local de varejo. Para isso, necessrio um estudo das vendas realizadas abertas por categoria de

Pgina 14 de 16

produto (com a possibilidade de obter o detalhe por produto), por cidade, por ms, para os ltimos 13 meses (para detectar paradas). Verificamos que necessrio analisar os produtos de acordo com a sua categoria e os clientes que os adquiriram. A partir daqui se faz necessria uma nova dimenso chamada Clientes e que os produtos sejam agrupados por Categoria de Produtos, definindo um nvel na dimenso Produto. Premiar anualmente os vendedores que ultrapassem os objetivos de venda atribudos. A anlise, neste caso, dever incluir os vendedores, as vendas realizadas, os objetivos de venda e o indicador de cumprimento detalhados por ms para o ano fiscal (O prmio ser diferente se forem atingidos os objetivos globais para o ano ou se, alm disso, forem atingidos os objetivos em todos os meses em particular). Sobre estes requerimentos, devemos acrescentar apenas a dimenso Vendedor, pois as medidas utilizadas sero as mesmas destacadas anteriormente. Levando em considerao que a empresa chega aos clientes tanto atravs dos supermercados quanto dos hipermercados, poderia ser muito til realizar a anlise de cada uma das medidas por Tipo de Filial. Todo Data Warehouse contm informao histrica que a empresa analisar para diferentes perodos, ento, acrescentaremos mais uma dimenso denominada Tempo. comum que seja necessrio analisar as vendas obtendo a sua mdia. Portanto, vendo esta possvel necessidade, seria conveniente desenvolver a medida Vendas Unidades Mdia. Para ver a informao obtida nas anlises de uma forma mais clara e compreensvel, conveniente elaborar uma tabela de entrada dupla onde colocaremos nas linhas as medidas e nas colunas as dimenses. Nas interseces de linhas e colunas, colocaremos uma cruz se necessrio ver a medida por essa dimenso.
Fato a medir: Venda de Produtos Dimenses Tempo Filial X X X X X X X X X X X X

Medidas Vendas_Valor Vendas_Custo Vendas_Unidades Vendas_ValorTotal Vendas_Lucro Vendas_Mdia

Vendedor Cliente Produto X X X X X X X X X X X X X X X X X X

Esta tabela resumida muito til para ver claramente os requerimentos, agrupar por abertura e comear a definir os cubos que devem ser criados.

Pgina 15 de 16

 possvel compreender mais profundamente a estrutura de um sistema OLTP. Foi compreendido onde utilizado um sistema OLTP. Foi demonstrado de que forma estruturado um sistema OLAP. Foi abordado em detalhes em quais reas um sistema OLAP utilizado. Foram abordadas as inconsistncias que podem ocorrer quando um sistema OLAP alimentado a partir de um sistema operacional (OLTP). possvel compreender como transformar os dados antes de chegar ao sistema OLAP.

Foram analisados os Fatos que so de interesse? Foram executadas as aberturas pelas quais ser analisada a informao? Foram analisadas as medidas ou indicadores que sero utilizadas para avaliar os Fatos? Qual a granularidade necessria para visualizar a informao no sistema OLAP? Foram definidas as fontes de onde sero retirados os dados? Foram definidos os formatos dos arquivos de transferncia e dos dados que eles incluem? Foram desenhados os processos transformao e carga de dados (ETL)? de extrao,

Pgina 16 de 16