DATA WAREHOUSE

Professor MSc Ly Freitas Filho Site: www.lyfreitas.com E-mail: ly@lyfreitas.com

Tendncias: tecnologias
interactive media gesto do conhecimento info-entertainment web warehousing virtual reality wireless web analytics business intelligence web commerce content management gesto da cadeia de valor

customer relationship technomarketing management ensino modelos preditivos distncia data mining
Introduo

Business Intelligence: quadro de referncia

Lojas
Operaes Manuteno Superviso Logstica Warehousing Vendas Faturamento Behavior score Planejamento de produtos Categorias Mix produtos Segmentao Fidelizao Promoes Personalizao Atendimento a clientes

Quiosques

Vendedores

Call Center

Web

TV

Gesto de canais & delivery Gesto de processos produtivos Gesto de clientes Gesto de recursos

Controladoria Indicadores Melhoria de processos Alocao de capital Anlise risco

Gesto de informao e conhecimento

Engenharia Legal/jurdica Data mining Gesto contedo Gesto de sistemas Planejamento Anlise de tendncias Melhoria de processos Gesto de projetos Pr-vendas Adequao logstica Knowledge discovery Gesto acervo digital
Introduo/BI

Business Intelligence: quadro de referncia

Gesto de catlogos Merchandising

Gesto de canais & delivery

ERP ECR SCM OLTPs

Gesto de processos produtivos

Gesto de clientes

Gesto de recursos

BI OLAP Data mining

BI CRM ECR DBM Data mining Web analytics

Gesto de informao e conhecimento

OLTPs Acervo visual etc. DW & ETL Gesto metadados

Introduo/BI

Para o sucesso do negcio necessrio transformar os dados em informao e conhecimento

Usurios
Qual o preo do produto X? Qual o volume de vendas? Valor das vendas por produto, loja e ms. Valor das vendas no ms homlogo.

Sistemas Operacionais

Dados (Operacionais)

Sistemas de Suporte Deciso

Data Analysis Data Mining

Informao (Ttico)

Conhecimento Que fatores (Estratgico) influenciaram as vendas? Quais as tendcnias mais significativas?

Introduo/SSD

Sistemas Estratgicos Sistemas Suporte a Deciso Gesto da Informao Gesto Documental/Imagem Gesto do Conhecimento Sistemas de Informaes

Introduo/SSD

Evoluo dos Sistemas de Informao

OLTP - Processo de transaes On-Line: automatizar os processos, melhorar o desempenho e confiabilidade SAD - Sistemas de apoio a deciso: sistemas que ajudam decisores a tomar decises em situaes onde o julgamento humano uma contribuio importante ao processo de resoluo, mas existe uma limitao humana para processar informaes

OLTP

DW

SAD

Introduo/SI

O Ciclo P-T-A
Gerenciar contedo Gerenciar eficazmente o merchandising para cada cliente

Publicar
Atrair e reter Responder s preferncias dos clientes

Efetuar transaes
Atendimento, compras, entrega, cobrana

Analisar

Acompanhar e entender preferncias

Introduo/PTA

A arquitetura de infonegcios
Portal de acesso e distribuio Anlise e explorao Bases analticas Extrao e integrao de dados Fontes de dados

OLTP

Legado

Data Mart Ciclo PTA

Data Warehouse ou ODS

Externo

Introduo/Negcios

As necessidades de informao estratgica e consolidada sempre existiram...

Arquivos simples (poucos Mb) Linguagens Imperativas Anlise dos Dados

Pedida aos programadores Equivalente a nova aplicao Forma tpica: impresses em papel

BDs Cliente/Servidor (muitos Gb) Ferramentas Especficas Anlise dos Dados Diretamente pelos gestores Forma tpica: usando interfaces tipo point-and-click

1970

1980

1990

2000

BDs Centralizadas (muitos Mb) Linguagens Declarativas e Folhas de Clculo Anlise dos Dados Pedida a analistas e assessores Usando perguntas relacionais Forma tpica: listas na tela ou folhas de clculo Introduo/Historico

Anos 2000 o domnio do acesso Internet. A importncia da informao

SGBDs + Internet (muitos Tb) Ferramentas Especficas Anlise dos Dados Informao na ponta dos dedos Tecnologia push Forma tpica: Browser Web

Ferramentas de interrogao e folhas de clculo tm-se mostrado extremamente limitadas Ferramentas de interrogao e folhas de clculo tm-se mostrado extremamente limitadas na forma como a informao pode ser agregada, apresentada e analisada E.F. Codd na forma como a informao pode ser agregada, apresentada e analisada E.F. Codd A lacuna mais importante das bases de dados relacionais tem sido a incapacidade de A lacuna mais importante das bases de dados relacionais tem sido a incapacidade de consolidar, apresentar e analisar informao sobre mltiplas dimenses E.F. Codd consolidar, apresentar e analisar informao sobre mltiplas dimenses E.F. Codd O maior desafio das empresas de teconologias de informao aprender a construir O maior desafio das empresas de teconologias de informao aprender a construir Bases de Informao e no Bases de Dados Peter Drucker Bases de Informao e no Bases de Dados Peter Drucker Informao sobre dinheiro est a tornar-se mais importante que o dinheiro propriamente Informao sobre dinheiro est a tornar-se mais importante que o dinheiro propriamente dito. John Reed, President of Citicorp/Citibank dito. John Reed, President of Citicorp/Citibank

Introduo/Historico

Data Warehouse
um conjunto de dados ntegros, integrados e histricos, no volteis, organizados por assunto que serviro de base aos sistemas de suporte deciso SSD ou sistemas de apoio deciso - SAD.

Introduo/Definio

Data Warehouse
a fonte de consulta de um empreendimento (Kimball et al, 1998)

coleo de dados orientada a assunto, integrada, no voltil e varivel em relao ao tempo, que tem por objetivo dar apoio aos processos de tomada de deciso (Inmon, 1997)

Introduo/Definio

Data Warehouse

uma base de dados analtica que d apoio a processos decisrios + recursos de acesso intuitivos (Poe et al, 1998) um processo, e no um produto, para a montagem e administrao de dados provenientes de vrias fontes com o propsito de obter uma viso simples e detalhada de parte de todo o negcio (Gardner, 1998)

Introduo/Definio

Quando organizar os dados?

Grande volume de dados, dificuldade no acesso Resultados do mesmo negcio apresentados com valores diferentes por reas diferentes Dificuldade em localizar os dados relevantes ao negcio Pouca confiabilidade nos dados apresentados. Tempo de resposta muito ruim, quando se tenta pesquisar uma informao no banco de dados.

Um Data Warehouse uma arquitetura de sistemas com um processo complexo de construo

um Data Warehouse uma ARQUITETURA... no um produto ou tecnologia um Data Warehouse CONSTRI-SE... no se compra um Data Warehouse um processo COMPLEXO... no um simples projeto

Primeiro surgiu a arquitetura, a seguir a metodologia depois (e apenas depois) surgiram as ferramentas

Introduo/Definio

Data Warehouse a informao estratgica e consolidada do seu negcio

Permite a anlise consolidada dos dados da organizao. Estrutura a informao de forma multidimensional e hierrquica orientada aos conceitos de negcio Flexibilidade na construo de anlises, permitindo navegao nos dados e rpidas mudanas de perspectiva Interface avanada com os utilizadores. Ferramentas de acesso da nova gerao com capacidade de disponibilizao de informao via Web, Wap e Voz

Data Warehouse Sistemas Operacionais

Introduo/Definio

Foco no negcio: uma das diferenas entre Sistemas Operacionais e Sistemas de Suporte Deciso Sist. Operacionais Data Warehouse
internas + externas tema (negcio) val. histricos redundncia Gb a Tb analtica/exploratrias minutos, horas difcil blocos, baixa freq. Introduo/Definio

Fontes Organizao Natureza Otimizao Dimenso BD Tipo Utilizao Tempos Resposta Previso Carga Atualizao

internas aplicao (processo) val. correntes normalizao Mb a Gb burocrtica/repetitiva instantneos possvel atmica, alta freq.

No cerne desse novo ambiente "projetado" est a percepo de que h fundamentalmente duas espcies de dados:

Dados Primitivos e Dados Derivados.

Introduo/Definio

Dados Primitivos
So dados detalhados utilizados na conduo das operaes cotidianas da Organizao.

Dados Derivados
So dados resumidos ou calculados de forma a atender s necessidades da rea estratgica da Organizao.

Introduo/Definio

Data Warehouse X Data Mart

Data Warehouse contm todas as informaes da companhia, vindas de mltiplas fontes de dados operacionais, dispostas de forma integrada e consolidada. Data Marts contm um subconjunto dos dados corporativos para atender um departamento ou uma unidade de negcio.

dw/dm

Datawarehouse X Datamart

Recursos Humanos

Datawarehouse

Produo Finanas Marketing Vendas

Datamart

dw/dm

Datawarehouse X Datamart

Qual fazer primeiro????

dw/dm

Data Mart (DM)

Data Warehouse de pequena capacidade usado para atender a uma unidade especfica de negcios projeto piloto atender necessidades imediatas de um Processo restries (custo, tempo, conhecimento tecnolgico) desempenho aprendizagem, aceitao

Data Warehouse (DW)

Data Warehouse (corporativo) integrao de seus data marts requer um planejamento global que norteie o desenvolvimento de DMs individuais integrao em sistemas operacionais

dw/dm

A arquitetura de referncia de um Data Warehouse: processos de ETC, Metadata, Data Mart e Reporting.

FONTES
Administrao das estruturas de informao

Sistemas Operacionais

Aplicaes de Utilizao Amigvel & Reporting

Meta-Data MetaSistemas Operacionais

Limpeza, Extrao, Transformao e Carregamento

Data Warehouse

Data Mart

Solues de Anlise Multidimensional Aplicaes Verticais + Data Mining Arquitetura

Externas

Granularidade
o nvel de detalhe ou de resumo contido nas unidades de dados existentes no DW a unidade de medida mnima de um modelo de DW . a combinao de uma linha da tabela de fatos, associada a uma linha de uma ou mais dimenses .

Arquitetura/Definies

Agregao
So registros sumarizados logicamente redundantes com os dados Granulares do DW

Finalidades: (melhorar o tempo de reposta as consultas; reduzir o tempo de processamento; reduzir espao de armazenamento

Arquitetura/Definies

Metadados
O metadado representa a definio dos dados contidos no DW, atravs dele, que o usurio fica sabendo como as entidades esto representadas, de onde surgem, como foram transformadas e como podem ser utilizadas.

O metadado corresponde a um catlogo e dependendo de sua estrutura poder conter vrias informaes.

Arquitetura/Definies

Metadados
No ambiente de DW, os metadados armazenam informaes sobre todo ciclo de vida: De onde o dado veio? Como foi calculado? Quando foi realizado o processo de ETL? Estatsticas de utilizao. Mudanas na poltica de negcios. e muito mais...
Arquitetura/Definies

Metadados
Dados sobre dados. Provm informaes sobre a estrutura de dados e as relaes entre estas dentro ou entre bancos de dados. So tambm informaes mantidas a cerca do DW em lugar das providas pelo DW

Arquitetura/Definies

Integrado
Os dados fonte de sistemas OLTP so modificados e convertidos para um estado uniforme de modo a permitir a carga no DW.

Arquitetura/Definies

No Voltil
Os dados aps serem extrados, transformados e transportados para o DW esto disponveis aos usurios somente para consulta

Arquitetura/Definies

Varivel em Relao ao Tempo

Os DW devem armazenar dados por um perodo de tempo. O elemento tempo fundamental

Arquitetura/Definies

Topologias

Arquitetura/Topologias

Topologias

Arquitetura/Topologias

Sistema Fonte
Um sistema operacional de registros cuja funo capturar as transaes de negcios, as vezes so chamados de sistemas legados .

Arquitetura/ETL

Importncia dos Dados Corporativos

Com a globalizao, as corporaes esto cada vez mais necessitando de informaes confiveis em um tempo hbil para tomada de decises. A implantao de um sistema de suporte deciso passa a ser um diferencial em uma corporao, pois oferece condies para que os nveis gerenciais definam os rumos da companhia com base em dados consistentes.

Arquitetura/ETL

Data Staging Area

rea de transio dos dados (dados estagirios) e definio dos processos para limpeza, transporte, combinao, integrao, melhoramento e preparao dos dados para uso no Data Warehouse

Arquitetura/ETL

Presentation Server

Mquina fsica alvo no qual os dados do Data Warehouse esto organizados e armazenados para consulta direta pelos usurios finais, servidores de relatrios e outras aplicaes.

Arquitetura/ETL

Modelo Dimensional
Uma metodologia especfica para modelar dados, uma alternativa ao modelo ER, contm a mesma informao que o modelo ER, mas o pacote de dados est em um formato simtrico cujo objetivo facilitar a consulta, melhorar a performance e flexvel a mudanas.

Arquitetura/ETL

Modelo Relacional

Arquitetura/ETL/Modelagem

Dados Corporativos

Arquitetura/ETL/Modelagem

Perguntar

Arquitetura/ETL/Modelagem

Esquema Estrela

Arquitetura/ETL/Modelagem

Modelagem Dimensional

Arquitetura/ETL/Modelagem

Esquema Floco de Neve

Desdobra-se as tabelas de dimenses removendo alguns campos para tabelas separadas conectando as mesmas com a tabela original atravs de chaves artificiais

Geralmente no recomendado num ambiente de DW Snowflacking - esquema onde aplica-se a normalizao O excesso de chaves baixa a eficincia da consulta

Arquitetura/ETL/Modelagem

Esquema Floco de Neve

Arquitetura/ETL/Modelagem

Comparar e Apresentar
Clculos simples no conjunto de resultados

Arquitetura/ETL/Modelagem

Entender
Slice and Dice Consultas Visualizaes Minerao de Dados (Data Mining)

Caractersticas:

Buscar padres novos, teis e compreensveis em grandes volumes de dados; Padro = estrutura de relacionamento entre atributos e seus valores; Dados detalhados; Auxiliar os decisores a ampliar seu espao de investigao de hipteses; Tcnicas de minerao (classes de problemas); Tipo de anlise mais complexa (analista de dados).
Arquitetura/ETL/Modelagem

On-Line Analytical Processing (OLAP)

designao genrica para as atividades de acesso e apresentao de dados provenientes de um DW baseado em representao multidimensional dos dados Tecnologias: MOLAP ROLAP HOLAP: MOLAP + ROLAP DOLAP: Desktop OLAP

Arquitetura/OLAP

OLAP Services
Hierarquias Mltiplas e no equilibradas Particionamento de dados Juno virtual de cubos Monitorao de utilizao Membros calculados Mltiplas estratgias de armazenamento MOLAP, ROLAP, HOLAP, DOLAP

Arquitetura/OLAP

Recuperao e Explorao de Dados Duas Camadas

Arquitetura/OLAP

Recuperao e Explorao de Dados Trs Camadas - ROLAP

Arquitetura/OLAP

Recuperao e Explorao de Dados Trs Camadas - MOLAP

Arquitetura/OLAP

Aplicaes para o Usurio Final

Uma coleo de ferramentas que consulta, analiza e apresenta informaes desejveis para apoiar uma necessidade de negcio. So ferramentas para acesso aos dados, planilhas, pacotes grficos e uma interface amigvel.
Arquitetura/Usurio

Arquitetura/Usurio

Arquitetura/Usurio

Ferramentas para interpretar um mundo complexo

Arquitetura/Usurio

Ferramentas para interpretar um mundo complexo

Arquitetura/Usurio

Ferramentas para interpretar um mundo complexo

Arquitetura/Usurio

Ferramentas para interpretar um mundo complexo

Arquitetura/Usurio

Mostrando produtos e servios de maneira visual, interativa e com contedo rico

Arquitetura/Usurio

Concluses
Data Warehouse uma base de dados voltada a apoio deciso o processo de alimentao do DW complexo ferramentas de acesso devem levar em conta tipo de usurio e funcionalidades desejadas produtos comerciais reaproveitam muitas funcionalidades originalmente projetadas para apoio a criao e gesto de sistemas operacionais incluso de novas funcionalidades para processamento OLAP minerao na prtica pouco usada em contextos de data warehouse

Concluses

Algumas Tendncias
metodologias de desenvolvimento apoio manuteno materializao de verses metadados sistematizao do processo de alimentao do DW e maior integrao com os sistemas fonte mais recursos para usurio final, considerando seu perfil tecnologias para otimizao de desempenho e armazenamento distribuio uso da Web

Algumas Tendncias

Investimento Softwares
Ferramenta ETL Ferramenta BD Ferramenta OLAP Ferramentas Usurio Final

Investimento Softwares

OLAP Services
Servidor OLAP distribudo com o SQL Server

Exemplo /Microsoft

DATA WAREHOUSE
Professor MSc Ly Freitas Filho Site: www.lyfreitas.com E-mail: ly@lyfreitas.com